Senior DWH Developer

НСИС (Национальная страховая информационная система) - это ядро страхового рынка. Мы - 100% дочерняя компания Центрального банка РФ.

Через нас проходит все: ОСАГО, КАСКО, ДСАГО, страхование жилья, ДМС. Мы - центральный узел, который обеспечивает работу страхования в стране. Если мы остановимся - страхование остановится.

У нас highload-система, микросервисная архитектура из более чем 100 приложений, SLA доступности - 99,95% (чуть больше 4 часов в год на простои, и то не одномоментно). Интегрируемся с такими контрагентами как ГИБДД, РСА, Минцифры, МВД, Госуслуги, работаем на стыке бизнеса, госрегуляторов и технологий. И да, мы также реализуем и коммерческие продукты.

Сейчас мы в поиске Разработчика корпоративного аналитического хранилища данных (Senior DWH Developer)

Вам предстоит:

• Разработка нового и развитие существующего функционала корпоративного аналитического хранилища данных на базе PostgreSQL + ClickHouse;
• Оптимизация, рефакторинг и сопровождение существующих решений;
• Проектирование, разработка и сопровождение ETL/ELT-процессов загрузки, трансформации и обработки данных, реализация бизнес-логики аналитического хранилища, разработка механизмов контроля качества данных;
• Анализ требований бизнес-заказчиков, исследование источников данных и участие в проектировании моделей данных;
• Участие в разработке архитектурных решений корпоративного хранилища данных, выборе технологий и инструментов ETL/DWH;
• Подготовка архитектурной, технической и эксплуатационной документации, документирование ETL/ELT-процессов и реализованных технических решений;
• Взаимодействие с командами разработки, аналитики, тестирования и эксплуатации при реализации проектов;
• Участие в выводе решений в промышленную эксплуатацию, приемо-сдаточных и нагрузочных испытаниях.

Для этого Вам потребуется:

• Опыт разработки корпоративных аналитических хранилищ и ETL/ELT-процессов на PostgreSQL от 3 лет;
• Опыт разработки аналитических витрин на ClickHouse от 2 лет;
• Опыт проектирования слоев DWH: Staging, ODS, детальный слой и витрины данных;
• Практический опыт разработки ETL/ELT-процессов; преимуществом будет опыт работы с промышленными ETL/ELT-платформами и инструментами интеграции данных (Apache Hop, Pentaho Data Integration, Oracle Data Integrator и т.п.);
• Опыт реализации инкрементальных загрузок: CDC, Delta, SCD Type 2, обработка поздно поступающих данных;
• Понимание подходов Data Vault, Kimball и Anchor Modeling;
• Экспертное знание SQL и PL/pgSQL, внутреннего устройства PostgreSQL и методов оптимизации запросов и производительности;
• Уверенное знание ClickHouse: колоночное хранение, семейство MergeTree, фоновые слияния и выбор движка под задачу;
• Уверенное владение Python, опыт разработки надежных загрузчиков с логированием, обработкой ошибок и retry-механизмами;
• Практический опыт разработки DAG в Apache Airflow, понимание Scheduler, Executor, Hooks, Operators, Sensors, передачи параметров и идемпотентности задач;
• Понимание принципов работы и областей применения реляционных и колоночных СУБД, MPP-платформ, in-memory СУБД, Data Lake и SQL движков;
• Опыт работы с Git, Jira, Confluence и инструментами CI/CD, включая Jenkins, GitLab CI и Liquibase;
• Знание современных подходов к разработке, тестированию и документированию DWH;
• Опыт работы по Agile/Scrum или Waterfall.

Soft skills:

Управленческие способности

Аналитическое мышление

Внимательность к деталям

Умение работать с документацией

Коммуникабельность

Способность работать в команде

Архитектурные навыки:

Проектирование архитектуры DWH

Создание стратегии развития DWH

Работа у нас:

• Оформление согласно ТК РФ;
• Уровень дохода обсуждается с успешным кандидатом (ЗП "белая") + премия по результатам работы;
• График 52, гибкое начало, в пятницу сокращенный день;
• Офисный, Удаленный или Гибридный формат работы;
• Расширенный пакет ДМС (стоматолог, психолог, телемедицина);
• Постоянное профессиональное внешнее и внутреннее обучение;
• Возможность участвовать в масштабных и разнообразных проектах;
• Насыщенная корпоративная культура (праздники, подарки, различные активности по интересам);
• Удобный и современный офис с зонами отдыха в центре Москвы (2 минуты от м. Павелецкая).