Middle+ ETL-разработчик

Требуется ETL-разработчик на проект.

Отрасль: госсектор

Дата старта проекта: в ближайшее время

Продолжительность проекта: от 3-4 месяцев (возможно продление)

Задача:

Проект - миграция аналитического блока федеральной системы на отечественную СУБД (импортозамещение, Arenadata Postgres/ADB6).

Нужно перенести действующие ETL-процессов (часть на Pentaho DI, часть уже на Airflow) со связки MSSQL / Vertica / PostgreSQL на целевой стек, сохранив трёхслойную архитектуру данных, без потери данных и функциональности. Реализовать тест-кейсы проверки качества данных и метрики для мониторинга пайплайнов.

Обязательные требования (Must Have):

• Готовность работать в команде заказчика, следовать внутренним процессам и методологиям
• Опыт коммерческой разработки и сопровождения ETL/ELT-процессов от 3 лет

Продвинутый SQL:

• Написание и оптимизация сложных запросов (оконные функции, CTE, материализованные представления)
• Опыт работы с большими объёмами данных (partitioning, indexing, query plan analysis)
• Опыт работы с СУБД: PostgreSQL, MS SQL Server, Vertica
• Практический опыт с инструментами оркестрации и ETL/ELT (обязательно, целевой стек):
• Apache Airflow - не менее года практического опыта
• Программирование на Python (Pandas, Psycopg2, Airflow SDK)
• Pentaho Data Integration (Kettle) - опыт чтения/переноса существующих трансформаций (.ktr/.kjb) на Python/Airflow
• Опыт работы с Arenadata (ADPG и/или ADB6) либо другой отечественной СУБД из реестра (Postgres Pro, Jatoba и т.п.) - обязательно, целевая платформа проекта

Обеспечение качества данных (Data Quality):

• Реализация валидации данных при загрузке (полнота, консистентность, соответствие формату)
• Сквозное логирование пайплайнов с детализацией по шагам, объёмам и ошибкам
• Механизмы error handling, retry logic, уведомлений
• Опыт миграции между СУБД / трёхслойных схем данных (staging/DDS/витрины)
• Понимание инкрементальных загрузок (delta, CDC), идемпотентности пайплайнов, обработки SCD
• Готовность работать в команде заказчика, следовать внутренним процессам и методологиям
• Навыки коммуникации и работы в распределённых командах

Желательные требования:

• Опыт проектов по импортозамещению СУБД в госсекторе
• Знание принципов Data Vault 2.0 / Kimball (dimensional modeling)
• Навыки настройки мониторинга пайплайнов (Grafana/Prometheus, алертинг)
• Опыт работы с большими объёмами данных в высоконагруженных системах (300 000+ пользователей, десятки млн записей/день)