Senior Data Engineer

Ищем Data Engineer, который поможет развивать платформу данных: от потоковой загрузки событий и построения моделей до холодного хранения и контроля качества данных.

Обязанности

• Развивать потоковую загрузку событий из RabbitMQ в ClickHouse: подключать новые потоки, настраивать дедупликацию и backfill исторических данных;
• Строить холодное хранилище на Apache Iceberg: выгружать архив из ClickHouse через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников;
• Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе - внедрять CDC;
• Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse;
• Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков;
• Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков;
• Участвовать в архитектурных решениях и код-ревью, развивать каталог данных.

Требования

• Опыт в Data Engineering от 4-5 лет;
• Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов;
• Уверенное знание SQL и Python;
• Опыт работы с dbt в продакшене: модели, тесты и CI;
• Опыт разработки и эксплуатации DAG в Apache Airflow;
• Опыт работы со Spark и табличными форматами для lakehouse - Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ;
• Опыт потоковой загрузки данных из брокеров сообщений - RabbitMQ или аналогов; понимание at-least-once и идемпотентности;
• Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки;
• Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git.

Будет плюсом

• Опыт загрузки данных из MS SQL или 1С;
• Знание Debezium и CDC;
• Опыт работы с dlt и OpenMetadata;
• Знакомство с платёжными и персональными данными;
• Опыт работы с on-prem инфраструктурой.

Условия

• Конкурентную заработную плату - обсудим после собеседования;
• Удалённый формат работы;
• График 5/2: с 10:00 до 19:00;
• Мощный рабочий ноутбук;
• 100% компенсацию больничных;
• Корпоративную скидку на изучение английского языка в Skyeng.