Data Engineer (DWH / NRT)

Чем предстоит заниматься:

• Проектирование и развитие архитектуры DWH: Применение системного подхода к моделированию корпоративного хранилища данных, проектирование детального слоя данных (DDS / Data Vault) и витрин данных.
• Сопровождение и масштабирование хранилища: Развитие экосистемы DWH на базе Greenplum, Clickhouse и PostgreSQL.
• Разработка контуров пакетной и NRT-обработки: Создание, оптимизация и поддержка ETL/ELT процессов (batch) и стриминговых потоков данных (Near Real-Time).
• Работа с dbt: Построение, организация и оркестрация слоя трансформаций данных с использованием dbt, обеспечение качества данных (data quality) и версионирования моделей.
• Оптимизация производительности: Разработка хранимых процедур, функций и экспертная оптимизация сложных SQL-запросов под архитектурные особенности MPP (Greenplum) и колоночных (Clickhouse) СУБД.
• Интеграция со смежными командами: Взаимодействие с BI-аналитиками и разработчиками для обеспечения прозрачного Data Lineage и высокого качества аналитических данных.

Обязательные требования:

• Стек и базы данных: Уверенное знание SQL (аналитические функции, CTE, JOIN), опыт работы и оптимизации PostgreSQL (PL/pgSQL), Greenplum (MPP) и Clickhouse.
• Трансформация и оркестрация: Практический опыт работы с dbt (материализации, тесты, документация) и Apache Airflow.
• Разработка и инструменты: Уверенное владение Python для задач дата-инженерии, знание Git и базовых CI/CD практик.
• Аналитический склад ума: Умение разбираться в чужом коде, проводить рефакторинг и вносить необходимые изменения в существующие ETL-пайплайны.

Желательно (будет плюсом):

• Архитектурный бэкграунд: Понимание системного подхода к проектированию DWH, методологий моделирования данных (Kimball, Inmon, Data Vault 2.0) и построения слоев данных (DDS).
• Стриминг и NRT: Опыт работы с Apache Kafka (проектирование топиков, интеграция, delivery guarantees) и реализации Near Real-Time контуров (включая ClickHouse Kafka Engine).
• Опыт работы с распределенной обработкой данных (Apache Spark, Apache Flink).
• Опыт работы с каталогами метаданных (OpenMetadata, DataHub) и автоматизацией построения Data Lineage.
• Опыт в банковской или финансовой сфере.
• Опыт разработки сервисов на базе LLM для внутренних инструментов автоматизации работы с данными.

Что мы предлагаем:

• Официальное трудоустройство;
• Полностью удаленный формат работы;
• Команда экспертов, которая поможетподскажетнаучит и подставит плечо, когда потребуется;
• Возможность решать интересные задачи, качать скиллы и развиваться на базе современных технологий;
• Мы - официальная ИТ компания, есть аккредитация в Минцифры.