Data Engineer DWH

Мы развиваем платформу данных, которая используется командами Data Engineering для построения и эксплуатации большого количества DWH и ETL-процессов.

Ищем Data Engineer уровня Middle / Senior, который будет заниматься не только разработкой пайплайнов, но и созданием общих инструментов и сервисов для инженеров данных.

Вам предстоит:

• Разрабатывать и развивать инструменты платформы данных;
• Разрабатывать и оптимизировать процессы импорта и экспорта данных между Greenplum, ClickHouse, PostgreSQL и S3;
• Работать с большими объемами данных и распределенными системами;
• Разрабатывать ETL/ELT-процессы на Python и Apache Spark;
• Участвовать в проектировании и развитии архитектуры платформы данных;

• Разбираться в производительности SQL-запросов и оптимизации работы MPP-систем;

• Взаимодействовать с Data Engineers, аналитиками и другими командами, использующими платформу;

• Поддерживать и развивать техническую документацию.

• Владеете уверенным знание Python и имеете опыт промышленной разработки;

• Владеете продвинутым SQL;

• Имеете практический опыт работы с Apache Spark;

• Имеете опыт работы с реляционными СУБД: PostgreSQL, Oracle, MS SQL или аналогами;

• Имеете опыт работы с MPP / распределенными СУБД;

• Имеете опыт работы с одним или несколькими оркестраторами, желательно Apache Airflow;

• Имеете опыт работы с Git и командной разработкой;

• Имеете опыт работы с S3 или объектными хранилищами.

Будет плюсом:

• Опыт работы с Greenplum;

• Опыт работы с ClickHouse;

• Опыт работы с dbt;

• Опыт проектирования и развития ETL/ELT-фреймворков;

• Опыт проектирования DWH и моделей данных;

• Опыт работы с Apache Iceberg;

• Опыт работы с другими MPP-системами: Vertica, Teradata и др;

• Опыт разработки внутренних платформенных сервисов и инструментов для Data Engineering.