Data engineer

Навыки: Python. Квалификация: Senior. Специализации: MLOps-инженер.

Привет! Меня зовут Ирина. Я представляю группу компаний Top Selection.

В данный момент мы в поисках Data engineer

Требования:

- Опыт TeamLead (управление командой) не менее 4 лет;

- Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД;

- Опыт разработки и сопровождения хранимых процедур / функций в СУБД;

- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных;

- Опыт участия в проектах миграции ETL-систем (Apache стек);

- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);

- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);

- Опыт работы с PySpark (трансформации, оптимизация, партиционирование);

- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);

- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;

- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;

- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;

- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);

- Опыт работы с Оracle;

- Опыт применения сложных SQL-запросов (оконные функции, джоины);

- Умение оптимизировать запросы для highload-среды;

- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;

- Опыт настройки потоковой обработки данных;

- Опыт работы с Hadoop и Hive (знание версий, источников данных);

- Опыт работы с PostgreSQL, Greenplum, Clickhouse;

- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;

- Опыт работы с биллингом;

- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);

Обязанности:

- Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры.

- Подготовка документации AS IS и TO BE;

- Написание SQL кода;

- Отслеживание метрик.

Контакт для связи: @Iryn_pnz