Ведущий инженер данных (Team Lead DE)
Должностные обязанности:
- Проектирование и разработка процессов загрузки данных (ETL/ELT) из корпоративных систем, IoT-источников, файловых и внешних источников;
- Подключение новых источников данных: анализ структуры, проектирование интеграции, организация первичной и регулярной загрузки;
- Проектирование и развитие слоёв и моделей данных в хранилище - от исходных данных до очищенных и подготовленных для аналитики наборов;
- Обеспечение качества и целостности данных при загрузке и преобразовании: технические проверки, контроль полноты, дубликатов и ошибок;
- Проектирование структур данных и оптимизация хранения и обработки больших объёмов данных в ClickHouse, PostgreSQL и Object Storage;
- Документирование потоков данных, интеграций, моделей и технических решений; формирование стандартов разработки Data Platform;
- Взаимодействие с владельцами систем, 1С-разработкой, BI/ML-командой и подрядчиками при организации поставки и использования данных;
По мере формирования команды - техническое наставничество инженеров данных, code review и развитие единых инженерных практик.
Требования к кандидату:
- образование высшее техническое/ИТ;
- опыт работы: от 5+ лет Data Engineering/DWH;
- знание: SQL, Python, ETL/ELT, моделирование данных, Linux, Git; Airflow, S3, ClickHouse, PostgreSQL, Yandex Cloud;
- опыт интеграции различных источников;
- опыт технического лидерства.