Data Engineer / Big Data Engineer (Hadoop, Greenplum, Airflow)

АЙ-ТЕКО - российский системный интегратор и поставщик IT-решений для корпоративных заказчиков. Работаем на рынке с 1997 года, входим в ТОП-400 крупнейших российских компаний и ТОП-10 крупнейших IT-компаний России.

Приглашаем Data Engineer на проект СберAds.

О проекте

DMP собирает данные о поведении пользователей из множества источников, формирует детальные профили и помогает бизнесу показывать максимально релевантную рекламу.

Масштаб - огромные объемы данных и более 1000 ML-моделей, которые ежедневно обучаются и применяются.

Если тебе интересно работать на пересечении Big Data, Data Engineering и Machine Learning, здесь будет много интересных инженерных задач.

Чем предстоит заниматься

• Проектировать и разрабатывать новые, а также поддерживать существующие data pipeline в облачной среде;

• оптимизировать производительность pipeline: эффективный код, поиск bottleneck'ов, распределенные вычисления;

• настраивать мониторинг и алертинг;

• участвовать в создании дашбордов для контроля качества и состояния данных;

• внедрять и развивать практики Data Quality и DataOps;

• поддерживать и развивать техническую документацию.

Что важно

• Опыт работы Data Engineer от 3 лет;

• отличное знание SQL: сложные запросы, оптимизация, execution plans, понимание алгоритмов JOIN, распределения данных и индексов;

• промышленная разработка на Scala от 2 лет;

  или уверенный Python/PySpark при готовности работать с Scala-ядром;

• уверенное знание Apache Spark: архитектура, работа с памятью, оптимизация Spark-задач;

• понимание архитектуры Lakehouse, концепций DWH и Data Lake, слоев Raw / Clean / Core / Mart, витрин и агрегатов;

• опыт работы с оркестраторами: Airflow, Dagster или аналоги;

• уверенная работа с Git;

• понимание принципов CI/CD для Data Engineering.

Будет плюсом

• Kafka, Spark Structured Streaming, Apache Flink;

• Apache Iceberg, Delta Lake, Hudi;

• понимание Kubernetes, опыт деплоя Spark-приложений или Airflow в K8s;

• dbt, Great Expectations и другие инструменты Data Quality;

• понимание ML-процессов: как модели потребляют данные, Feature Store.

Что предлагаем

• Работа с Big Data на высоких объемах;

• масштабная Data Management Platform и более 1000 ML-моделей;

• современные технологии Scala, Spark, Lakehouse, Airflow, Kafka;

• интересные задачи на стыке Data Engineering и ML;

• команда инженеров и возможность развиваться в современных data-технологиях.

Формат работы

ОфисгибридУдаленно из РФ. При удаленной работе часовой пояс - ±2 часа от Москвы.

Важно

Трудоустройство оформляется по срочному трудовому договору на 3 месяца, далее возможно продление по ситуации.