Senior/Middle+ Big Data Engineer (Рекламная платформа)

Мы в поиске Senior/Middle+ Big Data Engineer в направление больших данных, который будет участвовать в разработке рекламной платформы. Департамент рекламы в Lamoda сегодня - это более 50 разработчиков и аналитиков, которые строят собственную рекламную платформу: продвижение товаров, медийные форматы и отчетность для рекламодателей. Каждый день с ней взаимодействуют миллионы пользователей.

Главная задача нашей команды - развивать ландшафт данных для построения внутренней и внешней аналитики рекламы.

Чем предстоит заниматься:

• Проектировать единую модель данных рекламной платформы вместе с продуктом и аналитиками, с учетом роста и развития рекламы в Lamoda;
• Строить внешнюю отчетность для рекламодателей: проектировать витрины данных в ClickHouse и расчет метрик эффективности рекламных кампаний в NRT и batch режимах;
• Развивать инфраструктуру данных для ML задач и продуктовой аналитики рекламной платформы;
• Переводить данные и регулярные расчеты рекламной платформы на Lakehouse архитектуру;
• Выстраивать взаимодействие с продуктовыми командами рекламной платформы: согласовывать источники, форматы и контракты данных;
• Обеспечивать качество данных в разных системах, проектировать Data Quality;
• Оптимизировать действующие пайплайны на Spark - мониторить нагрузку на кластер и эффективность затрачиваемых ресурсов;
• Анализировать и внедрять новые инструменты инжиниринга данных.

Мы ожидаем:

• Уверенное владение Python/Scala/Java;
• Глубокое знание Spark и Spark Streaming/Flink;
• Понимание внутреннего устройства ClickHouse и умение оптимизировать запросы;
• Опыт работы с Data Lake/Lakehouse стеком;
• Опыт построения решений для near realtime аналитики;
• Хорошее понимание SQL;
• Понимание инфраструктуры Apache Kafka.

Будет плюсом:

• Опыт работы с данными домена рекламы;
• Опыт внедрения Data Quality-инструментов;
• Опыт работы с Docker, Kubernetes и системами мониторинга (Grafana, Prometheus).