Data Engineer в команду CDP

Навыки: Apache Kafka, ClickHouse, Python, Scala. Специализации: Инженер по данным.

2GIS CDP - это внутренняя Customer Data Platform, лежащая в основе стратегии развития всего 2ГИС на ближайшие годы.

CDP объединяет данные из десятков источников, строит единые пользовательские профили, рассчитывает метрики, интересы и модели поведения, помогает запускать real-time персонализацию прямо в продукте и управлять персонализированной рекламой и коммуникацией.

Это стартап внутри большой компании - со свободой в архитектуре и технологиях, с задачами уровня highload и с реальным влиянием на бизнес-результаты.

О команде

Мы объединяем инженеров, аналитиков и ML-специалистов, которые строят систему, меняющую подход к данным в 2ГИС.

Работаем с большими объемами событий, продумываем архитектуру под масштаб и надежность, ценим простые и элегантные решения.

Каждый в команде влияет на архитектуру, подходы и направление развития CDP.

Наш стек

• Backend: Go, gRPC

• Frontend: TypeScript, React

• Autotests: Python, Playwright, Allure

• Infrastructure: Kubernetes, Kafka, ClickHouse, Spilo/PostreSQL, Spark, Airflow

Стек только формируется - ты сможешь повлиять на его развитие и архитектуру.

Тебе предстоит

• Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.

• Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka-топиков.

• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.

• Решать сложные инженерные задачи: расчеты метрик, построение витрин.

• Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.

• Влиять на архитектурные решения и качество кода.

• Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.

Ждем от тебя

• Опыт работы с highload-системами.

• Опыт проектирования архитектуры данных или платформенного кода.

• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.

• Хорошо понимает, как работает Spark и умеет его готовить.

• Хорошо владеешь одним из языков программирования (например, Python или Scala).

• Самостоятельность и проактивность - ты не ждешь постановок, а предлагаешь решения.

• Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.

Будет плюсом:

• Опыт работы с Airflow.

• Опыт анализа данных с использованием SQL.

• Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts).

• Опыт построения Data Lineage и работы с Data Catalog.

• Понимание подходов к персонализации, сегментации или real-time аналитике.

• Понимание, как работает S3 хранилище.

Почему это круто

• Масштаб: миллионы пользователей, миллиарды событий, сотни интеграций.

• Рост: CDP - стратегическое направление, растем быстро и даем расти команде.

• Свобода: минимум бюрократии, максимум ответственности.

• Видимый результат: все, что ты делаешь, влияет на продукт, коммуникации и рекламу 2ГИС.

Хочешь строить внутренний «мозг» 2ГИС? Присоединяйся к команде CDP.