Data Engineer (Прайсинг)

Объединённая компания Wildberries и Russ - это международная технологическая компания, образованная в результате слияния двух лидеров рынка - IT-компании Wildberries и оператора наружной рекламы Russ.

Прайсинг - строит и развивает аналитическое хранилище продукта "Платформа Ценообразования". В зоне ответственности команды 4 продукта разной направленности: аналитика, бекенд, ML.

Вам предстоит:

• Проектировать и разрабатывать пайплайны загрузки данных. Делать это оптимально в зависимости от потребностей команд потребителей;
• Проектировать загрузку данных, раскладку по слоям, витрины в ClickHouse: выбор движка таблиц, ключей сортировки и партиционирования, ключей шардирования и репликации;
• Оптимизировать запросы и хранение: разбираться, почему запрос медленный или таблица растёт быстрее ожидаемого, и чинить это;
• Разрабатывать и поддерживать DAGи в Airflow: идемпотентность, ретраи, бэкфиллы, зависимости между задачами;
• Обеспечивать качество данных: проверки по полноте и консистентности, сверки между системами, алертинг и мониторинг пайплайнов;
• Работать напрямую с продуктовыми командами и аналитиками: разбирать требования, договариваться о контрактах данных, объяснять ограничения и предлагать варианты.

Вы нам подходите, если:

• Имеете опыт работы с ClickHouse (это ключевой навык для данной позиции. Необходимо уметь идентифицировать проблемы на кластере, понимать как работать с распределенной БД, как оптимально собрать пайплайны, чтобы не убить кластер);
• уверенно работаете с SQL, а именно с большими объёмами (у нас есть таблицы 50+ Tb);
• владеете Python для разработки пайплайнов, а иногда даже бекенда на FastAPI;
• имеете опыт работы с Apache Airflow (опыт разработки и эксплуатации DAGов в проде, понимание идемпотентности и бэкфиллов);
• имеете опыт работы с Apache Kafka (понимание модели (топики, партиции, консьюмер-группы, оффсеты, семантика доставки), опыт построения загрузки из Kafka в хранилище)
• имеете опыт интеграции данных из REST API и реляционных БД (PostgreSQL и аналоги), включая инкрементальную загрузку и работу с изменениями данных.