Data Engineer

Ищем Data Engineer, который умеет проектировать дата-продукты от raw до consumption, оптимизировать Spark-джобы под production-нагрузки и строить надёжные интеграции между десятками источников данных ритейл-компании.

Чем предстоит заниматься

• Разработка дата-продуктов и пайплайнов:
• Проектировать дата-продукты полного цикла - от raw-слоя до consumption: витрины, семантические модели, API для downstream-сервисов; обеспечивать ownership, SLA, документирование и версионирование.
• Разрабатывать ETL/ELT-пайплайны на Microsoft Fabric, Databricks и Azure Data Factory (Dataflow Gen2, Pipelines, Notebooks) с учётом надёжности, идемпотентности и наблюдаемости.
• Создавать переиспользуемые инженерные фреймворки: шаблоны пайплайнов, библиотеки трансформаций, утилиты для Delta Lake.
• Реализовывать интеграции между источниками и платформой: ERP (SAP), CRM, WMS, POS, мобильное приложение, программа лояльности - согласование data contracts, обработка схемных изменений, мониторинг целостности.
• Оптимизация и архитектура:
• Advanced-оптимизация Spark-джобов: партиционирование, broadcast join, кэширование, управление ресурсами кластера.
• Оптимизация хранилища в Delta Lake и Fabric: Z-Order, V-Order, компакция, retention-политики, планы выполнения запросов.
• Проектирование моделей данных: Medallion (bronze/silver/gold), Star Schema, Data Vault - выбор подхода под downstream-потребителей.
• Работа с Lakehouse: транзакции Delta Lake, schema evolution, time travel, CDC.
• CI/CD и качество данных:
• Настройка CI/CD для data-пайплайнов через Azure DevOps: Pipelines, Repos (GitFlow), Artifacts.
• Контроль качества данных: data contracts, автоматизированные проверки (Great Expectations, dbt tests или аналоги), алертинг на аномалии и нарушения SLA.
• Работа с Azure Key Vault (секреты, ключи шифрования) и Microsoft Purview (каталогизация, lineage, классификация).
• Взаимодействие:

• С Data Analysts и Data Scientists - интеграция Lakehouse-форматов в downstream, совместное проектирование семантических моделей в Power BI / Fabric.
• С backend- и интеграционными командами, бизнес-доменами - проектирование data contracts и согласование схем.

• Участие в развитии data-платформы совместно с Head of Analytics: технический дизайн, оценка новых инструментов, архитектурные предложения.
• Документирование решений в Confluence или корпоративном репозитории.

Что мы ждём

• Опыт в data engineering от 3 лет.
• Опыт с Microsoft Fabric или Databricks от 1 года.
• Уверенный PySpark: трансформации, оптимизация джобов, DataFrame API, Spark SQL.
• Уверенный SQL: оконные функции, CTE, оптимизация запросов, планы выполнения.
• Глубокое понимание Lakehouse и Delta Lake: ACID, schema evolution, time travel, V-Order, Z-Order, компакция.
• Azure Data Factory: пайплайны, linked services, triggers, мониторинг.
• Azure Key Vault и Microsoft Purview.
• CI/CD для data-пайплайнов: Azure DevOps Pipelines, GitFlow, автоматизированное тестирование.
• Моделирование данных: Medallion, Star Schema.
• Построение дата-продуктов: ownership, SLA, версионирование, data contracts.
• Опыт интеграций между гетерогенными источниками.
• Понимание ритейл-доменов: продажи, ассортимент, цепочка поставок, лояльность, маркетинг, e-commerce.
• Английский на уровне чтения технической документации и коммуникации с вендорами.

Условия

• Современный стек: Microsoft Fabric, Databricks, Delta Lake, Azure DevOps.
• Гибкий режим работы, свобода от дресс-кода.
• Performance-бонусы по результатам Review.
• Таунхоллы, митапы, demo-дни, внутренние сообщества.
• Партнёрские программы обучения: иностранные языки, Skillbox, Geekbrains, Yandex Practicum.
• Карта Korzinka Plus с 10% кешбэком в сети.
• Наставничество и программы материальной поддержки.
• Referral-бонусы за рекомендации.