Data Engineer / Инженер данных

Привет! Мы - команда продуктов и цифрового развития, сейчас в поиске коллеги на позицию дата-инженера, который спроектирует и своими руками запустит платформу данных: хранилище, интеграции, единые справочники, правила обработки и предоставления данных.

Чем предстоит заниматься:

• Определять целевую архитектуру вместе с ИТ-директором и командой и поэтапно воплощать её в работающую платформу
• Самостоятельно писать и запускать загрузки и преобразования на Python и SQL, подключать API, базы данных, 1С и файловые выгрузки
• Проектировать слои хранилища, модели данных и витрины в ClickHouse; выбирать структуру таблиц и оптимизировать запросы
• Разрабатывать и сопровождать DAG в Airflow: зависимости, расписания, повторные запуски, догрузки и обработка сбоев
• Настраивать проверки качества, мониторинг и уведомления; обеспечивать защиту от дублей, полноту и актуальность данных
• Совместно с бизнес-аналитиком согласовывать справочники и правила сопоставления; готовить данные для аналитики, сервисов и ИИ-сценариев
• Развёртывать и сопровождать компоненты платформы совместно с ИТ, документировать решения и принимать интеграции подрядчиков

Какой опыт обязателен:

• Самостоятельное построение хранилища или его существенной части: от архитектуры до работающих загрузок и витрин
• Сильный SQL, уверенный Python, Git, тестирование и обработка ошибок
• Практический опыт Apache Airflow в эксплуатации: разработка DAG, диагностика сбоев и безопасные повторные загрузки
• Практический опыт ClickHouse: моделирование аналитических данных, загрузка, оптимизация запросов и понимание особенностей СУБД
• Понимание ETL/ELT, слоистой архитектуры, инкрементальных загрузок и контроля качества данных. Рабочие навыки Linux и Docker для запуска и диагностики компонентов
• Умение самостоятельно проектировать, писать код, запускать решения; обосновывать выбор технологий и обсуждать с бизнесом смысл данных

Будет плюсом:

• PostgreSQL, S3 и Parquet, CI/CD; dbt, опыт с 1С, рекламными платформами, Mediascope, НСИ/MDM и подготовкой данных для ИИ-сервисов

Мы рады предложить:

• Профессиональную команду
• Корпоративное обучение и развитие
• Классный офис в 1 мин от м. «Белорусская» (тут всегда есть чайкофефруктыснеки)
• График работы 10:00 - 19:00
• ДМС после испытательного срока
• Оформление трудовых отношений по ТК РФ
• Кот Кузя :)

Внимание!

Наша задача - найти талантливых сотрудников. Мы всегда приглашаем кандидатов на очное знакомство в наш офис и никогда не просим отправлять нам данные банковских карт, коды из смс и пр.

Если у тебя возникли сомнения - запроси у рекрутера подтверждение с официальной почты в домене igronik.ru.