Data engineer

Мы - команда, отвечающая за функционирование и бесперебойную поставку данных в аналитическую платформу данных розничного бизнеса на базе Greenplum и ClickHouse (промышленные витрины и лаборатория данных для аналитиков, объем данных - сотни Тб). Наша работа - это фундамент, на котором аналитики и data scientists строят свои модели и принимают ключевые бизнес-решения. Мы ищем коллегу, который поможет нам поддерживать и развивать платформу, автоматизировать процессы обработки данных и следить за качеством информации.

Обязанности

• обеспечивать поставку данных: загружать данные на платформы Greenplum и Clickhouse с помощью наших внутренних инструментов. создавать собственные инструменты для поставки данных
• управлять платформой: разрабатывать и внедрять сервисы для автоматизации управления платформой: вакуум, сбор статистики, удаление ненужных таблиц, оптимизация физ.дизайна, выявление токсичной активности и т.д
• мониторить и оптимизировать: отслеживать состояние ETL-процессов в Airflow и собственных решениях) реагировать на сбои, находить и устранять "бутылочные горлышки" в дата-пайплайнах для ускорения загрузки
• автоматизировать рутину: писать скрипты на Python для автоматизации повторяющихся задач по обработке данных
• вести документацию: разрабатывать и поддерживать техническую документацию и базу знаний по нашим процессаму
• участвовать в R&D: тестировать новые технологии и инструменты для улучшения нашей платформы данных.

Требования

• опыт работы: не менее 2 лет в качестве Data Engineer / ETL Developer
• python: написание дагов в Airflow, асинхронность (asyncio), взаимодействие через драйверы (psycopg2, clickhouse-driver), pandas, работа с API, веб-сервисы (FastAPI)
• SQL: уверенное владение: сложные запросы, оконные функции, CTE, умение читать планы выполнения, оптимизация запросов
• СУБД: знание архитектуры и опыт работы с МРР СУБД (Greenplum, Teradata, Exadata)
• DWH/ETL: знание современных принципов обработки данных Опыт разработки ETL-процессов, построения хранилищ и витрин данных
• теоретическая база: понимание принципов работы реляционных СУБД, архитектуры DWH/витрин данных и ETL/ELT-процессов инструментов
• опыт использования планировщиков задач (Airflow или аналоги)
• проактивность: желание развиваться в области инженерии данных, учиться новому и самостоятельно решать сложные проблемы.
• коммуникация и командная работа: способность не только самостоятельно решать задачи, но и эффективно взаимодействовать с другими командами, вы умеете аргументированно доносить свою позицию, договариваться с внутренними бизнес-заказчиками и поставщиками сервисов и координировать совместную работу для достижения общей цели.
• английский: свободное чтение технической документации
• навыки работы с генеративными AI-моделями;
• опыт создания AI-агентов и использования их в работе будет преимуществом
• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
• инструментальное владение AI для анализа, генерации и автоматизации

Условия

• офисный формат (Поклонная 3к1)
• ежегодный пересмотр зарплаты и годовая премия
• расширенный ДМС и льготное страхование для семьи
• уникальная система обучения Сбера для профессионального и карьерного развития
• выгодная ипотека для сотрудников
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.