Data Engineer

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан - удобнее и мобильнее. Для системы управления столицей технологии - это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан - повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

ОМС - новый проект по импортозамещению АИС ОМС, информационной системы для автоматизации процессов, связанных с обязательным медицинским страхованием, такими как персонифицированный учет медицинской помощи и информационное обеспечение деятельности участников системы ОМС. Она обеспечивает сбор, хранение и обработку данных о медицинских услугах и страховых случаях.

Обязанности:

• Проектировать и развивать архитектуру потоков обработки и хранения данных.
• Разрабатывать и сопровождать ETL/ELT-пайплайны и интеграции с источниками данных. • Реализовывать dbt-модели, SQL-трансформации и объекты данных в ClickHouse. • Разрабатывать и поддерживать Airflow DAGs и механизмы оркестрации. • Организовывать хранение и обработку данных с использованием S3. • Обеспечивать надежность, производительность и масштабируемость data-процессов. • Реализовывать механизмы контроля качества данных, мониторинга и обработки ошибок. • Оптимизировать SQL-запросы, модели хранения и процессы обработки больших объемов данных. • Участвовать в проектировании и развитии DWH и аналитических витрин совместно с аналитиками. • Интегрировать новые источники данных и обеспечивать их стабильную загрузку. • Документировать технические решения и участвовать в развитии инженерных стандартов команды. • Взаимодействовать с аналитиками, разработчиками и Заказчиками при проектировании и реализации решений.

Требования:

Опыт работы от 3 лет в Data Engineering, разработке DWH или смежных инженерных направлениях.

• Уверенное владение SQL: CTE, оконные и агрегатные функции, подзапросы; оптимизация запросов и работа с большими объемами данных.
• Уверенное владение Python для разработки ETL/ELT-процессов, интеграций и автоматизации обработки данных.
• Опыт проектирования и разработки ETL/ELT-пайплайнов и потоков обработки данных.
• Глубокое понимание принципов построения DWH, Data Mart и моделей данных.
• Практический опыт разработки dbt-моделей, SQL-трансформаций и управления зависимостями между объектами данных.
• Уверенная работа с ClickHouse: проектирование таблиц, выбор схем хранения, оптимизация запросов и производительности.
• Опыт работы с системами оркестрации, преимущественно Airflow.
• Опыт работы с S3 и объектным хранением данных.
• Понимание принципов интеграции данных и работы с форматами JSON, XML, CSV.
• Опыт построения и сопровождения процессов загрузки данных из различных источников.
• Понимание принципов Data Quality, контроля целостности, полноты и актуальности данных.
• Опыт работы с Git.
• Навыки декомпозиции технических требований и проектирования решений совместно с аналитиками, разработчиками и Заказчиками.

Будет преимуществом:

• Опыт проектирования и развития корпоративных хранилищ данных.
• Опыт работы с другими аналитическими СУБД и DWH-платформами.
• Опыт построения потоковых решений и систем потоковой передачи данных.
• Опыт настройки мониторинга и алертинга data-пайплайнов.
• Навыки оптимизации инфраструктурных и вычислительных затрат.
• Профильное высшее образование. Личностные качества
• Системное и инженерное мышление.
• Ответственность за надежность и результат работы data-платформы.
• Ориентация на качество, производительность и поддерживаемость решений.
• Умение самостоятельно принимать технические решения.
• Способность быстро погружаться в новые технологии, источники и предметные области.
• Умение работать в команде и эффективно взаимодействовать со смежными специалистами.

Условия:

Что мы предлагаем:

- Рыночную зарплату и премии;

- График работы 5/2;

- Интересные задачи и ресурсы для их реализации;

- Преимущества аккредитованной IT-компании;

- Материальную помощь в случае важных событий в жизни;

- Корпоративное обучение и доступ к онлайн-библиотеке;

- Корпоративные тренировки и спортивные активности: бег, футбол, волейбол, баскетбол, теннис и другие;

- Комьюнити по интересам;

- Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!