ETL разработчик

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан - удобнее и мобильнее. Для системы управления столицей технологии - это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан - повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Продукт: Цифровое правосудие - продукт который занимается созданием единой цифровой платформы судов общей юрисдикции города Москвы. Основная задача состоит в автоматизации и модернизации процессов судебного делопроизводства, а также в обеспечении эффективного взаимодействия судов с различными органами исполнительной власти и жителями города.

Что нужно делать:

• проектировать и реализовывать ETL-процессы для извлечения, трансформации и загрузки данных из разнородных источников (SQL/NoSQL СУБД, Kafka, S3, OpenTelemetry и др.)
• разрабатывать и поддерживать метаданные аналитического хранилища с использованием OpenMetadata (включая кастомизацию системы)
• внедрять процессы обеспечения качества данных и метаданных (валидация, мониторинг, алертинг)
• соблюдать стандарты OpenLineage для отслеживания происхождения данных (data lineage) на всех этапах ET
• проектировать и создавать витрины данных: разрабатывать схемы и представления (views) в PostgreSQL
• создавать и поддерживать коннекторы к различным источникам данных
• оптимизировать производительность ETL-процессов и аналитического хранилища
• интегрировать BI-систему Superset с хранилищем данных (включая кастомизацию)
• документировать процессы и метаданные в соответствии с корпоративными стандартами

• PostgreSQL (опыт проектирования схем данных, работы с представлениями (views), оптимизации запросов, использования расширенных возможностей - оконные функции, CTE, индексы).
• Apache Airflow (опыт создания DAG, оркестрации ETL-процессов, мониторинга выполнения задач, работы с XCom и Variables)
• Kafka (понимание принципов работы шины данных, опыт работы с Kafka Connect, понимание концепций топиков, партиций, offset)
• SQL (продвинутый уровень: сложные запросы, оконные функции, оптимизация, работа с CTE, понимание планов выполнения запросов)
• Основы работы с NoSQL-СУБД (понимание различий моделей данных, опыт извлечения данных из MongoDB, Cassandra или аналогичных систем)
• Python (уровень продвинутый)
• OpenMetadata (опыт настройки и кастомизации системы каталогизации, работа с API для автоматической регистрации метаданных)
• Docker, Kubernetes (опыт контейнеризации ETL-приложений, развёртывания Airflow/NiFi в кластере)

• рыночную зарплату и премии
• драйвовые задачи и ресурсы для их реализации
• преимущества аккредитованной IT-компании
• открытая атмосфера, где ценят обратную связь, инициативность, креатив
• материальную помощь в случае важных событий в жизни
• корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
• корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
• комьюнити по интересам
• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

  Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!