Middle / Senior Data Engineer DWH

Навыки: Python, PostgreSQL, Greenplum, Apache Spark, Apache Airflow, DWH, ETL, Apache Kafka. Квалификация: Senior. Специализации: Инженер по данным.

Digital подразделение крупной производственной компания в поисках Data Engineer (Middle / Senior) в команду, которая строит Корпоративное Хранилище Данных и data-платформы для всего бизнеса.

Основной стек проекта:

• Язык программирования Python
• Базы данных Greenplum и PostgreSQL;
• Фреймворк Data Build Tool (DBT);
• Фреймворк Spark;
• Брокер сообщений Kafka;
• Оркестратор Airflow;
• Инфраструктура: Kubernetes;
• Управление инфраструктурой: Terraform, Ansible;
• Управление кодом: GitLab, SonarQube;
• Мониторинг: Prometheus, Grafana, AlertManager

Обязанности

• Разработка и поддержка ETL/ELT-процессов в Корпоративное Хранилище Данных
• Организация и оптимизация пайплайнов данных
• Разработка витрин данных и обеспечение качества данных
• Настройка и поддержка инфраструктуры данных (Airflow, Spark, Kafka, DBT)
• Взаимодействие с заказчиками: от сбора требований до внедрения и сопровождения решений
• Документирование и презентация результатов

Требования

• Опыт работы Data Engineer от 5 лет
• Высшее образование (IT/математика/математическая статистика/физика)
• Отличное знание Python и SQL
• Опыт работы с реляционными БД (Greenplum / PostgreSQL)
• Знание современных технологий обработки больших данных
• Опыт с Airflow, Spark, Kafka, DBT - будет преимуществом
• Умение работать в команде, сильные аналитические навыки и ответственность

Условия

• Официальное оформление по ТК РФ
• Возможность выбора формата работы (удаленка, гибрид, офис)
• Развитый социальный пакет, ДМС, бонусы