TeamLead Data Engineer

Навыки: Greenplum, Kubernetes, Apache Kafka, Apache Spark, Python, DWH, Apache Airflow, SQL. Квалификация: Lead. Специализации: Разработка/Другое.

S7 Techlab - IT-подразделение крупнейшей частной авиакомпании России. Мы разрабатываем собственные продукты для продажи авиабилетов, коммуникаций с путешественниками, учета финансов и обслуживания в аэропорту. Наши системы прогнозируют спрос и управляют предложением услуг, автоматизируют поддержку и улучшают пользовательский опыт на сайте и в приложении S7 Airlines.

В нашей команде работают талантливые увлеченные эксперты - каждый день мы создаем лучший тревел-опыт в России. Наши программные решения регулируют работу авиапарка, оптимизируют маршруты, оценивают потребности в обслуживании самолетов. Мы внедряем искусственный интеллект, машинное обучение и облачные технологии, исследуем большие данные и клиентский опыт. Наши разработки помогают миллионам людей экономить время и получать лучший сервис в полете и на земле. Мы превращаем идеи в инструменты - и меняем авиацию.

Data office S7 построен на принципах data mesh и децентрализованной аналитики.

В нашей линейке продуктов представлены хранилища, отвечающие за данные по коммерции, флоту, сотрудникам, пассажирам и рейсам.

Вам предстоит быть участником единой команды, которая занимается их разработкой и руководить ее частью.

Мы храним и обрабатываем данные в Vertica и PostgreSQL, оркестрируем ETL процессы в Airflow, реализуем стриминг в Apache Flink, обмениваемся данными с другими системами в Kafka и S3.

Храним всю инфраструктуру в Kubernetes.

Чем предстоит заниматься:

• Управление командой разработки в продуктах систем класса DWH - распределение задач, найм менторинг и развитие подчиненных, контроль и ответственность за результат команды;

• Формирование технических решений;

• Разработка, поддержка и оптимизация ETL процессов для формирования слоя модели данных, витрин данных, а также загрузки данных систем источников;

• Настройка инструментов для обработки и анализа данных;

• Взаимодействие с командой аналитиков по постановке задач и выявлению приоритетов, с командой разработки по технической реализации, со смежными командами (DBA, devops, SRE);

• Миграция с легаси решений на новые целевые.

Что мы ждем от кандидатов:

• Опыт от 3-х лет на аналогичной должности;

• Экспертное знание SQL и Python;

• Понимание способов моделирования систем класса DWH и компонентов платформы данных;

• Опыт работы с MPP БД / движками (Vertica, Greenplum, Trino, Spark), глубокое понимание особенностей работы распределенных вычислений;

• Оркестраторы ETL процессов (Airflow, Dagster);

• Опыт управления командой разработки от 2-3 человек.

Будет плюсом, если знаете и применяли в работе:

• Распределенный брокер сообщений Kafka;

• DQ фреймворки (Great Expectations, Soda, Deeque);

• Распределенные объектные хранилища (HDFS, S3);

• SQL фреймворки (dbt, sqlmesh);

• Контейнеризация и оркестрация (Docker, Kubernetes).

Мы предлагаем:

• Работа в аккредитованной IT-компании;

• Гибридный/офисный формат работы;

• Работа в комфортном офисе по адресу ул. Петровка, 7;

• Интересные и амбициозные задачи, открытость к любым, даже самым смелым идеям и предложениям в своей зоне ответственности;

• ДМС со стоматологией после прохождения испытательного срока;

• Корпоративная жизнь, насыщенная разнообразными коллективными событиями;

• Подарки для детей к первому классу и на Новый год;

• Профессиональное развитие: проходить обучение в компаниях-партнерах, участие и выступление в конференциях;

• Полеты по корпоративным тарифам S7 Airlines;

• Корпоративные скидки в BestBenefits: скидки в рестораны, на обучающие курсы, товары и тд.;

• Программа комплексной поддержки «Понимаю» (бесплатные консультации юристов, психологов, нутрициологов, финансистов).