Ведущий Data разработчик (Фабрика данных)

О проекте

Мы развиваем Фабрику данных - современную платформу для управления корпоративными данными, объединяющую лучшие open-source технологии и собственные решения. Платформа помогает крупным банкам и финансовым компаниям выстраивать Data Lake и витрины данных для аналитики и AI.

Проект включает работу с высоконагруженными потоками, интеграцию разных источников (ERP, API, event-шины), использование технологий Kafka, Spark, Impala, Iceberg. Вся инфраструктура масштабируется в Kubernetes под реальные бизнес-задачи.

На текущем этапе, мы в поисках ведущего разработчика в нашу команду.

Чем предстоит заниматься:

• Разрабатывать и поддерживать пайплайны обработки больших данных (batch и streaming);
• Настраивать интеграцию с источниками данных (API, Kafka, JDBC, файловые системы);
• Реализовывать преобразования и обогащение данных с использованием Spark (PySpark);
• Проектировать и оптимизировать структуры хранения (Iceberg, Parquet, S3);
• Работать с SQL-движками (Impala, Trino, PostgreSQL) и управлять витринами данных;
• Внедрять инструменты мониторинга и алертинга качества данных и инфраструктуры;
• Взаимодействовать с командами DevOps, BI и аналитиками.

Наши ожидания:

• Аналогичный опыт работы на позиции разработчика от 3 лет;
• Опыт работы с большими объёмами данных и высоконагруженными системами;
• Уверенные знания экосистемы Apache Hadoop (HDFS, Impala, Trino, Hive, Hue);
• Опыт работы с Apache Spark (PySpark, MLlib, Spark SQL);
• Знание форматов хранения Apache Iceberg, Parquet;
• Опыт работы с Kafka (настройка, интеграция);
• Хорошие знания Python, опыт разработки ETL-скриптов и аналитических моделей;
• Уверенное владение SQL (PostgreSQL).

МЫ ПРЕДЛАГАЕМ:

• Полную занятость, график работы 5/2. Гибкое начало рабочего дня.
• Гибридный формат работы (не менее 1-го дня в неделю из офиса, 4 дня дистанционно) для городов: Москва, Санкт-Петербург, Ярославль, Чебоксары, Воронеж, Самара, Пермь, Уфа.
• Оформление по ТК РФ, бессрочный трудовой договор.