Дата-инженер (интеграционные среды)

Группа Компаний Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания.

Масштабный технологический проект с глубокой экспертизой в цифровизации бизнеса. Ключевые отрасли: государственный сектор, FinTech, HRTech, коммуникации и медиа, услуги, рынок недвижимости, travel.

Нам доверяют крупнейшие компании РФ, среди них: Т1, ВТБ, Иннотех, Альфа Банк, ОИС и другие.

Более 6 лет мы ведем собственную продуктовую и заказную разработку высокоэффективных цифровых решений.

В связи с расширением команды мы ищем Дата-инженера (интеграционные среды) в команду банка

Стек технологий:

СУБД: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive).

Data Stack: Hadoop, S3, Impala, Hive, Spark, Iceberg, Kafka, Elasticsearch.

Языки программирования: Python (Pandas, NumPy, Matplotlib), C#, SQL.

Инструментарий: Git, Jira, Kubernetes.

Требования:

Профессиональные навыки и опыт:

• Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
• Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).
• Практические навыки конфигурации и оптимизации Spark-приложений и управления ресурсами Spark.
• Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
• Навыки работы с контейнеризацией и оркестрацией в среде Kubernetes (K8s).
• Опыт проведения нагрузочного тестирования систем обработки данных.

Общие компетенции:

• Экспертное владение SQL и навыками оптимизации сложных запросов.
• Знание основ математической статистики, анализа данных и основ машинного обучения (PyTorch, TensorFlow).
• Умение работать в условиях распределенных систем и обеспечивать консистентность данных при автоматическом определении типов схем.

Задачи:

• Развитие интеграционной среды: Разработка потоков подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC.
• Автоматизация и шаблонизация: Создание шаблонов в платформе управления метаданными для обеспечения подключения ключевых типов СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool).
• Разработка инструментов автоматизации: Проектирование Python-скриптов для автоматической генерации DDL/DML запросов и Airflow DAG для процессов загрузки и обслуживания данных.
• Поддержка и оптимизация: Исправление ошибок существующих потоков, а также разработка Airflow DAG для обслуживания таблиц Iceberg с применением кастомных операторов (оптимизация чтения при наличии значительного количества delete-файлов).
• Модернизация витрины: Доработка функциональности витрины DMDC для обеспечения полной поддержки возможностей каталога данных.
• Документирование: Подготовка и ведение проектной документации по результатам разработки.

Мы предлагаем:

• Удаленный формат
• Белую заработную плату, оформление согласно Трудовому кодексу РФ;
• Комфортный старт: 3 месяца плавного погружения под присмотром HR;
• Поддержку: IT-отсрочку и консультации HR/юристов;
• Прозрачные процессы и открытую коммуникацию;
• Работу на лучшем оборудовании без логирования времени, с фокусом на доверии и результате;
• ДМС: медицинское страхование за счет компании;
• Развитие: индивидуальный план обучения, посещение конференций и митапов, поддержка в развитии карьеры;
• Личный бренд: возможность выступать на конференциях, митапах, публикация статей;
• Бенефиты: ежеквартальное обновление корпоративных скидок;
• Движ: организация вечеринок оффлайн и онлайн, предоставление мерча, проведение конкурсов и челленджей.

Откликайтесь, будем рады познакомиться лично!