Data Engineer

Senior Data Engineer

Направление: Data Engineering / DWH / ETL

Уровень: Middle+ / Senior

Опыт работы: от 3 лет в Data Engineering или смежных направлениях.

Ищем Data Engineer для разработки и развития инфраструктуры обработки данных и корпоративного хранилища (DWH).

Специалист будет отвечать за построение ETL/ELT-процессов, интеграцию данных из банковских систем, автоматизацию загрузок, обеспечение качества и доступности данных.

Основные обязанности

• Разработка процессов получения данных из Oracle через CDC (Debezium, Kafka, Kafka Connect).

• Разработка и поддержка DAG в Apache Airflow для автоматизации загрузки и обработки данных.

• Проектирование слоёв данных: Staging, исторические данные (SCD2), Data Marts.

• Разработка и оптимизация ETL/ELT-процессов с использованием SQL и PL/SQL.

• Интеграция данных из различных источников в корпоративное хранилище (DWH).

• Организация выгрузки данных в объектные хранилища (S3, MinIO).

• Контроль качества данных, мониторинг загрузок и обработка ошибок.

• Настройка мониторинга и алертинга для контроля актуальности данных и работы пайплайнов.

• Подготовка технической документации, описание структур данных и Data Lineage.

Обязательные требования

• Опыт работы Data Engineer от 3 лет.

• Уверенное владение SQL: сложные запросы, оконные функции, оптимизация.

• Глубокие знания Oracle и PL/SQL: пакеты, индексы, планы выполнения, работа с большими объёмами данных.

• Опыт разработки на Python и автоматизации обработки данных.

• Практический опыт работы с Apache Airflow или аналогичными оркестраторами.

• Знание Apache Kafka, Kafka Connect и принципов CDC.

• Опыт работы с Debezium или аналогичными инструментами.

• Понимание моделирования данных: Fact/Dimension, SCD2, инкрементальная загрузка и идемпотентность.

• Опыт работы с Git, Code Review и Docker.

Будет преимуществом

• Опыт CDC-интеграции с Oracle: LogMiner, Redo/Archive Logs, SCN, Oracle GoldenGate.

• Знание PostgreSQL / Postgres Pro и PL/pgSQL.

• Опыт работы в банковской или финансовой сфере, понимание АБС и банковской отчётности.

• Опыт оптимизации загрузки и обработки больших объёмов данных.

• Практический опыт работы с GitLab CI/CD.

• Знание инструментов мониторинга Prometheus, Grafana, Zabbix.

Личные качества

• Аналитическое мышление и умение находить первопричины технических проблем.

• Способность самостоятельно разбираться в сложных задачах.

• Готовность уточнять требования и задавать вопросы при необходимости.

• Ответственность, самостоятельность и открытая коммуникация с командой.

Условия:

• Конкурентоспособная заработная плата
• Корпоративное обучение и развитие;
• Удобное месторасположение офиса;
• Тренажерный зал, шахматы, мафия
• Врач в штате (мед.осмотр каждый день)
• График работы 5/2, с 9.00 до 18.00;
• Трудоустройство согласно ТК РУЗ.
• Тимбилдинги и праздники.
• Участие в конференциях и форумах.
• Современное здание и офис в стиле High-tech

Перед тем, как откликаться на вакансию, просим внимательно ознакомиться с требованиями, если Вы тот самый то мы вас ждем.

С уважением, HR Департамент