Data Analyst (Middle)

Ищем Data Analyst уровня Middle в команду развития банковского хранилища данных (DWH).

Нам нужен специалист, который уверенно владеет аналитикой и SQL, умеет работать с большими объёмами данных и понимает архитектуру корпоративного хранилища, подход Data Vault 2.0 и специфику банковской предметной области.

Особенно ценен практический опыт работы с банковскими сущностями: Главной книгой, сделочной моделью, счетами, проводками, оборотами, остатками и финансовыми показателями, а также понимание принципов их формирования в DWH.

Основные задачи

• Анализ и обработка больших объёмов данных в DWH.
• Написание и оптимизация SQL-запросов в Greenplum.
• Анализ источников данных, выявление взаимосвязей, дубликатов и проблем качества данных.
• Участие в проектировании и развитии моделей данных на основе Data Vault 2.0.
• Анализ бизнес-требований и их трансформация в требования к данным и витринам.
• Проработка маппингов по цепочке: источник → DWH → витрина.
• Участие в разработке и сопровождении бизнес- и аналитических витрин.
• Проверка корректности загрузки данных и проведение сверок между источниками и DWH.
• Автоматизация регулярных процессов обработки данных с использованием Apache Airflow.
• Взаимодействие с разработчиками, архитекторами, бизнес-заказчиками и BI-командами.
• Участие в поиске и устранении проблем качества данных и расхождений.

Что важно знать

Data Vault 2.0

• Понимание основных принципов Data Vault 2.0.
• Понимание назначения и различий Hub, Link и Satellite.
• Знание принципов построения Raw Vault и Business Vault.
• Понимание историчности данных и принципов загрузки изменений.
• Понимание hash key / hash diff и принципов дедупликации.
• Умение читать и анализировать модель данных, построенную по Data Vault 2.0.
• Желателен практический опыт проектирования или разработки объектов Data Vault.

Банковская предметная область

Необходимо понимание базовых банковских процессов и данных:

• Главная книга (ГК);
• сделочная модель;
• бухгалтерские счета и план счетов;
• проводки и корреспонденции счетов;
• дебет и кредит;
• обороты;
• остатки;
• операции и сделки;
• юридические и физические лица;
• продукты и договоры;
• принципы формирования финансовых показателей в DWH.

Большим плюсом будет опыт работы с банковскими АБС и источниками данных, например ЦФТ, а также опыт построения банковских витрин и отчётности.

SQL / Greenplum

• Уверенное знание SQL на уровне Middle.
• Сложные SELECT, JOIN, CTE, оконные функции и подзапросы.
• Понимание принципов работы с большими объёмами данных.
• Умение анализировать планы выполнения запросов.
• Понимание принципов распределения данных и специфики Greenplum.
• Опыт оптимизации SQL-запросов и поиска причин деградации производительности.
• Понимание особенностей партиционирования и распределения таблиц будет плюсом.

Apache Airflow

• Практический опыт работы с Apache Airflow.
• Понимание понятий DAG, task, operator, dependency.
• Умение читать и анализировать существующие DAG.
• Навык создания и сопровождения простых DAG.
• Понимание расписаний, повторных запусков (retries), логирования и контроля ошибок.
• Желательно понимание взаимодействия Airflow с DWH и ETL/ELT-процессами.

Требования к опыту

• 2-4 года опыта в Data Analytics, Data Engineering или DWH.
• Уверенное знание SQL.
• Практический опыт работы с Greenplum или другой MPP-СУБД.
• Знание Data Vault 2.0 на уровне уверенного понимания архитектуры и принципов построения моделей.
• Опыт работы с Apache Airflow.
• Опыт работы с большими объёмами данных.
• Понимание принципов построения корпоративного хранилища данных.
• Опыт работы в банковской предметной области будет существенным преимуществом. Понимание Главной книги и сделочной модели - один из ключевых критериев.

Будет плюсом

• Опыт работы с ЦФТ.
• Опыт построения банковских витрин.
• Опыт работы с PowerDesigner или другими CASE-средствами моделирования.
• Знание Kimball / 3NF в дополнение к Data Vault.
• Опыт работы с BI-системами.
• Знание Python на базовом или среднем уровне.
• Опыт работы с Git.
• Понимание metadata-driven подхода к построению DWH.

Нам нужен не просто специалист, который умеет писать SQL, а аналитик, способный разобраться в том, что представляют собой банковские данные, откуда они приходят, как связаны между собой и как корректно представить их в хранилище.

Идеальный кандидат сочетает в себе:

SQL + Greenplum + Data Vault 2.0 + Airflow + банковскую предметную область + понимание архитектуры DWH.