Архитектор DWH

Мы строим единую в VK платформу данных, где центральная команда DWH выступает провайдером надёжной инфраструктуры, удобных инструментов и стандартов. За сами данные, бизнес-логику и ETL-пайплайны непосредственно отвечают бизнес-юниты. В нашей команде уже есть выделенный Продукт DWH, который развивает Дата-каталог и внутренний фреймворк OneETL.

Мы ищем Data Governance Lead, который возглавит методологическую и организационную часть управления данными. Ваша цель - сделать так, чтобы в условиях децентрализованного управления данные компании оставались прозрачными, чистыми, безопасными и приносили максимальную ценность бизнесу, а юнитам было удобно и выгодно соблюдать правила игры.

Задачи

1. Разработка стандартов и методологии:

• Разработка и внедрение единой «конституции данных» (политики, регламенты, стандарты моделирования и документирования), обязательной для всех бизнес-юнитов
• Классификация данных по уровням критичности (Tier-1, Tier-2) и формирование SLA по качеству данных для каждого уровня
• Классификация данных на наличие Персональной информации, разметка на необходимость данных для аудиторов

2. Развитие федеративного управления и аудит:

• Разработка и внедрение системы метрик «здоровья данных» (Data Health Dashboard): мониторинг процента описанных таблиц, покрытия DQ-тестами и критичных инцидентов в разрезе юнитов
• Проведение регулярных аудитов зрелости управления данными в юнитах, подсвечивание «слепых зон» и помощь командам в их устранении
• Верхнеуровневый контроль кросс-доменных изменений, чтобы минимизировать риски нарушения связей (Data Lineage) между юнитами

3. Проектирование требований к контенту DG-инструментов:

• Выступление в роли главного бизнес-заказчика для Продакта DWH на доработку Дата-каталога и фреймворка OneETL (формирование требований к метаданным, логике сквозного Data Lineage, ролевым моделям доступа)
• Формирование требований к библиотекам и шаблонам проверок качества данных (Data Quality Framework), которые Продакт DWH внедряет в OneETL

4. Менторство юнитов и построение дата-комьюнити:

• Формирование и координация распределённой сети Data Stewards (стюардов данных) на стороне бизнес-юнитов: обучение, онбординг, фасилитация регулярных встреч и синхронизаций
• Популяризация культуры бережного отношения к данным (Data Literacy) в компании: проведение воркшопов, митапов, написание понятных гайдов и инструкций для аналитиков и инженеров юнитов

5. Управление командой из трёх-четырёх дата-аналитиков

Требования

• Опыт работы: от 3-5 лет в сфере Data Governance, Data Management или системного/дата-анализа в технологических компаниях с крупным DWH
• Понимание современных дата-архитектур: вы чётко понимаете разницу между Data Lake, классическим DWH и концепцией Data Mesh. Знаете, как устроены современные ETL/ELT процессы (идеально, если знакомы со стеком на базе dbt, Airflow/Dagster)
• Опыт работы с DG-инструментами: понимание принципов работы современных Data Catalog систем (например, DataHub, OpenMetadata, Alation, Collibra) и фреймворков качества данных (Great Expectations, Soda и так далее)
• Продуктовое мышление: вы умеете подходить к регламентам не с точки зрения «написать 100-страничный документ в Word», а с точки зрения удобства для конечного пользователя (инженера или аналитика юнита)
• Сильные навыки дипломатии (Soft Skills): умение договариваться, аргументированно отстаивать позицию перед лидерами бизнес-юнитов, продавать ценность порядка командам, у которых «горит» коммерческий бэклог