Data Engineering Team Lead

Команда развивает корпоративное DWH на ClickHouse с нуля - хранилище уже в проде и влияет на ключевую отчётность компании, но проект в стадии активного роста: круг потребителей и объём задач быстро расширяются.

Предстоит не просто поддержать этот рост, а выстроить его правильно - так, чтобы данные оставались быстро доступными и при этом не теряли единую версию правды.

Формат работы - гибкий гибридный формат в Санкт-Петербурге.

Основные задачи

• Прямое управление командой дата-инженеров: постановка задач, приоритизация, код-ревью, менторство, найм (в том числе предстоящий найм сеньора в команду)

• Отвечать за архитектура DWH: слои raw → stg → prep → core → dmt

• Проектное управление: roadmap развития DWH

• Управление доступом к данным: ролевая модель, права, гранты, распределение ресурсов хранилища между растущим числом потребителей

• Выстраивание процессов: CI/CD, Data Quality, Data Governance, дежурства и инцидент-менеджмент, стандарты разработки data pipelines и dbt моделей

• Выстраивание взаимодействия DE с бизнес-аналитиками, продуктовыми аналитиками, BI и другими потребителями данных

Мы ожидаем

• Опыт работы тимлидом дата-инженеров от 2 лет: реальный опыт постановки задач, проведения код-ревью, найма и развития сотрудников - не только техническая экспертиза

• Уверенный опыт с ClickHouse и dbt в проде

• Опыт построения или развития DWH по dimensional modeling / методологии Kimball

• Сильный SQL и понимание оптимизации запросов в ClickHouse (партиционирование, движки, materialized views, инкрементальная загрузка)

• Опыт работы с оркестраторами (Airflow или аналог)

• Python на уровне дата инженерных задач (ETL/ELT, автоматизация, интеграции с API)

• Опыт выстраивания Data Quality процессов (тесты, мониторинг аномалий, документация)

• Опыт CI/CD и работы с git-flow

+100 к резюме

• Опыт управления доступом к данным: ролевые модели, гранты, разграничение прав в хранилище на несколько команд-потребителей

• Опыт внедрения CDC

• Опыт с Kafka, Trino, Spark