Data Engineering Team Lead (BI Platform)

Привет! Я Антон, отвечаю за платформенные команды в Профи.ру. Наш сервис помогает клиентам находить профессионалов для разных задач, а специалистам - зарабатывать на том, что они любят и умеют делать.

Ищу тимлида в команду BI. Несмотря на название, это скорее инженерная BI-платформа, чем бизнесовая команда. Задача ребят - сделать так, чтобы аналитики и бизнес получали нужные данные и инструменты быстро, стабильно и с понятным качеством.

В зоне команды много разных систем: realtime-аналитика, CDC из основной MySQL-базы, ETL и витрины данных, ClickHouse и Greenplum, калькулятор результатов A/B-экспериментов, OpenMetadata, Metabase и внутренние сервисы.

Сейчас у нас сразу несколько больших инженерных изменений: перенос realtime-аналитики на новый стандартизированный пайплайн, переход с RabbitMQ на Kafka, запуск CDC и обогащения событий в проде, развитие калькулятора A/B-тестов и системы расчёта зарплат поддержки.

В команде пять человек: три data-инженера, DWH-архитектор и BI-аналитик. Тебе предстоит быть их пипл-менеджером и отвечать за то, как команда проходит через эти изменения.

Работаем почти полностью удалённо. Регулярно встречаемся на онлайн-стендапе, иногда выбираемся куда-нибудь вместе, но обязательных офлайн-встреч нет.

Технологии

• Python - основной язык команды. На нём пишем большую часть сервисов и внутренних инструментов, которые сами поддерживаем.

• TypeScript - используем для сервисов, которые выходят за пределы команды, например админки и MCP-серверов.

• SQL - работаем с ClickHouse, Greenplum и MySQL.

• ClickHouse - realtime-аналитика, маркетинговые данные, затраты рекламных агентств и реплики витрин.

• Greenplum - ETL и формирование витрин по нескольким доменам данных.

• Kafka - стриминг аналитических событий и CDC.

• Debezium - CDC из основной MySQL-базы компании.

• Airflow 3 - оркестрация ETL-процессов.

• OpenMetadata - метаданные объектов баз данных и бизнес-глоссарий сущностей и метрик.

• Metabase - BI-инструмент.

• Есть немного легаси на PHP и Java, но новые решения на них не пишем.

Зачем тебе к нам

• Определять, какой будет BI-платформа Профи.ру дальше. Команда создаёт инфраструктуру и инструменты, которыми пользуются аналитики и бизнес. У тебя здесь большая зона технического влияния: от принципов доставки и хранения данных до того, как устроены ключевые витрины и доступ к ним.

• Прийти в момент, когда можно заметно изменить архитектуру. Мы переводим realtime-аналитику на новый пайплайн, переезжаем с RabbitMQ на Kafka, запускаем CDC и near-realtime-обогащение событий. Многие важные решения ещё предстоит принять и довести до продакшена.

• Работать с платформой целиком, а не с одним её слоем. В одной команде сходятся стриминг, ETL, ClickHouse и Greenplum, A/B-инфраструктура, метаданные и внутренние сервисы. Можно влиять на полный путь данных - от появления события в продукте до момента, когда аналитик или бизнес получает на его основе ответ.

Чем предстоит заниматься

• Быть пипл-менеджером для команды: работать с тремя data-инженерами, DWH-архитектором и BI-аналитиком.

• Провести команду через миграцию на новый пайплайн realtime-аналитики: перенести отправку событий и помочь перевести пользователей данных на новые структуры в ClickHouse.

• Перевести стриминговую аналитику с RabbitMQ на Kafka.

• Довести до продакшена CDC из основной MySQL-базы и near-realtime-обогащение аналитических событий.

• Развивать калькулятор результатов A/B-экспериментов: у аналитиков накопился запрос на существенные изменения в этом инструменте.

• Развивать систему расчёта зарплат поддержки, сделать расчёты прозрачнее и обеспечить отображение оплачиваемых событий в реальном времени.

• Поддерживать и развивать платформу данных: ETL и витрины, ClickHouse и Greenplum, OpenMetadata, Metabase и внутренние сервисы команды.

• Вместе с командой разбираться в логике ключевых витрин и следить за качеством и своевременностью предоставления данных.

Что нужно, чтобы к нам присоединиться

• Хорошая база в data engineering. В команде сильные самостоятельные инженеры, поэтому не нужно быть главным техническим экспертом. Но важно говорить с ребятами на одном языке, уверенно обсуждать пайплайны, ETL, хранилища и стриминг, вместе принимать решения.

• Опыт проектирования и развития data-платформ. Уметь видеть систему целиком, задавать правильные вопросы, замечать риски и помогать команде разбирать сложные технические развилки.

• Понимание realtime- и near-realtime-сценариев. В работе много стриминга, CDC и доставки событий, поэтому пригодится опыт с Kafka, ClickHouse, Debezium или похожими технологиями.

• Умение вести технические обсуждения и принимать решения в условиях неопределённости. Здесь не всегда будет один очевидный путь: важно уметь сравнивать варианты, объяснять выбор и договариваться с сильными инженерами.

• Готовность быть пипл-менеджером команды. В подчинении будут data-инженеры, DWH-архитектор и BI-аналитик, поэтому важно уметь держать общий фокус команды, помогать людям развиваться и выстраивать рабочее взаимодействие.

Что мы за это предлагаем

• Пересмотр зарплаты и грейда дважды в год - держим уровень рынка или выше.

• Опционы тем, кто круто себя проявит.

• Полный день со свободным графиком: классный офис в Москве или удалёнка. Рабочее время не контролируем.

• 100% ДМС в лучших клиниках России и СНГ - со стоматологией и лечением онкологии.

• Технику для работы - ноутбук на Mac или Windows и всё, что понадобится. Включая подписки на AI-инструменты.

• Обучение: оплатим профильные курсы, конференции и митапы. Проводим крутые хакатоны и тренинги.

• Скидку на Профи.ру - компенсируем до 3450 рублей gross от стоимости заказа.

• Книги: электронная библиотека «Альпины» и книжная полка в офисе.

• Завтраки в офисе: запеканки, каши, лосось с авокадо, круассаны и другая вкуснятина :)

• Вечеринки, которые сложно назвать корпоративом: покоряем горнолыжные склоны, устраиваем фестивали, собираемся в разных городах.

• Плюшку на выбор каждый месяц - компенсируем 50% стоимости, до 6900 gross рублей: спорт, психотерапия, массаж, check-up, коворкинг, няня или сиделка, парковка у офиса, обустройство рабочего места, мед. услуги вне ДМС или ДМС для родственника.