Разработчик ХД/Data Engineer (middle+/senior)

Rapporto- одна из крупнейших IT-компаний на рынке телекоммуникаций. Более 17 лет мы обслуживаем B2B-рынок.

Наши продукты позволяют компаниям ежедневно общаться со своими клиентами через различные каналы коммуникаций:push-уведомления, мессенджеры, SMS-сообщения, IVR и другие.

Среди клиентов: ВкусВилл, ЦУМ, Лэтуаль, Боксберри, Л’Окситан, ОТП Банк, Райффайзенбанк и другие.

Нас 200 человек, у нас нет лишней бюрократии, работы ради галочки или микроменеджмента. Зато есть много сложных и интересных задач, быстрое принятие решений, а главное - у нас есть отличная команда!

Чем предстоит заниматься в нашей команде:

1. Разработка и оптимизация сложных SQL-запросов:

• написание эффективных, масштабируемых и поддерживаемых запросов на SQL и PL/pgSQL для аналитических и операционных задач;
• диагностика и устранение узких мест в производительности: анализ планов выполнения (EXPLAIN ANALYZE), оптимизация JOIN-ов, агрегаций, подзапросов;
• работа с оконными функциями, рекурсивными CTE, материализованными представлениями, партиционированием.

2. Глубокая работа с СУБД:

• понимание архитектуры PostgreSQL: MVCC, WAL, vacuum, индексы (B-tree, GIN, GiST, BRIN), блокировки, транзакции, isolation levels;
• понимание архитектуры ClickHouse: движки таблиц (MergeTree, ReplicatedMergeTree), партиционирование, сэмплирование, движки агрегации, колоночная модель, векторизованные вычисления;
• настройка параметров СУБД для баланса между производительностью, надёжностью и ресурсопотреблением;
• мониторинг и тюнинг производительности на уровне СУБД.

3. Проектирование и развитие структуры баз данных

• разработка схем данных: нормализация/денормализация, выбор типов данных, проектирование первичных и внешних ключей;
• проектирование масштабируемых и отказоустойчивых решений (репликация, шардирование в ClickHouse);
• построение и поддержка Data Warehouse (DWH).

5. Интеграция с инструментами оркестрации и обработки

• использование Apache Airflow (или аналогов) для оркестрации DAG-ов: написание, тестирование, мониторинг задач;
• написание ETL-скриптов на Python (например, с использованием pandas, SQLAlchemy, clickhouse-driver, psycopg2).

Что хотим видеть в Вас:

1.Экспертный SQL:

• свободное владение сложными запросами, CTE, оконными функциями, агрегациями;
• опыт написания и отладки PL/pgSQL (функции, триггеры, хранимые процедуры).

2. Глубокое понимание СУБД:

• PostgreSQL: архитектура, индексы, транзакции, репликация, vacuum, настройка производительности;
• ClickHouse: движки таблиц, колоночная модель, материализованные представления, оптимизация запросов под агрегации.

3. Опыт проектирования БД:

• умение проектировать как OLTP, так и OLAP-структуры;
• понимание компромиссов между нормализацией и производительностью.

4. Понимание архитектуры DWH:

• знание слоёв DWH, подходов к моделированию;
• опыт работы с измерениями и фактами.

5. Практический опыт ETL/ELT:

• реализация пайплайнов загрузки данных в продакшне;
• работа с инкрементальной загрузкой, обработка дублей, обновление исторических данных.

Будет плюсом:

6. Apache Airflow:

• написание DAG-ов, работа с операторами, сенсорами, XCom, pools, retries.
• настройка и поддержка Airflow-кластера (опционально);

7. Python:

• умение писать скрипты для обработки данных, интеграции с API, автоматизации;
• знание библиотек: pandas, requests, pydantic, logging, асинхронность (при необходимости).

8. Инфраструктурные навыки:

• базовое понимание Docker, Linux, мониторинга (Prometheus/Grafana), CI/CD.

Мы предлагаем:

• График работы: 5/2, удаленный формат работы на территории РФ по мск времени с 9.00 или 10.00ч;
• Работу в аккредитованной IT-компании, оформление по ТК;
• ДМС со стоматологией и психологом после ИС;
• Дружную команду профессионалов: ценим юмор, проводим крутые корпоративы, организовываем мастер-классы, квизы и другие мероприятия для неформального общения с коллегами;
• Наставничество со стороны руководства и поддержка коллег.