Senior Data Engineer
Мы проектируем и внедряем ключевые элементы архитектуры российского сегмента сети Интернет. Являемся разработчиком передовых программно-аппаратных комплексов для управления телеком-инфраструктурой.
Входим в контур группы компаний ПАО «Ростелеком» и являемся стратегическим активом АО «Градиент». Наши аппаратные платформы развернуты на сетях передачи данных ведущих федеральных операторов связи.
Разработка ведется в рамках стратегических государственных инициатив по цифровому суверенитету страны. Среди организаций, доверяющих нашим технологиям, - профильные ведомства федерального уровня: Роскомнадзор и Минцифры России.
О проекте:
Мы развиваем систему постанализа сетевого трафика, работающую с высоконагруженными потоками данных.
Система агрегирует данные из сотен источников, обрабатывает входной стриминг на уровне сотен тысяч событий в секунду и продолжает масштабироваться - в ближайшее время планируется подключение более 10 дополнительных источников данных.
Чем предстоит заниматься:
- Проектирование и реализация сложных batch и streaming пайплайнов в новом Lakehouse-стеке;
- Реализация и контроль технической части миграции Hadoop → S3/Iceberg;
- Проектирование схем хранения и оптимизация Iceberg-таблиц;
- Оптимизация Spark и Trino под highload и near-real-time требования;
- Разбор и устранение сложных инцидентов производительности;
- Внедрение и развитие практик Data Quality;
- Проведение код-ревью;
- Поддержка legacy-стека в части нестандартных или критичных кейсов.
Что мы ожидаем:
1. Глубокая инженерная экспертиза.
- 5+ лет опыта в Data Engineering;
- Продвинутый опыт работы со Spark (batch и streaming);
- Практический опыт построения streaming-обработки (Spark Streaming или Flink);
- Отличное знание SQL и опыт оптимизации под большие объёмы данных;
- Опыт работы с Kafka;
- Уверенное владение Python (включая PySpark).
2. Работа с распределёнными системами.
- Опыт работы с distributed storage (HDFS, S3 или аналоги);
- Понимание принципов Data Lake / Lakehouse;
- Опыт проектирования таблиц под большие объёмы данных (partitioning, compaction, storage layout);
- Опыт работы с Iceberg / Delta Lake или понимание их принципов.
3. Миграция и модернизация платформ.
- Опыт участия в миграции или модернизации хранилища данных;
- Понимание рисков и подходов к поэтапной миграции без остановки продакшена;
- Опыт работы с legacy-системами (Hadoop / Hive) и их оптимизации.
4. Производительность и надёжность.
- Опыт оптимизации Spark-job’ов;
- Понимание причин деградации производительности в distributed-среде;
- Опыт работы с highload-потоками;
- Опыт внедрения и поддержки Data Quality механизмов;
- Понимание SLA витрин и требований к near-real-time обработке.
5. Техническое лидерство (execution-level).
- Опыт проектирования сложных пайплайнов;
- Опыт код-ревью;
- Способность самостоятельно принимать технические решения в рамках архитектуры;
- Умение декомпозировать сложные инженерные задачи.
Будет плюсом:
- Опыт работы с Trino / Presto;
- Опыт работы с ClickHouse;
- Опыт работы с Kubernetes;
- Понимание практик Infrastructure as Code;
- Опыт работы с GitOps (Argo CD);
- Понимание различных моделей данных (Star/Snowflake, Data Vault, Anchor Modeling).
Условия работы:
- Работа в аккредитованной IT компании;
- Трудоустройство в соответствии с ТК РФ;
-
Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью);
- График работы: 5/2;
- Возможность работать удаленно;
- Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская);
- И плюшки ниже :) ↴