Data Engineer

В ноябре переезжаем в новый офис в Сколково. Сейчас работаем на Соколе - пожалуйста, учитывайте это при отклике на вакансию.

RUTUBE - крупнейшая российская видеоплатформа с 15 млн DAU и 80 млн MAU. Мы строим новую рекламную платформу, будущего лидера на рынке видеорекламы.

Мы ищем мидл продукт-менеджера, который усилит команду и поможет нам развивать рекламные продукты Rutube: от рекламного кабинета до алгоритмов показа и повышения монетизации.

Тебе предстоит:

• Построение ETL-пайплайнов (Spark на Scala, Trino, DBT);
• Разработка ETL-инструментов для обработки данных (Scala, Python);
• Разработка внутренних API-сервисов (Python);
• Техническое сопровождение платформы данных.

Мы ожидаем:

• Уверенное владение Python;
• Уверенные знания SQL (оконные функции, оптимизация запросов);
• Глубокое знание Apache Spark (Python/Scala);
• Опыт работы с S3 и понимание, чем оно отличается от распределенной файловой системы (HDFS);
• Опыт работы с форматами файлов: Parquet, ORC, AVRO - в чем различия, какой тип для какой задачи лучше подходит;
• Опыт работы с Kafka, Spark Streaming / Kafka Streams - понимание проблем в NRT-процессах и методы их решения;
• Опыт работы с табличными форматами Apache Iceberg / Hudi / Delta Lake;
• Опыт работы c Docker, K8s;
• Опыт работы с Airflow;
• Понимание принципов параллельной обработки данных, какие могут быть сложности и как они решаются;
• Умение находить "узкие" места в ETL-процессах и оптимизировать их;
• Понимание концепции хранилища DWH - какие слои выделяют и для чего + понимание концепции DataLakeHouse.
• Преимуществом будет: - Знание Scala или другого Java-подобного языка - Опыт работы с MPP системами (GreenPlum / Hadoop / StarRocks) - Опыт работы с DBT (Data Build Tool)

Работать у нас комфортно:

Офис, где приятно быть

- Уютное пространство с зонами коворкинга - выбирай, где работать

Здоровье под защитой

- ДМС (стоматология включена)

- Врач прямо в офисе

Вкусно и бесплатно

- Фреш-бар от Novikov Group

- Кофе, чай, фрукты, снэки - каждый день

Отдых без компромиссов

- Обеденные зоны с настолками и массажными креслами Yamaguchi

Оформление по ТК РФ

- Всё официально