Senior Data Engineer

Навыки: Apache Spark, Apache Hadoop, Java, ClickHouse, ETL. Квалификация: Senior. Специализации: Инженер по данным.

Компания Cinimex - разработчик ПО и системный интегратор. Мы работаем с российскими банками ТОП-20, ритейлерами, производственными и добывающими компаниями. К своему 29-летию компания имеет уникальный опыт разработки программных решений и продолжает развивать свою экспертизу: разработка на микросервисной архитектуре, машинное обучение и искусственный интеллект, IoT, продуктовое направление и автоматизация предприятий.

Сейчас мы в поисках Senior Data Engineer к нам в команду.

Задачи:

• Разработка ETL-пайплайнов (Apache Spark on java, HDFS (parquets), ClickHouse, Hive, Greenplum);
• Разработка витрин данных в Greenplum и ClickHouse;
• Оркестрация ETL-процессов;
• Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль);
• Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset.

Ожидаем от Вас:

• Глубокий экспертный опыт работы с Apache Spark от 4-5 лет (оптимизация джобов, работа с широкими и узкими зависимостями, настройка памяти и shuffle-операций);
• Опыт работы с ClickHouse;
• Опыт работы с Hadoop (HDFS, Hive);
• Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;
• Опыт оптимизации ETL-пайплайнов и SQL кода;
• Продвинутые знания SQL;
• Готовность осваивать Java для использования Spark.

Мы предлагаем:

• Работу в аккредитованной IT-компании;
• Формат работы: офис/гибрид (г. Москва/Нижний Новгород/Санкт-Петербург);
• Гибкое начало рабочего дня: с 08:00 до 11:00 (по МСК);
• ДМС со стоматологией, телемедициной и полисом ВЗР;
• Возможность взять больничный без больничного: 7 дней в году;
• Поэтапную адаптацию от hr и линейного руководителя;
• Ревью и развитие: оцениваем результаты, обсуждаем карьерные цели и выстраиваем индивидуальный план развития;
• IT-конференции, курсы, тренинги и сертификации за счет компании;
• Корпоративный английский;
• Развитие личного бренда: готовим спикеров к выступлениям на конференциях, помогаем в написании статей;
• Внутренние митапы, онлайн/офлайн активности (квизы, вечера настольных игр, спортивные мероприятия).