Scala Developer (Hadoop, ETL)

Навыки: Scala, Apache Hadoop. Квалификация: Middle. Специализации: Бэкенд разработчик.

Bell Integrator - крупный системный интегратор страны. Мы являемся аккредитованной ИТ- компанией.

На текущий момент с нами работает более 2500 высококлассных аналитиков, руководителей проектов, разработчиков, тестировщиков и специалистов по сопровождению крупных информационных систем. Bell Integrator активно реализует проекты по всей России, среди наших заказчиков - ведущие системообразующие финансовые, телеком и ритейл компании страны.

Центральный офис Bell Integrator расположен в Москве, представительства - в Санкт-Петербурге, Нижнем Новгороде, Пензе, Саратове, Уфе, Барнауле, Минске (Беларусь).

Проект:

Мы, команда, активно развивающая аналитические продукты и сервисы для внутренних пользователей и внешних клиентов Экосистемы банка.

В рамках одного из наших направлений мы участвуем в развитии внутреннего продукта - Корпоративное хранилище данных на платформах Hadoop и Greenplum.

Данные используются аналитиками Банка для построения управленческой отчетности, моделирования, data science, обеспечения данными различных автоматизированных процессов.

Используются данные как внутренних систем банка, так и внешних источников (Единый государственный реестр ЮЛ/ИП, база арбитражных дел, портал госзакупок и т.д.).

Используемые инструменты:

для накопления и параллельной обработки больших объемов данных - Hadoop, Greenplum

для управления потоками ETL - Oozie, Airflow, Nifi, также используются скрипты на Bash

для разработки ETL на Hadoop - Scala, Spark, Hive

DevOps - Git, Jenkins, SonarQube

Мы ожидаем:

• Опыт работы со Scala и sbt, стеком технологий Hadoop (HDFS, Hive, Spark версии 2 и выше, spark SQL)

Чем предстоит заниматься:

• Разработка ETL потоков на платформе Hadoop (Scala + Spark SQL)
• Поиск возможностей оптимизации, повышение скорости расчета, эффективности использования вычислительных ресурсов
• Повышение стабильности работы приложений, анализ типовых ошибок и возможных рисков, развитие системы логирования, её полноты и информативности для последующей промышленной эксплуатации, при необходимости участие в решении возникающих при эксплуатации инцидентов
• Развитие системы контроля качества, автотестов

Условия:

• Возможность участия в интересном проекте
• Возможность профессионального и карьерного роста в компании;
• Опыт работы в команде профессионалов;
• Уровень заработной платы обсуждается индивидуально.
• Формат работы - офисный/гибридный в Москве