Data Engineer

Aston - аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 3400+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.

Заказчик - быстроразвивающаяся ИТ-компания, с 2020 года разрабатывает инновационные решения для цифровизации бизнеса. Работает с ведущими компаниями финансового сектора и предлагает им комплексные решения для фронт- и бэк-офиса, финтех-продукты и системы работы с большими данными.

Почему это будет интересно?

• возможность работать над крупными задачами для лидеров рынка, применять свои знания и развивать экспертизу;
• современный стек технологий.

Чем предстоит заниматься?

• обследовать действующие интеграции, состав данных и расчётов; согласовывать изменения: перечень показателей, потребителей, глубину исторических данных, периодичность обновления;
• составлять и актуализировать документацию, спецификации источников данных, структуры данных, правила преобразования и реестр расчётов;
• согласовывать документы и изменения/дополнения в системах управления метаданными;
• разрабатывать новые и дорабатывать существующие интеграции в соответствии с согласованной схемой интеграции;
• разрабатывать дата-продукты, сервисы доступа к данным, публикации данных, витрины данных, процессы расчётов и преобразования данных в различных слоях ХД;
• выполнять и контролировать ошибки загрузки согласованной истории данных, настраивать регулярное обновление данных;
• тестировать процессы интеграции и обработки данных, сверять с источниками и устранять выявленные дефекты.

Чего мы ждем от специалиста?

• опыт работы в качестве Data Engineer, разработчика ETL на SQL и Pyspark от 2,5-х лет;
• опыт работы с СУБД PostgreSQL, Apache Airflow, с API, веб-сервисами, очередями и другими стандартными технологиями интеграции данных;
• экспертиза в реализации ETL/ELT для хранилищ или озер данных;
• уверенное владение SQL и PL/SQL;
• навыки оптимизации SQL, в том числе для целей OLAP;
• навыки работы с Pyspark;
• навыки работы с Apache Airflow - создание DAG’ов, управление зависимостями ETL-пайплайнов;
• знание подходов к разработке, документированию, тестированию потоков данных;
• обязательно хотя бы базовый уровень (курсы, практика или самостоятельное изучение) владения Apache Hadoop (Spark, Hive или Impala);
• опыт работы с брокерами сообщений (Kafka, RabbitMQ);
• опыт работы в Jira, Confluence, Git.

Будет плюсом:

• опыт работы с S3 Minio и Apache Iceberg.

Что мы предлагаем?

• Хорошая зарплата: уровень обсуждается индивидуально, есть доплаты за менторство и профактивности.

• Развитие: долгосрочные проекты от российских заказчиков, возможность менять направления, прозрачная система Performance Review.

• Комфорт и свобода: релокейт между офисами, выбор формата работы (удалённо, офис, гибрид), адаптация для новых сотрудников.

• Обучение: доступ к корпоративному порталу, митапам, конференциям (и как гость, и как спикер).

• Социальный пакет: ДМС со стоматологией, частичная компенсация спорта, бесплатный английский, оплачиваемый отпуск и больничные.

• Корпоративная жизнь: тимбилдинги, детские праздники, внутренние мероприятия.

Наши офисы:

• Москва (ул. Вильгельма Пика, 11, БЦ «Ботаника», 13 эт., оф. 1310),

• Санкт-Петербург (Владимирский проспект, д. 23, 8 этаж),

• Казань (Н. Ершова, 76/1),

• Нижний Новгород (ул. Новая, 28, коворкинг "VMESTE"),

• Самара (IT парк Монте Роза).

Откликайтесь, если вы готовы расти и развиваться вместе с командой ASTON! Наш рекрутер свяжется с вами, чтобы обсудить детали.