Middle Data Engineer (Москва) Опыт работы с Greenplum/ hadoop/Scala

КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием внутренних проектов в компании открыта вакансия

Middle Data Engineer (Опыт работы с Greenplum/ hadoop)

СТРОГО ОКОНЧЕННОЕ ВЫСШЕЕ ОБРАЗОВАНИЕ!!!

Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты

готов(а) работать с нашим Scala-ядром)

СТД ДО КОНЦА ГОДА!

Наши ожидания от тебя:

Опыт работы от 3х лет.

• Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения (execution plans), знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы).
• Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты готов(а) работать с нашим Scala-ядром).
• Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач.
• Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов.
• Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач.
• Уверенная работа с Git, понимание принципов CI/CD для данных. Дополнительным плюсом будет:
• Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink.
• Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi).
• Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в K8s).
• Опыт работы с инструментами Data Quality (dbt, Great Expectations и аналоги).
• Базовое понимание ML-процессов (как модели потребляют данные, feature store).

МЫ ПРЕДЛАГАЕМ:

• Работу в стабильной компании, "белую" заработную плату;
• Оформление в соответствии с ТК РФ с первого дня работы;
• Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
• Профессиональное обучение и развитие;
• Яркая и насыщенная корпоративная жизнь;

• Снабжаем всей необходимой современной техникой: мощный ноут привезут прямо в день оформления;

ОТКЛИКАЙСЯ =) ЖДУ КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)