Junior Data Engineer

Мы ищем Junior Data Engineer, который готов погрузиться в существующую инфраструктуру аналитики: разбираться в коде, оптимизировать пайплайны, исправлять баги и добавлять новые процессы. Стек уже настроен - ClickHouse, Airflow, API-интеграции, GitHub.

Но главное - это не просто поддержка. Мы находимся на этапе активного внедрения AI-решений в бизнес-процессы, и перед командой стоят амбициозные задачи по созданию больших продуктов с использованием LLM и RAG. У тебя будет возможность развиваться именно в этом направлении: участвовать в проектировании и интеграции ИИ-компонентов, работать с векторными базами данных, строить пайплайны для подачи контекста в модели.

Обязанности:

• Поддержка и развитие ETL/ELT-процессов: Обеспечение бесперебойной работы существующих пайплайнов данных (ClickHouse, Airflow), исправление ошибок и мониторинг качества данных.

• Работа с источниками данных: Настройка и поддержка интеграций с внешними источниками через API, а также обработка файлов, поступающих по электронной почте.

• Администрирование инфраструктуры аналитики: Работа с базами данных (ClickHouse, PostgreSQL), оптимизация запросов и структуры хранения.

• Автоматизация: Написание скриптов на Python для автоматизации рутинных задач по загрузке и трансформации данных.

• Работа с Git: Ведение кода пайплайнов в системе контроля версий (GitHub), участие в код-ревью.

• Участие в R&D проектах: Активное участие в создании и внедрении новых больших проектов компании, связанных с интеграцией AI/LLM в бизнес-процессы (под руководством старших коллег).

Требования:

• Высшее образование;

• Желательно дополнительное образование по соответствующему профилю;

• Опыт работы: от 1 года до 3 лет коммерческой разработки или администрирования в области Data Engineering.

• Язык программирования: Уверенное знание Python.

• Базы данных: Практический опыт работы с ClickHouse (создание таблиц, оптимизация, работа с ReplacingMergeTree) и PostgreSQL.

• Оркестрация: Опыт настройки DAG'ов в Apache Airflow.

• Интеграции: Опыт работы с внешними REST API.

• Инструменты: Уверенное владение Git.

Будет преимуществом (плюсом):

• Опыт работы с LLM или фреймворками для работы с ИИ (LangChain).

• Понимание концепции RAG (Retrieval-Augmented Generation)

• внимание к деталям и аккуратность в работе с данными;

• инициативность, способность самостоятельно решать задачи и предлагать улучшения;

• аналитический склад ума;

• системность в принятии решений;

• умение работать в команде и взаимодействовать с аналитиками;

• навыки приоритизации и ведения нескольких задач параллельно;

• ответственность за результат.

• Гибкий график работы: 5/2, с 8:00 до 17:00 (либо 9:00 до 18:00);

• Оформление согласно Трудовому законодательству РФ;

• Работа в комфортабельном офисе, возможен гибридный график или полная удаленка по московскому времени (UTC + 3).

• Дружный коллектив

• Наличие свободной парковки;

• Место работы: г.Химки, МТК ГРАНД 1, ул.Бутаково, 4.