ML Engineer

Мы - команда экспертов, объединенных общей страстью к искусственному интеллекту и рекомендательным системам (RecSys).

Нашей главной задачей является создание современной, масштабируемой рекомендательной платформы, способной предвосхищать ожидания пользователей, предлагая персонализированные рекомендации на каждом этапе их взаимодействия с экосистемой Сбер. Наши решения охватывают широкий спектр отраслей: от финансов и e-commerce до индустрии развлечений и здравоохранения.

Развитие нашей платформы строится вокруг внедрения новых SOTA-моделей. Мы следим за мировыми трендами, экспериментируем с новыми подходами, внедряем их как часть платформы и доводим до конкретного применения в бизнесе. Ищем Machine Learning Engineer в команду для вывода в ПРОМ рекомендательных моделей Банка. Мы работаем с огромным количеством данных, и высоконагруженными сервисами, что делает нашу работу не только важной, но и технически интересной. Также от нас напрямую зависит развитие самого продукта рекомендательной платформы в Банке, так как именно мы определяем ключевые точки ее роста. Если вам близка идея быть первопроходцем, и вы хотите стоять у истоков новой технологии, присоединяйтесь к нам!

Обязанности

• разработка и совершенствование End-to-End ML-пайплайнов
• разработка продакшен-пайплайнов обработки данных
• работа с огромными объёмами данных Сбера (петабайты) на PySpark, исследование подходов применения их в моделях
• писать эффективный и масштабируемый код для тренировки и инференса моделей на PyTorch, проводить эксперименты на GPU-кластере
• performance оптимизации кода по обработке больших массивов данных или онлайн сервисов рекомендаций с высокой нагрузкой
• менторинг младших членов команды, обмен знаниями и экспертизой.

Требования

• математический бэкграунд
• хорошее знание Python и ключевых фреймворков для работы с данными (PySpark, PyArrow, Pandas)
• опыт написания качественного production кода
• опыт написания промышленных пайплайнов обработки данных, содержащих множество шагов, зависимостей и сложную логику
• опыт использования Airflow (или другого industry-standard оркестраторов пайплайнов, т.к. Luigi, Dagster и т.д.)
• хорошее понимание баз данных SQL / NoSQL
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки.

Будет плюсом:

• опыт работы с Kubernetes
• опыт работы с MLFlow (или другими аналогичными инструментами)
• опыт распределенного обучение больших моделей на GPU-кластере
• опыт или образование в области финансов, банкинга
• опыт реализации online inference в условиях высокой нагрузки
• опыт оптимизации пайплайнов препроцессинга данных под highload.

Стек технологий:

Python, PySpark, Airflow, Kubernetes, FastAPI, S3, PyTorch, MLFlow, Jira, Confluence, Git.

Условия

• комфортный современный офис рядом с м. Кутузовская
• возможность выбрать удобный график - офис/гибрид
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.