RnD ML Team Lead (Sber AI)

Мы - исследовательская команда, на переднем крае LLM-технологий. Мейнстрим-рецепт LLM для нас - это потолок, который мы пытаемся пробить.

Ищем архитектурные ходы, новые objective-функции, нестандартные режимы reasoning'а - всё, что может дать кратный прирост качества/скорости. Жизненный цикл идеи: от гипотезы → PoC-фреймворк → прод. флагманской LLM. Если коротко: ищем людей, которым интересна прикладная исследовательская работа в среднем и высоком risk-reward профиле.

Направление, под которое ищем лида: омнимодальная память.

- как модель хранит, обновляет и использует знание за пределами контекстного окна - по тексту, аудио, видео

- память как часть архитектуры, а не обвязка вокруг модели: обучаемые механизмы записи и чтения, консолидация, забывание

- длинный контекст и длинные сессии, работа с KV-кэшем

- метрики и бенчмарки под память - чем меряем прогресс, чтобы не обманывать себя

- стыковка с остальными треками команды: reasoning, агенты, инференс

Над чем работаем помимо этого

Альтернативные архитектуры

- encoder-decoder, гибридные attention (linear + softmax), sparse/MoE с нестандартным dispatching, итеративные/loop-трансформеры

Новые training objectives и режимы обучения

- multi-token и future-state prediction, RL-pretraining, дистилляция против ансамблей teacher-моделей

Reasoning

- латентный/омнимодальный reasoning, обучаемые value-сети, MCTS-подобный поиск, self-play, ансамбли гетерогенных моделей

Эффективность и inference

- адаптивные вычисления, MoD/early-exit, serving для нестандартных архитектур

Специализированные направления

- символьные/фонетические задачи, креативная генерация, agentic capabilities

Часть гипотез доедет до PoC/прода, часть умрёт на small-scale. Это ожидаемо.

Обязанности

- Собрать и защитить план направления: какие гипотезы берём, какие не берём, чем меряем успех

- Разбирать существующие LLM-пайплайны до компонент и находить места для апгрейда не на 1%, а в разы

- Вести несколько гипотез параллельно - от абляций до полного pretrain/post-train цикла со scaling laws

- Обучать, валидировать и имплементировать новые архитектуры и objectives - иногда с залезанием в инфраструктуру (kernel'ы, training-фреймворк, serving)

- Упаковывать результаты в PoC, инференс-движок, пилоты

- Растить команду под трек: нанимать, ставить задачи, ревьюить код и эксперименты

- Публиковаться на A/A*-конференциях - опционально, но поощряем

Требования

- Глубокое понимание современного трансформера и всех этапов LLM-пайплайна

- Качественный воспроизводимый ML-код, опыт обучения в multi-GPU (лучше multi-node) режиме

- Практический опыт на каком-то из этапов LLM-строения - индустрия или серьёзный pet-project, формат не принципиален

- Хорошая насмотренность по литературе, способность читать paper'ы критически - отличать зёрна от плевел

- Умение быстро валидировать смелые гипотезы

Будет плюсом

- опыт в классическом ML/NLP до эпохи больших моделей

- публикации уровня A/A* и опыт прохождения review-цикла

- large-scale training (multi-node, FSDP/DeepSpeed/Megatron)

- призовые места на Kaggle и подобных

Предлагаем:

• compute без бюрократии
• выделенная команда на направление и инженерная поддержка под скейлинг
• прямое участие в стратегии направления - что делаем, во что не верим, на чём фокусируемся на длинном горизонте

Условия

• комфортный современный офис - м. Кутузовская
• ежегодный пересмотр зарплаты, годовой бонус
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.