Senior Data/Lineage Engineer

Привет! Команда Evrone занимается продуктовой разработкой стартапов и помогает в цифровой трансформации бизнеса в России, США и Европе. Думаю, что вы о нас слышали от Григория Петрова (Evrone Devrel).

Ищем Data/Lineage инженера уровня Senior. Заработная плата зависит от уровня и определяется после прохождения технического собеседования.

Проект в домене MedTech, формирование устойчивого контура идентичности, схем данных, происхождения и хранения артефактов в платформе in-silico drug discovery.

Стадия проекта: рабочий прототип, целевая архитектура не зафиксирована окончательно.

Среда: преимущественно on-prem и air-gap, возможны shared trust zone, dedicated cell и burst-очередь во внешний cloud.

Бизнес-задача роли: не допустить потери истории кандидатов и результатов вычислительных экспериментов при развитии платформы и замене отдельных инфраструктурных компонентов. Downstream-стадии должны получать входные данные по устойчивому идентификатору предшественника и ссылке на объектное хранилище, а не по локальному пути на GPU-ноде.

Задачи:

• Разобрать текущие источники данных, lineage-теги, выходные схемы и сценарии, где успешный статус задачи не гарантирует наличие скачиваемого файла;
• Зафиксировать правила идентичности сущностей. На текущем этапе - дисциплина тегов при enqueue; целевой контур - compound registry с соответствием `InChIKey ↔ internal id`;
• Версионировать `output_schema` и extractors для Vina, OpenFE, ADMET, Lilly, triage, nomination и MADD;
• Обеспечить читаемость старых артефактов после появления новых версий схем;
• Настроить происхождение между стадиями в формате OpenLineage `START / COMPLETE / FAIL` или эквиваленте;
• Реализовать audit exporter без создания второго журнала статусов рядом с оркестратором;
• Ввести QC артефактов. Объект в MinIO/S3 должен скачиваться и парситься; `completed` без файла должен завершаться явной ошибкой;
• Перевести downstream-получение входов на идентификаторы и `s3://`, исключив зависимость от локальных путей;
• Согласовать контракты схем через JSON Schema и YAML handoff, а также glossary научных метрик совместно с backend и R&D;
• Закрепить инварианты автоматизированными тестами и передать документацию внутренней команде

Что для нас важно:

• Уверенный Python;
• SQL и PostgreSQL, включая миграции и понимание Row-Level Security;
• Опыт построения пайплайнов, где объектное хранилище является source of truth;
• Практический опыт data contracts, schema evolution и lineage;
• Работа с файловыми и бинарными артефактами, а не только с таблицами DWH;
• Опыт проектирования устойчивой идентичности сущностей независимо от оркестратора;
• Умение фиксировать инварианты тестами и передавать решение внутренней команде

Будет ОГРОМНЫМ плюсом:

• Понимание семантики OpenLineage, Marquez или DataHub без привязки решения к конкретному бренду;
• Опыт MLOps или научных пайплайнов с артефактами: ClearML, MLflow, Flyte, Nextflow или Airflow;
• RDKit, SDF и Parquet, JSON Schema;
• Опыт on-prem или air-gap окружений

Результат первых 60-90 дней:

• Карта разрывов lineage на пути `enqueue → nomination`;
• Работающие инварианты «нет обязательных тегов - нет enqueue» и «нет файла - нет успешного завершения»;
• Версии extractors согласованы с `tools.manifest`;
• Принято решение по audit-событиям без появления второго source of truth;
• Зафиксирован контракт данных, не зависящий от API ClearML;
• Критичные инварианты покрыты тестами, документация передана внутренней команде

Вне скоупа:

• Интерпретация SAR и критерии nomination;
• SDTM/ADaM, SEND, ELN/LIMS, RWE и GLP system of record;
• GPU-очереди и выбор замены ClearML как workload manager;
• BFF и UI, кроме стыков по схемам, скачиванию и идентичности;
• Построение нового data lake или DWH

Почему Evrone:

• Мы занимаемся технически сложными, высоконагруженными, наукоёмкими проектами, проектами с большой бизнес логикой или большой серверной инфраструктурой. Нам доверяют: аналитику, проектирование интерфейсов и дизайн, разработку, инфраструктуру и эксплуатацию. Мы становимся технической командой проекта целиком или консультируем и расширяем возможности существующих команд наших клиентов.
• Кроме того, Evrone помогает развиваться сообществу разработчиков. Мы делаем самую большую в России конференцию по Ruby - RubyRussia, проводим технические митапы, делаем свой новостной дайджест, а также спонсируем и помогаем в проведении конференций по Go, Python, React/Vue и функциональным языкам.
• Наши инженеры выступают на ведущих конференциях России и Европы и вносят вклад в Open Source проекты, мы берем интервью у лидеров комьюнити и пишем статьи на самые горячие темы индустрии. В этом году мы ставили стенд и выступали на конференциях Highload и TeamLeadConf.
• Вся команда работает удаленно с 2008 года. Мы знаем как организовать распределенную разработку комфортно и эффективно. Есть офисы для работы и встреч в Москве и Воронеже, а также офисы продаж в Сан-Франциско и Берлине.

Что предлагаем:

• Удаленную фултайм работу и мягкий график. Достаточно синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой;
• Качественный онбординг и hr-менеджмент (1:1, Grow Review). По желанию меняем проекты, не даем стагнировать. При формировании команды проекта учитываем профессиональные или личные интересы разработчиков;
• Работу в разновозрастном, разнополом и потрясающе дружном и профессиональном коллективе;
• Хорошо организованный воркфлоу, отсутствие бюрократии. Работа на доверии.
• Наши разработчики работаюттолько над одним проектом. Без постоянных переключений между ними.

Одна из ценностей Evrone - работа с удовольствием.

Для этого мы придумали Evrone Benefits. Каждому из нас выделяется годовой бюджет, автоматически пополняемый каждый новый год вашей работы в Evrone. Его можно потратить на полезные категории трат, направленные на:

• ДМС и здоровье;
• Спорт и абонемент для фитнеса или инвентарь для спорта;
• Курсы иностранного языка;
• Техника для работы и улучшение рабочего места;
• Обучение: курсы, тренинги, мастер-классы, семинары, книги и конференции.

Бонусы и премии:

• Повышение зарплаты по мере роста компетенций (по результатам ассесмента);
• Премии за привлечение новых сотрудников и новых клиентов;
• Дополнительная премия за выступления на конференциях и митапах;
• У вас есть возможность принять участие в проведении технических интервью специалистов, которые могут стать вашими коллегами. Проведение интервью оплачивается.

Обучение и рост компетенций:

• Проводим митапы. Вы можете быть как и слушателем, так и спикером;
• У нас есть культура менторства. В повседневных задачах и планировании карьеры будет помогать наставник;
• Развивать профессиональный уровень можно с помощью системы ассессмента Evrone Challenge;
• Есть внутренняя библиотека с электронными книгами и записанными курсами;
• Работаем и дружим с западными заказчиками, есть возможность практиковать свой английский.

Возможность стать докладчиком или автором:

• Если вы хотите выступить на оффлайн конференции, мы поможем вам подготовить контент для доклада и сделаем крутые слайды. DevRel Evrone (Григорий Петров) поможет подготовиться к выступлению на конференции, окажем поддержку на самой конференции и подготовим материалы с вашим докладом.
• Если вы хотите выступить на онлайн конференции, помимо помощи по подготовке доклада и подбору конференции, мы организуем вам студийную съемку или трансляцию вашего доклада;
• У нас есть блоги на всех популярных платформах России и мира. Наши редакторы и профессиональные авторы еженедельно выпускают новые материалы;
• Если вы написали статью, мы нарисуем для нее иллюстрации и поможем вам ее оформить и опубликовать. Если у вас есть только идея - редакторы помогут сформулировать мысли, оформить пост самостоятельно и правильно опубликовать для максимального охвата.

Возможность прокачаться в Open Source:

• Если у вас есть популярные open source проекты - мы поможем с их продвижением и окажем поддержку в развитии;
• Если вы контрибьютите в популярные проекты с открытым исходным кодом, мы оплатим часы, которые вы на это потратили.
• Если вы ничего этого не делаете, но очень хочется начать - в Evrone есть менторы, которые помогут вам сделать первые шаги: подберут задачки для старта, помогут решить их и правильно оформить pr.

Отдых и развиртуализация:

Мы проводим ежегодный фестиваль Evrone Fest, на котором собирается вся наша команда, а также тематические встречи в различных городах. Поэтому, где бы вы ни находились, мы будем рады увидеться лично.