{"id":3804684,"url":"https://alion.io/job/giper-fm-lead-data-engineer-arkhitektor-platformy-dannykh","title":"Lead Data Engineer / Архитектор платформы данных","company":{"id":97832,"name":"Giper.fm","domain":"giper.fm","url":"https://alion.io/company/giper","size_band":"501-1000","is_staffing_agency":false,"employer_type":"direct","is_intermediary":false,"listed_via":null,"ats_vendor":"HeadHunter","truth_index":{"grade":"A","score":100,"open_postings":3,"ghost_share":0,"stale_share":0,"repost_share":0,"time_to_fill_p50_days":22,"computed_at":"2026-11-16T05:46:25Z"}},"role":"Data Science","role_family":"Data Science","seniority":"lead","employment_type":null,"work_mode":"hybrid","remote_scope":null,"remote_scope_basis":null,"remote_working_hours":null,"hiring_geo_confidence":"structured","locations":["Moscow, Russia"],"countries":["RU"],"hiring_countries":[],"hiring_countries_total":0,"salary":null,"salary_estimate":null,"experience_years_min":null,"visa_sponsorship":false,"relocation_package":false,"has_equity":false,"technologies":[{"name":"Airflow","optional":false},{"name":"Amazon S3","optional":false},{"name":"Apache Iceberg","optional":false},{"name":"CI/CD","optional":false},{"name":"ClickHouse","optional":false},{"name":"Data Vault","optional":false},{"name":"dbt","optional":false},{"name":"Delta Lake","optional":false},{"name":"Docker","optional":false},{"name":"GitLab CI","optional":false},{"name":"GitOps","optional":false},{"name":"Grafana","optional":false},{"name":"Greenplum","optional":false},{"name":"Kubernetes","optional":false},{"name":"Loki","optional":false},{"name":"MinIO","optional":false},{"name":"PostgreSQL","optional":false},{"name":"Presto","optional":false},{"name":"Prometheus","optional":false},{"name":"Python","optional":false},{"name":"SQL","optional":false},{"name":"Trino","optional":false}],"status":"live","first_seen_at":"2026-11-05T12:55:07Z","employer_posted_date":"2026-11-05","last_verified_at":"2026-11-16T06:47:19Z","board_verified":true,"closed_at":null,"days_open":11,"trust":{"level":"ok","repost_count":null,"flags":[],"days_open":11},"description":"giper.fm - технологическая компания на стыке e-commerce, digital-маркетинга, аналитики и рекламных технологий. У нас сильная команда Data Engineers и Data Analysts и современный стек: реляционное ядро DWH, Lakehouse для финансовых и внешних отчётов, федеративный движок запросов и быстрый колоночный слой витрин в ClickHouse для BI.\n Бизнес и объёмы данных растут, и наша цель - перевести платформу из режима «быстро доставили первые витрины» в надёжную, масштабируемую и прозрачную систему уровня production. Легаси на 10 лет и многомесячных комитетов у нас нет, поэтому вы работаете в коротком плече с бизнесом.\n Сейчас мы ищем Lead Data Engineer, который возьмёт на себя техническое лидерство, выстроит системный Data Quality, свяжет разрозненные сервисы трансформаций в единую управляемую архитектуру и задаст инженерные стандарты.\n Чем предстоит заниматься:\n Архитектура и развитие платформы данных\n Отвечать за целевую архитектуру гибридной платформы (реляционный DWH + Lakehouse + аналитические витрины в ClickHouse) и её масштабирование под рост бизнеса.\n Провести ревизию существующих сервисов наполнения хранилища и сборки витрин, устранить узкие места по производительности и конкуренции за вычислительные ресурсы.\n Спроектировать и внедрить централизацию SQL-трансформаций и сквозной граф зависимостей (Data Lineage от источника до BI-дашборда).\n Развивать прагматичный IaC / GitOps-подход: управление схемами, конфигурациями и централизованной ролевой моделью доступа (RBAC).\n Data Quality и Data Governance\n Перевести контроль качества данных из реактивного режима (по обратной связи от бизнеса) в проактивный автоматизированный конвейер.\n Внедрить блокирующие проверки качества (Quality Gates / Write-Audit-Publish) между посадочным слоем и боевыми витринами в ClickHouse, а также входную валидацию (дата-контракты) для внешних и внутренних источников.\n Настроить автоматическую кросс-системную сверку операционных данных (ядро DWH) и закрывающих документов/фактов (Silver-слой в Lakehouse) через федеративный движок запросов (Trino).\n Развивать культуру прагматичного Data Governance без лишней бюрократии: каталог доменов, единый глоссарий бизнес-метрик, правила работы со слоями и снижение Bus Factor в команде.\n Техническое лидерство и процессы (DE + Аналитика)\n Быть техническим лидером для команды инженеров данных: проводить архитектурное и код-ревью, помогать в сложных оптимизациях запросов и физических моделей хранения.\n Выстроить четкий процесс взаимодействия и приемки задач (Definition of Done) на стыке Data Engineering и Аналитики, чтобы витрины сдавались без таймаутов и расхождений в цифрах.\n Что мы ожидаем от кандидата:\n Экспертный SQL и физика СУБД. Глубокое понимание внутреннего устройства ClickHouse (движки семейства MergeTree, разреженный первичный индекс и ORDER BY, партиционирование, Dictionaries, профилирование через system.query_log, стоимость тяжелых JOIN и мутаций) и опыт проектирования ядер DWH на реляционных / MPP СУБД (PostgreSQL, Greenplum или аналоги: планы выполнения EXPLAIN ANALYZE, индексы, секционирование, блокировки).\n Lakehouse и распределенные движки. Практический опыт с Trino / Presto (федеративные запросы, распределенные и broadcast-джойны, управление памятью воркеров), объектными хранилищами (S3 / MinIO), табличными и файловыми форматами (Delta Lake / Apache Iceberg / Parquet), каталогами метаданных (Hive Metastore и аналоги), понимание механизмов компактификации (optimize / vacuum) и партиционирования в озере данных.\n Инженерия пайплайнов, код и оркестрация. Уверенное владение Python (сервисы инжеста и обработки данных, работа с API, deltalake / pyarrow / polars / pandas без OOM) и промышленная работа с Apache Airflow (идемпотентные DAG'и, динамическая генерация задач, запуск в изолированных окружениях Docker / Kubernetes).\n Трансформации, CI/CD и прагматичный IaC. Опыт централизации и стандартизации слоя трансформаций (например, внедрение dbt) и выстраивания сквозного Data Lineage; выстраивание доставки кода через GitLab CI/CD, управление миграциями схем БД, секретами (Vault) и ролевой моделью доступов (RBAC / SSO) через код (GitOps).\n Инженерный подход к Data Quality и Observability. Практический опыт внедрения конвейеров качества данных (паттерн Write-Audit-Publish, атомарная подмена партиций REPLACE PARTITION / EXCHANGE TABLES, валидация схем и дата-контрактов на входе, технические метатаблицы аудита, мониторинг и алертинг в стеке уровня Prometheus / Grafana / Loki).\n Архитектурный прагматизм и техническое лидерство. Опыт проектирования хранилищ (подходы Кимбалла, Data Vault, гибридные слоистые архитектуры Bronze/Silver/Gold, raw/stg/core/mart), умение аргументированно выбирать технологии под задачу и размер команды (KISS / YAGNI), проводить глубокое код-ревью и менторить инженеров.\n Будет плюсом:\n Понимание того, как современные BI-системы генерируют запросы к ClickHouse, и умение проектировать слой витрин и представлений под быстрые дашборды.\n Опыт работы с данными e-commerce, маркетплейсов, ретейла и digital-маркетинга.\n Что мы предлагаем:\n Современный стек без легаси. ClickHouse, Trino, Lakehouse (Delta Lake / Iceberg), Apache Airflow, dbt, GitLab CI/CD, Kubernetes - вы работаете с актуальными инструментами, а не поддерживаете десятилетние системы.\n Влияние на архитектуру. Вы напрямую выбираете технологии, задаёте инженерные стандарты и определяете, как развивается платформа данных компании.\n Гибридный формат работы; после прохождения испытательного срока возможна полная удаленка.\n Пятидневная рабочая неделя. Можно выбрать удобный график: 09:00-18:00 или 10:00-19:00.\n Уютный офис-опенспейс в Санкт-Петербурге в районе метро «Московская» (БЦ «Аэроплаза») или в Москве, в районе метро \"Крылатское\".\n Активная корпоративная жизнь: английский, йога, покер, забеги, велозаезды и три корпоратива в год.","description_format":"text","description_chars":5822,"description_truncated":false,"requirements":{"experience_years_min":null,"management_years_min":null,"team_size_min":null,"manages_managers":false,"education":null,"security_clearance":false,"languages":[{"language":"Russian","level":"Advanced (C1)","optional":false}]},"benefits":[],"hiring_locations":[],"hiring_excludes":[],"relocation_offered":false,"industries":["E-commerce Platforms","Digital Marketing"],"lifecycle":[{"event":"open","at":"2026-11-05T12:58:48Z"}],"visa":[],"liveness":{"score":81,"band":"hot","label":"Hiring now","p_open":1,"p_active":0.903,"p_room":0.9,"age_days":10,"expected_fill_days":22,"reasons":["conf:26","velocity","win:mid"],"computed_at":"2026-11-16T05:46:25Z"},"pay":null,"html_url":"https://alion.io/job/giper-fm-lead-data-engineer-arkhitektor-platformy-dannykh","json_url":"https://alion.io/job/giper-fm-lead-data-engineer-arkhitektor-platformy-dannykh.json","meta":{"generated_at":"2026-11-16T23:32:26Z","cache_seconds":300,"methodology":"https://alion.io/methodology","terms":"https://alion.io/terms","contact":"https://alion.io/contact","api":"https://alion.io/developers","about":"Alion is a live layer of people, companies and AI agents: who they are, whether they are real and active right now, what they do and how to work with them, readable by people and by agents and paid per call.","catalog":"https://alion.io/catalog.json","usage":{"tier":"crawler_verified","counted_by":"address","units_charged":1,"used_today":3872,"day_limit":null,"remaining_today":null,"minute_limit":300,"resets_at":"2026-11-17T00:00:00Z"}},"offers":[{"id":"company.slices","title":"One company in depth, by slice","status":"live","price":{"credits":0.1,"usd":0.01,"plus_per_slice":{"credits":0.05,"usd":0.005}},"unit":"per company, plus each slice with data","note":"the employer in depth","call":{"mcp_tool":"get_company","arguments":{"id":97832},"rest":"https://alion.io/mcp/rest/get_company?id=97832"},"human":"https://alion.io/catalog?offer=company.slices&for=job%2Fgiper-fm-lead-data-engineer-arkhitektor-platformy-dannykh"},{"id":"market.stats","title":"A market slice: pay, demand and time to fill","status":"free","price":{"credits":0,"usd":0},"unit":"per slice","note":"pay, demand and time to fill for this role and place","call":{"mcp_tool":"market_stats"},"human":"https://alion.io/catalog?offer=market.stats&for=job%2Fgiper-fm-lead-data-engineer-arkhitektor-platformy-dannykh"},{"id":"job.search","title":"Open jobs by role, technology, place, pay and visa","status":"live","price":{"credits":0.1,"usd":0.01},"unit":"per posting in a list","note":"similar open postings","call":{"mcp_tool":"search_jobs"},"human":"https://alion.io/catalog?offer=job.search&for=job%2Fgiper-fm-lead-data-engineer-arkhitektor-platformy-dannykh"},{"id":"company.verify","title":"Is this company real and active right now","status":"pilot","price":null,"unit":"per company","request":{"url":"https://alion.io/catalog/request","method":"POST","body":"{\"offer\": \"company.verify\", \"for\": \"job/giper-fm-lead-data-engineer-arkhitektor-platformy-dannykh\", \"note\": \"what you need it for\"}"},"human":"https://alion.io/catalog?offer=company.verify&for=job%2Fgiper-fm-lead-data-engineer-arkhitektor-platformy-dannykh"}],"agent":{"mcp":"https://alion.io/mcp/jobs","mcp_open":"https://alion.io/mcp/open","next":[{"tool":"get_job","arguments":{"id":3804684}},{"tool":"search_jobs","arguments":{"company":"giper.fm","detail":"compact"}},{"tool":"match_people","arguments":{"job_id":3804684},"note":"people open to offers who fit this vacancy"}],"note":"The same data through MCP tools: https://alion.io/mcp/open needs no sign-in (compact searches, postings, people); https://alion.io/mcp with an Alion account has everything. Docs: https://alion.io/developers"}}