DWH Developer / Senior ClickHouse Engineer

Мы строим не просто DWH - мы строим фундамент, на котором думает AI

Smartup - облачная ERP/B2B SaaS платформа для FMCG/CPG-дистрибьюторов Узбекистана, Казахстана, Кыргызстана и Таджикистана. Мы обслуживаем 700+ tenant'ов, и объём данных, которые проходят через нашу аналитическую платформу, растёт на десятки терабайт.

Но задача, которую мы предлагаем - не классический DWH под BI. Мы строим аналитический слой ClickHouse, поверх которого LLM-агенты (Claude, Gemini) безопасно работают с данными сотен клиентов и отвечают на вопросы менеджеров на естественном языке. Это работа на стыке data engineering и AI-инфраструктуры - редкая экспертиза даже по меркам рынка СНГ.

Если вам интересно не просто «настроить репликацию и партиции», а спроектировать семантику, на которой будет рассуждать AI, - читайте дальше.

Почему эта роль интересна

• Технологический вызов. Масштабирование ClickHouse до десятков ТБ, multi-tenant изоляция 700+ клиентов, продакшн-нагрузки Apache Superset - задачи, которые редко встречаются в одном проекте.
• AI-инфраструктура на переднем крае. Вы напрямую участвуете в построении semantic layer и text-to-SQL для Claude/Gemini - то, чем в СНГ пока занимаются единицы.
• Реальный ownership. Вы не просто пишете DDL - вы доводите архитектуру до продакшена, отвечаете за SLA, incident response и постоянное развитие платформы.
• Прямое подчинение CTO. Ваши архитектурные решения влияют на продукт напрямую, без лишних согласований.

Чем предстоит заниматься

Производительность и масштабируемость (30%)

• Настройка MergeTree-таблиц: partitioning, order key, TTL, projections, materialized views
• Тюнинг запросов и моделей под нагрузки Superset (дашборды, срезы, drill-down)
• Проектирование стратегии шардинга и репликации, планирование роста данных

AI/LLM semantic layer (25%)

• Проектирование слоя, над которым LLM может безопасно рассуждать: семантическая модель, метаданные, глоссарий
• Подготовка контекста для text-to-SQL: описания таблиц/полей, примеры запросов, guardrails
• Обеспечение tenant boundaries и PII safety на уровне семантики
• Совместная работа над интеграцией Claude/Gemini и eval pipelines

Моделирование данных и governance (25%)

• Проектирование схемы и модели данных в ClickHouse с учётом multi-tenant изоляции (company_id)
• Стандарты именования, типов, гранулярности и качества данных
• Проектирование витрин (marts) и feature-таблиц для ML/AI

Надёжность и эксплуатация (20%)

• Эксплуатация кластера ClickHouse: upgrades, backups, DR, access control, incident response
• Настройка мониторинга, алертинга, SLO/SLA для аналитической платформы
• Работа с CDC: обработка дублей и поздних событий, reconcile-процессы

Что мы ждём от вас

Обязательно:

• 5+ лет опыта с DWH / аналитическими хранилищами от 5 ТБ в продакшене
• Глубокий продакшн-опыт ClickHouse: деплой, настройка, дебаг, масштабирование
• Уверенное владение MergeTree family (Replacing/Collapsing/Summing/AggregatingMergeTree) и понимание их компромиссов
• Опыт с материализованными представлениями, projections, TTL, partitioning, order/primary key
• Понимание репликации и шардинга: topology, resharding, capacity planning
• Опыт с CDC-пайплайнами и инкрементальными загрузками: идемпотентность, late-arriving data, upsert/merge logic
• Навыки query tuning под BI-нагрузки: skipping indexes, pre-aggregation, кэширование
• Базовые Linux/Networking/Storage и опыт настройки наблюдаемости (metrics, logs, tracing)

Будет большим плюсом:

• Python / Spark / dbt / Airflow , знакомство с MLOps и feature store практиками
• Опыт с пайплайнами GoldenGate → Kafka → ClickHouse или аналогичными CDC-стэками

Soft skills, которые для нас важны:

• Мышление системного инженера: надёжность, масштаб, воспроизводимость
• Проактивность - видите риски (рост, стоимость, SLA) заранее и предлагаете решения
• Умение объяснить архитектурные trade-offs бизнесу и продукту простым языком
• Ownership - доводите решения до продакшена и сопровождаете их дальше

Условия

• Ташкент, формат работы: офис
• Уровень дохода: обсуждается индивидуально по итогам интервью
• Прямое взаимодействие с CTO и продуктовой командой, без бюрократии
• Возможность формировать стандарты и практики с нуля - вы не наследуете технический долг, а закладываете архитектуру.