Дата-инженер, middle+

Акционерное общество «Страховая компания «Казахмыс» - одна из лидирующих страховых компаний Казахстана, верный партнер множества Клиентов из различных сфер деятельности и надежный поставщик услуг страхования и перестрахования, уверенно прошедший проверку временем.

Мы №1 в рейтинге страховщиков Казахстана. По версии журнала «Forbes Kazakhstan» в 2022 и 2023 годов.

Наша команда профессионалов предоставляет индивидуальные решения для каждого отдельного Клиента, что позволяет обеспечить качественное предоставление услуг.

Мы в поиске Дата-инженера middle+!

Вам предстоит в работе:

Основной владелец корпоративного хранилища данных. Платформа построена своими силами: PostgreSQL как ядро, ClickHouse сверху, оркестрация в Airflow. От неё зависят все продукты компании - ОГПО, кабинет выплат, Битрикс24, ИИ-направление.

Первая задача - разбор ссылочной структуры исторической базы 1С объёмом около терабайта. Данные уже выгружены в хранилище, но связи между сущностями не восстановлены, и без этого половина проектов стоит.

Это не позиция «в помощь». Человек принимает платформу и отвечает за неё.

Чем предстоит заниматься:

• Разбор структуры хранения 1С: соответствие метаданных физическим таблицам, составные ссылочные типы, автоматическое построение словаря;
• DAG в Airflow: загрузки из 1С, СЭД, Битрикс24, внутренних сервисов;
• Слои хранилища в PostgreSQL, аналитические витрины в ClickHouse;
• Историчность: версии, интервалы действия, восстановление состояния на дату;
• Качество данных: проверки внутри пайплайнов, мониторинг, реакция на сбои;
• Витрины для ИИ-направления, включая поисковый слой;

Требования:

• Опыт работы от 5 лет
• Airflow на уровне продакшена: идемпотентность, повторные прогоны, зависимости, обработка сбоев;
• Сильный SQL и понимание, как выполняется запрос;
• PostgreSQL обязательно, ClickHouse - понимание, чем отличается и когда применять;
• Python для трансформаций;
• Опыт моделирования хранилища: слои, историчность, медленно меняющиеся измерения;
• Готовность принять ответственность за платформу целиком;

Будет плюсом:

• Опыт работы с данными 1С;
• dbt или другой инструмент трансформаций;
• Финансовый сектор, страхование, регуляторная отчётность;

Что предлагаем:

• Собственная платформа, а не коробочное решение с ограничениями;
• Задача с ясной ценностью и видимым результатом;
• Полное влияние на архитектуру хранилища;

Условия:

• Официальное оформление по ТД РК;
• График работы 5/2, время работы 09:00-18:00;
• Отпуск 24 календарного дня;
• Современный комфортный офис;

Социальный пакет:

• Добровольное медицинская страхование по программе стандарт;
• Материальная помощь по личным событиям;
• Выдача "Welcome pack", "Corporate pak";
• Возмещение части стоимости в фитнес клуб;
• Возмещение стоимости стартового взноса и премия за участие в марафонах;
• Премий за участие в корпоративных турнирах.