ДатаОпс (DataOps)

Мы - ведущий технологический партнер Счетной палаты Российской Федерации.

АНО «Цифровой аудит» специализируется на внедрении инноваций в области Big Data и AI для создания надежных, эффективных и масштабируемых технологических решений.

В данный момент мы в поиске инженера по автоматизации процессов работы с данными в команду дата-платформы.

Cтек проекта: GreenPlum, PostgreSQL, ClickHouse, S3, Airflow.

Обязанности:

• Развитие CI/CD для дата-пайплайнов: линтеры, автотесты, сборка и выкатка артефактов по контурам;
• Автоматизация рутины работы с данными: деплой объектов и изменений схемы, управление конфигурациями, устранение ручных операций;
• Поддержка и развитие инфраструктуры платформы - Airflow, dbt, оркестрация и сопутствующие сервисы;
• Мониторинг и observability: сбор метрик по пайплайнам и инфраструктуре, дашборды и алерты, отслеживание свежести и качества данных;
• Разбор инцидентов и отказов пайплайнов, написание регламентов и runbook'ов;
• Управление секретами и доступами, выполнение требований ИБ к конвейеру разработки;
• Работа в связке с дата-инженерами, DBA и командой DevOps заказчика

• Опыт в DataOps / платформенной инженерии от 3 лет;
• Уверенный Python и bash, опыт автоматизации инфраструктурных задач;
• Опыт работы с БД S3, GreenPlum, PostgreSQL, ClickHouse, Airflow.
• Практический опыт построения CI/CD (GitLab CI, Jenkins или аналоги), уверенный Git;
• Опыт эксплуатации оркестраторов (Airflow или аналоги) в проде;
• Linux на уровне уверенного администратора, Docker;
• Опыт с системами мониторинга и логирования (Prometheus, Grafana, Zabbix, ELK);
• Понимание SQL и того, как устроены ETL/ELT-процессы.

• Оформление в соответствии с ТК РФ.
• Формат работы гибридный, м. Павелецкая.
• Дружный коллектив и лояльное внимательное руководство;
• Уровень заработной платы обсудим на собеседовании.
• ДМС от Ресо-Гарантия.

При отклике, пожалуйста, расскажите о своем опыте с Data-платформами и Airflow, спасибо!)