Data Engineer

Servicepipe - разработчик решений для анализа и фильтрации нежелательного трафика.

С 2015 года мы создаём продукты высокоточной защиты от DDoS-атак и фуллстек-ботов. Наши решения помогают компаниям предотвращать автоматизированные кибератаки как на сетевом уровне, так и на уровне веб-приложений.

Обязанности:

• Разрабатывать и поддерживать data-пайплайны на Airflow, dbt и Python для обработки больших объёмов данных.
• Создавать и развивать таблицы и витрины в ClickHouse, оптимизировать SQL-запросы и контролировать нагрузку на хранилище;
• Переводить аналитические и ML-решения из исследовательских прототипов в стабильные production-пайплайны, рассчитанные на регулярную обработку больших объёмов данных;
• Мониторить работу пайплайнов и инфраструктуры, находить причины сбоев и проблем производительности, предлагать и реализовывать улучшения;
• Участвовать в развитии data-инфраструктуры: Kafka, Vector, ClickHouse, Airflow и связанных инструментов, постепенно беря на себя больше ответственности за их эксплуатацию и развитие.

Требования:

• Уверенное владение Python на уровне, достаточном для разработки production-кода и Airflow DAG;
• Хорошее знание SQL: JOIN, оконные функции, агрегации и другие базовые конструкции;
• Понимание принципов работы колоночных хранилищ и особенностей обработки больших объёмов данных;
• Практический опыт работы с Linux и Git;
• Понимание принципов работы Docker и контейнеризации.

• Работа в аккредитованной IT-компании;
• IT ипотека;
• Современный офис в центре Москвы;
• ДМС со стоматологией по итогу прохождения испытательного срока;
• Частичная компенсация расходов на фитнес и сервис психологических консультаций Alter;
• Корпоративная система скидок;
• Оплата профессиональных курсов и конференций;
• Еженедельные разговорные клубы по английскому языку;
• Насыщенная корпоративная жизнь: корпоративы, митапы и клубы по интересам, своя CTF команда.