Data Engineer

Проект Банка ТОП-3. Команда проекта создает и развивает корпоративный движок потоковой обработки данных

Твои задачи:

• Разрабатывать и поддерживать коннекторы для интеграции Flink с Kafka, S3-совместимыми хранилищами, HBase, аналитическими СУБД и другими корпоративными системами
• Реализовывать и оптимизировать Stateful-обработку данных, работать со State Backends, RocksDB, Heap и внешними хранилищами состояния
• Развивать механизмы отказоустойчивости: checkpointing, savepoints, автоскейлинг, восстановление после сбоев, High Availability
• Интегрировать Flink-приложения с системами аутентификации, управления секретами, логирования, мониторинга и аудита
• Настраивать и сопровождать мониторинг Flink-кластеров и задач: JVM-метрики, backpressure, checkpoint duration, consumer lag, watermarks
• Развивать процессы развертывания, обновления, остановки и отката приложений через CI/CD
• Проводить нагрузочное тестирование, искать узкие места и оптимизировать latency и throughput потоковых процессов
• Развивать и сопровождать Flink History Server
• Консультировать команды data-инженеров по разработке Flink-приложений, SQL и настройке state
• Готовить техническую документацию, шаблоны развертывания, чек-листы и руководства по эксплуатации
• Участвовать в тестировании и приемке платформенной функциональности

Что мы ждем от тебя:

• Опыт работы Data Engineer или разработчиком от 3 лет
• Не менее 2-х лет опыта с потоковой обработкой данных или Big Data: Apache Flink, Kafka Streams, Spark Streaming или аналогичные технологии
• Уверенное знание Java или Scala
• Опыт разработки промышленных приложений для распределенных систем
• Практический опыт работы с Apache Flink
• Практический опыт работы с Kafka: producers, consumers, offsets, обработка ошибок
• Опыт работы с Docker и Kubernetes
• Понимание Prometheus и Grafana, опыт настройки оповещений и анализа метрик
• Продвинутый уровень SQL, опыт оптимизации запросов
• Умение работать с технической документацией
• Способность самостоятельно декомпозировать сложные технические задачи и взаимодействовать с разработчиками, DevOps- и data-командами

Будет плюсом

• Опыт разработки собственных коннекторов или форматов данных для Flink
• Опыт работы с HDFS, HBase, Hive
• Понимание принципов работы с S3-совместимыми объектными хранилищами
• Опыт работы с ELK, Jaeger, Zipkin
• Понимание Data Lineage и опыт интеграции с инструментами прослеживаемости данных
• Опыт работы с Flink Table API / SQL
• Знакомство с Apache Paimon, Apache Iceberg, Fluss или аналогичными Lakehouse-технологиями

Что мы обеспечиваем:

• Внутренние семинары, митапы, мы очень любим учиться новому
• ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи
• Технику для комфортной работы
• Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудник