Data Engineer (банки)
В нашей компании Decart IT мы относимся к специалистам как к партнёрам, и помогаем им не только зарабатывать, но и участвовать в проектах, которые мотивируют и вдохновляют.
Все детали берём на себя: подбираем проект на основе твоих предпочтений, договариваемся с заказчиком о ставке, организовываем интервью и помогаем успешно пройти его, а также забираем на себя формальный документооборот. С тебя - только твоя экспертиза!
Сейчас мы ищем кандидатов на позицию Data Engineer!
Что нужно будет делать?
Зависит от проекта и этапа его жизненного цикла, но в целом:
-
Проектировать и разрабатывать production data pipelines для сбора, обработки и трансформации больших объемов данных (ETL/ELT);
-
Настраивать и поддерживать оркестрацию пайплайнов с использованием Apache Airflow;
-
Разрабатывать высоконагруженные обработчики потоковых данных на Spark/PySpark и Kafka;
-
Выполнять запросы и оптимизировать хранение данных в промышленных СУБД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL);
-
Поддерживать и развивать Data Warehouse (хранилища данных), работая со слоями DDS, DM (моделирование данных);
-
Обеспечивать надежность и отказоустойчивость существующих пайплайнов: мониторинг, отладка, рефакторинг и оптимизация производительности;
-
Участвовать в миграциях ETL/DWH систем (при наличии соответствующих проектов);
-
Внедрять практики Data Quality и контроля целостности данных на всех этапах обработки.
Что нужно уметь, знать, какими навыками обладать:
-
Уверенный коммерческий опыт разработки на Python (от 3-4 лет) с написанием поддерживаемого и документированного кода;
-
Глубокое знание SQL и опыт работы с промышленными БД (обязательно хотя бы с одной из: PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL);
-
Опыт построения ETL/ELT процессов и работы с DWH (хранилищами данных);
-
Опыт разработки и сопровождения production data pipelines в продакшене;
-
Практическое использование Apache Airflow для оркестрации задач;
-
Опыт работы с Apache Spark/PySpark и потоковой обработкой Kafka;
-
Знание экосистемы Hadoop/Hive.
Будет плюсом:
-
Опыт с ETL-инструментами (Informatica/SAS DIS);
-
Работа с NiFi для построения потоков данных;
-
Хранение данных в форматах Parquet/ORC и работа с табличными форматами (Iceberg);
-
Опыт работы с облачными объектными хранилищами ( S3 или аналоги);
-
Навыки моделирования данных (Data Vault, Kimball, 3NF);
-
Опыт миграций ETL/DWH систем;
-
Настройка мониторинга и визуализации метрик (Grafana/Prometheus);
-
Контроль качества данных (Data Quality).
Что мы предлагаем: - Возможность выбирать проекты и заказчиков под твой запрос: будь то громкое имя компании для портфолио, интересные задачки, чтобы не терять хватку, или просто спокойная работа в привычном режиме; - Оформление ИП, самозанятость; - Регулярный пересмотр ставки; - Можешь работать из любого места, где тихо и есть интернет (на территории РФ)
Присоединяйся к нашей команде, чтобы узнать, что такое по-настоящему человекоцентричный аутстаффинг. Ждём тебя!