Middle Data Engineer (аутстафф)

SJ GLOBAL (аутстафф) - это более 10 лет успешной работы в сфере разработки мобильных приложений и сложных бэкенд-систем для бизнеса. Мы помогаем компаниям оптимизировать работу с клиентами, сотрудниками и финансовыми потоками. Мы создали более 100 приложений для различных отраслей, включая общепит, логистику, производство и стартапы. Победители Федерального конкурса «Опора для IT», организаторы хакатонов. Присоединяйтесь к нам, чтобы расти и развиваться вместе с командой профессионалов!

Чем предстоит заниматься Разрабатывать и поддерживать ETL/ELT-процессы и data pipelines. Разрабатывать DAG'и и автоматизировать процессы обработки данных в Apache Airflow. Разрабатывать и оптимизировать SQL-запросы. Создавать и поддерживать витрины данных. Работать со слоями DWH и преобразованием данных. Обрабатывать большие объёмы данных с использованием Apache Spark. Разрабатывать интеграции с различными источниками данных. Контролировать качество и целостность данных, участвовать в поиске и анализе расхождений. Оптимизировать производительность запросов и процессов обработки данных. Поддерживать существующие data pipelines и участвовать в устранении возникающих проблем. Вести техническую документацию и описывать реализованные решения. Взаимодействовать с аналитиками и другими участниками команды. Что ожидаем От 3 лет коммерческого опыта в Data Engineering / разработке DWH. Коммерческий опыт разработки на Python. Уверенное знание SQL: сложные запросы, CTE, оконные функции, работа с индексами, оптимизация запросов. Практический опыт работы с PostgreSQL или Greenplum. Опыт работы с Apache Airflow в production. Опыт разработки на Apache Spark. Опыт разработки и поддержки ETL/ELT-процессов. Опыт работы с большими объёмами данных. Понимание принципов построения DWH / Data Lake / Lakehouse. Опыт разработки и поддержки витрин данных. Уверенная работа с Git. Уверенная работа в Linux/Unix. Понимание принципов контроля качества и целостности данных. Будет плюсом dbt Trino Hadoop / HDFS / Hive S3 / MinIO ClickHouse Kafka / NiFi SCD2 и историчность данных Иерархические справочники и таблицы соответствия данных Опыт интеграции с SAP / 1С Опыт построения витрин признаков для ML Power BI / DataLens Grafana / Zabbix Важно Нам нужен специалист с подтвержденным коммерческим опытом, который самостоятельно разрабатывал и поддерживал ETL-процессы и data pipelines Будет преимуществом опыт работы с управленческой отчётностью, историчностью данных, справочниками и задачами, связанными с обеспечением качества данных. Условия Удалённая работа. Полная занятость. Оформление: самозанятость/ИП Выплаты один раз в месяц - фиксированный оклад