Junior Data Engineer/Младший инженер данных

Мы ищем Junior Data Engineer в команду, которая развивает корпоративное хранилище данных (КХД / DWH) с нуля и участвует в создании регуляторных и управленческих витрин.

Если тебе интересно работать с данными не только на уровне SQL-запросов, а понимать, откуда данные приходят, как трансформируются, проверяются и попадают в DWH, - будем рады познакомиться.

Условия

• Ташкент, офис
• График: 5/2, 09:00-18:00
• Полная занятость
• Зарплата: от 8 000 000 сум
• Работа в команде Data / DWH
• Наставничество и возможность профессионального роста
• Работа над реальным RegTech-проектом
• Возможность развиваться в направлении Data Engineering / DWH

Чем предстоит заниматься

• Разрабатывать и поддерживать корпоративное хранилище данных (DWH / КХД).
• Создавать модели данных и SQL/dbt-модели на основе S2T (Source-to-Target).
• Разрабатывать регуляторные и управленческие витрины данных.
• Писать и оптимизировать SQL-запросы, процедуры и функции.
• Настраивать и сопровождать ETL/ELT-процессы.
• Разрабатывать и сопровождать задачи в Apache Airflow.
• Проводить проверки качества данных (Data Quality).
• Контролировать корректность загрузки данных и искать причины ошибок.
• Работать с логами и мониторингом процессов загрузки.
• Участвовать в работе с CDC и потоками данных.
• Использовать Git для работы с кодом.
• Взаимодействовать с аналитиками, разработчиками и другими участниками проекта.
• Документировать разработанные решения.

Обязательные знания и навыки

Пожалуйста, откликайтесь, если у вас есть базовая практическая база по большинству этих пунктов.

SQL - обязательно

Нужно уверенно знать:

• JOIN
• GROUP BY
• HAVING
• подзапросы
• CTE
• оконные функции
• агрегатные функции
• фильтрацию и сортировку
• понимание NULL
• основы оптимизации SQL-запросов
• желательно - простые stored procedures / functions

DWH / КХД - обязательно

Кандидат должен понимать:

• что такое DWH / КХД и зачем оно используется;
• отличие OLTP от OLAP;
• что такое факт и измерение;
• что такое витрина данных;
• базовые принципы моделирования данных;
• как данные проходят путь Source → Staging → DWH → Data Mart.

ETL / ELT - обязательно

Нужно понимать:

• что такое ETL и ELT;
• этапы извлечения, трансформации и загрузки данных;
• как строится процесс загрузки данных из источника в DWH;
• что такое полная и инкрементальная загрузка;
• базовые принципы трансформации данных.

Data Quality - обязательно

Понимание базовых проверок:

• NULL;
• дубликаты;
• количество записей;
• соответствие типов данных;
• контроль уникальности;
• сверка данных между источником и DWH;
• выявление некорректных или потерянных данных.

Python - обязательно на базовом уровне

Не требуется быть Python-разработчиком, но необходимо:

• понимать синтаксис Python;
• уметь работать с данными;
• понимать базовые структуры данных;
• желательно иметь опыт с pandas.

Git - обязательно / либо готовность быстро освоить

• понимание commit;
• branch;
• pull/push;
• базовая работа с Git/GitHub/GitLab.

Аналитическое мышление - обязательно

Нужно уметь:

• разбираться в структуре данных;
• находить причины ошибок;
• понимать бизнес-логику преобразований;
• внимательно работать с требованиями;
• самостоятельно искать решение проблемы.

Будет большим плюсом

Опыт или знания:

• dbt
• Apache Airflow
• Oracle
• PL/SQL
• SQL optimization
• Linux
• CDC
• Oracle GoldenGate
• построение DWH с нуля
• S2T-мэппинг
• Data Quality frameworks
• опыт с Data Mart
• опыт работы с RegTech / банковскими / финансовыми данными

Кого мы ищем

Рассматриваем:

• Junior Data Engineer;
• выпускников профильных специальностей;
• студентов старших курсов;
• кандидатов с опытом стажировок;
• специалистов с опытом учебных или pet-проектов в Data Engineering.

Коммерческий опыт не является обязательным, если есть хорошая техническая база и реальные проекты.

Для нас важнее:

SQL + понимание DWH + ETL/ELT + аналитическое мышление + способность быстро обучаться.

Что будет после адаптации

В первые месяцы ты постепенно научишься:

• создавать dbt-модели по S2T;
• разрабатывать DWH-компоненты;
• создавать и сопровождать Airflow DAG;
• выполнять Data Quality проверки;
• работать с реальными источниками данных;
• находить и устранять ошибки загрузки;
• участвовать в code review;
• самостоятельно вести небольшие задачи от постановки до результата.

Важно

Перед откликом проверьте себя:

• Я уверенно владею SQL.
• Понимаю, что такое DWH и чем OLTP отличается от OLAP.
• Понимаю принципы ETL/ELT.
• Знаю базовые проверки качества данных.
• Имею хотя бы базовый опыт Python.
• Работал с Git или готов быстро его освоить.
• Готов работать в офисе 5/2, 09:00-18:00.
• Мне интересно развиваться именно в Data Engineering / DWH.