Data Engineer (Apache Spark/Java)

Навыки: Apache Spark, Java, ClickHouse, PostgreSQL, Apache Hadoop, SQL, ETL. Специализации: Разработчик баз данных.

Требования:

• Опыт работы с Apache Spark (Java) от 1 года - ОБЯЗАТЕЛЬНО
• Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет
• Опыт работы с Hadoop (HDFS, Hive)
• Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных
• Опыт оптимизации ETL-пайплайнов и SQL кода
• Продвинутые знания SQL.
• Понимание принципов работы распределенных систем.
• Готовность осваивать Java для использования Spark

Основные задачи:

• Разработка ETL на Apache Spark (Java стек)
• Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse);
• Разработка витрин данных в Greenplum и ClickHouse
• Оркестрация ETL-процессов.
• Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль).
• Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset.

Стек технологий:

HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana

Описание потоков данных:

HDFS > Spark > Hive > Greenplum > Clickhouse > Superset

ВАЖНО, это BIG DATA, речь идет о миллиардах строк