Старший инженер данных, Ozon Банк
Ozon Банк расширяется, поэтому мы ищем Старшего дата инженера в команду платформы данных. Специалисты автоматизируют ETL-процессы, разрабатывают компонентные решения для аналитиков и внедряют новые инструменты работы с данными.
Всё это необходимо, чтобы правильно и быстро реагировать на изменяющиеся потребности бизнеса, оптимизировать процессы и создавать мощную основу для принятия стратегических решений.
Наш стек: Python, Airflow, ClickHouse, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, FastApi, Flask, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence.
Вам предстоит:
-
разрабатывать инструменты доставки данных
-
проектировать и реализовывать фабрики пайплайнов
-
обновлять актуальные данные и следить за их своевременным поступлением
-
строить систему качества данных
-
обучать аналитиков и дата-сайентистов современным практикам работы с данными
-
настраивать и поддерживать системы мониторинга и алертинга
Для нас важно, что вы:
-
более 3 лет работаете на языке Python
-
более 3 лет работаете дата-инженером - знаете Apache Spark (PySpark), понимаете принципы работы СУБД и умеете оптимизировать запросы
-
знаете, как работать с ClickHouse, PostgreSQL, Vertica
-
понимаете принципы работы хранилища данных
-
умеете писать компоненты Airflow
-
поддерживаете порядок в коде, Git и документации
-
тестируете свои решения при помощи Pytest
-
умеете и любите быстро учиться, сразу применяете новые знания можете самостоятельно находить ответы на сложные вопросы
-
имеете высшее техническое образование
Будет плюсом, если вы:
-
умеете работать с Kubernetes, Prometheus, Superset, Helm, FastApi, Flask
-
имеете опыт общения с аналитиками и дата-сайентистами