Data Engineer
Чем предстоит заниматься:
- Разработка и поддержка ETL-процессов: создание и доработка загрузок данных из API, файлов, внутренних баз данных и других источников, поддержка регулярного обновления данных.
- Работа с Airflow: разработка и сопровождение DAG, настройка расписаний, зависимостей, повторных запусков, обработка ошибок, разбор падений и задержек в загрузках.
- Работа с хранилищами и витринами: разработка таблиц и витрин в ClickHouse/PostgreSQL, написание SQL-запросов, оптимизация запросов, подготовка данных для отчетности, аналитики, внутренних сервисов и задач разработки.
- Контроль качества данных: проверка полноты, актуальности, дублей, пропусков и расхождений, улучшение существующих загрузок с точки зрения стабильности, прозрачности и надежности данных.
- Поддержка инфраструктуры направления данных: работа с серверной средой, Airflow, базами данных, логами, техническими ошибками и вспомогательными процессами, необходимыми для стабильной работы данных.
- Работа с внутренними инструментами: участие в тестировании и сравнении внутренних инструментов/субагентов для разработки, исправления и стандартизации DAG.
- Документирование загрузок и витрин: описание источников, логики обработки, расписаний, проверок качества данных, зависимостей и возможных ошибок.
Нам важно:
- Опыт работы в data engineering, DWH, ETL-разработке, аналитической разработке или смежной роли от 1,5-2 лет.
- Уверенное знание SQL.
- Опыт работы с PostgreSQL, ClickHouse или аналогичными СУБД.
- Опыт или уверенное понимание Apache Airflow: DAG, расписания, зависимости, retries, логи, обработка ошибок.
- Python для задач обработки данных, автоматизации, работы с API и файлами.
- Понимание принципов ETL: извлечение, трансформация, загрузка, обновление данных.
- Опыт загрузки данных из API, файлов или баз данных.
- Понимание принципов построения витрин данных.
- Базовые навыки Linux: командная строка, файлы, директории, процессы, логи.
- Git на базовом уровне.
- Готовность разбираться в существующем коде, чужих DAG и неидеальной документации.
Мы предлагаем:
- Оформление по ТК РФ (полностью белая заработная плата, стабильный и прозрачный доход, оплачиваемые отпуск и больничные);
- График работы - гибридный, 5/2 с 9:00 до 18:00, (сокращённая пятница);
- Современный уютный офис с комфортными зонами отдыха (7 минут пешком от м. Алексеевская);
- Свобода выполнения задач - ты сам определяешь, как достигать целей, выбираешь подходы и методы. Нет жестких рамок - только результат!
- Свои сервера и инфраструктура - наши дата-инженеры живут в собственной, полностью оборудованной инфраструктуре офиса. Это позволяет быстро решать любые вопросы с системой долгого ожидания, обеспечивая максимальную оперативность и независимость.
- Высокий уровень самостоятельности - у тебя есть возможность самостоятельно планировать и реализовывать свои задачи, не теряя оперативности и гибкости.
- Много направлений для экспериментов - работа с большими данными, искусственный интеллект, автоматизация - выбирай то, что интересно именно тебе.
- Активное использование искусственного интеллекта - мы внедряем современные технологии, и у тебя есть уникальная возможность быть в авангарде этих изменений.
- Гибкость в выборе направления деятельности - хочешь перейти на другую роль или направление? При желании ты можешь изменить свою специализацию и развиваться в интересных тебе сферах.
Вакансии
Специалисты
Кандидатам
Работодателям
Вакансии
Специалисты
Кандидатам
Работодателям
menu
Data Engineer
Прямой работодатель Icover.pro( icover.pro )
Москва, Россия
Джуниор
- Миддл
Аналитика, Data Science, Big Data
- ClickHouse
- PostgreSQL
- Ecommerce
25 июля
Удаленная работа
- Работа в офисе
Опыт работы от 1 года до 3х лет
Работодатель Icover.pro
Короткая ссылка: geekjob.ru/hibK
Откликнуться
Описание вакансии
Чем предстоит заниматься:
- Разработка и поддержка ETL-процессов: создание и доработка загрузок данных из API, файлов, внутренних баз данных и других источников, поддержка регулярного обновления данных.
- Работа с Airflow: разработка и сопровождение DAG, настройка расписаний, зависимостей, повторных запусков, обработка ошибок, разбор падений и задержек в загрузках.
- Работа с хранилищами и витринами: разработка таблиц и витрин в ClickHouse/PostgreSQL, написание SQL-запросов, оптимизация запросов, подготовка данных для отчетности, аналитики, внутренних сервисов и задач разработки.
- Контроль качества данных: проверка полноты, актуальности, дублей, пропусков и расхождений, улучшение существующих загрузок с точки зрения стабильности, прозрачности и надежности данных.
- Поддержка инфраструктуры направления данных: работа с серверной средой, Airflow, базами данных, логами, техническими ошибками и вспомогательными процессами, необходимыми для стабильной работы данных.
- Работа с внутренними инструментами: участие в тестировании и сравнении внутренних инструментов/субагентов для разработки, исправления и стандартизации DAG.
- Документирование загрузок и витрин: описание источников, логики обработки, расписаний, проверок качества данных, зависимостей и возможных ошибок.
Нам важно:
- Опыт работы в data engineering, DWH, ETL-разработке, аналитической разработке или смежной роли от 1,5-2 лет.
- Уверенное знание SQL.
- Опыт работы с PostgreSQL, ClickHouse или аналогичными СУБД.
- Опыт или уверенное понимание Apache Airflow: DAG, расписания, зависимости, retries, логи, обработка ошибок.
- Python для задач обработки данных, автоматизации, работы с API и файлами.
- Понимание принципов ETL: извлечение, трансформация, загрузка, обновление данных.
- Опыт загрузки данных из API, файлов или баз данных.
- Понимание принципов построения витрин данных.
- Базовые навыки Linux: командная строка, файлы, директории, процессы, логи.
- Git на базовом уровне.
- Готовность разбираться в существующем коде, чужих DAG и неидеальной документации.
Мы предлагаем:
- Оформление по ТК РФ (полностью белая заработная плата, стабильный и прозрачный доход, оплачиваемые отпуск и больничные);
- График работы - гибридный, 5/2 с 9:00 до 18:00, (сокращённая пятница);
- Современный уютный офис с комфортными зонами отдыха (7 минут пешком от м. Алексеевская);
- Свобода выполнения задач - ты сам определяешь, как достигать целей, выбираешь подходы и методы. Нет жестких рамок - только результат!
- Свои сервера и инфраструктура - наши дата-инженеры живут в собственной, полностью оборудованной инфраструктуре офиса. Это позволяет быстро решать любые вопросы с системой долгого ожидания, обеспечивая максимальную оперативность и независимость.
- Высокий уровень самостоятельности - у тебя есть возможность самостоятельно планировать и реализовывать свои задачи, не теряя оперативности и гибкости.
- Много направлений для экспериментов - работа с большими данными, искусственный интеллект, автоматизация - выбирай то, что интересно именно тебе.
- Активное использование искусственного интеллекта - мы внедряем современные технологии, и у тебя есть уникальная возможность быть в авангарде этих изменений.
- Гибкость в выборе направления деятельности - хочешь перейти на другую роль или направление? При желании ты можешь изменить свою специализацию и развиваться в интересных тебе сферах.
Специализация
Аналитика, Data Science, Big Data
ClickHouse
PostgreSQL
Отрасль и сфера применения
Ecommerce
Уровень должности
Джуниор
Миддл
Откликнуться на вакансию
Быстрый отклик и регистрация/авторизацияИли быстрая регистрация/авторизация через OAuth
* Продолжая регистрацию/авторизацию вы подтверждаете свое согласие на хранение и обработку своих персональных данныхв соответствии с Федеральным законом № 152-ФЗ "О персональных данных", а так же подтверждаете, что прочитали и принимаете Пользовательское соглашение и согласие на обработку персональных данных, Условия использования сайта, Политику Конфиденциальности иРазъяснение использования личных данных,и согласны получать информацию и рассылкиот Geekjob через телекомуникационные средства личной связи.
Вакансии от"Icover.pro"
Еще интересные вакансии
Тбилиси, Россия
Senior Data Engineer (Snowflake)
WaveAccess
remote
24 июля
Россия
TE
Senior NLP Engineer
Team4You (агентство)
remote
24 июля
Россия
SI
Middle Frontend Engineer (React + MobX)
SilentRoom
remote
22 июля
Россия
CV
Software Engineer in Test
Cvat
remote
21 июля
Las Vegas, Россия
15K ₽
AS
Forward Deployed AI Engineer
Asahan Tech Partners
remote
20 июля
Россия
ZE
Team Lead / Principal RPA Engineer (Python)
Zentist
remote
20 июля
Россия
350K - 500K ₽
Ре
DevOps Engineer с опытом разработки на Golang
Рекрутер Юлия
remote
17 июля
Бишкек, Россия
2.3K - 2.8K ₽
Applied AI / LLM Engineer (Python)
Mad Devs
remote
16 июля
Бишкек, Россия
3.5K - 5.5K ₽
Staff Software Engineer
Mad Devs
remote
16 июля
Санкт-Петербург, Россия
210K ₽
НИ
Инженер-алгоритмист / Robotics Software Engineer
НИИАС
remoteoffice
15 июля
Еще...
Эбаут
Ви ар зе дрим тим оф крэзи спешиалистс энд рекрутерс.Ви лов программерс энд ви олвэйс хелп ту файнд зе дрим ворк фор гуд пипл.
Доказательный рекрутинг
NEWHR Medium Blog
Исследования рынка труда
Дайджесты вакансий
Статьи о карьере в IT
NewHR Podcast
Блог нашего FullStack CTO
Контакты
Обратная связь
Условия использования
Конфиденциальность
Услуги и цены
Партнеры
Сейчас на сайте 28482 кандидатов и более 10000 компаний.В среднем 16 откликов на вакансию
Ⓒ Geekjob
Мы используем куки, потому что без кук наш сайт не работал бы, другие сайты не работали бы, да и вообще весьинтернет не работал бы
window.Vacancy = {"id":"6a64ef405fe9af1deb03932b","ci":"6a64bdce52e93436060a47fa","ic":"6a647b05e3d0daab9c08fa02","lang":"ru","position":"Data Engineer