Data Platform Engineer (Senior / Lead)

Twist Robotics — українська технологічна компанія, яка розробляє безпілотні літальні апарати коптерного та літакового типів і пов’язані з ними системи. Серед публічних продуктів компанії — симулятор місій БпЛА «Обрій» та коптер Saker Scout.

Ми шукаємо Data Platform Engineer (Senior / Lead), який долучиться до створення масштабованої платформи для автоматизованої генерації, збору, очищення та трансформації даних, зокрема для подальшого навчання ML-моделей. Основне завдання ролі — інтегрувати окремі інструменти й компоненти в єдину надійну систему, забезпечити стабільну роботу процесів обробки даних та закласти основу для подальшого розвитку платформи.

Основні обов’язки:
проєктування, розробка та інтеграція компонентів платформи даних у єдину масштабовану й відмовостійку систему;
розробка та супровід пакетних і потокових (batch та streaming) пайплайнів для генерації, збору, очищення й трансформації даних;
побудова та підтримка надійних workflow для оркестрації процесів обробки даних із використанням Temporal та інших відповідних інструментів;
забезпечення якості, відтворюваності та доступності датасетів для бізнес-потреб і ML-команд;
проєктування архітектури зберігання й обробки даних, забезпечення надійності та безпеки інфраструктури;
участь у виборі технологій, формуванні архітектурних рішень та обґрунтуванні технічних компромісів;
використання AI-агентів та LLM-інструментів для прискорення розробки, тестування й автоматизації інженерних завдань;
підтримка якості продакшн-коду та технічної документації платформи.

Що для нас важливо:
комерційний досвід розробки програмного забезпечення та створення надійних production-рішень;
впевнене володіння SQL та практичний досвід моделювання, отримання, трансформації й перевірки даних;
досвід проєктування та підтримки batch- і streaming-процесів, розуміння принципів роботи Kafka, Spark, Flink або аналогічних інструментів;
досвід побудови пайплайнів для генерації, збору, очищення та трансформації даних, зокрема для ML-задач;
розуміння принципів роботи розподілених систем, їх масштабування та забезпечення відмовостійкості;
досвід роботи з інструментами оркестрації data / ML-процесів: Airflow, Dagster, Prefect, Kubeflow Pipelines, Metaflow, Flyte або аналогами;
практичне розуміння підходів до побудови надійних workflow та досвід роботи з Temporal або готовність швидко його опанувати;
впевнене володіння Docker і Kubernetes;
розуміння принципів DevOps, CI/CD та Infrastructure as Code / GitOps;
досвід налаштування моніторингу, логування та observability для забезпечення стабільної роботи систем;
практичний досвід використання AI-агентів та LLM-інструментів у розробці;
здатність самостійно ухвалювати технічні рішення, аргументувати архітектурні підходи та пояснювати їх команді.

Буде плюсом:
практичний досвід проєктування та масштабування Temporal-workflow у production-середовищі;
досвід генерації синтетичних даних або побудови складних пайплайнів для ML/LLM;
досвід роботи з Lakehouse-форматами: Apache Iceberg, Delta Lake, Hudi;
досвід роботи з хмарними платформами AWS, GCP або Azure;
досвід роботи з Terraform та іншими інструментами Infrastructure as Code.

Ми пропонуємо:
роботу в українській технологічній компанії, що створює AI та Robotics рішення;
можливість долучитися до побудови масштабованої Data Platform та впливати на її архітектуру й технологічний розвиток;
складні інженерні завдання та простір для реалізації власних технічних рішень;
конкурентну компенсацію відповідно до досвіду та експертизи;
відпустки, лікарняні та інші соціальні гарантії згідно з нормами чинного трудового законодавства;
бронювання.