Auto QA Python (Hadoop, Spark)

Что нужно делать:

• Автоматизировать тестирование компонентов Arenadata Hyperwave (ADH) и Arenadata Hyperwave Cloud (ADHC): Spark, Impala, Trino, Kyuubi, Hive, HBase, Ozone, HDFS, YARN, Airflow, Flink;
• Тестировать развёртывание и эксплуатацию платформы на bare metal, VM и в Kubernetes;
• Разрабатывать и развивать тестовые фреймворки на Python для распределённых Big Data-систем;
• Писать интеграционные и e2e-тесты на реальных кластерах: функциональность, отказоустойчивость, производительность;
• Поддерживать и развивать CI/CD-пайплайны автотестов;
• Работать с разработчиками, архитекторами и QA над качеством релизов;
• Делать код-ревью тестового кода.

Мы ждем, что вы:

• Имеете опыт коммерческой разработки на Python от 4 лет;
• Понимаете SOLID, DRY, KISS и умение применять их при проектировании тестовых фреймворков;
• Понимаете паттерны проектирования (Factory, Strategy, Builder, Resource Object) для гибких и масштабируемых решений;
• Знаете Pytest на экспертном уровне: сложные фикстуры, параметризация, плагины (pytest-xdist и другие);
• Знаете Linux (Core Utils, Bash): файловые системы, права, процессы, сетевые утилиты;
• Имеете опыт тестирования систем развёртывания и конфигураций распределённого ПО, плюсом будет Ansible, Terraform или Puppet;
• Имеете опыт настройки и поддержки CI/CD-пайплайнов (Jenkins, GitLab CI, TeamCity, GitHub Actions);
• Имеете опыт работы с Docker и Kubernetes на уровне эксплуатации и отладки;
• Понимаете развёртывание stateful и stateless Big Data-сервисов в Kubernetes;
• Имеете опыт тестирования Kubernetes-операторов, работа с kubectl, Helm, kind/minikube.

Будет плюсом:

• Опыт работы с дистрибутивами Hadoop (Arenadata, Cloudera CDP/CDH, Hortonworks HDP, MapR);
• Практический опыт с Apache Spark, Trino, Impala, Kafka - запросы, джобы, разбор инцидентов;
• Опыт работы с аутентификацией и авторизацией в распределённых системах: Kerberos, LDAP, Ranger, TLS/mTLS.