Senior QA Python

Zakres obowiązków

• Stworzenie i utrzymywanie strategii testów oraz podejścia QA dla systemu AURA
• Określenie poziomów testów i podziału odpowiedzialności pomiędzy development i QA
• Definiowanie podejścia risk-based do priorytetyzacji testów
• Określenie strategii środowisk oraz danych testowych
• Definiowanie klasyfikacji błędów, severity levels, blockerów, acceptance criteria i release criteria
• Przygotowanie i rozwój automatyzacji testów w Pythonie z wykorzystaniem pytest
• Tworzenie testów integracyjnych, API, backendowych oraz testów pipeline’ów danych
• Integracja testów automatycznych z procesami CI
• Automatyzacja testów frontendu z wykorzystaniem Playwright
• Przygotowanie testów regresyjnych PDF, w tym visual comparison, preflight oraz walidacji PDF/X-3
• Generowanie syntetycznych i rule-based danych testowych
• Testowanie niekompletnych danych, błędnych formatów, duplikatów oraz edge case’ów
• Budowanie i utrzymywanie referencyjnych datasetów testowych
• Definiowanie i automatyczne zbieranie metryk jakościowych
• Monitorowanie trendów jakości oraz regresji
• Testowanie runtime, performance i volume
• Testowanie parallel processing
• Projektowanie scenariuszy wydajnościowych i analiza bottlenecków
• Profiling i analiza metryk w Grafanie
• Testowanie skalowania rozwiązania w AWS EKS
• Analiza jakości wyników solverów oraz pipeline’ów AI
• Exploratory testing i release testing

Wymagania

• stworzenie i utrzymywanie test concept oraz strategii QA dla systemu AURA,
• określenie poziomów testów oraz podziału odpowiedzialności pomiędzy development i QA,
• definiowanie podejścia risk-based do priorytetyzacji testów,
• określenie strategii środowisk i danych testowych,
• zdefiniowanie klasyfikacji błędów, severity levels, blockerów oraz kryteriów akceptacji i release,
• przygotowanie dokumentacji umożliwiającej sprawne wdrożenie kolejnych osób do obszaru testów,
• przygotowanie i wdrożenie koncepcji automatyzacji testów,
• automatyzacja testów backendowych, integracyjnych i API w Pythonie z wykorzystaniem pytest,
• testowanie pipeline’ów danych oraz procesów batchowych,
• integracja testów automatycznych z CI,
• przygotowanie testów regresyjnych dla plików PDF, w tym visual comparison, preflight oraz walidacji PDF/X-3,
• automatyzacja testów frontendu, np. z wykorzystaniem Playwright,
• generowanie syntetycznych i rule-based danych testowych,
• testowanie niekompletnych danych, błędnych formatów, duplikatów oraz edge case’ów,
• budowanie i utrzymywanie referencyjnych datasetów na podstawie rzeczywistych wydań,
• wykorzystywanie property-based testing, np. Hypothesis,
• definiowanie i automatyczne zbieranie metryk jakościowych,
• monitorowanie trendów i regresji jakości,
• analiza jakości działania solverów, m.in. fill rate, white space, stosunku reklam do treści, naruszeń reguł oraz runtime względem search budget,
• weryfikacja jakości pipeline’ów AI, m.in. zgodności długości treści z limitami oraz regresji po zmianach promptów lub modeli,
• prowadzenie runtime, performance oraz volume testing,
• testowanie dużych wydań, równoległego przetwarzania oraz wielu tytułów produkowanych jednocześnie,
• analiza bottlenecków, profiling oraz analiza metryk w Grafanie,
• testowanie skalowania rozwiązania w AWS EKS,
• exploratory testing oraz release testing w obszarach niewymagających automatyzacji,
• planowanie i dokumentowanie testów manualnych.

Tech stack

• Python