Kafka Engineer

Kafka Engineer

Poszukujemy doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastery on-premise i AWS. Projekt obejmuje:

Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.).

Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator).

Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS .

Zakres obowiązków

• Architektura i projektowanie

• Projektowanie hybrydowej topologii Kafki (on-prem ↔ AWS).

• Dobór i konfiguracja komponentów Confluent Platform (Schema Registry,

• Flink, Control Center, Tableflow).

• Budowa środowiska w

• Tworzenie klastrów Kafka (MSK, Confluent Cloud) oraz niezbędnych

• AWS

• Replikacja i synchronizacja

• CI/CD & IaC

• Operacje i wsparcie

• Współpraca i mentoringvzasobów.

• Implementacja monitoringu (Prometheus/Grafana)

• Konfiguracja MirrorMaker 2 / Cluster Linking / Replicator.

• Zapewnienie spójności i niskich opóźnień przy transferze danych między środowiskami.

• Definiowanie pipeline-ów (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów i aplikacji konsumenckich.

• Implementacja IaC w Terraform - wersjonowanie, testy planów, automatyczne apply.

• Tworzenie i utrzymywanie run-booków, alertów, SLA/SLO.

• Rozwiązywanie incydentów w trakcie budowy rozwiązania, optymalizacja wydajności, tuning konfiguracji.

• Praca w zespole Data Platform (Data Engineers, DevOps, Security).

• Mentoring mniej doświadczonych członków zespołu, prowadzenie warsztatów technicznych.

Wymagania techniczne (must-have)

• Minimum 4 lata doświadczenia z Apache Kafka.

• Biegła znajomość Confluent Platform (Enterprise) oraz Confluent

• Kafka / Confluent Cloud.

• Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator).

• Chmura AWS

• Praktyczna znajomość usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets

• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych (on-prem ↔ AWS).

• Infrastructure-as-Code

• Terraform (preferowane) - pisanie modułów, testy (terratest, tfsec).

• Ansible.

• CI/CD

• Doświadczenie z pipeline-ami (GitHub Actions, GitLab CI, Jenkins).

• Automatyzacja testów integracyjnych dla Kafki.

• Programowanie / Scripting Monitoring & Observability

• Python, Ansible, Bash.

• Prometheus + Grafana, Confluent Control Center, OpenTelemetry,

• Elastic Stack.

• Bezpieczeństwo

• Znajomość zagadnień TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku oraz w tranzycie.

• Metodyki Agile

• Praca w Scrum / Kanban, znajomość Jira/Confluence.