Kafka Engineer

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość.

Z nastawieniem na wyzwania, ciekawość technologii i zwinność - współtworzymy wyjątkowe rozwiązania IT.

Aktualnie poszukujemy osób na stanowisko: Kafka Engineer

Responsibilities

Projektowanie i rozwój hybrydowej architektury Kafka on-prem ↔ AWS

• • Dobór i konfiguracja komponentów Confluent Platform (m.in.:Schema Registry / Flink / Control Center / Tableflow)

  • Budowa i konfiguracja środowiska Kafka w AWS, w tym MSK, EKS i powiązanych usług

  • Implementacja replikacji i synchronizacji danych pomiędzy klastrami on-prem i AWS

  • Konfiguracja i utrzymanie MirrorMaker 2 / Cluster Linking / Confluent Replicator

  • Zapewnienie spójności danych oraz niskich opóźnień podczas replikacji

  • Projektowanie i wdrażanie CI/CD dla Kafki, schematów oraz aplikacji konsumenckich

  • Tworzenie i utrzymanie Infrastructure-as-Code w Terraform

  • Automatyzacja wdrożeń, testów oraz infrastruktury

  • Implementacja i utrzymanie monitoringu oraz observability - Prometheus, Grafana, Control Center, OpenTelemetry, Elastic

  • Tworzenie runbooków, alertów oraz SLA/SLO

  • Rozwiązywanie incydentów i problemów technicznych podczas budowy oraz utrzymania rozwiązania

  • Optymalizacja wydajności i tuning konfiguracji Kafka

  • Współpraca z zespołem Data Platform, Data Engineering, DevOps i Security

  • Mentoring mniej doświadczonych inżynierów i prowadzenie warsztatów technicznych

Requirements

• Stawka: 140 - 170 PLN/h na FV
• Miejsce pracy/praca zdalna: Zapewniamy dużą swobodę pracy zdalnej, przy czym zapraszamy 1 dzień w miesiącu do wrocławskiego biura
• Wymiar pracy: Fulltime
• Sektor: Money Services
• Projekt: Budowa hybrydowego środowiska Kafka łączącego klastry on-premise i AWS
• Zespół: Data Platform - Data Engineers, DevOps, Security
• Proces rekrutacji: 1-etapowy (spotkanie zdalne via MS Teams). Sporadycznie możliwe dodatkowe krótkie spotkanie - połączone z decyzją
• Szacowany czas trwania projektu: Długoterminowy/bezterminowy
• Czas pracy/Strefa czasowa: Standardowe polskie godziny pracy
• Technologie/tematy na projekcie: Apache Kafka, Confluent Platform, Confluent Cloud, AWS (MSK, EKS, Aurora, VPC, IAM, EC2, S3, KMS, Secrets Manager), MirrorMaker 2, Cluster Linking, Confluent Replicator, Terraform, Ansible, GitHub Actions/GitLab CI/Jenkins, Python, Bash, Prometheus, Grafana, Confluent Control Center, OpenTelemetry, Elastic Stack

Benefits

• Minimum 4 lata doświadczenia z Apache Kafka
• Bardzo dobrą znajomość Confluent Platform (Enterprise) oraz Confluent Cloud
• Doświadczenie w migracji i replikacji klastrów Kafka (w szczególności:MirrorMaker 2 / Cluster LinkingC / Confluent Replicator)
• Praktyczną znajomość AWS (w tym: VPC / IAM / EC2 / EKS / MSK / S3 / KMS / Secrets Manager)
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych on-prem ↔ AWS
• Doświadczenie z Terraform - tworzenie modułów, wersjonowanie, testowanie planów (mile widziane Terratest i tfsec) oraz Ansible
• Doświadczenie z CI/CD (GitHub Actions, GitLab CI lub Jenkins)
• Programowanie / scripting: Python, Ansible, Bash
• Automatyzacja testów integracyjnych dla Kafka
• Monitoring i observability (Prometheus / Grafana / Confluent Control Center / OpenTelemetry / Elastic Stack)
• Znajomość security w Kafka:(TLS, SASL, ACL, RBAC, szyfrowanie danych at rest / in transit