{"id":1525218,"url":"https://alion.io/job/evoila-senior-ai-platform-engineer-mfd","title":"(Senior) AI Platform Engineer (m/f/d)","company":{"id":674375,"name":"evoila","domain":"evoila.com","url":"https://alion.io/company/evoila","size_band":"501-1000","is_staffing_agency":false,"employer_type":"direct","is_intermediary":false,"listed_via":null,"ats_vendor":"Join","truth_index":null},"role":"AI/ML","role_family":"AI/ML","seniority":"senior","employment_type":"full_time","work_mode":"remote","remote_scope":"stated_countries","remote_scope_basis":"board_field","remote_working_hours":null,"hiring_geo_confidence":"structured","locations":["Mainz, Germany"],"countries":["DE"],"hiring_countries":["DE"],"hiring_countries_total":1,"salary":null,"salary_estimate":{"min_usd":78000,"max_usd":159000,"period":"year","method":"role_seniority_country_cell","sample_n":24},"experience_years_min":3,"visa_sponsorship":false,"relocation_package":false,"has_equity":false,"technologies":[{"name":"AI Agents","optional":false},{"name":"Amazon SageMaker","optional":false},{"name":"Ansible","optional":false},{"name":"ArgoCD","optional":false},{"name":"AWS","optional":false},{"name":"AWS Bedrock","optional":false},{"name":"Azure","optional":false},{"name":"CI/CD","optional":false},{"name":"ClearML","optional":false},{"name":"EU AI Act","optional":false},{"name":"Fine-tuning","optional":false},{"name":"Function Calling","optional":false},{"name":"GitOps","optional":false},{"name":"Go","optional":false},{"name":"Java","optional":false},{"name":"KServe","optional":false},{"name":"Kubeflow","optional":false},{"name":"Kubernetes","optional":false},{"name":"LLM","optional":false},{"name":"LLM Guardrails","optional":false},{"name":"LLMOps","optional":false},{"name":"LoRA","optional":false},{"name":"Machine Learning","optional":false},{"name":"MLFlow","optional":false},{"name":"Model Context Protocol","optional":false},{"name":"NVIDIA NIM","optional":false},{"name":"OpenAI","optional":false},{"name":"Python","optional":false},{"name":"RAG","optional":false},{"name":"Ray","optional":false},{"name":"Terraform","optional":false},{"name":"Triton","optional":false},{"name":"vLLM","optional":false},{"name":"PEFT","optional":true}],"status":"live","first_seen_at":"2026-09-30T11:40:25Z","employer_posted_date":"2026-09-30","last_verified_at":"2026-10-27T10:13:35Z","board_verified":true,"closed_at":null,"days_open":27,"trust":{"level":"ok","repost_count":null,"flags":[],"days_open":27},"description":"Du brennst für Kubernetes, Plattform-Engineering und moderne AI-Technologien? Du möchtest nicht nur einzelne Modelle deployen, sondern die Infrastruktur und Plattformen schaffen, auf denen innovative AI-Anwendungen zuverlässig, sicher und skalierbar betrieben werden?\nDann bist du bei uns genau richtig.\nAls (Senior) AI Platform Engineer (m/f/d) entwickelst, betreibst und optimierst du moderne AI- und ML-Plattformen für unsere Kunden. Du arbeitest mit Kubernetes, GPU-Infrastrukturen, Infrastructure as Code sowie modernen CI/CD-, MLOps- und LLMOps-Ansätzen und unterstützt Unternehmen dabei, Generative AI und Machine Learning erfolgreich in den produktiven Einsatz zu bringen.\nDich erwarten spannende Projekte in unterschiedlichsten Branchen, technologischer Gestaltungsspielraum und ein Team aus Cloud-, Plattform-, Data- und AI-Spezialisten, das Innovation nicht nur diskutiert, sondern täglich umsetzt.\nAufgaben\nPlanung, Aufbau und Betrieb von hochverfügbaren AI/ML-Plattformen und -Services, insbesondere auf Basis von Kubernetes in On-Premises-, Hybrid- und Cloud-Umgebungen.\nDesign und Umsetzung skalierbarer GPU-Infrastrukturen innerhalb von Kubernetes-Clustern - inklusive GPU-Scheduling und -Sharing (z. B. Kueue, KAI-Scheduler, Run:ai, NVIDIA MIG/Time-Slicing) mit Blick auf Auslastung und Kosteneffizienz.\nAufbau und Betrieb von Model-Serving- und Inferenz-Diensten (z. B. vLLM, NVIDIA Triton, KServe, NVIDIA NIM, Ray) für klassische ML-Modelle und Large Language Models.\nEntwicklung und Betrieb von MLOps-/LLMOps-Workflows für produktive GenAI-Services - inklusive Guardrails & Policies, Evaluierung, Regressionstests sowie Kosten- und Qualitätsmonitoring.\nBereitstellung von Fine-Tuning- und Re-Training-Workflows (z. B. LoRA, kontinuierliches Re-Training) auf der Plattform.\nMonitoring, Troubleshooting und Performance-Tuning von AI-Plattformen (u. a. GPU-Auslastung, Inferenz-Latenz, Durchsatz), um höchste Performance und Verfügbarkeit sicherzustellen.\nBeratung unserer Kunden in Bezug auf Best Practices, AI-Governance, Datensicherheit und Datenschutz im Kontext von AI-Plattformen auf Kubernetes.\nEnge Zusammenarbeit mit Data-Science-, Data-Platform- und Entwicklungsteams zur Sicherstellung der nahtlosen Integration von AI-Lösungen.\nQualifikation\nMindestens 3 Jahre Erfahrung im Betrieb und der Optimierung von Plattformen und Services at Scale in Kubernetes-Umgebungen, egal ob On-Premise oder in der Cloud.\nFundierte Kenntnisse in der Architektur und dem Betrieb von skalierbaren Lösungen unter Verwendung von Kubernetes, idealerweise inklusive GPU-Workloads.\nProgrammierkenntnisse in Python, idealerweise ergänzt um Golang oder Java.\nErfahrung mit mindestens einem Model-Serving-Framework (z. B. vLLM, NVIDIA Triton, KServe) sowie erste oder vertiefte Erfahrung mit MLOps-Werkzeugen (z. B. MLflow, Kubeflow, ClearML).\nErfahrung mit Infrastructure-as-Code-Tools wie Ansible und Terraform sowie CI/CD- und GitOps-Werkzeugen (z. B. Argo CD, Flux).\nSehr gute Kommunikationsfähigkeiten in Deutsch und Englisch. Idealerweise hast du bereits Kunden beraten und kannst technische Themen zielgruppengerecht vermitteln - vom Engineering-Team bis zum Management.\nFür die Senior-Rolle zusätzlich:\nMindestens 5 Jahre einschlägige Erfahrung im Plattform-Engineering.\nArchitektur-Ownership: Du verantwortest das Design von AI-Plattformen end-to-end und triffst technologische Grundsatzentscheidungen.\nTechnische Führung in Kundenprojekten (Lead-Rolle) sowie Mentoring von Kolleginnen und Kollegen.\nDarüber hinaus verfügst du idealerweise über:\nErfahrung mit Cloud-AI-Diensten (z. B. AWS SageMaker/Bedrock, Azure ML/Azure OpenAI/Azure AI Foundry) und deren Integration mit Kubernetes-Workloads.\nKenntnisse im Betrieb von LLM-basierten Architekturen, z. B. RAG-Pipelines, Vektordatenbanken und Embedding-Services sowie Agentic-AI-Ansätze und Model Context Protocol (MCP).\nVerständnis von System-Level-Grundlagen des LLM-Servings (Rate Limiting, Token Streaming, Load Balancing) und LLM-Konzepten wie Reasoning, Tool Calling und Prompt Templates.\nErfahrung mit neuen Serving-Bausteinen wie llm-d oder Kubernetes Inference Gateway.\nKenntnisse in der Absicherung von AI-Plattformen, z. B. TLS, RBAC und Network Policies innerhalb von Kubernetes-Umgebungen, sowie Grundverständnis von AI-Governance (z. B. EU AI Act).\nZertifizierungen im Bereich relevanter Technologien (z. B. Certified Kubernetes Administrator/Developer, NVIDIA-Zertifizierungen).\nBereitschaft zu gelegentlichen Reisen im DACH-Raum.\nBenefits\nWir bieten dir u.a.:\nBetriebliche Altersvorsorge \nTeamorientierte Unternehmenskultur mit regelmäßigen Teamevents \nGezielte Förderung deiner fachlichen Weiterentwicklung \nCorporate Benefits Programm \nFlexible Arbeitszeiten \nModerner Arbeitsplatz mit zeitgemäßer Ausstattung \nRemote-Work-Möglichkeiten\nWir freuen uns auf deine Online-Bewerbung und darauf, mehr über dich zu erfahren.\nWe get IT done.","description_format":"text","description_chars":4913,"description_truncated":false,"requirements":{"experience_years_min":3,"management_years_min":null,"team_size_min":null,"manages_managers":false,"education":null,"security_clearance":false,"languages":[{"language":"German","level":"Advanced (C1)","optional":false}]},"benefits":[],"hiring_locations":[{"name":"Germany","iso":"DE","kind":"country"}],"hiring_excludes":[],"relocation_offered":false,"industries":["DevOps & Platform Engineering","Managed IT Services (MSP)","Cloud Consulting & Migration"],"lifecycle":[{"event":"open","at":"2026-09-30T13:48:52Z"}],"visa":[],"liveness":{"score":77,"band":"hot","label":"Hiring now","p_open":1,"p_active":0.86,"p_room":0.9,"age_days":26,"expected_fill_days":69,"reasons":["conf:4","win:mid"],"computed_at":"2026-10-27T05:46:45Z"},"pay":null,"html_url":"https://alion.io/job/evoila-senior-ai-platform-engineer-mfd","json_url":"https://alion.io/job/evoila-senior-ai-platform-engineer-mfd.json","meta":{"generated_at":"2026-10-27T17:49:08Z","cache_seconds":300,"methodology":"https://alion.io/methodology","terms":"https://alion.io/terms","contact":"https://alion.io/contact","api":"https://alion.io/developers","about":"Alion is a live layer of people, companies and AI agents: who they are, whether they are real and active right now, what they do and how to work with them, readable by people and by agents and paid per call.","catalog":"https://alion.io/catalog.json","usage":{"tier":"crawler_verified","counted_by":"address","units_charged":1,"used_today":7565,"day_limit":null,"remaining_today":null,"minute_limit":300,"resets_at":"2026-10-28T00:00:00Z"}},"offers":[{"id":"company.slices","title":"One company in depth, by slice","status":"live","price":{"credits":0.02,"usd":0.002,"plus_per_slice":{"credits":0.05,"usd":0.005}},"unit":"per company, plus each slice with data","note":"the employer in depth","call":{"mcp_tool":"get_company","arguments":{"id":674375},"rest":"https://alion.io/mcp/rest/get_company?id=674375"},"human":"https://alion.io/catalog?offer=company.slices&for=job%2Fevoila-senior-ai-platform-engineer-mfd"},{"id":"market.stats","title":"A market slice: pay, demand and time to fill","status":"live","price":{"credits":1,"usd":0.1},"unit":"per slice","note":"pay, demand and time to fill for this role and place","call":{"mcp_tool":"market_stats"},"human":"https://alion.io/catalog?offer=market.stats&for=job%2Fevoila-senior-ai-platform-engineer-mfd"},{"id":"job.search","title":"Open jobs by role, technology, place, pay and visa","status":"live","price":{"credits":0.02,"usd":0.002},"unit":"per posting in a list","note":"similar open postings","call":{"mcp_tool":"search_jobs"},"human":"https://alion.io/catalog?offer=job.search&for=job%2Fevoila-senior-ai-platform-engineer-mfd"},{"id":"company.verify","title":"Is this company real and active right now","status":"pilot","price":null,"unit":"per company","request":{"url":"https://alion.io/catalog/request","method":"POST","body":"{\"offer\": \"company.verify\", \"for\": \"job/evoila-senior-ai-platform-engineer-mfd\", \"note\": \"what you need it for\"}"},"human":"https://alion.io/catalog?offer=company.verify&for=job%2Fevoila-senior-ai-platform-engineer-mfd"}]}