2,073,632open jobs
122,989companies
240,852added this week
Browse all
Salary
≈ $69k – $145k per year (Estimated)
Location
Remote (Germany)

Confirmed on the employer's own hiring board on Oct 30, 2026. First seen by Alion on Oct 30, 2026. NTT DATA scores A on the Alion truth index.

Overview
Company
Impact
Profile match
NTT DATA is a Tokyo system integrator founded in 1988 that spun out of the data communications arm of NTT. It is one of the largest information technology services firms in the world, building banking, public sector and payment systems and operating global consulting and managed services. The company runs the CAFIS payment network used across Japanese retail and banking.
Backed by Pamlico Capital

Wir sind Teil von NTT DATA, einem führenden Anbieter von Unternehmens- und Technologiedienstleistungen, KI und digitaler Infrastruktur mit einem Umsatz von über 30 Mrd. $. Als Global Top Employer betreut NTT DATA 75 % der Fortune Global 100-Unternehmen und entwickelt mit Expert:innen in über 70 Ländern gemeinsam innovative Lösungen, die dazu inspirieren, Neues zu wagen und Erfolge sichtbar zu machen. In der DACH-Region sind wir an 15 Standorten in Deutschland, Österreich und der Schweiz vertreten.

Make this the place where

you

grow

Private AI entsteht nicht auf dem Architekturdiagramm. Du bringst sie vom Design bis in den produktiven Betrieb. Als Private AI Architect (w/m/x) entwickelst du sichere, skalierbare und souveräne AI- und GenAI-Plattformen und verbindest dabei Architektur mit echter Hands-on-Umsetzung. Ob Self-hosted LLMs, RAG oder Agentic AI: Du sorgst dafür, dass aus technologischen Möglichkeiten produktionsreife Enterprise-AI-Lösungen werden.

Deine Benefits

  • Flexible Arbeitszeiten mit Gleitzeitregelung und Reisezeit ist Arbeitszeit

  • Home-Office Möglichkeit sowie Vereinbarung mit Vergütungszuschuss inkl. Arbeitsplatzausstattung möglich

  • 30 Tage Urlaub, zusätzlich sind der 24.12. und 31.12. arbeitsfreie Tage

  • Sabbatical bis zu einem Jahr möglich

  • Remote Work sowie mobiles Arbeiten im EU-Ausland möglich

  • Attraktive Benefit- und Entgeltoptimierungsprogramme: betriebliche Altersvorsorge, JobRad, Jobticket, exklusive Rabatte über Corporate Benefits und vieles mehr

  • Umfangreiche Gesundheits- und Vorsorgeangebote: verlängerte Entgeltfortzahlung im Krankheitsfall, Betriebsärztliche Betreuung, Unfallversicherung auch für Freizeitunfälle weltweit, Familienservice

  • Interne und externe Weiterbildungsmöglichkeiten in der NTT DATA Academy mit fachlichen Trainings, Zertifizierungsangeboten, Soft-Skill-Schulungen, Udemy Zugang

  • Diverse Communities und Initiativen (zu Diversity, Equity & Inclusion, ESG und mehr) mit Wissensaustausch auf Augenhöhe

  • Teamorientierte Unternehmenskultur mit viel Gestaltungsspielraum

Deine Mission

  • Du designst, entwickelst, konfigurierst und implementierst Private-AI- und GenAI-Plattformen auf Basis von Open-Source- und Self-hosted-Technologien und erstellst High-Level- und Low-Level-Designs, Blueprints sowie Referenzarchitekturen für On-Premises-, Private-Cloud-, Hybrid- und Sovereign-AI-Umgebungen.

  • Du entwickelst und implementierst LLM-, RAG- und Agentic-AI-Lösungen - von Ingestion Pipelines und Vector Databases über Tool Integrations und Orchestrierung bis hin zu Evaluation Components.

  • Du bringst AI-Plattformen mit Kubernetes, Containerisierung und MLOps/LLMOps zuverlässig in den produktiven Betrieb und verantwortest Deployment, Monitoring, Governance sowie Troubleshooting.

  • Du deployest und optimierst Self-hosted Foundation Models und Enterprise-AI-Workloads und verbesserst GPU Utilization, Quantization, Batching, Autoscaling und Latenz für leistungsfähige und hochverfügbare Inference-Architekturen.

  • Du begleitest unsere Kunden bei AI-Strategie, Platform Modernization und Infrastructure Readiness, treibst POCs und MVPs voran und bringst deine Expertise in RFPs, Angebote und Aufwandsschätzungen ein.

Dein Skillset

  • Du verfügst über 10-13 Jahre IT-Erfahrung, davon mindestens 5 Jahre in AI/ML-Architektur, und hast Enterprise-AI-/GenAI-Lösungen in Private-Cloud-, On-Premises- oder Hybrid-Umgebungen erfolgreich umgesetzt.

  • Du bringst ausgeprägte Hands-on-Erfahrung mit Private AI und GenAI mit und beherrschst LLMs, RAG, Vector Databases, Prompt Engineering und Agentic AI sowie Frameworks wie LangChain, LlamaIndex, Haystack oder Semantic Kernel und Open-Source-Modelle wie Llama, Mistral, DeepSeek oder Qwen.

  • Du bist sicher im Umgang mit Kubernetes, Docker/OpenShift und MLOps/LLMOps und kennst Technologien wie MLflow, Kubeflow, KServe, Ray, vLLM oder Ollama sowie Evaluation, Tracing, Monitoring, Drift Detection und Production Support.

  • Du kennst dich mit GPU- und AI-Infrastrukturen aus - einschließlich NVIDIA Stack, CUDA, MIG, Model Serving, Quantization, Distributed Inference/Training, Storage und Networking - und kannst AI-Workloads hinsichtlich Performance, Skalierbarkeit und Verfügbarkeit optimieren.

  • Du verbindest dein technisches Know-how mit einem sicheren Verständnis für Security, Privacy und Sovereign AI, überzeugst im Umgang mit unterschiedlichen Stakeholdern und verfügst über Deutschkenntnisse auf mindestens C1-Niveau.

Mit uns hast du unzählige Möglichkeiten, groß zu denken, mutig zu handeln und Verantwortung zu übernehmen. Gestalte deine Zukunft in einer Kultur, die Zugehörigkeit lebt und dir Raum für Lernen und Networking gibt.

Vielfalt ist ein unverzichtbarer Teil unseres Erfolges und unserer Unternehmenskultur. Frei von Vorurteilen im Hinblick auf Geschlecht, sexuelle Orientierung, Alter, ethnische und soziale Herkunft, Religion oder Behinderung freuen wir uns dich kennenzulernen. Menschen mit Schwerbehinderung werden bei gleicher Eignung bevorzugt.

Interessiert? Wir freuen uns auf Deine Online-Bewerbung!

Free account
Stop reading job ads. Get the ones that fit.
One free account turns this page into a shortlist built around your stack, your level and your pay.
Match on every job. Stack, seniority, pay and location, scored against your profile.
2,073,632 open roles. Read straight off company career pages, refreshed every day.
Unlimited applications. Every one you send is tracked in one place, on-site or on a company board.
3 tailored CVs a month. Rewritten for the exact job you are applying to. Included free.
Create a free account Continue with Google
Free forever. No card. Under a minute.

Your match

How well do you fit this role?
Two answers are enough for a real match. No account needed.
Check my fit
Answers stay in this browser until you create an account.

Recommended for you based on this role

Solutions
Similar stack
Same company
Erfurt
≈ $28k – $68k per year (Estimated) · Remote (Ukraine) · Full-Time · Ukraine
Python
Python
FastAPI
Databases
PostgreSQL
Weaviate
pgvector
Qdrant
RabbitMQ
Apache Kafka
AI/ML
LangGraph
LangChain
Claude
Model Context Protocol
Prompt Engineering
Function Calling
AI Agents
Pydantic AI
LLM
RAG
OpenAI
Anthropic
LLMOps
OpenAI Agents SDK
Human-in-the-Loop
Structured Outputs
EU AI Act
DevOps
Rest API
gRPC
GCP
Azure
CI/CD
AWS
Docker
Kubernetes
Cybersecurity
GDPR
Least Privilege
Analytics
ETL/ELT
Apply
≈ $79k – $149k per year (Estimated) · Hybrid · Full-Time · Ulm
Apply
≈ $69k – $148k per year (Estimated) · Hybrid · Full-Time · Leipzig
Apply
≈ $70k – $148k per year (Estimated) · In office · Full-Time · Munich
Apex
Apex
MuleSoft
DevOps
Rest API
Apply
≈ $66k – $111k per year (Estimated) · Remote (EU) · Contractor · Bachelor's Degree
Databases
Databricks
DevOps
Terraform
Azure DevOps
Azure
CI/CD
SLI/SLO/SLA
Cybersecurity
Microsoft Entra ID
Management
ITIL
Apply
≈ $77k – $169k per year (Estimated) · Remote (Germany) · 8+ years exp · Erfurt
AI/ML
RAG
Apply
≈ $83k – $198k per year (Estimated) · Remote (Germany) · 10+ years exp · Bachelor's Degree · Erfurt
AI/ML
RAG
Apply
≈ $62k – $156k per year (Estimated) · Remote (Germany) · Erfurt
DevOps
Rest API
SOAP
Management
ServiceNow
Agile
Scrum
Kanban
ITIL
ITSM
Apply
In office · Part-Time · Erfurt
Apply
≈ $16k – $24k per year (Estimated) · In office · Erfurt
Apply
See all jobs
This is one of many
2,073,632 more open roles from verified company boards, updated every day.