Weitere Stellen suchen

Arbeitsort

Zürich (Distanz und Fahrzeit ab Ihrer Wohnadresse erhalten Sie nach Ihrer Anmeldung)

Jobbeschreibung

Senior Production Engineer – DGX Cloud (w/m/d)

Ihr Aufgabengebiet

• Aufbau und Betrieb von Produktionssoftware, Automatisierung und Tooling für Control-Plane-Services, Modell-Deployments sowie Inferenz- und Agentic-Workloads in DGX-Cloud-Umgebungen
• Verbesserung der Zuverlässigkeit von Inferenz- und Agentic-Plattformen und -Services, einschliesslich unserer Cloud Functions, SGLang- und vLLM-basierten Endpunkten sowie Inferenzdiensten mit unserem Dynamo, durch Health-Validierung, sicherere Rollouts, Observability und Recovery
• Verbesserung von Endpunktverfügbarkeit, Inferenz-Routing, Kapazitätsmanagement und Service-Health, um bei wechselnden Workloads und Nachfrage eine vorhersehbare Performance sicherzustellen
• Einsatz von Infrastructure as Code und GitOps zur konsistenten Bereitstellung, Konfiguration, Validierung, Aktualisierung und Wiederherstellung von Services über verschiedene Umgebungen hinweg
• Aufbau von Workflows für Service-Enablement, Modell-Releases, Übergaben, Deprecation und laufenden Betrieb; Ersatz wiederkehrender manueller Arbeit durch zuverlässige Automatisierung
• Definition und Instrumentierung von SLIs und SLOs für Inferenz- und Control-Plane-Services, inklusive Verfügbarkeit und Latenz, Nutzung von Error Budgets zur Steuerung von Zuverlässigkeitsverbesserungen und Sichtbarmachung des Produktionsstatus für Partnerteams
• Teilnahme an Bereitschaftsdiensten und Incident Response, Fehlerbehebung bei Routing, Modell-Runtimes, Software und Infrastruktur sowie Überführung wiederkehrender Probleme in Automatisierung und nachhaltige Lösungen
• Zusammenarbeit mit Modell-, Plattform-, Storage-, Netzwerk-, Sicherheits- und GPU-Infrastrukturteams zur sicheren Gestaltung und zum sicheren Betrieb von Services im grossen Massstab

Was Sie ausmacht

• 8+ Jahre Erfahrung im Aufbau oder Betrieb von Produktionsservices und grossskaligen verteilten Systemen, inklusive praktischer Automatisierungserfahrung
• Starke Programmierkenntnisse in Python, Go oder einer vergleichbaren Sprache, mit Erfahrung in der Entwicklung von Tools für den Produktionsbetrieb
• Erfahrung mit Infrastructure as Code, Configuration Management oder GitOps sowie im Aufbau von Automatisierung für wiederholbare Service-Deployments und -Änderungen
• Fundierte Kenntnisse in Linux, Kubernetes, Containern, Cloud-Infrastruktur, verteilten Systemen und Netzwerkgrundlagen; Fähigkeit, Produktionsfehler zu diagnostizieren
• Verständnis von Production-Engineering-Prinzipien, einschliesslich SLIs, SLOs, Error Budgets, Incident Response und Reduzierung operativen Aufwands
• Erfahrung in der Instrumentierung von Services sowie im Einsatz von Metriken, Logs und Traces zum Verständnis des Systemverhaltens und zur Verbesserung der Zuverlässigkeit
• Klare technische Kommunikation und Fähigkeit zur Zusammenarbeit über Engineering-Teams hinweg
• BS/MS in Informatik oder vergleichbare praktische Erfahrung
• Von Vorteil: Kenntnisse in Technologien wie vLLM, SGLang, PyTorch, TensorRT-LLM, unserem Dynamo, CUDA oder NCCL sowie in GPU-Performance-Analyse
• Von Vorteil: Erfahrung im Aufbau von Kubernetes-Operatoren, -Controllern, Workload-Orchestrierungsservices, Fleet-Management-Systemen oder selbstheilender Automatisierung
• Von Vorteil: Erfahrung mit Terraform, Argo CD, CI/CD, Policy-Validierung oder sicheren Deployment- und Rollback-Systemen
• Von Vorteil: Hintergrund in der Entwicklung mit KI-Tools und -Agenten
• Von Vorteil: Erfahrung mit produktiven KI-Inferenz- oder Agentic-Workloads, inklusive Debugging über Modelle, Runtimes, Kubernetes und Hardware hinweg

Was diese Stelle ausmacht

• Zahlreiche individuelle Benefits

Zum Klienten

Weitere Informationen zum Klienten und laufend neue Jobchancen erhalten Sie nach Ihrer Anmeldung und dem Onboarding durch Ihren Fachberater per Mail oder online. Wir freuen uns, Sie persönlich kennenzulernen!