AI Runtime Engineer

Career Area:

Job Description:

Your Work Shapes the World at Caterpillar Inc.

When you join Caterpillar, you're joining a global team who cares not just about the work we do - but also about each other. We are the makers, problem solvers, and future world builders who are creating stronger, more sustainable communities. We don't just talk about progress and innovation here - we make it happen, with our customers, where we work and live. Together, we are building a better world, so we can all enjoy living in it.

AI 运行时工程师

AI Runtime Engineer

岗位概述

负责自动驾驶机器和现场边缘计算平台上的 AI Runtime 与推理基础设施，使 ML、VLA 和 LLM 模型能够以高性能、低延迟、可诊断和可扩展的方式运行，并支持多种计算硬件和机器平台。

岗位职责

• AI Runtime 建设： 设计和开发统一的模型加载、执行、版本切换、资源管理、健康监控和诊断能力，支撑 Perception、Prediction、VLA 和边缘 LLM 等模型运行。
• 模型工程化： 将 PyTorch 等训练模型转换、优化并集成到目标运行环境，支持 ONNX、TensorRT、TensorRT-LLM 或其他目标推理框架。
• 推理性能优化： 优化端到端推理延迟、吞吐量、内存、带宽、功耗和计算资源使用，应用 FP16 / INT8、Quantization、Distillation、Pruning 和 Kernel Optimization 等技术。
• 硬件与平台适配： 适配 GPU、NPU、SoC 和其他 AI Accelerator，支持不同 DCU、现场 Edge Server 和未来机器平台的部署需求。
• VLA 与边缘 LLM 支持： 建设面向 Vision-Language-Action 和本地 LLM 的运行环境，支持多模态输入、Context / State 管理、实时 Action 输出及与传统 Planning / Control 的接口。
• 可靠性与可观测性： 建立 Runtime 性能基线、故障诊断、模型健康监控、异常恢复和回滚接口，支持安全受控的渐进式集成与验证。
• 系统集成： 与 On-board Middleware、OS、Perception、Prediction、Planning、Control、AI Platform、Cybersecurity、Functional Safety 和 Validation 团队协作，将模型稳定集成到量产级自动驾驶系统。
• 技术引领： 作为 AI Runtime 方向的资深工程师，主导关键技术方案和疑难问题解决，并指导相关工程实践和技术评审。

任职要求

• 计算机、人工智能、电子工程、自动化、嵌入式系统或相关专业硕士及以上学历。
• 8 年左右或以上软件系统、机器学习系统、嵌入式平台或高性能计算研发经验，具备 AI Runtime 或推理优化的深入实践。
• 熟练掌握 C++ 和 Python，具备扎实的系统软件、并发、内存管理、性能分析和调试能力。
• 熟悉 PyTorch 模型部署，以及 ONNX Runtime、TensorRT、TensorRT-LLM 或同类推理技术中的一种或多种。
• 熟悉 GPU / NPU / SoC 架构、CUDA 或其他加速技术，并具备模型量化、性能分析和资源优化经验。
• 理解 Linux、容器、实时或嵌入式系统，以及模型与 Middleware、OS 和车辆软件的集成方式。
• 能够独立负责跨模型、跨硬件或跨机器平台的关键技术方向，并具备良好的跨团队推动和英文沟通能力。

加分项

• 有自动驾驶、机器人、工业控制或安全关键系统的车端 / 边缘端 AI 部署经验。
• 有 NVIDIA Orin、Jetson、Drive、GPU Cluster、边缘服务器或其他 AI Accelerator 的工程经验。
• 有 VLM / VLA、World Model、端到端自动驾驶或本地 LLM 推理和优化经验。
• 了解 Functional Safety、Cybersecurity、Watchdog、Fallback 或安全受控 AI Runtime 设计。

Posting Dates:

Caterpillar is an Equal Opportunity Employer. Qualified applicants of any age are encouraged to apply

Not ready to apply? Join our Talent Community.