大模型推理部署工程师

岗位职责 / Responsibilities

团队介绍：我们是京东云事业部基础云业务部AI Infra团队，致力于前沿的大模型技术创新与应用。我们专注于研发业界领先的大模型算法，构建极致高效的大模型训练与推理平台，提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用，涵盖业界主流开源模型和京东自研模型的训练与推理服务。我们团队秉承技术驱动、创新为本的理念，为每一位成员提供广阔的成长空间和富有挑战性的项目。

岗位职责：

1. 构建AI云推理架构： 探索PD分离、KV池化、通信优化等技术，设计并实现适用于AI原生的分布式推理服务架构，应对高并发、低延迟挑战;

2. 开发核心推理平台能力： 打造AI原生网关及高可用系统，核心技术点包括但不限于：异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等;

3. 参与推理全栈应用实践： 积极涉足推理服务上下游应用开发，如构建RAG（检索增强生成）系统、探索提示词工程优化实践、参与AI模型市场（MCP）建设或AIGC应用落地等。

任职要求 / Requirements

1. 教育背景： 计算机科学、软件工程、人工智能或相关STEM领域的硕士及以上学历;

2. 技术基石：

* 扎实的计算机科学基础和良好的工程实践能力;

* 精通至少一种主流编程语言（如Python，C++），具备出色的编码和调试能力;

* 熟悉主流大模型推理引擎和优化技术（如 vLLM, SGLang, TensorRT-LLM等）;

3. 经验优先：

* 拥有云计算系统、机器学习平台、分布式计算、中间件等领域的相关开发或落地经验者优先;

* 在机器学习/系统领域顶级会议（如 ATC，ASPLOS, OSDI, MLSys，WWW等）发表论文;

* 作为核心贡献者深度参与知名开源项目，如 vLLM, SGLang, TensorRT-LLM等; * 在相关国际竞赛中取得突出成绩;

4. 软性素质：

* 沟通协作： 具备出色的沟通表达能力和高效的团队协作精神;

* 技术追求： 对技术有强烈的好奇心与钻研精神，追求卓越;

* 解决问题： 具备优秀的自驱力，能主动发现问题、分析问题并创造性地解决问题。

符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信。