AI评测负责人（Agent/大模型方向）
Confirmed on the employer's own hiring board on Oct 31, 2026. First seen by Alion on Oct 29, 2026. Tencent scores B on the Alion truth index.
岗位职责 / Responsibilities
1.统筹腾讯电脑管家系列 Agent（如管家云端 Agent、磁盘清理专家等）以及自研微调模型的 AI 评测与质量保障工作，对产品和模型的效果质量负责;
2.规划并主导 AI 评测体系建设，制定中长期路线图，覆盖模型能力评测、Agent 任务评测和端到端产品评测; 牵头制定评测标准、指标体系和评测流程，构建贴合业务的自有 Benchmark;
3.建立评测驱动的研发机制：把评测结果接入模型迭代、Agent 发版和 CI 流程，设定安全红线和质量门禁; 为产品决策、模型选型和微调方向提供数据依据;
4.主导评测工程平台建设，包括评测集管理、评测执行器、判分器（规则判分、状态比对、LLM-as-Judge 及人工校准）和线上采样评测; 打通“线上 trace、Bad Case 挖掘、回归评测集”的闭环;
5.打通线上反馈闭环：从用户真实 trace、负反馈、Bad Case 中挖掘问题，持续沉淀为回归评测集。组建并带领评测团队，推动评测结论落地为实际改进;
6.研判业界评测基准与方法的演进趋势，例如 SWE-bench Verified / Pro、Terminal-Bench、OSWorld、Windows Agent Arena、τ-bench、OS-Harm，识别公开基准的饱和与数据污染问题，结合业务做适配与创新，并对外沉淀技术影响力。
岗位要求 / Requirements
1.本科及以上学历，计算机科学、软件工程、人工智能或相关专业，硕士优先;
2.5 年以上质量保障、算法评测或相关领域经验，其中有 2 年 LLM 或 Agent 评测经验更佳; 有从零搭建评测体系并推动落地的完整经历;
3.2 年以上团队管理或技术牵头经验，能带领团队完成目标; 较好的跨团队沟通与推动能力;
4.深入理解主流 LLM/Agent 评测基准与方法论，能清楚说明各类判分方式的取舍; 熟悉 pass@k、pass^k、LLM-as-Judge 校准、数据污染防治等关键问题;
5.理解大语言模型的基本原理（Transformer、预训练、SFT/LoRA 微调、RLHF、推理优化），熟悉 ReAct、Function Calling、Tool Use、Planning、多 Agent 协作等 Agent 核心概念;
6.熟练掌握 Python，具备评测平台或自动化测试框架的架构设计能力。