Agent测试开发负责人(A177779A)

职位描述：
一、为什么招这个岗位
我们多条内部研发质量与效率工具(代码 Review、架构设计、Bug 修复、自动化测试等)的核心价值是 "评测闭环" + "质量保障"。当前产线在「0 → 1 试跑 → 里程碑收口」阶段已规模化运转,评测集已达千级 case 体量。但 谁来保证这些 case 永远对、Skill 升级时不回归、跨平台 smoke 通过率稳定在高位 — 是产线从"能跑"到"能信"的关键卡口。
二、岗位职责
1、AI Agent 评测体系与平台建设
1）设计评测指标体系:准确率 / 召回率 / 鲁棒性 / 任务完成率 / 工具调用成功率 / 响应时延 / 幻觉率 / 上下文记忆能力 / 跨平台 smoke 通过率。
2）搭建自动化评测平台,支持 Gold 标注 + 回归测试 + 模型版本对比 + A/B 评测。
3）引入 LLM-as-a-Judge、A/B 实验、统计显著性判断等方法。
4）建设 Benchmark 基准测试集，覆盖多轮交互、长短上下文、跨领域场景。
2、内部研发质量线保障
1）代码 Review 产物质量:千级规则 case + 数十流程 case 的 Gold 维护 + 回归测试。
2）架构设计产物质量:百级用例 + WIP + 多平台(mcu / qnx / android)smoke。
3）BugFix 产物质量:评测集 + 错误分类 + 故障归因。
4）AutoTest 产物质量:测试用例 + 自动化覆盖 + 回归 + 跨平台。
3、Skill 升级质量保障
1）每次 Skill 升级前,跑全量回归 + 增量回归 + 灰度验证。
2）维护 Skill 黄金标准集(Skill 评测)。
3）跟踪 Skill MCP 接入的所有 Skill 之间的兼容性。
4、安全与对抗性评测。
1）红队用例:多租户权限隔离、数据沙箱、越权、提示注入
2）实施 Prompt Injection / Jailbreak / 数据泄露测试
3）输出安全审查 / 审计日志完整性测试
5、AI 辅助测试 / 智能测试 Agent 探索
1）探索 LLM 实现自动化测试 + 智能归因
2）推动"自动化测试"向"智能化测试"演进


职位要求：
必须:
1）本科及以上,计算机/软件工程/AI/数学相关专业优先。
2）3-5 年以上测试开发 / 质量工程 或 AI 评测经验。
3）熟练掌握 Python(必须);Java / Go / TypeScript / C++ 至少一门。
4）熟悉 LLM 应用框架:LangChain / LangGraph / AutoGen / Coze / Dify / Claude Code / ReAct / Plan-and-Solve 至少一个。
5）熟悉 Prompt Engineering / Harness Engineering / RAG / MCP / Skills。
6）熟悉 CI/CD(GitHub Actions / CircleCI / 并行执行 / Sharding)。
加分:
1）搭建过 AI IDE / CLI 工具链 / Agent 平台的评测体系。
2）参与过 SWE-bench / AgentBench / GAIA 类公开 Benchmark 建设或复现。
3）熟悉 Playwright / Selenium / Appium / Pytest / Uiautomator2 / WDA / Midscene / CDP 自动化框架。
4）熟练使用 AI 工具(Cursor / Claude Code / Devin / Codex / Copilot)人机协作开发。
5）了解 RAGAS / DeepEval 等评测框架。
四、加分项(画像)
1）完整跑通过内部产线其中一条的里程碑收口。
2）自己写过 Skill 评测集 + 跑过回归 + 写过 Gold 标注规范。
3）推动"测试 Agent"在某个真实产线的落地。