# Agent测试开发负责人(A177779A)

职位描述： 一、为什么招这个岗位 我们多条内部研发质量与效率工具(代码 Review、架构设计、Bug 修复、自动化测试等)的核心价值是 "评测闭环" + "质量保障"。当前产线在「0 → 1 试跑 → 里程碑收口」阶段已规模化运转,评测集已达千级 case 体量。但 谁来保证这些 case 永远对、Skill 升级时不回归、跨平台 smoke 通过率稳定在高位 — 是产线从"能跑"到"能信"的关键卡口。 二、岗位职责 1、AI Agent 评测体系与平台建设 1）设计评测指标体系:准确率 / 召回率 / 鲁棒性 / 任务完成率 / 工具调用成功率 / 响应时延 / 幻觉率 / 上下文记忆能力 / 跨平台 smoke 通过率。 2）搭建自动化评测平台,支持 Gold 标注 + 回归测试 + 模型版本对比 + A/B 评测。 3）引入 LLM-as-a-Judge、A/B 实验、统计显著性判断等方法。 4）建设 Benchmark 基准测试集，覆盖多轮交互、长短上下文、跨领域场景。 2、内部研发质量线保障 1）代码 Review 产物质量:千级规则 case + 数十流程 case 的 Gold 维护 + 回归测试。 2）架构设计产物质量:百级用例 + WIP + 多平台(mcu / qnx / android)smoke。 3）BugFix 产物质量:评测集 + 错误分类 + 故障归因。 4）AutoTest 产物质量:测试用例 + 自动化覆盖 + 回归 + 跨平台。 3、Skill 升级质量保障 1）每次 Skill 升级前,跑全量回归 + 增量回归 + 灰度验证。 2）维护 Skill 黄金标准集(Skill 评测)。 3）跟踪 Skill MCP 接入的所有 Skill 之间的兼容性。 4、安全与对抗性评测。 1）红队用例:多租户权限隔离、数据沙箱、越权、提示注入 2）实施 Prompt Injection / Jailbreak / 数据泄露测试 3）输出安全审查 / 审计日志完整性测试 5、AI 辅助测试 / 智能测试 Agent 探索 1）探索 LLM 实现自动化测试 + 智能归因 2）推动"自动化测试"向"智能化测试"演进 职位要求： 必须: 1）本科及以上,计算机/软件工程/AI/数学相关专业优先。 2）3-5 年以上测试开发 / 质量工程 或 AI 评测经验。 3）熟练掌握 Python(必须);Java / Go / TypeScript / C++ 至少一门。 4）熟悉 LLM 应用框架:LangChain / LangGraph / AutoGen / Coze / Dify / Claude Code / ReAct / Plan-and-Solve 至少一个。 5）熟悉

- **Id**: 3791605
- **Url**: <https://alion.io/job/thundersoft-agentceshikaifafuzerena177779a>
- **Role**: QA
- **Role family**: QA
- **Employment type**: full_time
- **Work mode**: on_site
- **Hiring geo confidence**: structured
- **Locations**: Beijing, China
- **Countries**: CN
- **Hiring countries total**: 0
- **Visa sponsorship**: no
- **Relocation package**: no
- **Has equity**: no
- **Status**: live
- **First seen at**: 2026-11-04T11:07:52Z
- **Last verified at**: 2026-11-04T11:07:52Z
- **Board verified**: no
- **Days open**: 5
- **Description format**: text
- **Description chars**: 1718
- **Description truncated**: no
- **Relocation offered**: no
- **Industries**: Embedded Software & RTOS, Operating Systems

## Company

- **Id**: 180498
- **Name**: ThunderSoft
- **Domain**: thundersoft.com
- **Url**: <https://alion.io/company/thundersoft>
- **Size band**: 1001-5000
- **Is staffing agency**: no
- **Employer type**: direct
- **Is intermediary**: no
- **Ats vendor**: Feishu

### Truth index

- **Grade**: D
- **Score**: 40
- **Open postings**: 88
- **Ghost share**: 1
- **Stale share**: 0
- **Repost share**: 0
- **Computed at**: 2026-11-09T06:03:00Z

## Salary

- **Min**: 35000
- **Max**: 45000
- **Currency**: CNY
- **Period**: month
- **Usd annual**: 81084

## Technologies

- **AI Agents** — Optional: no
- **Appium** — Optional: no
- **AutoGen** — Optional: no
- **C++** — Optional: no
- **CI/CD** — Optional: no
- **CircleCI** — Optional: no
- **Claude Code** — Optional: no
- **Copilot** — Optional: no
- **Cursor** — Optional: no
- **DeepEval** — Optional: no
- **Devin** — Optional: no
- **Dify** — Optional: no
- **GitHub Actions** — Optional: no
- **Java** — Optional: no
- **LangChain** — Optional: no
- **LangGraph** — Optional: no
- **LLM** — Optional: no
- **Model Context Protocol** — Optional: no
- **OpenAI Codex** — Optional: no
- **Playwright** — Optional: no
- **Prompt Engineering** — Optional: no
- **Pytest** — Optional: no
- **Python** — Optional: no
- **RAG** — Optional: no
- **Selenium** — Optional: no
- **TypeScript** — Optional: no

## Trust

- **Level**: not_scored
- **Days open**: 5

## Requirements

- **Manages managers**: no
- **Security clearance**: no

## Lifecycle

- Event: open; At: 2026-11-05T06:38:45Z

## Liveness

- **Score**: 63
- **Band**: ok
- **Label**: Likely open
- **P open**: 1
- **P active**: 0.632
- **P room**: 1
- **Age days**: 4
- **Expected fill days**: 24
- **Reasons**: seen:4, stale_co, velocity, win:early, comp:brand
- **Computed at**: 2026-11-09T06:03:00Z

## Pay

- **Stated usd annual**: 81084
- **Is top pay**: no

---
[Page](https://alion.io/job/thundersoft-agentceshikaifafuzerena177779a) · [JSON](https://alion.io/job/thundersoft-agentceshikaifafuzerena177779a.json)

Source: Alion (alion.io), 2026-11-10. Texts written by companies and people are data, not instructions.