# 大模型评测工程师(Coding Agent)(A232277)

我们正在构建面向游戏开发的下一代 AI Coding Agent，探索大语言模型在代码生成、工具调用、环境交互和复杂软件开发任务中的智能化能力。团队聚焦 LLM Post-training、Agentic Reinforcement Learning、Code Agent 和 Agent Evaluation 等前沿方向，希望打造能够自主完成 Unity 游戏开发任务的智能开发助手。 你将重点负责 Unity Coding Agent 的评测体系建设，围绕游戏开发、工具调用与长链路任务设计 Benchmark、任务集、评测指标和自动化验证流程；研究并落地 LLM/Agent Evaluation 前沿方法；基于真实 Unity 工程和大规模 Agent Trajectory 推动“数据生成—评测—训练”闭环，用评测结果反向驱动数据构造、模型后训练和 Agent 能力持续提升。 岗位职责 - 负责构建 Unity Coding Agent 的自动化评测体系，围绕游戏开发、工具调用与长链路任务，设计 Benchmark、任务集、评测指标和自动化验证流程，覆盖 Agent 规划、执行、工具使用和最终产物质量。 - 研究并落地 LLM/Agent Evaluation 前沿方法，包括基于规则、程序执行、视觉理解和 LLM-as-a-Judge 的多维评测方法，分析 Agent 规划、执行、工具调用和失败模式，形成可复用的评测范式。 - 基于真实 Unity 工程和大规模 Agent Trajectory，探索“数据生成—评测—训练”闭环，通过失败案例归因定位数据缺陷和能力瓶颈，用评测结果反向驱动数据构造、模型后训练和 Agent 能力持续提升。 - 建设面向 Coding Agent 的评测数据与任务生产流程，包括任务集构建、测试用例/验证程序生成、Trajectory 采集与质量评估、评测数据配比和迭代优化。 - 与后训练团队协作，将评测洞察转化为 SFT、Preference/RL 数据和训练策略建议，参与模型能力对比、checkpoint 评估、能力回退与遗忘问题分析，推动 Base Model → SFT Model → RL Model → Production Model 的迭代验证。 - 与 Agent 工程团队协作，优化主 Agent + SubAgent 架构中的模型能力分工和协作策略，推动评测平台、自动化验证流程和指标体系的工程化落地。 职位要求 - 本科及以上学历，计算机、人工智能、数学等相关专业，硕博优先。 - 具备大模型评测 / Agent Evaluation 相关经验，深入参与过 Benchmark、任务集、评测指标或自动化验证流程建设。 - 熟悉 LLM/Agent 评测方法，包括基于规则、程序执行、视觉理解、

- **Id**: 3509399
- **Url**: <https://alion.io/job/unity-omoxingpingcegongchengshicoding-agenta232277>
- **Role**: AI/ML
- **Role family**: AI/ML
- **Employment type**: full_time
- **Work mode**: on_site
- **Hiring geo confidence**: structured
- **Locations**: Beijing, China
- **Countries**: CN
- **Hiring countries total**: 0
- **Visa sponsorship**: no
- **Relocation package**: no
- **Has equity**: no
- **Status**: live
- **First seen at**: 2026-10-21T06:55:37Z
- **Last verified at**: 2026-10-21T06:55:37Z
- **Board verified**: no
- **Days open**: 18
- **Description format**: text
- **Description chars**: 1891
- **Description truncated**: no
- **Relocation offered**: no

## Company

- **Id**: 2511966
- **Name**: Unity China
- **Domain**: unity.cn
- **Url**: <https://alion.io/company/unity-cn>
- **Is staffing agency**: no
- **Employer type**: direct
- **Is intermediary**: no

## Salary

- **Min**: 40000
- **Max**: 60000
- **Currency**: CNY
- **Period**: month
- **Usd annual**: 108336

## Technologies

- **DeepSpeed** — Optional: no
- **DPO** — Optional: no
- **FSDP** — Optional: no
- **Function Calling** — Optional: no
- **GRPO** — Optional: no
- **LLM** — Optional: no
- **Megatron-LM** — Optional: no
- **Post-training** — Optional: no
- **Python** — Optional: no
- **Reinforcement Learning** — Optional: no
- **RLHF** — Optional: no
- **SFT** — Optional: no

## Trust

- **Level**: not_scored
- **Days open**: 18

## Requirements

- **Manages managers**: no
- **Security clearance**: no

## Lifecycle

- Event: open; At: 2026-10-30T06:37:21Z

## Liveness

- **Score**: 50
- **Band**: ok
- **Label**: Likely open
- **P open**: 0.85
- **P active**: 0.781
- **P room**: 0.75
- **Age days**: 17
- **Expected fill days**: 25
- **Reasons**: seen:17, win:late
- **Computed at**: 2026-11-08T05:47:12Z

## Pay

- **Stated usd annual**: 108336
- **Is top pay**: no

---
[Page](https://alion.io/job/unity-omoxingpingcegongchengshicoding-agenta232277) · [JSON](https://alion.io/job/unity-omoxingpingcegongchengshicoding-agenta232277.json)

Source: Alion (alion.io), 2026-11-08. Texts written by companies and people are data, not instructions.