AI搜索评估产品经理

岗位定位

负责AI搜索产品质量评测与体验评估 ，搭建生成式搜索、语义搜索的专属评估体系，量化AI搜索结果优劣、监控产品体验基线、验收策略迭代效果。核心是用产品视角把控AI搜索质量，发现体验漏洞、约束策略迭代方向，是AI搜索产品的体验质检员与度量架构师。

岗位职责

• AI搜索评估体系搭建 ：针对大模型生成式搜索、语义检索、RAG问答等场景，搭建专属的离线+在线评估体系。制定AI搜索相关性、真实性、准确性、逻辑性、安全性、多样性的评测标准与标注规范，区别于传统关键词搜索评估。
• 全维度质量巡检与Badcase归因 ：日常巡检AI搜索全链路体验，挖掘语义理解错误、生成幻觉、答案不实、召回缺失、排序异常、歧义误判、无结果、内容低质等AI特有Badcase，完成问题归类、根因分析与优先级排序，输出优化整改清单。
• 迭代实验效果验收 ：负责所有AI搜索策略迭代、模型升级、功能上线的A/B实验评估，解读离线评测指标（NDCG、MRR、准召率）与线上用户指标（CTR、首点击、跳出率、会话满意度），输出专业的产品验收结论与优化建议。
• 体验基线与风险监控 ：搭建通用、长尾、口语化、复杂语义、多模态等多场景AI搜索质量基线，常态化监控指标波动，及时发现策略退化、模型效果衰减、内容风险等问题，保障搜索体验稳定可控。
• 评测工具与流程优化 ：联动研发搭建AI自动评测、批量巡检、问题溯源工具，优化人工标注流程与评测效率，沉淀搜索质量白皮书、问题库、迭代规范，实现体验质量标准化管理。
• 反向驱动产品策略迭代 ：基于评测数据与Badcase沉淀，反向输出产品优化方向、策略调优建议、需求迭代优先级，配合策略产品、算法团队完成体验闭环优化。

任职要求

• 本科及以上学历，有搜索产品、AI产品、内容质量、体验评测相关经验优先，熟悉大模型搜索特性。
• 精通搜索核心评估指标，理解 AI搜索幻觉、语义偏差、事实错误 等特有问题，具备体系化的质量评估思维。
• 具备极强的细节洞察力与问题敏感度，能精准识别AI搜索体验短板，独立完成问题归因与复盘总结。
• 熟练使用数据分析工具、掌握基础SQL，能够通过数据量化体验问题、验证迭代效果。
• 严谨细心、逻辑闭环，具备良好的跨团队沟通能力，可独立推进质量优化闭环。