AI 模型評測主管 (AI Evaluation Lead / Manager)

工作內容

職位介紹

我們正在尋找一位具有遠見的技術主管來領導全新的 AI 品質評測團隊。您將擔任我們 AI 產品上線前的「守門員 (Gatekeeper)」，全權負責定義 AI 模型（特別是 LLM 與 RAG 系統）的品質標準與發布流程。您將帶領團隊建立自動化評測體系，平衡模型效能、安全性與合規性，直接影響產品能否交付給最終客戶。

主要職責

1.評測策略與框架設計 (Strategy & Framework):

• 從零打造企業級的 AI 評測架構，定義適用於 LLM/RAG 及傳統 ML 系統的評估標準（Evaluation Metrics），涵蓋準確率 (Accuracy)、相關性 (Relevance)、真實性 (Faithfulness) 及一致性 (Consistency)。
• 結合 Responsible AI 原則，制定模型在公平性、偏見 (Bias) 及可解釋性上的驗收標準。
• 主導評測自動化策略，推動評測流程與 MLOps/DevOps (CI/CD) 的深度整合。

2.基準測試體系與數據治理 (Benchmarking & Data Governance):

• 規劃並管理「黃金測試集 (Golden Datasets)」的生命週期，確保數據集覆蓋業務關鍵路徑、邊緣案例 (Edge Cases) 及對抗性樣本。
• 追蹤學術界與業界最新的評測工具（如 RAGAS, DeepEval, Arize Phoenix 等）與基準（Benchmarks），並決策引入適當工具至內部流程。

3.安全性與紅隊演練領導 (Security & Red Teaming):

• 建立 AI 安全防護機制，領導團隊執行定期的 AI 紅隊演練 (Red Teaming)。
• 制定針對 Prompt Injection、Jailbreaking 及 PII 洩露的防禦策略與壓力測試標準。

4.跨部門協作與持續優化 (Collaboration & Optimization):

• 與算法科學家、產品經理及後端工程師緊密合作，建立「錯誤分析回饋迴圈 (Feedback Loop)」。
• 針對生產環境的 Bad Cases 進行根因分析 (RCA)，指導團隊提出具體的 Fine-tuning 或 Prompt Engineering 優化建議。
• 負責團隊建設、人才培養及評測流程的標準化文檔管理。

條件要求

1.學歷要求:碩士

2.科系要求:資訊管理相關,數學及電算機科學學科類

3.工作經驗:5 年以上 AI/ML 相關工作經驗，並具備 2 年以上帶領技術團隊或專案管理的經驗。

4.其它技能/專長:

• 深刻理解 LLM (Transformer 架構) 原理、RAG 系統運作機制及其潛在弱點（幻覺、上下文視窗限制等）。
• 熟悉 Python 生態系及主流 AI 框架 (PyTorch, TensorFlow, LangChain, LlamaIndex)。
• 具備優秀的邏輯思維與溝通能力，能在技術指標與業務價值之間進行轉譯。

5.加分條件:

• 具有金融科技 (FinTech) 或高監管行業（醫療、法律）的 AI 專案落地經驗。
• 熟悉 OWASP Top 10 for LLM，具備資安背景或 AI 安全防護實戰經驗。
• 有參與過公開模型評測榜單 (Leaderboards) 或 Kaggle 競賽並獲得優異成績者。
• 具備 MLOps 平台架設或容器化部署 (Docker/K8s) 的管理經驗。