資深 AI 模型評測工程師 (Senior AI Evaluation Engineer)

工作內容

職位介紹

作為評測團隊的核心技術骨幹，您將負責「打造尺規」的工作。您需要運用深厚的程式開發能力，構建自動化評測工具與腳本，對我們的 LLM 與 RAG 系統進行全方位的「體檢」。您將是發現模型幻覺、安全漏洞與效能瓶頸的第一線專家。

主要職責

1.自動化評測開發與實作 (Automation & Implementation):

• 開發高效能的 Python 自動化評測腳本，針對 LLM/RAG 系統進行多維度打分（Accuracy, Relevance, Faithfulness, Consistency）。
• 將評測工具整合至 Jenkins/GitLab CI 等 CI/CD 流程中，實現模型版本的自動回歸測試 (Regression Testing)，確保「新版本不比舊版本差」。
• 實作 Responsible AI 的具體檢測邏輯，量化模型的偏見與公平性指標。

2.測試集建構與維護 (Dataset Management):

• 與業務團隊合作，收集真實場景數據，清洗並標註高品質的「黃金測試集 (Golden Datasets)」。
• 設計並生成合成數據 (Synthetic Data) 以覆蓋邊緣案例 (Edge Cases) 與極端場景。

3.執行紅隊演練與安全測試 (Security Testing):

• 設計並執行自動化攻擊腳本，模擬「提示詞注入」(Prompt Injection)、「越獄」(Jailbreaking) 等攻擊手段，驗證護欄 (Guardrails) 有效性。
• 對模型輸出進行敏感詞過濾與 PII (個人身份資訊) 洩露的壓力測試與掃描。

4.錯誤分析與報告 (Error Analysis):

• 深入分析測試失敗案例 (Bad Cases)，歸納錯誤模式 (Error Patterns)，撰寫詳細的技術評測報告。
• 協助算法工程師定位問題根源（是 Retrieval 錯誤還是 Generation 錯誤），並驗證修復後的有效性。

條件要求

1.學歷要求:大學、碩士

2.科系要求:資訊管理相關,數學及電算機科學學科類

3.工作經驗:3 年以上 Python 開發經驗，編碼風格良好，熟悉 Pytest 或 unittest 等測試框架。

4.其它技能/專長:

• 熟悉 NLP 技術與 LLM 應用開發框架 (LangChain, LlamaIndex, Semantic Kernel)。
• 具備數據分析能力，熟悉 Pandas, NumPy 及視覺化工具，能將評測結果轉化為直觀報表。
• 具有金融科技 (FinTech) 領域的數據處理或模型開發經驗。
• 熟悉 OWASP Top 10 for LLM，並有實際撰寫過 AI 攻擊或防禦腳本的經驗。
• 熟悉容器化技術 (Docker/Kubernetes)，能獨立部署隔離的自動化測試環境。
• 熟悉主流評測框架（如 RAGAS, TruLens, DeepEval, Promptfoo）者優先錄取。
• Kaggle 競賽 Master/Grandmaster 或有開源專案貢獻經驗。