【資訊專才】數據平台工程師

工作內容

1. 參與雲端數據架構發展規劃，設計資料處理、儲存、分析架構，以符合數據科學、數據分析、行銷應用等發展

2. 負責地端數據轉換雲端ETL Pipeline開發與維護、DevOps開發與維護

3. 負責雲端數據平台穩定及架構優化調整，以利數據應用發展

4. 負責監控/問題解決/維運升級 雲端數據應用服務平台

5. 負責雲端數據應用服務平台與 Kubernetes 叢集的日常維運、資源監控、問題排除與系統升級作業，確保平台與模型服務具備高可用性與可擴展性，並持續優化 CI/CD 自動化部署流程。

6. 協助維運數據分析與AI應用平台與機器學習與模型運行環境

需要甚麼技能/知識/職能

1. 具備雲端大數據平台開發經驗，熟悉資料處理、儲存與分析流程，擁有建置 Data Pipeline／ETL／ELT 流程的實務經驗，具 AWS 經驗尤佳。

2. 具備大數據處理技術與生態系，如 Spark、Flink、Kafka、Airflow、Glue 等，並具備 Python、Scala 或 Java 等程式語言開發能力。

3. 具備資料庫技術與資料查詢，包含關聯式資料庫（PostgreSQL、MySQL）與 NoSQL（MongoDB、Cassandra、DynamoDB）操作與優化經驗。

4. 具備 DevOps 流程、容器化（Docker/Kubernetes）與模型部署CI/CD pipeline建置經驗。

5. 具備系統整合與 API 設計能力，熟悉 RESTful API 架構與開發（如 Flask、FastAPI），並具備 UNIX 環境下的開發與操作經驗。

加分條件

1. 具有導入 Apache Iceberg / Delta Lake / Hudi 的實作經驗

2. 持有雲端相關認證（如 AWS Certified Data Engineer、Google Cloud Professional Data Engineer 等）

未來發展(短中長期)

短期：熟悉金融保險業數據生態，負責數據平台開發維運。

中期：與數據應用團隊合作，依業務場景設計並開發數據平台架構。

長期：關注數據生態創新架構，規劃公司數據架構藍圖，支撐企業數據發展。