資料工程師

工作內容

職務內容

1.在Hadoop架構的資料倉儲(Data Warehouse)上建立具備擴充性與高可靠性的資料產品，為數據科學家與業務團隊提供穩健的資料基礎。

2.與數據科學家和業務分析團隊合作，理解需求並提供適用的資料解決方案。

3.設計並構建可擴展、高效的資料產品和資料管線 (ETL/ELT)。

4.設計並實作資料品質驗證與監控機制，確保資料正確性。

5.規劃並實施資料管線的持續交付流程 (CI/CD)，提升自動化與開發效率。

6.參與資料架構設計，提出技術改進與最佳實踐建議。

7.撰寫並維護資料流程文件，確保資料資產可追溯且易於維護。

8.採用Scrum管理流程，跟不同專案小組(Scrum team)進行溝通及合作。

9.參與機器學習模型、數據特徵庫、產品推薦系統、大型語言模型(LLM)、自主數據分析平台等專案小組(視職能及個人興趣進行安排)。

其他條件

必備條件

1.具備資料管線開發與資料建模經驗。

2.熟練使用 Python、SQL程式語言。

3.熟悉 Spark 及Hadoop 生態系 (HDFS, Hive, Yarn, HBase 等)。

4.熟悉資料模型設計 (Star Schema, Snowflake Schema 等)。

5.有設計ETL/ELT 流程並管理資料產品生命週期的經驗。

6.熟悉資料驗證及CI/CD 流程設計 。

7.有資料流程排程工具經驗 (如 Airflow、Luigi 等)。

8.具備SQL資料庫設計與查詢優化能力。

學歷

大學以上

工作經歷

2年以上

薪資

面議