GPU Devops （GPU运维工程师）

GPU Devops （GPU运维工程师）
岗位职责
• 集群运行与监控
◦ 负责 AIDC GPU / CPU 集群的日常运行、监控与维护，确保集群可用性、稳定性。
◦ 使用 Prometheus / Grafana / Loki / Alertmanager 等工具监控集群指标。
◦ 定期进行容量规划、健康检查和资源优化。
• 系统运维与自动化
◦ 参与操作系统、容器平台（Kubernetes）、存储系统（MinIO）、网络系统（RoCE）的安装、
配置、升级。
◦ 编写自动化运维脚本（Python / Shell / Ansible），实现批量管理与快速部署。
• 问题诊断与应急响应
◦ 快速定位集群故障（硬件 / 网络 / 软件 / 作业调度等），制定标准化应急预案（SOP）。
◦ 对 GPU 训练异常、作业挂起、节点掉线、网络延迟等问题进行根因分析。
• 系统优化与维护改进
◦ 分析GPU利用率、网络带宽、存储性能等指标，提出优化方案。
◦ 支持算力资源分配与租户隔离配置，优化任务调度与资源利用。
◦ 参与软件版本升级、补丁测试与系统安全加固。
• 协作与工具建设
◦ 与研发团队、算法团队紧密协作，推动 CI/CD、GitOps、资源编排流程落地。
◦ 参与内部工具开发（如节点巡检、镜像分发、作业管理控制台等）。
◦ 编写系统文档、维护知识库与标准操作手册（SOP）。
任职要求
• 技术能力
◦ 熟悉 Linux 系统管理与性能调优，理解系统资源（CPU、内存、IO、网络）原理。
◦ 掌握常用脚本语言（Shell / Python），能独立编写运维自动化工具。
◦ 熟悉监控体系（Prometheus、Grafana）与日志分析方法。
◦ 具备 Kubernetes / Docker 实际运维经验，理解常见组件（kubelet、scheduler、CNI、
CSI）。
◦ 了解网络与存储系统（RDMA、RoCE、S3、NVMe-oF）。
• 加分项
◦ 有 GPU 集群运维经验（NVIDIA H100 / 4090 / 5090 / 华为昇腾等）。
◦ 有 HPC / AI 训练平台 / 云原生计算平台维护经验。
◦ 了解 CI/CD 工具链（GitLab、Harbor、ArgoCD）。