Machine Learning Platform Engineer (Performance)/機械学習プラットフォームエンジニア（パフォーマンス）

Job Description / 職務内容

本ポジションではカジュアル面談を受け付けています。こちらのフォームからお気軽にご応募ください。

[株式会社Preferred Networks "Infrastructure" 領域カジュアル面談応募フォーム](https://docs.google.com/forms/d/e/1FAIpQLSf3gUARsdrHSlyiHytuOBYpSvXqVA0kulZmWEZjhyfqDoknHw/viewform)

---

他の領域を中心に担当するポジションもあります（どこからでも同じ部門への配属になります）。

- [機械学習プラットフォームエンジニア](https://open.talentio.com/r/1/c/preferred/pages/88331)

- [機械学習プラットフォームエンジニア（サービス開発）](https://open.talentio.com/r/1/c/preferred/pages/100139)

- [機械学習プラットフォームエンジニア（ネットワーキング）](https://open.talentio.com/r/1/c/preferred/pages/100141)

---

Preferred Networks の機械学習プラットフォームで用いられている、深層学習アクセラレータやインターコネクトとプラットフォームのインテグレーション、大規模分散利用に関わるソフトウェア開発を行うエンジニアを募集します。

本ポジションは、高性能計算分野（大規模分散学習、ストレージ、ネットワークなど）でのご経験や深層学習アクセラレータの利用・性能最適化経験、システムソフトウェアの開発経験がある方を対象とし、機械学習プラットフォーム全体のパフォーマンスを支える研究開発をハードウェアとソフトウェア両面の知見を活かして取り組むことで、競争力のある機械学習プラットフォームの実現を目指します。

**業務内容の一例**

- 機械学習プラットフォームのアクセラレータに関連する研究開発

- GPU が提供する新しい機能をユーザに提供するための検証、必要な機能の開発

- MN-Core を利活用するための機能（インテグレーション、設定、監視等）の開発

- 機械学習プラットフォームのインターコネクトに関連する研究開発

- ロスレスネットワーク関連機能の検証（キーワード: PFC, ECN, DCQCN, RoCEv2）

- 集団通信性能の追求（キーワード: xCCL, PeerDirect / GPUDirect RDMA, PCI Express, CXL, Ultra Ethernet）

- 調達した既存のハードウェアを活用するだけではなく、今後の新規ハードウェア調達やMN-Coreチップ、ボードの設計を見据えた議論も含みます

- RDMA アプリケーションの開発（キーワード: UCX, InfiniBand Verbs）

- 機械学習プラットフォームの大規模分散利用に関連する研究開発

- MPI on Kubernetes を実現する機能の開発

- [分散キャッシュシステム](https://tech.preferred.jp/ja/blog/distributed-cache-for-deep-learning/)をはじめとするデータセット読み込み支援機能の開発

- ユーザやシステム管理者による性能プロファイリングを支援する機能の開発

- その他、プラットフォーム利用者のための各種高速化・性能最適化支援機能の開発

- その他、機械学習プラットフォームのハードウェア関連機能の研究開発

- Kubernetes クラスタ及び計算ノードのプロビジョニング自動化機能の開発

- システム・ハードウェア健全性の自動診断、アラート、自動復旧機能の開発

**本ポジションの魅力**

- ハードウェアからソフトウェアまでの垣根を超えて、高性能な機械学習プラットフォームに必要な技術を一気通貫して経験できる

- MN-Core や GPU など深層学習アクセラレータに関連する技術

- インターコネクト など大規模分散学習に関連する技術

- データセット読み込み支援 など、機械学習をシステムソフトウェアで支える技術

- ユーザとの距離が近い環境で実際の機械学習モデルの開発業務から発生する様々な課題の解決

- オンプレミスとパブリッククラウドのハイブリッドな環境で多様な経験を積むことができる

- Kubernetes を始めとする OSS コミュニティへの貢献、ミートアップや学会での登壇が推奨されている

**チームでの働き方**

- 関西在住のメンバもおりリモートワークが主体

- オフィスに出社して勤務している方もいます

PFN のさまざまな研究開発や事業は機械学習やシミュレーションを中心とした膨大な計算量とデータによって支えられています。この計算基盤は設計から運用までを基本的に自社で行っており、PFNの価値と競争力の源泉となっています。先進的なデータセンタ設備、ハードウェア、ソフトウェアの研究開発を実施し、効率のよい大規模な計算基盤とそれを利用するためのサービスを構築・運用しています。機械学習プラットフォームチームでは研究開発を加速させるため、Kubernetes をはじめとするクラウドネイティブ技術を活用して大規模な機械学習プラットフォームの開発運用に挑戦しています。

PFN は社外のお客様向けにクラウドサービスとして PFN 独自の AI プロセッサーである MN-Core シリーズの提供を始めており、順次設備とユーザの拡大を進めています。本ポジションでは社内向けのプラットフォームに加えて、MN-Core シリーズを社外向けのクラウドサービスとして提供するためのプラットフォームの開発・運用にも取り組みます。社外向けのプラットフォームは社内向けと比較してより厳密なテナント間の分離や高いセキュリティが求められるため、社内向けとは異なる設計の新しいプラットフォームとして開発運用しています。

- [AIプロセッサーMN-Core 2を計算資源とした AI向けクラウドサービスPreferred Computing Platformを提供開始 - 株式会社Preferred Networks](https://www.preferred.jp/ja/news/pr20241021/)

- [Preferred Computing Platform (PFCP)](https://pfcomputing.com/)

**本ポジションに関連する対外発表資料**

- [PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜|PPT (発表動画)](https://www.slideshare.net/pfi/pfn-ml-ml-on-kubernetes-pfn)

- [分散キャッシュシステム on Kubernetes / Kubernetes Meetup Tokyo 60 - Speaker Deck(発表動画)](https://speakerdeck.com/pfn/k8s-tokyo-60-distributed-cache-system)

- [PFN の機械学習向け Kubernetes クラスタ におけるノード障害の運用自動化・省力化 - Speaker Deck(発表動画)](https://speakerdeck.com/pfn/pfn-private-cloud-meetup-5)

- [生成AI向け機械学習クラスタ 構築のレシピ 北海道石狩編 - Speaker Deck](https://speakerdeck.com/pfn/20240615-cloudnativedayssummer-pfn)

- [PFNにおけるアクセラレータ間通信の実際 - MPLS Japan 2024](https://tech.preferred.jp/ja/blog/rdma-in-pfn/)

- [Distributed Cache Empowers AI/ML Workloads on Kubernetes Cluster - KubeCon + CloudNativeCon North America 2024](https://kccncna2024.sched.com/event/1i7nw)

Qualifications / 応募資格（必須）

- ソフトウェア開発経験 (Go または Rust または C++)

- 次のいずれかの経験があること、もしくは、強い興味があること

- 高性能計算分野（大規模分散学習、ストレージ、ネットワークなど）

- 深層学習アクセラレータの利用・性能最適化

- システムソフトウェアの開発経験

- ビジネスレベルの日本語能力（JLPT N2 相当）

より高く評価されるスキル・経験 / Ways to stand out from the crowd

- コンピュータ サイエンスまたは関連する技術分野における学位、または関連分野における2年以上の実務経験

- クラウドネイティブなアプリケーション・インフラストラクチャ (特に Kubernetes) の実務経験

- 大規模な Linux サーバ群の監視・運用技術・自動化・運用省力化技術

- 大規模計算機システムのパフォーマンス・チューニング技術

- 一定規模の商用サービスにおいて、複数のエンジニアを率いてプロダクトの全体設計・開発・オペレーション構築をリードした経験

- 分散システムに関する知識と経験

- 機械学習・深層学習の知識と経験

- OSSへのコントリビューション経験

- 複数の関係チームと適切にコミュニケーションを取りプロジェクトをリードできる能力

- カンファレンスやミートアップでの登壇経験

Portrait of a person / 求める人材像

- 様々な分野への関心、新たな技術領域の知見獲得の意欲のある方

- チームを支える圧倒的な強みを持っている方、もしくは、チームを越えた幅広い経験を持っている方

- 同職種・他職種に関わらずリスペクトして一緒に楽しく働ける方

- 強みを活かして、チームメンバと助け合える方

- 誰の持ち物かに関わらず自分事として捉え課題解決を推進できる方

- 様々な専門性を持つ人がいる環境で新しいことを吸収し、楽しめる方

Salary /賃金

経験、業績、能力、貢献に応じて、当社規定により優遇

Experience, performance, skills, contribution are taken into consideration.

Location / 勤務地

東京都千代田区大手町１-６-１ 大手町ビル / Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004

リモート勤務制度あり （日本国内に限る) / Remote work system available (limited to work in Japan)

Work style / 勤務形態

専門労働型裁量労働制（みなし労働時間：8時間）もしくはフレックス制

Discretionary-work (deemed work hours: 8 hours) or Flex-time system

ハイブリッド勤務（オフィス出社と在宅勤務を組み合わせての勤務）

Hybrid work (Combination of working from the office and working from home)

Salary increase & bonus / 昇給・賞与

年2回の人事評価及び会社業績に基づいて決定

Based on the result of a individual performance review (twice a year) and company’s performance

Allowances / 諸手当

通勤手当、在宅勤務手当

Commutation allowances / teleworking allowances

Holidays / 休日・休暇

休日：土曜日、日曜日、国民の祝日、国民の休日、年末年始

当社規定による年次有給休暇制度（入社時26日付与）

育児休暇、慶弔休暇など

Holiday: Saturdays and Sundays, public holidays, Year-end and new-year

Annual paid leave based on company regulations (26 days granted upon hire)

Parental leave, conguratulation / condolence leave etc.

Welfare / 福利厚生

社会保険完備（厚生年金保険、健康保険、雇用保険、労災保険）

確定拠出年金制度

ラップトップPC購入補助

定期健康診断実施

Various social insurance programs: pension insurance, health insurance, employment insurance, workers’ compensation

Defined contribution pension

Allowance for purchasing a laptop PC

Regular health checks

Employment Status / 雇用形態

正社員（試用期間3ヶ月、本採用と同条件）

Full-time regular employment (3 months of probation period under the same condition as regular employment)