LLM Serving Engine Engineer / LLMサービングエンジンエンジニア

Job Description / 職務内容

We are looking for an engineer to join the development of the LLM inference serving engine for the MN-Core L series.

At PFN, we are developing and utilizing the MN-Core™ architecture along with its recent generations MN-Core L series. The MN-Core architecture employs compiler-based pre-scheduling to optimize the majority of processor control, meaning the compiler's quality directly determines the performance of the accelerator. The L series leverages novel 3D stacked DRAM technology to achieve high bandwidth required for LLM inference. The serving engine aims to enable ultra-low latency LLM inference by tightly integrating the compiler-generated programs, runtime environment, and data processing on DRAM.

In this position, you will be involved in developing this serving engine. Your specific software development responsibilities will include:

- Implementing execution control and request scheduling for LLM inference processing.

- Optimizing KV cache management to support useful features like prefix caching while fully utilizing the high DRAM bandwidth.

- Working closely with compiler, runtime, and hardware developers.

- Designing benchmarks and simulations to ascertain the LLM inference performance on specific workloads and use cases.

- Conducting surveys of existing inference engines like vLLM and SGLang.

In addition to these core responsibilities, depending on your interests and aptitudes, you may also participate in broader projects related to high-performance computing system design and utilization, compression such as quantization, testing with downstream tasks, and architectural considerations for the MN-Core itself.

MN-Core Lシリーズ向けLLMサービングエンジンの開発チームに加わるエンジニアを募集しています。

PFNでは、最新世代のMN-Core™アーキテクチャおよびMN-Core Lシリーズの開発・活用を進めています。MN-Coreアーキテクチャはコンパイラによる事前スケジューリングを採用しており、プロセッサ制御の大部分を最適化しています。このため、コンパイラの品質がアクセラレータの性能に直接影響します。Lシリーズでは、LLM推論に必要な高帯域幅を実現するため、3D積層DRAM技術を採用しています。本LLMサービングエンジンは、コンパイラが生成したプログラム、ランタイム環境、およびDRAM上でのデータ処理を緊密に協調させることで、超低遅延なLLM推論を実現することを目的としています。

本ポジションでは、このサービスエンジンの開発に携わっていただきます。具体的なソフトウェア開発業務としては以下が含まれます：

* LLM推論処理における実行制御とリクエストスケジューリングの実装

* 高帯域幅DRAMを最大限に活用しつつ、プレフィックスキャッシュなどの有用な機能をサポートするためのKVキャッシュ管理の最適化

* コンパイラ・ランタイム・ハードウェア開発者との緊密な連携

* 特定のワークロードやユースケースにおけるLLM推論性能を評価するためのベンチマークおよびシミュレーションの設計

* vLLMやSGLangなどの既存推論エンジンに関する調査

これらの主要業務に加え、ご自身の興味や適性に応じて、高性能コンピューティングシステムの設計・活用、量子化などの圧縮技術、下流タスクとの連携テスト、MN-Coreアーキテクチャ自体の設計検討など、より広範なプロジェクトにも関与していただくことも可能です。

**What makes this position appealing**

At PFN, you'll have the opportunity to work on the development of the serving engine for cutting-edge LLM inference accelerators. You'll work in an environment where you can collaborate closely with users as well as hardware developers, making this an ideal opportunity for those passionate about applying world-class computing technology in real-world applications.

PFNでは、最先端のLLM推論アクセラレータ向けソフトウェアの開発に携わることができます。ハードウェア開発者と密接に連携しながら開発を進めることができる環境であり、世界最先端のコンピューティング技術を実社会で活用することに情熱を持つ方にとって、理想的な環境です。

**Portrait of a person**

- Individuals with broad interests and a desire to acquire knowledge in new technical domains

- Colleagues who can respect and work well together, regardless of job role or background

- Those who can leverage their strengths and support team members

- Individuals who can approach problem-solving as their own responsibility, regardless of ownership

- People who can absorb new knowledge and enjoy working in environments with diverse expertise

- 様々な分野への関心、新たな技術領域の知見獲得の意欲のある方

- 同職種・他職種に関わらずリスペクトして一緒に楽しく働ける方

- 強みを活かして、チームメンバと助け合える方

- 周りの課題に対しても自分事として捉え課題解決を推進できる方

- 様々な専門性を持つ人がいる環境で新しいことを吸収し、楽しめる方

**Reference Links**

[About the inference chip MN-Core L1000](https://mn-core.com/)

[推論チップ MN-Core L1000について](https://mn-core.com/ja)

Qualifications / 応募資格（必須）

- Basic understanding of computer science at university undergraduate level

- Interest in emerging LLM inference accelerators.

- Theoretical and practical familiarity with LLM inference.

- Understand how hardware specifications influence performance.

- Understanding of different workload scenarios and how they relate to performance.

- Understanding of the different tradeoffs involved in inference optimization.

- Familiar with open source LLM inference engines (such as vLLM, SGLang, dynamo, llama.cpp).

- Openness to work in an English-Japanese-mixed environment

- 大学学部レベルのコンピュータサイエンスについての基礎的な理解

- 新興のLLM推論アクセラレータ技術に対する関心

- LLM推論に関する理論的・実践的な知識を有していること

- ハードウェア仕様が性能に与える影響を理解できること

- 様々なワークロードシナリオとそれらが性能に及ぼす影響についての理解

- 推論最適化に伴う各種トレードオフについての理解

- オープンソースのLLM推論エンジン（vLLM、SGLang、dynamo、llama.cppなど）に精通していること

- 英語と日本語が混在する環境での業務に柔軟に対応できること

Preferred Qualifications / 応募資格（歓迎）

- Contributions to open source LLM inference engines (vLLM, SGLang, llama.cpp, dynamo, …).

- Experience with LLM serving (either running locally or at scale).

- Familiar with core parts of LLM serving (such as request scheduling, KV cache management or prefix caching).

- Knowledge about LLM serving APIs (/chat/completion, /responses, /messages, …).

- Interest in LLM applications (such as coding agents).

- Knowledge about ascertaining LLM inference performance through benchmarks and simulations.

- System engineering experience (understanding of performance optimization, profiling, memory management, storage, concurrency, etc.).

- Experience with system programming languages (C/C++, Rust, Go, …).

- Experience with emerging LLM inference accelerators.

- Ability to read technical documentation/discussions in Japanese.

- OSSのLLM推論エンジン（vLLM、SGLang、llama.cpp、dynamoなど）への貢献経験

- LLMのサービス提供に関する実務経験（ローカル環境および大規模環境での運用双方）

- LLMサービス提供の主要コンポーネントに関する知識（リクエストスケジューリング、KVキャッシュ管理、プレフィックスキャッシュ処理など）

- LLMサービス提供APIに関する知見（/chat/completion、/responses、/messagesなど）

- LLM応用技術への関心（コーディング支援エージェントなどの事例）

- ベンチマークテストやシミュレーションを通じたLLM推論性能評価に関する知識

- システムエンジニアリングの実務経験（パフォーマンス最適化、プロファイリング、メモリ管理、ストレージ、並行処理などの理解）

- システムプログラミング言語の使用経験（C/C++、Rust、Goなど）

- 最新のLLM推論アクセラレータ技術に関する知見

- 日本語の技術文書/ディスカッションを読み解く能力

Salary /賃金

経験、業績、能力、貢献に応じて、当社規定により優遇

Experience, performance, skills, contribution are taken into consideration.

Location / 勤務地

東京都千代田区大手町１-６-１ 大手町ビル / Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004

リモート勤務制度あり （日本国内に限る) / Remote work system available (limited to work in Japan)

Work style / 勤務形態

専門労働型裁量労働制（みなし労働時間：8時間）もしくはフレックス制

Discretionary-work (deemed work hours: 8 hours) or Flex-time system

ハイブリッド勤務（オフィス出社と在宅勤務を組み合わせての勤務）

Hybrid work (Combination of working from the office and working from home)

Salary increase & bonus / 昇給・賞与

年2回の人事評価及び会社業績に基づいて決定

Based on the result of a individual performance review (twice a year) and company’s performance

Allowances / 諸手当

通勤手当、在宅勤務手当

Commutation allowances / teleworking allowances

Holidays / 休日・休暇

休日：土曜日、日曜日、国民の祝日、国民の休日、年末年始

当社規定による年次有給休暇制度（入社時26日付与）

育児休暇、慶弔休暇など

Holiday: Saturdays and Sundays, public holidays, Year-end and new-year

Annual paid leave based on company regulations (26 days granted upon hire)

Parental leave, conguratulation / condolence leave etc.

Welfare / 福利厚生

社会保険完備（厚生年金保険、健康保険、雇用保険、労災保険）

確定拠出年金制度

ラップトップPC購入補助

定期健康診断実施

Various social insurance programs: pension insurance, health insurance, employment insurance, workers’ compensation

Defined contribution pension

Allowance for purchasing a laptop PC

Regular health checks

Employment Status / 雇用形態

正社員（試用期間3ヶ月、本採用と同条件）

Full-time regular employment (3 months of probation period under the same condition as regular employment)