Software Engineer - LLM Post-training / 大規模言語モデル 事後学習エンジニア

Job Description

Preferred Networksでは大規模言語モデル(LLM)を中心としたマルチモーダルな基盤モデルの開発を進めています。LLM・生成AIの基盤モデル開発に加え、エンタメ、科学計算、ロボットといった自社事業領域を強化するための応用開発や、多様な産業への応用研究も行っています。

事後学習チームのミッションは「基盤モデルが持つ能力を極限まで高めること」です。LLMは主に事前学習と事後学習の2つに分けて開発されます。事前学習は大量の計算資源を必要としますが、その真価を発揮させるためには事後学習が欠かせません。事後学習では、人が実務で便利に使用するための様々な能力を高めます。具体的には有用性・正確性・安全性といった観点から、人間にとって好ましい応答を生成するようにしたり(アラインメント)、応答の前に推論を行うことができるようにしたり(推論能力の獲得)、基盤モデルの外にある様々なツールを使いこなすようにしたり(エージェンティックツール利用)と、その取り組みは多岐にわたります。

大規模言語モデル - 事後学習エンジニアは、事前学習されたモデルに事後学習を行い実用化に必要なモデルを作り上げるための研究開発に取り組みます。最先端の事後学習手法・高品質なデータ合成手法・ベンチマークおよびその構築手法について、既存研究の調査と実装、新規手法の研究開発まで幅広く取り組んでいただきます。またLLMを利用したプロダクトや他ドメインに特化したプロジェクトとも密接に連携し、大規模言語モデルの産業応用を推し進めていただきます。

###### 業務例

- 基盤モデルの性能をさらに向上させるような事後学習手法の研究開発

- 社内外からの様々な用途・要望に対応できるような、高品質かつスケールするデータ生成手法および収集・品質管理方法の研究開発

- 基盤モデルの能力を測るためのベンチマークの調査および新規ベンチマークの人手または自動での構築

- LLMを利用したプロダクト開発や、各ドメインに特化したLLM開発プロジェクトとの連携など

実際の業務はこれに限定されるものではありません。入社後に実際にご担当いただく業務内容は、専門的知識・経験を考慮のうえ決定します。

我々は最高水準の大規模言語モデルを開発することを目指しています。その開発に携わりたい方、熱意のある方のご応募をお待ちしています。

***

Preferred Networks is developing multimodal foundation models centered around Large Language Models (LLMs) and is expanding its research into applied development and industrial application research to strengthen its business domains in entertainment, scientific computing, robotics, and others.

The Post-training team's mission is to "maximize the capabilities of foundation models to their absolute limits." LLMs are primarily developed through two phases: pre-training and post-training. While pre-training requires substantial computational resources, post-training is essential to fully realize their potential. During post-training, we enhance various capabilities to make these models practical and useful for humans. This involves multiple approaches including: aligning responses to be more human-favorable in terms of usefulness, accuracy, and safety; enabling reasoning capabilities before generating responses; and developing the ability to effectively utilize various tools external to the foundation model (agentic tool utilization). The scope of our work encompasses a wide range of such initiatives.

Large Language Models - Post-Training Engineers conduct research and development to refine pre-trained models into practical, production-ready systems. You will conduct comprehensive surveys of existing research on cutting-edge post-training methods, high-quality data synthesis techniques, and benchmark creation/evaluation methods, while also developing new methodologies. You will work closely with projects utilizing LLMs and domain-specific applications to drive industrial implementation of large-scale language models.

###### Your responsibilities may include:

- Research and development of post-training methods to further enhance foundation model performance

- Research and development of high-quality data generation methods and collection/quality control methods that can accommodate various applications and requirements from both within and outside the company

- Research and development of benchmark methodologies for evaluating foundation model capabilities

- Collaboration on LLM-based product development and support for domain-specific LLM development projects

Please note that these represent only the core responsibilities. Actual job duties will be determined based on your specialized knowledge and experience after joining our company.

We are aiming to develop the most powerful large language model. Those who are passionate about contributing to its development are welcome to apply.

Qualifications

- コンピュータサイエンスの知識や関心

- コンピューターサイエンスのすべての分野への精通を目指し、常に最先端の技術を追いかけ続けていること

- 特に、機械学習または自然言語処理に関する研究または実務の経験および実績

- Pythonを使ったソフトウェア開発経験

- コンピューターアーキテクチャーを理解し、ソフトウェアの実効効率や、計算量を意識したプログラムの作成が出来ること

- 数学、自然科学（物理、化学など）に関する、大学卒業程度の知識（もしくは学習により習得可能なこと）

- チームでの課題解決の経験

***

- Knowledge and interest in Computer Science

- Aim to be familiar with all areas of computer science and continually pursue the latest technology

- Especially, research or practical experience and achievements in machine learning or natural language processing

- Experience in software development using Python

- Understand computer architecture and be able to create programs considering the actual efficiency of software and computational complexity

- Knowledge equivalent to that of a university graduate in mathematics and natural sciences (such as physics and chemistry), or the ability to acquire this knowledge through learning

- Experience in solving problems as a team

Other Qualification

その他の条件 / Other conditions

- 業務内容の一部として、特定の国籍の方が従事できないプロジェクトを含む場合があること

- Some aspects of the work may involve projects that certain nationalities are prohibited from participating in.

Preferred Qualifications

- 公開されているフロンティアモデルの事後学習手法・データ生成手法・ベンチマーク手法を継続して追いかけていること

- 広く利用されている基本的な事後学習手法(SFT/DPO/GRPO/OPDなど)に対する理解

- 広く利用されている基本的なベンチマークやその測定方法に対する理解

- 大規模言語モデルの事後学習経験

- 分散学習フレームワーク(FSDP, DeepSpeed)やより高位の学習フレームワーク(TRL, slime)を使った開発経験

- データ生成、学習、評価までのパイプラインの構築経験

- 大規模言語モデルの学習データセットやベンチマークなどの作成経験

- 機械学習OSSへのコントリビューション経験

- プログラミング競技コンテスト、ゲームAIコンテスト、データ分析コンテスト（Kaggleなど）などの実績・経験

- 研究に対する優れた実績

- 開発プロジェクトにおける3名以上のチームのリーダーシップ経験

***

- Continuous tracking of publicly available frontier model post-training methods, data generation techniques, and benchmarking approaches

- Basic understanding of widely adopted fundamental post-training methods (including SFT/DPO/GRPO/OPD)

- Basic understanding of widely utilized fundamental benchmarks and their measurement methodologies

- Experience with post-training of large language models

- Experience developing with distributed learning frameworks (FSDP, DeepSpeed) and higher-level training frameworks (TRL, slime)

- Experience building end-to-end data generation, training, and evaluation pipelines

- Experience in creating training datasets and benchmarks for large language models

- Experience contributing to machine learning OSS

- Achievements and experience in programming contests, game AI contests, and data analysis contests (such as Kaggle)

- Outstanding achievements in research

- Leadership experience in development projects with teams of three or more members

Salary

経験、業績、能力、貢献に応じて、当社規定により優遇

Experience, performance, skills, contribution are taken into consideration.

Location

東京都千代田区大手町１-６-１ 大手町ビル / Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004

Work style / 勤務形態

専門労働型裁量労働制（みなし労働時間：8時間）もしくはフレックス制

Discretionary-work (deemed work hours: 8 hours) or Flex-time system

ハイブリッド勤務（オフィス出社と在宅勤務を組み合わせての勤務）

Hybrid work (Combination of working from the office and working from home)

Salary increase & bonus / 昇給・賞与

年2回の人事評価及び会社業績に基づいて決定

Based on the result of a individual performance review (twice a year) and company’s performance

Allowances / 諸手当

通勤手当、在宅勤務手当

Commutation allowances / teleworking allowances

Holidays / 休日・休暇

休日：土曜日、日曜日、国民の祝日、国民の休日、年末年始

当社規定による年次有給休暇制度（入社時26日付与）

育児休暇、慶弔休暇など

Holiday: Saturdays and Sundays, public holidays, Year-end and new-year

Annual paid leave based on company regulations (26 days granted upon hire)

Parental leave, conguratulation / condolence leave etc.

Welfare / 福利厚生

社会保険完備（厚生年金保険、健康保険、雇用保険、労災保険）

確定拠出年金制度

ラップトップPC購入補助

定期健康診断実施

Various social insurance programs: pension insurance, health insurance, employment insurance, workers’ compensation

Defined contribution pension

Allowance for purchasing a laptop PC

Regular health checks

Employment Status / 雇用形態

正社員（試用期間3ヶ月、本採用と同条件）

Full-time regular employment (3 months of probation period under the same condition as regular employment)