Software Engineer - LLM Pre-Training / 大規模言語モデル 事前学習エンジニア

Job Description

Preferred Networksでは大規模言語モデル(LLM)を中心としたマルチモーダルな基盤モデルの開発を進めています。LLM・生成AIの基盤モデル開発に加え、エンタメ、科学計算、ロボットといった自社事業領域を強化するための応用開発や、多様な産業への応用研究も行っています。

事前学習チームの役割は、LLMの大規模な事前学習を行い、高性能な事前学習モデルを構築することです。事後学習を終えた後のモデルが実用的で価値の高いものとなるようにLLMに知識や能力を学習させる必要があります。

強化学習などの手法の発展により、LLMは事後学習によって様々な能力を発揮させることができるようになっている一方で、事前学習で全く学習できていない能力を事後学習で発揮させることは難しいという報告もあります。事後学習で高い性能を発揮させるためには、事前学習での取り組みも重要です。

大規模言語モデル - 事前学習エンジニアは、高性能なLLMの事前学習のために必要な研究開発に取り組みます。事前学習モデルの最終的な性能を決めるデータセット戦略・モデルアーキテクチャ・学習手法の研究開発以外にも、大規模・長期間の学習を効率よく安定して実行し続けるための取り組みなども行っています。

###### 業務例

- 事前学習において、大量の計算資源を効率良く用いるための最適化やソフトウェアの研究開発

- 長期間の学習を安定して動作させるための研究開発や運用

- 事前学習モデルの性能を正しく計測するための研究開発

- 事前学習モデルの性能を向上させるためのデータセットに関する研究開発

- 基盤モデルに獲得させたい知識や能力に応じた学習データの収集・構築の戦略検討および品質管理・運用

- 基盤モデルの能力を測るためのベンチマークの調査、必要に応じて新規ベンチマークの構築

- 事前学習モデルの性能を向上させるための学習手法 (DNNアーキテクチャやoptimizerなど)の研究開発

実際の業務はこれに限定されるものではありません。入社後に実際にご担当いただく業務内容は、専門的知識・経験を考慮のうえ決定します。

事前学習LLMの開発に携わりたい方、熱意のある方のご応募をお待ちしています。

***

Preferred Networks is developing multimodal foundation models centered around Large Language Models (LLMs) and is expanding its research into applied development and industrial application research to strengthen its business domains in entertainment, scientific computing, robotics, and others.

The pre-training team’s role is to conduct large-scale pre-training of LLMs and develop high-performance pre-trained LLMs. The goal is to equip the LLM with the necessary knowledge and capabilities to ensure that models after post-training are practical and valuable.

While advancements in techniques like reinforcement learning have enabled LLMs to demonstrate various capabilities through post-training, some reports suggest that achieving capabilities that were not learned during pre-training through post-training alone can be challenging. To achieve strong performance in post-training, pre-training efforts are equally crucial.

As a LLM Pre-training Engineer, you will engage in research and development required for high-performance LLM pre-training. In addition to developing datasets strategy, model architectures, and training methodologies that ultimately determine the final performance of pre-trained models, you may also work on optimizing and ensuring efficient, stable execution of large-scale, long-term training.

###### Your responsibilities may include:

- Research and development to improve efficient utilization of massive computational resources during pre-training

- Research and development for stable execution of long-term training

- Research and development for accurate performance measurement of pre-trained models

- Research and development of datasets to improve the performance of pre-trained models

- Developing strategies for collecting and constructing training data tailored to the specific knowledge and capabilities desired for the foundation model, along with quality control and operational management

- Researching benchmark assessments to measure foundation model capabilities, and developing new benchmarks as needed

- Research and development of training methodologies (including DNN architectures and optimizers) to enhance pre-trained model performance

This job description is not exhaustive, and the actual duties assigned to you may vary depending on your expertise and experience.

We look forward to receiving applications from those who are passionate about contributing to the development of pre-trained LLMs.

Qualifications

- コンピュータサイエンスの知識や関心

- コンピューターサイエンスのすべての分野への精通を目指し、常に最先端の技術を追いかけ続けていること

- 特に、機械学習または自然言語処理に関する研究または実務の経験および実績

- Pythonを使ったソフトウェア開発経験

- コンピューターアーキテクチャーを理解し、ソフトウェアの実効効率や、計算量を意識したプログラムの作成が出来ること

- 数学、自然科学（物理、化学など）に関する、大学卒業程度の知識（もしくは学習により習得可能なこと）

- チームでの課題解決の経験

***

- Knowledge and interest in Computer Science

- Aim to be familiar with all areas of computer science and continually pursue the latest technology

- Especially, research or practical experience and achievements in machine learning or natural language processing

- Experience in software development using Python

- Understand computer architecture and be able to create programs considering the actual efficiency of software and computational complexity

- Knowledge equivalent to that of a university graduate in mathematics and natural sciences (such as physics and chemistry), or the ability to acquire this knowledge through learning

- Experience in solving problems as a team

望ましい条件 / Preferred qualifications

- DNNの分散学習を行った経験

- 大規模なGPUクラスタを利用した際のトラブルシューティングなどの経験

- 速度性能ボトルネックの改善経験

- 大規模なデータ前処理の経験

- 大規模言語モデルの学習データセットやベンチマークの設計・構築経験

- データ収集・生成・前処理・学習・評価までのパイプラインの構築経験

- 機械学習OSSへのコントリビューション経験

- プログラミング競技コンテスト、ゲームAIコンテスト、データ分析コンテスト（Kaggleなど）などの実績・経験

- 研究に対する優れた実績

- 開発プロジェクトにおける3名以上のチームのリーダーシップ経験

***

- Experience in creating datasets and benchmarks

- Experience with distributed DNN training

- Problem-solving experience when working with large-scale GPU clusters

- Experience in addressing performance bottlenecks

- Experience in preprocessing large-scale data

- Experience designing and building LLM training datasets and benchmarks

- Experience constructing end-to-end pipelines for data collection, generation, preprocessing, training, and evaluation

- Experience contributing to machine learning OSS

- Achievements and experience in programming contests, game AI contests, and data analysis contests (such as Kaggle)

- Outstanding achievements in research

- Leadership experience in development projects with teams of three or more members

その他の条件 / Other conditions

- 業務内容の一部として、特定の国籍の方が従事できないプロジェクトを含む場合があります

***

- Some aspects of the work may involve projects that certain nationalities are prohibited from participating in.

Salary

経験、業績、能力、貢献に応じて、当社規定により優遇

Experience, performance, skills, contribution are taken into consideration.

Location

東京都千代田区大手町１-６-１ 大手町ビル / Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004

Work style / 勤務形態

専門労働型裁量労働制（みなし労働時間：8時間）もしくはフレックス制

Discretionary-work (deemed work hours: 8 hours) or Flex-time system

ハイブリッド勤務（オフィス出社と在宅勤務を組み合わせての勤務）

Hybrid work (Combination of working from the office and working from home)

Salary increase & bonus / 昇給・賞与

年2回の人事評価及び会社業績に基づいて決定

Based on the result of a individual performance review (twice a year) and company’s performance

Allowances / 諸手当

通勤手当、在宅勤務手当

Commutation allowances / teleworking allowances

Holidays / 休日・休暇

休日：土曜日、日曜日、国民の祝日、国民の休日、年末年始

当社規定による年次有給休暇制度（入社時26日付与）

育児休暇、慶弔休暇など

Holiday: Saturdays and Sundays, public holidays, Year-end and new-year

Annual paid leave based on company regulations (26 days granted upon hire)

Parental leave, conguratulation / condolence leave etc.

Welfare / 福利厚生

社会保険完備（厚生年金保険、健康保険、雇用保険、労災保険）

確定拠出年金制度

ラップトップPC購入補助

定期健康診断実施

Various social insurance programs: pension insurance, health insurance, employment insurance, workers’ compensation

Defined contribution pension

Allowance for purchasing a laptop PC

Regular health checks

Employment Status / 雇用形態

正社員（試用期間3ヶ月、本採用と同条件）

Full-time regular employment (3 months of probation period under the same condition as regular employment)