Software Engineer - Specialized LLM Fine-tuning for clients / クライアント向け特化LLM開発エンジニア

職務内容

PFNは、多様な産業分野に属する顧客企業と共同して課題解決に取り組み、PFNにしかできない高価値なソリューションの提供を目指しています。純国産かつ日本語性能で世界トップレベルの評価を受ける大規模言語モデル（LLM）「PLaMo」や各ドメインに特化したモデル、独自の生成AIサービス群を駆使し、各業界が直面する課題の解決と新たなビジネス創出に取り組んでいます。

私たちは、このソリューションビジネスの一翼を担い、幅広い業界の企業や政府・公的機関と共同で、生成AIを活用した業務の高度化・DX推進に一緒に取り組んでいます。様々なデータの活用やデータの合成等を通じて、LLMを各社・各ドメイン・各タスクに適合させ、特定領域を深く理解した実用モデルを構築・提供することを目指します。例えば、自社サービスの[PLaMo翻訳](https://translate.preferredai.jp/)で使用しているモデルは、このような取り組みで生まれたタスク特化モデルの1つです。

特化LLM開発エンジニアは、PLaMoや、用途に応じた各種LLMを起点に、対象ドメインへの継続事前学習や、事後学習（指示学習・強化学習）などの追加学習を通じて、ドメインおよびクライアント固有の課題に適合した実用モデルを構築します。自社モデルの追加学習とドメイン適合、そしてそれによるクライアントの課題解決が中核となります。クライアントと密にコミュニケーションを取りながら、追加学習が有効な課題の見極めや、他の手法との組み合わせも含めた提案を行い、案件に応じて要件定義から学習・評価・提供までを推進します。

###### 業務例

* 業界のデータやクライアント提供データを用いた、PLaMoをはじめとするLLMの継続事前学習・事後学習（参考: [日本語農業大規模言語モデルの構築](https://www.preferred.jp/ja/industries/public/614)）

* 多言語を含む、クライアントのドメインやタスクに特化した高品質かつスケールする学習データ・評価データの設計と生成

* 追加学習の効果を測るドメイン固有の評価指標・ベンチマークの設計と、それを軸にした反復的な精度向上

* クライアントへのヒアリング・要件定義、技術検証、および結果のレポーティング

* PLaMo翻訳を始めとするタスク特化モデルの構築

実際の業務はこれに限定されるものではありません。入社後に実際にご担当いただく業務内容は、専門的知識・経験を考慮のうえ決定します。

多様な産業領域におけるドメイン特化LLMの開発と社会実装に携わりたい方、熱意のある方のご応募をお待ちしています。

Preferred Networks (PFN) collaborates with client companies across a wide range of industries to solve their challenges, aiming to deliver high-value solutions that only PFN can provide. We leverage “PLaMo,” a Large Language Model (LLM) developed entirely in-house and recognized as world-class in Japanese-language performance, along with domain-specialized models and our own suite of generative AI services, to solve the challenges faced by each industry and create new business value.

As part of this solution business, we work with companies across a wide range of industries and with government and public institutions to advance their operations and promote DX through generative AI. By leveraging and synthesizing various data, we aim to adapt LLMs to each company, domain, and task, building and delivering practical models that deeply understand specific fields. For example, the model behind our own service [PLaMo Translation](https://translate.preferredai.jp/) is one such task-specialized model created through these efforts.

As a Specialized LLM Fine-tuning Engineer, you will start from PLaMo and other LLMs suited to the use case, and build practical models adapted to the target domain and to client-specific challenges through additional training such as continual pre-training on the target domain and post-training (instruction tuning, reinforcement learning). The core of this role is the additional training and domain adaptation of our own models, and solving clients’ challenges through them. You will work closely with clients, identifying the problems where additional training is effective, making proposals that may combine it with other approaches, and, depending on the project, driving the process from requirements definition through training, evaluation, and delivery.

###### Your responsibilities may include:

* Continual pre-training and post-training of LLMs, including PLaMo, using industry data and client-provided data (Reference: [Building a Japanese large language model for agriculture](https://www.preferred.jp/ja/industries/public/614))

* Building task-specialized models, such as PLaMo Translation

* Designing and generating high-quality, scalable training and evaluation data specialized for each client’s domain and task, including multilingual data

* Designing domain-specific evaluation metrics and benchmarks to measure the effectiveness of additional training, and iteratively improving model accuracy based on them

* Conducting client interviews, defining requirements, performing technical validation, and reporting results

This job description is not exhaustive, and the actual duties assigned to you may vary depending on your expertise and experience.

We look forward to receiving applications from those who are passionate about the development and real-world deployment of domain-specialized large language models across diverse industries.

応募資格（必須）

* コンピュータサイエンスの知識を活用した課題解決の経験

* コンピューターサイエンスのすべての分野への精通を目指し、常に最先端の技術を追いかけ続けていること

* 特に、機械学習に関する研究または実務の経験および実績

* 機械学習・深層学習モデルの学習やファインチューニングに携わった経験

* 実データに基づく問題解決の経験（業界・分野不問）

* 特に、顧客を満足させ技術的に解決可能である適切なタスク定義を行う能力

* ソフトウェア開発経験(Python, Go, C, C++, Java, 等)

* コンピューターアーキテクチャーを理解し、ソフトウェアの実行効率や、計算量を意識したプログラムの作成が出来る

* 特にPythonまたはC++によるプログラミング能力

* 顧客と協働して課題を解決した経験（顧客と議論しながら本質的な課題を整理・定義した経験を含む）

* 数学、自然科学（物理、化学など）に関する、大学卒業程度の知識（もしくは学習により習得可能なこと）

* 社内のチームメンバーと協働して課題を解決した経験

* ビジネスレベルの日本語能力（日本語非母語話者においてはJLPT試験でN1レベル相当）

* Experience in solving problems by applying knowledge of computer science

* Aim to be familiar with all areas of computer science and continually pursue the latest technology

* Especially, research or practical experience and achievements in machine learning

* Experience working on training or fine-tuning machine learning / deep learning models

* Experience in solving problems based on real-world data (any industry or field)

* In particular, the ability to define appropriate tasks that satisfy clients and are technically solvable

* Software development experience (Python, Go, C, C++, Java, etc.)

* Understand computer architecture and be able to create programs considering the actual efficiency of software and computational complexity

* In particular, programming proficiency in Python or C++

* Experience in solving problems in collaboration with clients (including experience structuring and defining essential challenges through discussion with clients)

* Knowledge equivalent to that of a university graduate in mathematics and natural sciences (such as physics and chemistry), or the ability to acquire this knowledge through learning

* Experience in solving problems in collaboration with internal team members

* Business-level Japanese proficiency (equivalent to JLPT N1 for non-native speakers)

応募資格（歓迎）

* 製造業・エネルギー・金融・公共などの産業分野または学術領域に関する専門的知識・経験または実績

* コンピューターサイエンスのすべての分野に精通していること

* ソフトウェアの開発経験

* リードエンジニアとして開発プロジェクトを牽引した経験

* OSSへのコントリビューション経験

* AWSやGCPなどのクラウドサービスを用いたシステムの開発経験

* CI/CDの構築経験

* その他、プログラミング能力/ハードウェア設計能力が秀でていることが証明できること

* LLMの追加学習の経験

* 継続事前学習や、事後学習（指示学習・強化学習）などの実装・運用経験

* 分散学習フレームワーク（FSDPやDeepSpeedなど）を使った開発経験

* データ生成、学習、評価までのパイプラインの構築経験

* データセットやベンチマークなどの作成経験

* 多言語の自然言語処理や、多言語向けのコーパス構築・モデル学習の経験

* 研究開発の経験

* 自分の専門分野に関する深い知見と経験

* 英語論文の調査・読解およびサーベイ資料作成経験

* 英語論文執筆経験

* 開発プロジェクトにおける5名以上のチームのリーダーシップ経験

* ビジネスレベルの英語能力（CEFR C1相当以上）

* Specialized knowledge, experience, or achievements in industrial fields such as manufacturing, energy, finance, and the public sector, or in related academic areas

* Being familiar with all areas of computer science

* Software development experience

* Experience leading a development project as a lead engineer

* Experience contributing to OSS

* Experience developing systems using cloud services such as AWS or GCP

* Experience building CI/CD

* Other demonstrable evidence of outstanding programming or hardware design ability

* Experience in additional training of LLMs

* Experience implementing and operating continual pre-training and post-training (instruction tuning, reinforcement learning)

* Development experience using distributed learning frameworks (such as FSDP or DeepSpeed)

* Experience in building pipelines for data generation, training, and evaluation

* Experience in creating datasets and benchmarks

* Experience in multilingual natural language processing, or in multilingual corpus construction and model training

* Research and development experience

* Deep knowledge and experience in your area of expertise

* Experience surveying and reading English research papers and preparing survey materials

* Experience writing English research papers

* Leadership experience in development projects with teams of 5 or more members

* Business-level English proficiency (equivalent to CEFR C1 or higher)

Work style / 勤務形態

専門労働型裁量労働制（みなし労働時間：8時間）もしくはフレックス制

Discretionary-work (deemed work hours: 8 hours) or Flex-time system

ハイブリッド勤務（オフィス出社と在宅勤務を組み合わせての勤務）

Hybrid work (Combination of working from the office and working from home)

Salary increase & bonus / 昇給・賞与

年2回の人事評価及び会社業績に基づいて決定

Based on the result of a individual performance review (twice a year) and company’s performance

Allowances / 諸手当

通勤手当、在宅勤務手当

Commutation allowances / teleworking allowances

Holidays / 休日・休暇

休日：土曜日、日曜日、国民の祝日、国民の休日、年末年始

当社規定による年次有給休暇制度（入社時26日付与）

育児休暇、慶弔休暇など

Holiday: Saturdays and Sundays, public holidays, Year-end and new-year

Annual paid leave based on company regulations (26 days granted upon hire)

Parental leave, conguratulation / condolence leave etc.

Welfare / 福利厚生

社会保険完備（厚生年金保険、健康保険、雇用保険、労災保険）

確定拠出年金制度

ラップトップPC購入補助

定期健康診断実施

Various social insurance programs: pension insurance, health insurance, employment insurance, workers’ compensation

Defined contribution pension

Allowance for purchasing a laptop PC

Regular health checks

Employment Status / 雇用形態

正社員（試用期間3ヶ月、本採用と同条件）

Full-time regular employment (3 months of probation period under the same condition as regular employment)