AI / Robotics Engineer｜Imitation Learning / Physical AI

FingerVisionについて

FingerVisionは、カーネギーメロン大学発のロボティクススタートアップです。

独自の「視触覚センサ」をコア技術に、これまで人の感覚や熟練に頼ってきた作業の自動化に取り組んでいます。

製造・物流・食品などの現場には、柔らかいもの、不定形なもの、傷つきやすいものなど、従来のロボットでは扱うことが難しい対象が数多くあります。FingerVisionは、ロボットに「見る」だけでなく「触れて感じる」能力を持たせることで、こうした領域への自動化を進めています。

現在は、視触覚センサやロボットハンドの開発に加え、AI・ロボット制御・システムインテグレーションまで含めたロボットシステムの開発・社会実装を行っています。

J-Startup 2023選定、CES Innovation Awards受賞など、国内外で評価を受けています。

私たちのMissionは、

「人とロボットの可能性を広げ、社会システムをアップデートする。」

このMissionの実現に向け、Physical AI時代の新たなロボティクスを社会へ届けていきます。

FingerVision Website

https://www.fingervision.jp/about(https://www.fingervision.jp/about)

FingerVisionの技術

FingerVisionのコア技術である「視触覚センサ」は、カメラによる画像処理と触覚センシングを組み合わせた技術です。

ロボットが物体に触れた際の、接触位置、力のかかり方、滑り、変形などを捉えることで、対象物の状態に応じてロボットの動作を調整することができます。

これにより、柔らかい食品や傷つきやすい製品、不定形物など、従来のロボットでは扱うことが難しかった対象への応用が可能になります。

さらに、AIが実世界を理解し動作するPhysical AIの発展において、物体との接触から得られる情報は重要なデータとなります。

FingerVisionは、視触覚センシングを起点に、AI・ロボット制御・ロボットハンドを組み合わせた次世代ロボティクスの実現を目指しています。

•このポジションについて

FingerVisionでは現在、視触覚センシングとRobot Learningを組み合わせ、これまで自動化が難しかった作業をロボットが学習・実行できるシステムの開発を進めています。

その一つが、視触覚センサを搭載したグリッパと模倣学習を組み合わせた「FV模倣学習キット」です。

Physical AIの発展に伴い、Imitation LearningをはじめとしたRobot Learningや、Vision-Language-Action（VLA）など、ロボットが実世界で学習・行動するためのAI技術は急速に進化しています。

一方で、実世界の作業では「見る」だけでは十分ではありません。

挿入、組み付け、ケーブル操作、柔軟物のハンドリングなど、対象物と接触しながら行うContact-rich Taskでは、「どのように触れているか」という情報がロボットの動作精度を大きく左右します。

FingerVisionでは、独自の視触覚センシング技術とRobot Learningを組み合わせることで、

「触れることで動作精度が上がる」

「触覚があることで、これまでできなかった動作を可能にする」

ことを、研究だけではなく実際のプロダクト・顧客現場で実現しようとしています。

今回募集するAI / Robotics Engineerには、Robot Learningや機械学習の専門性を活かし、視触覚センシングを用いたAI・ロボットシステムの設計・実装・実機評価を担っていただきます。

•募集背景

FingerVisionでは、「FV模倣学習キット」をはじめとしたPhysical AI・Robot Learning領域の研究開発と社会実装を加速しています。

今後は、Imitation Learningを中心としたRobot Learningをさらに発展させるとともに、

• ACT、Diffusion Policyなどの模倣学習手法
• Vision-Language-Action（VLA）
• Vision-Tactile-Language-Action（VTLA）
• Tactile Robot Learning
• Vision・Touch・Language・Actionを組み合わせたMulti-modal Robot Learning

などの新しいアプローチも取り込みながら、視触覚センシングの強みを活かしたロボットシステムを発展させていく計画です。

私たちが重視しているのは、研究のための研究ではありません。

製造・物流・食品などの顧客現場で実際にロボットを動かし、データを集め、モデルを学習させ、実機で評価・改善することで、ロボットの成功率や対応できる作業の幅を広げていくことを目指しています。

そのため、モデル開発だけではなく、データ収集、ロボットとの連携、実機評価まで含めて一連の開発サイクルに取り組めるエンジニアを募集しています。

•仕事内容

Mission

視触覚センシングとRobot Learningを組み合わせたAI・ロボットシステムを開発し、ロボットが実世界の作業をより正確かつ柔軟に実行できるようにすること。

AI / Robot Learningシステムの設計・開発

• Imitation Learning / Reinforcement Learning等を用いたRobot Learningモデルの開発
• Deep Learningモデルの設計・学習・評価・改善
• Teleoperation等を用いたデータ収集環境の構築
• Robot Learning Datasetの設計・収集・評価
• 学習済みモデルの推論・Robot Controlへの組み込み
• 実ロボットを用いた性能評価・改善
• 視触覚センシングとRobot Learningの統合

FingerVisionセンサから得られる接触・滑り・変形等の情報を活用したモデル開発

• カメラ、視触覚センサ、ロボットアーム等を組み合わせたシステム開発
• 視覚だけでは対応が難しいContact-rich TaskへのRobot Learningの適用
• Robot Learningにおける触覚情報の有効性検証
• Contact-rich Taskの自動化Pick & Placeに加えて、
  • Grasping
  • Insertion
  • Assembly
  • Cable Routing
  • 柔軟物・不定形物のHandling
• など、接触状態の理解が重要となるタスクの自動化に取り組みます。

新しいRobot Learning技術の検証

• Imitation Learning、Diffusion Policy、VLA等の最新技術の調査・実装
• 論文やOSSをもとにした技術検証
• FingerVisionの視触覚センシングとの組み合わせによる性能評価
• 有効な技術のプロダクト・開発プロジェクトへの展開

プロダクト・顧客環境での実装

• 製造・食品・物流等の実タスクを対象としたPoC開発
• 実際の作業工程をもとにしたデータ収集・モデル開発
• 実証実験・実環境での性能評価
• 現場で得られたデータをもとにした継続的なモデル・システム改善

•必須スキル・経験

• Pythonを用いたソフトウェア・機械学習システムの開発経験
• PyTorch等のDeep Learning Frameworkを用いたモデルの設計・学習・評価経験
• Machine Learning / Deep Learningに関する理解と実装経験
• Vision、Language、Sensor Data等、複数の情報を扱うMulti-modal Model、または複数種類の入力情報を統合したMachine Learning Modelの開発経験
• 以下のいずれかに関する研究または実務での開発経験Imitation Learningを含むRobot Learning
• Reinforcement Learningを用いたRobot Learning
• Robot Manipulation
• Vision-based Manipulation
• Linux環境での開発経験

•歓迎スキル・経験

• ACT、Diffusion Policy等の模倣学習手法の実装経験
• VLA / VTLA等のMulti-modal Robot Learningに関する研究・開発経験
• 実ロボットを用いたImitation Learning / Reinforcement Learningの経験
• Robot Manipulation / Motion Planningに関する知識・実装経験
• ROS / ROS2を用いたRobot Applicationの開発経験
• C++を用いた開発経験
• Computer Vision / 3D Visionの知識・実装経験
• カメラ、Force / Torque Sensor、Tactile Sensor等のSensor Dataを扱った経験
• Teleoperation Systemの設計・構築経験
• Tactile Sensorを用いたRobot Learningの経験
• MLOps / Machine Learning Pipelineの構築経験
• Robotics / AI領域のResearch PaperやOSSをもとにした実装・検証経験
• Industrial Robot / Collaborative Robotの実装・現場導入経験
• 実ロボットを用いてデータ収集・モデル学習・評価・改善を反復した経験

•求める人物像

• 視触覚センシングとRobot Learningの力で、製造・物流・食品などの現場を変えることに興味を持てる方
• 論文やモデルだけではなく、自ら実装し、実際のロボットを動かして性能を検証・改善することを楽しめる方
• 自分の専門領域を持ちながら、Vision・Motion・Software・Hardware等の周辺領域のエンジニアと協力できる方
• データ収集からモデル開発、実機評価まで粘り強く改善を繰り返せる方
• 正解が決まっていない技術課題に対して、自ら仮説を立て検証できる方
• 新しいRobot Learning技術をキャッチアップし、実機で有効性を検証することを楽しめる方
• スタートアップの変化やスピード感を楽しめる方
• 技術だけに閉じず、最終的にプロダクトや顧客価値につながることを意識して開発できる方

•このポジションの魅力

1. Physical AI × 触覚という未開拓領域に挑戦できる

Robot Learningの多くはVisionを中心に発展してきました。

FingerVisionでは、そこに独自の視触覚センシングを組み合わせることで、Contact-rich Taskにおける新たなRobot Learningのあり方をつくろうとしています。

既存手法を利用するだけではなく、「触覚情報がロボットの学習や動作性能をどう変えられるか」を実機で検証しながら開発できます。

2. Model Developmentから実ロボットでの評価まで関われる

FingerVisionが重視しているのは、研究成果を論文やDemoで終わらせないことです。

製造・食品・物流などの実際の課題に対して、

Data Collection → Model Development → Robot Integration → Evaluation → Field Deployment

まで一気通貫で取り組みます。

自分が開発したAIが実際のロボットを動かし、成功率や対応できる作業の幅が変わるところまで確認することができます。

3. 独自のPhysical Interaction Dataを活用できる

Physical AIの発展において、実世界から取得される高品質なデータは重要な要素になります。

FingerVisionは視触覚センシングを通じて、画像だけでは得ることのできない物体との接触・滑り・力・変形などのPhysical Interaction Dataを取得できます。

将来的には、Vision・Touch・Language・Actionを統合したMulti-modal Robot Learningへの展開も見据えています。

•FingerVision News

FingerVisionは、経済産業省・NEDO関連のプロジェクトに参画し、Physical AIの社会実装に向けた研究開発を進めています。

大手ロボットメーカーや大学等と連携しながら、AIとロボティクスを融合した次世代技術の実用化に取り組んでいます。

• プレスリリース
  • https://newsrelea.se/rVy5Ql(https://newsrelea.se/rVy5Ql)
• 日本経済新聞
  • https://www.nikkei.com/article/DGXZQOUC022Q40S6A700C2000000/(https://www.nikkei.com/article/DGXZQOUC022Q40S6A700C2000000/)

職種 / 募集ポジション

AI / Robotics Engineer｜Imitation Learning / Physical AI

雇用形態

正社員

給与

年収 8,000,000円 〜 16,000,000円

基本給は、職務内容・経験・スキル・成果等を考慮して決定します。

基本給には、雇用契約で定める時間分の固定残業代を含みます。

固定残業時間を超える時間外労働については、会社規程に基づき割増賃金を支給します。

給与は毎月末締め、翌月15日払いです。

勤務地

東京都江東区東陽2丁目4 三井ウッディビル（本社）

京都府京都市下京区朱雀宝蔵町73-1（京都R&D拠点）

主たる勤務地は、ポジション・業務内容に応じて決定します。

業務上の必要に応じて、他拠点への出張が発生する場合があります。

その他特筆事項

• 試用期間

4か月

※会社が必要と認めた場合、短縮または最長6か月まで延長する場合があります。

• リモート勤務

リモート勤務制度あり。

業務内容・役割等を踏まえ、会社が認めた場合に利用可能です。

会社情報

株式会社FingerVision

業種

メーカー / ロボティクス・FA / 精密・計測機器

代表者

濃野 友紀

資本金

1億円

本社所在地

〒135-0016

東京都江東区東陽二丁目4番14号

三井ウッディビル1階

その他事業所

R&D拠点

〒600-8846

京都府京都市下京区朱雀宝蔵町73-1

ライトワンビル1F

事業内容

・視触覚センサ、ロボットハンド等の開発・製造・販売

・視触覚技術を活用したロボットシステム・自動化ソリューションの開発・導入・運用支援