はじめに
Generalist AIは、ロボットが新たな物理的タスクを単一の実演から学習することを目指すGEN-1.5モデルを発表した。このモデルは、3～12秒間の実演をセンサー、動画、言語、位置、動作データと併せて評価し、ファインチューニングや勾配更新を行わずに実行できる。30秒間のコンテキストウィンドウを使用するGEN-1.5は、毎秒100件の動作コマンドを生成する。
進展
GEN-1.5は、10件の短時間操作タスクにおいて、単一の実演で平均59％の成功率を達成した。タスクごとに約50件の実演を含む五分間のデータと10回の勾配ステップにより、この割合は83％に上昇した。
詳細
一分間のデータと単一の勾配ステップでは、66.5％の成功率が測定された。
このモデルは、異なる実演を組み合わせて長いタスクシーケンスを構成できるほか、中間動作を自ら考案し、シミュレーション上の実演を実環境のロボットへゼロショットで転移できる。八カ月以上にわたり事前学習が続けられているモデルでは、一部のコンテキスト内学習能力と即興能力が、この過程で自然に生じたと説明されている。