Introduction
Generalist AI a présenté le modèle GEN-1.5, qui vise à permettre aux robots d’apprendre de nouvelles tâches physiques à partir d’une seule démonstration. Le modèle peut appliquer des démonstrations de 3 à 12 secondes en les évaluant conjointement avec des données de capteurs, de vidéo, de langage, de position et de mouvement, sans réglage fin ni mise à jour des gradients. Utilisant une fenêtre de contexte de 30 secondes, GEN-1.5 produit 100 commandes de mouvement par seconde.
Développements
GEN-1.5 a atteint un taux de réussite moyen de 59 % à partir d’une seule démonstration sur 10 tâches de manipulation de courte durée. Avec cinq minutes de données comprenant environ 50 démonstrations par tâche et 10 étapes de gradient, ce taux est passé à 83 %.
Détails
Avec une minute de données et une seule étape de gradient, un taux de réussite de 66,5 % a été mesuré.
Le modèle peut créer de longues séquences de tâches en combinant différentes démonstrations, développer lui-même les mouvements intermédiaires et transférer de manière zero-shot des démonstrations réalisées en simulation vers un robot réel. Il a été indiqué que certaines capacités d’apprentissage en contexte et d’improvisation du modèle, dont le pré-entraînement se poursuit depuis plus de huit mois, sont apparues spontanément au cours de ce processus.