Введение
Generalist AI представила модель GEN-1.5, предназначенную для обучения роботов новым физическим задачам по одной демонстрации. Модель анализирует демонстрации продолжительностью от 3 до 12 секунд вместе с данными датчиков, видео, языковыми данными, а также данными о положении и движении и может применять полученные знания без тонкой настройки или обновления градиента. GEN-1.5 использует контекстное окно длительностью 30 секунд и генерирует 100 команд движения в секунду.
Развитие событий
GEN-1.5 обеспечила средний показатель успешности 59% при выполнении 10 краткосрочных задач по манипулированию после одной демонстрации. При использовании пятиминутного набора данных, включающего около 50 демонстраций для каждой задачи, и 10 шагов градиента этот показатель вырос до 83%.
Подробности
При использовании одной минуты данных и одного шага градиента показатель успешности составил 66,5%.
Модель способна объединять разные демонстрации для создания длинных последовательностей задач, самостоятельно разрабатывать промежуточные движения и переносить демонстрации из симуляции на реального робота без дополнительных примеров. Сообщается, что некоторые способности модели к обучению в контексте и импровизации возникли сами собой в процессе предварительного обучения, которое продолжается уже более восьми месяцев.