Introdução
Generalist AI apresentou o modelo GEN-1.5, que tem como objetivo permitir que robôs aprendam novas tarefas físicas com uma única demonstração. O modelo consegue executar demonstrações de 3 a 12 segundos sem ajuste fino ou atualização de gradientes, avaliando-as em conjunto com dados de sensores, vídeo, linguagem, posição e movimento. Usando uma janela de contexto de 30 segundos, o GEN-1.5 gera 100 comandos de movimento por segundo.
Avanços
O GEN-1.5 alcançou uma taxa média de sucesso de 59% em 10 tarefas de manipulação de curta duração com uma única demonstração. Com cinco minutos de dados, contendo aproximadamente 50 demonstrações por tarefa, e 10 etapas de gradiente, essa taxa subiu para 83%.
Detalhes
Com um minuto de dados e uma única etapa de gradiente, foi medida uma taxa de sucesso de 66,5%.
O modelo consegue combinar diferentes demonstrações para criar sequências longas de tarefas, desenvolver sozinho os movimentos intermediários e transferir demonstrações da simulação para um robô real de forma zero-shot. Foi informado que algumas das capacidades de aprendizagem em contexto e de improvisação do modelo, cujo pré-treinamento continua há mais de oito meses, surgiram espontaneamente durante esse processo.