Google a mis à disposition la fonctionnalité « agentic video understanding » pour les modèles Gemini 3.7 Flash, 3.6 Flash et 3.5 Flash-Lite. Au lieu de traiter la vidéo de bout en bout à une fréquence d’images fixe, le système effectue une recherche dynamique parmi les images, l’audio et les transcriptions afin d’examiner uniquement les sections nécessaires. Cette méthode réduit la consommation de tokens jusqu’à 88 % et les coûts jusqu’à 66 %, tout en améliorant la précision de l’analyse jusqu’à 7 %.
La fonctionnalité offre des capacités telles que la détection d’instants de moins d’une seconde, une détection des anomalies plus précise et un comptage précis. L’objectif est notamment d’accroître l’efficacité avec les vidéos longues, allant des guides de 10 minutes aux cours de 90 minutes et aux enregistrements de plusieurs heures. Parmi les modèles pris en charge, Gemini 3.7 Flash donne les meilleurs résultats en matière de qualité globale et d’équilibre entre qualité et coût.
Dans le traitement statique actuel, le modèle analyse par défaut la vidéo à raison de 1 image par seconde ; cette fréquence peut être modifiée via API. Avec l’approche agentic, le modèle décide lui-même quoi regarder, à quelle fréquence et sur quel canal, puis charge la section vidéo concernée à l’aide d’un outil interne. Les développeurs ont ainsi moins besoin de mettre en place ces opérations manuellement. Le système peut réanalyser les mouvements rapides à différentes fréquences d’images et trouver des informations précises dans les vidéos en utilisant moins de tokens.
La fonctionnalité peut être utilisée pour les téléversements de vidéos et les vidéos YouTube via Gemini API, dans Google AI Studio et Gemini Enterprise Agent Platform. Pour l’activer, il faut définir le type de traitement sur « agentic » dans la configuration de l’API ; la tarification standard des tokens de Gemini API s’applique et aucun frais supplémentaire lié à la fonctionnalité n’est prévu.
Google proposera bientôt les améliorations en matière de productivité et de qualité à tous les utilisateurs de l’application Gemini qui utilisent les modèles Flash et Flash-Lite. Au cours des prochains mois, la technologie sera également intégrée à la fonctionnalité « Ask YouTube » de la page de visionnage de YouTube.
Pourquoi c’est important
Ce changement réduit la charge technique du processus d’analyse pour les développeurs qui travaillent sur de longues archives vidéo ; le fait que le modèle détermine quelle section et quel canal de données examiner limite la nécessité de mettre en place des logiques de balayage personnalisées. Une utilisation et un coût réduits des tokens pourraient faciliter les recherches détaillées, les comptages et l’examen des anomalies sur des enregistrements de plusieurs heures, dans le cadre de la tarification actuelle de l’API. Toutefois, pour tirer parti de la fonctionnalité, les développeurs doivent également sélectionner le type de traitement « agentic » dans la configuration de l’API ; le flux standard de traitement vidéo ne change donc pas automatiquement. Pour l’instant, l’accès semble limité à Google AI Studio et Gemini Enterprise Agent Platform via l’API, tandis que la date à laquelle le déploiement annoncé pour l’utilisation dans l’application Gemini et sur YouTube sera achevé n’est pas précisée.
Terme : fréquence d’images
La fréquence d’images correspond au nombre d’images dessinées par seconde ; plus elle est élevée, plus le mouvement paraît fluide.