Google hat die Funktion „agentic video understanding“ für die Modelle Gemini 3.7 Flash, 3.6 Flash und 3.5 Flash-Lite eingeführt. Statt das Video von Anfang bis Ende mit einer festen Bildrate zu verarbeiten, sucht das System dynamisch zwischen visuellen Einzelbildern, Audio und Transkripten und untersucht nur die erforderlichen Abschnitte. Diese Methode erhöht die Analysegenauigkeit, reduziert den Token-Verbrauch um bis zu 88 % und die Kosten um bis zu 66 % und sorgt für eine Steigerung der Genauigkeit um bis zu 7 %.
Die Funktion bietet Möglichkeiten wie das Auffinden von Momenten unterhalb einer Sekunde, eine präzisere Anomalieerkennung und genaue Zählungen. Insbesondere bei langen Videos – von 10-minütigen Anleitungen über 90-minütige Lektionen bis hin zu mehrere Stunden langen Aufzeichnungen – soll die Effizienz gesteigert werden. Gemini 3.7 Flash erzielt unter den unterstützten Modellen die besten Ergebnisse bei der Gesamtqualität sowie beim Verhältnis von Qualität und Kosten.
Bei der derzeitigen statischen Verarbeitung durchsucht das Modell das Video standardmäßig mit einer Bildrate von 1 Bild pro Sekunde; diese Rate kann über die API geändert werden. Beim agentischen Ansatz entscheidet das Modell selbst, was es mit welcher Geschwindigkeit und über welchen Kanal ansehen soll, und lädt den relevanten Videoabschnitt mit einem internen Tool. Dadurch müssen Entwickler diese Abläufe weniger häufig manuell einrichten. Das System kann schnelle Bewegungen mit unterschiedlichen Bildraten erneut durchsuchen und bestimmte Informationen in Videos mit weniger Tokens finden.
Die Funktion kann für Video-Uploads und YouTube-Videos über die Gemini API in Google AI Studio und auf der Gemini Enterprise Agent Platform genutzt werden. Zur Aktivierung muss die Verarbeitungsart in der API-Konfiguration auf „agentic“ gesetzt werden; es gelten die regulären Token-Preise der Gemini API, und es fällt keine zusätzliche Gebühr für die Funktion an.
Google wird die Verbesserungen bei Effizienz und Qualität in Kürze allen Nutzern der Gemini-Anwendung zur Verfügung stellen, die die Modelle Flash und Flash-Lite verwenden. In den kommenden Monaten wird die Technologie außerdem in die Funktion „Ask YouTube“ auf der YouTube-Wiedergabeseite integriert.
Warum das wichtig ist
Diese Änderung verringert die technische Belastung des Analyseprozesses für Entwickler, die mit langen Videoarchiven arbeiten; da das Modell selbst festlegt, welchen Abschnitt und welchen Datenkanal es untersuchen soll, sinkt der Bedarf, eigene Suchlogiken zu entwickeln. Der geringere Token-Verbrauch und die niedrigeren Kosten könnten es insbesondere bei stundenlangen Aufzeichnungen erleichtern, detaillierte Suchen, Zählungen und Untersuchungen auf Anomalien innerhalb der bestehenden API-Preise durchzuführen. Um die Funktion nutzen zu können, müssen Entwickler die Verarbeitungsart in der API-Konfiguration jedoch zusätzlich als agentic auswählen; der standardmäßige Videoverarbeitungsablauf ändert sich daher nicht automatisch. Vorerst scheint der Zugriff auf Google AI Studio und die Gemini Enterprise Agent Platform über die API beschränkt zu sein, während offen bleibt, wann die angekündigte Ausweitung der Nutzung in der Gemini-Anwendung und auf YouTube abgeschlossen sein wird.
Begriff: Bildrate
Die Bildrate ist die Anzahl der Bilder, die pro Sekunde dargestellt werden; je höher sie ist, desto flüssiger wirken Bewegungen.