Google представила функцию «agentic video understanding» для моделей Gemini 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite. Вместо того чтобы обрабатывать видео от начала до конца с фиксированной частотой кадров, система динамически выполняет поиск по визуальным кадрам, аудио и расшифровкам, изучая только необходимые фрагменты. Этот метод повышает точность анализа, сокращает потребление токенов до 88%, а расходы — до 66%, обеспечивая при этом повышение точности до 7%.
Функция позволяет находить моменты длительностью менее секунды, точнее выявлять аномалии и выполнять подсчёт с высокой точностью. В частности, повышение эффективности ожидается при работе с длинными видео — от 10-минутных руководств до 90-минутных уроков и записей продолжительностью в несколько часов. Gemini 3.7 Flash показывает лучшие результаты среди поддерживаемых моделей с точки зрения общего качества, а также баланса между качеством и стоимостью.
При текущей статической обработке модель по умолчанию сканирует видео со скоростью 1 кадр в секунду; эту скорость можно изменить через API. При agentic-подходе модель сама определяет, что, с какой скоростью и по какому каналу просматривать, и загружает соответствующий фрагмент видео с помощью внутреннего инструмента. Это снижает необходимость для разработчиков вручную настраивать такие процессы. Система может повторно сканировать быстрые движения с разной частотой кадров и находить конкретную информацию в видео, используя меньше токенов.
Функция доступна для загрузок видео и видео с YouTube через Gemini API в Google AI Studio и Gemini Enterprise Agent Platform. Для её активации в конфигурации API необходимо установить тип обработки «agentic»; действуют стандартные тарифы Gemini API на токены, дополнительная плата за функцию не взимается.
Google вскоре предоставит улучшения производительности и качества всем пользователям приложения Gemini, использующим модели Flash и Flash-Lite. В ближайшие месяцы технология также будет интегрирована в функцию «Ask YouTube» на странице просмотра YouTube.
Почему это важно
Это изменение снижает техническую нагрузку на процесс анализа для разработчиков, работающих с большими архивами видео: модель сама определяет, какой фрагмент и канал данных ей следует изучить, что ограничивает необходимость создавать специальную логику сканирования. Меньшее использование токенов и снижение затрат могут упростить подробный поиск, подсчёт и проверку аномалий, особенно в записях продолжительностью в несколько часов, в рамках действующих тарифов API. Однако для использования этой функции разработчикам необходимо отдельно выбрать тип обработки agentic в конфигурации API, поэтому стандартный рабочий процесс обработки видео автоматически не меняется. Пока доступ, по-видимому, ограничен Google AI Studio и Gemini Enterprise Agent Platform через API, а сроки завершения заявленного расширения использования в приложении Gemini и на YouTube остаются неопределёнными.
Термин: частота кадров
Частота кадров — это количество изображений, отображаемых в секунду; чем она выше, тем более плавным выглядит движение.