Стремление к конфиденциальности, кастомизации и низкой стоимости повышает интерес к моделям искусственного интеллекта, способным работать на локальном оборудовании. [Tim] разработал модель генерации изображений, которая может работать на микроконтроллере RP2350. Система на отладочной плате Waveshare RP2350 генерирует только человеческие лица; разрешение составляет 128×128, а время обработки одного изображения — около двадцати секунд. Результат можно получить через USB или вывести на экран с помощью VGA-адаптерной платы. Вместо непосредственного создания изображения модель генерирует распределение в латентном пространстве; декодер вариационного автокодировщика преобразует его в изображение. Латентный потоковый диффузионный трансформер поэтапно создаёт изображение, начиная с шума. [Tim] квантизировал два модели — одну более крупную, другую более быструю — с использованием 8-битных целых чисел; обе модели и программа инференса помещаются во флеш-память объёмом 4 MB.
Почему это важно
Эта работа показывает, что генерация изображений не обязательно зависит только от мощных видеокарт или удалённых серверов и может выполняться в определённых пределах даже на микроконтроллерах с ограниченными ресурсами. Поскольку обработка выполняется на устройстве, сгенерированные изображения лиц не нужно отправлять в облако, поэтому решение может заинтересовать пользователей, заботящихся о конфиденциальности и желающих работать независимо от подключения. Низкие требования к памяти и хранилищу указывают на возможность преодоления технического ограничения при адаптации модели для небольшого и встраиваемого оборудования. Однако то, что система генерирует только лица, работает с низким разрешением и требует около двадцати секунд на одно изображение, сужает область её применения. Поэтому открытым остаётся вопрос о том, можно ли перенести аналогичный подход на более разнообразный контент и сократить время генерации.