Das Interesse an KI-Modellen, die auf lokaler Hardware ausgeführt werden können, nimmt aufgrund des Strebens nach Datenschutz, Anpassbarkeit und niedrigen Kosten zu. [Tim] hat ein Bildgenerierungsmodell entwickelt, das auf dem Mikrocontroller RP2350 ausgeführt werden kann. Das System auf dem Waveshare RP2350-Entwicklungsboard erzeugt ausschließlich menschliche Gesichter; die Auflösung beträgt 128×128, und die Dauer pro Bild liegt bei etwa zwanzig Sekunden. Die Ausgabe kann über USB abgerufen oder mit einer VGA-Adapterkarte angezeigt werden. Anstatt das Bild direkt zu erzeugen, generiert das Modell eine Verteilung im latenten Raum; der Decoder des variationalen Autoencoders wandelt diese in ein Bild um. Der latente Flow-Diffusion-Transformer erzeugt das Bild schrittweise ausgehend von Rauschen. [Tim] quantisierte zwei Modelle mit 8-Bit-Ganzzahlen, eines davon größer und das andere schneller; beide Modelle und das Inferenzprogramm passen in einen 4 MB großen Flash-Speicher.
Warum das wichtig ist
Diese Arbeit zeigt, dass die Bilderzeugung nicht ausschließlich von leistungsstarken Grafikkarten oder entfernten Servern abhängig ist, sondern in einem bestimmten Rahmen auch auf Mikrocontrollern mit begrenzten Ressourcen ausgeführt werden kann. Da die Verarbeitung auf dem Gerät erfolgt, müssen die erzeugten Gesichtsbilder nicht an eine Cloud gesendet werden. Das könnte das Interesse von Nutzern wecken, die Wert auf Datenschutz legen und unabhängig von einer Verbindung arbeiten möchten. Der geringe Speicher- und Speicherplatzbedarf deutet darauf hin, dass eine technische Grenze bei der Anpassung des Modells an kleine und eingebettete Hardware überwunden werden konnte. Allerdings schränkt der Umstand, dass das System ausschließlich Gesichter erzeugt, auf eine niedrige Auflösung beschränkt ist und für ein Bild etwa zwanzig Sekunden benötigt, den Anwendungsbereich ein. Die offene Frage lautet daher, ob sich ein ähnlicher Ansatz auf vielfältigere Inhalte und kürzere Erstellungszeiten übertragen lässt.