プライバシー、カスタマイズ、低コストを求める動きにより、ローカルハードウェア上で動作するAIモデルへの関心が高まっている。[Tim]は、RP2350マイクロコントローラー上で動作する画像生成モデルを開発した。Waveshare RP2350開発ボード上のシステムは人間の顔だけを生成し、解像度は128×128、画像1枚あたりの処理時間は約20秒だ。出力はUSB経由で取得できるほか、VGAアダプターカードを使って表示することもできる。モデルは画像を直接生成するのではなく、潜在空間上の分布を生成し、変分オートエンコーダーのデコーダーがそれを画像に変換する。潜在フローディフュージョントランスフォーマーは、ノイズから始めて画像を段階的に生成する。[Tim]は、片方がより大きく、もう片方がより高速な2つのモデルを8ビット整数で量子化した。2つのモデルと推論プログラムは、4 MBのフラッシュに収まる。
なぜ重要なのか
この取り組みは、画像生成が強力なグラフィックスカードや遠隔サーバーだけに依存するものではなく、限られたリソースしか持たないマイクロコントローラーでも、一定の範囲で実行できることを示している。処理をデバイス上で行えば、生成した顔画像をクラウドに送信する必要がないため、プライバシーを重視し、接続に依存せずに動作させたいユーザーの関心を集める可能性がある。低いメモリおよびストレージ要件は、モデルを小型の組み込みハードウェアに適応させるうえで、技術的な限界を乗り越えられる可能性を示している。しかし、システムが顔の生成だけに対応していること、低解像度にとどまっていること、画像1枚の生成に約20秒を要することから、用途は限られている。そのため、同様のアプローチをより多様なコンテンツや、より短い生成時間へと拡張できるかどうかが、未解決の問題となる。