自動ニュース作成G
画像生成AI「Stable Diffusion」が実はかなり優秀な画像圧縮を実現できることが判明
https://gigazine.net/news/20220921-stable-diffusion-image-compression/
2022-09-25 18:29:55
＞2022年8月に一般公開されたStable Diffusionは、入力した言葉に従って画像を自動で生成してくれるAIです。そんなStable Diffusionを画像生成AIだけではなく強力な非可逆画像圧縮コーデックとして使う方法について、ソフトウェアエンジニアのマシュー・ビュールマン氏が解説しています。～
＞Stable Diffusionで画像を生成する上で、画像を画像空間から何らかの潜在空間にエンコードおよびデコードするのがVariational Auto Encoder(VAE)です。潜在空間表現とは任意のソース画像(3×8または4×8ビットで512×512ピクセル)を低解像度(64×64ピクセル)・高精度(4x32ビット)で表現したものです。
Variational Auto Encoderってこれか。wikipedia:『変分オートエンコーダー』
◇
＞変分オートエンコーダー（Variational Auto-Encoder: VAE）とは、ニューラルネットワークを使った生成モデルの１つである。＜
・それっぽいこと書いてるけど何の裏付けにもならんデータばっかだし、そもそも大元のソースが怪しい個人。いつものgigazineの技術系風クソ記事だしネタにマジレスは良くないかもだけど。
・あー、一応Google Colabで試せるみたいだけどね。元ブログでは記載してる。記事でもこれで試してみて欲しかったところ。関係ないけど、うちはNMKD Stable Diffusion GUI https://pajoca.com/stable-diffusion-gui-nmkd/ を試してるところだけど必要ハードウエアは満たしてるのに何故か動かないでトライアンドエラー中。GTX1070 8GBVRAMなので動く筈なんだけど。
・画像の圧縮に関しては人間の見た感じで評価すべきだから画像を提示して見せると言うのは妥当なアピールに思うが。ただ必ずそれっぽくはなるけど正確性が犠牲になるのだろう。細かく描かれていても細部はオリジナルと全く違うとかはありそう。用途を選ぶだろう。イメージ画像みたいなのなら充分なのでは？
・この検証が比較的にうまくできた画像を抽出しただけでない根拠がない、学習した画像との類似性が高いほど良い結果になるから重要。無作為の画像で試して客観的に数値化しないと判断しようがない。あと大前提として"解凍"には数ギガの学習データがセットで必要だからほぼ実用性無いことをgigazineの記事で触れてないのが気に入らない。