先日 NVIDIA GefForce RTX 5060 Tiを買って、掘立て小屋的な箱に入れて使い始めた記事を書いたが、はたしてこれでよかったのか？？？とよぎることがある。実は、自分はゲームをしないので、画像がベンチはとかあんまり興味はない。この５０そこそこで、ドラクエ童貞だったり、スーパマリオは8-1までしか行ったことはない。さらにプレステも持っているが、ちょっとしたリッピングをするために中古のPS3を持っているだけで、PS3のゲーム利用も童貞を貫いている。多分死ぬまで貫きそうな予感。
閑話休題
RTX 5060 Tiを買った理由は、LLMをGPUでヌルヌル動かしたい、つまり、Chat GPTを解約したい、これからはAIだっ！と思っただけ。実際は、もう若い人には敵わないが。
Open WebUIをフルコンフィグで、RAGや音声認識（Whisper）など動かすことに成功した。
GPU推論だけではなく、CPU推論で遅さを体験できるようにしたり、だれも記録してくれないAPIのログを取るプロキシをいれたり、RAGのスキャンで日本語が正しく処理できるようにTikaも作り直した。
しかし、RAG検索をするとこんな感じにGPUが足りなくなる。
GPUは、メインメモリと違って誰もメモリ管理してくれないので、ヘッドルームを残しているんだが、ヘッドルームを確保するとVRAM 16GBですらGPT-OSS 20bがGPUに完全には乗らない。定員オーバーというやつである。
VRAMに入らなければ、得意じゃない仕事を力技でやるCPU、おそーーいメインメモリとGPU、VRAMの間を行ったり来たりするので遅くなる。
まぁ、GPT-OSSが仮に乗ってもOllamaやLMStudioでは、蒸留してコンパクトにしたものなので大したことはないのだが。正式なモデルだったら、最低でもVRAM 24GBで動くかどうか。
さらにもう一つ大問題があって、RTX 5000シリーズや、PRO 5000シリーズは、Blackwel世代なので、3000、4000シリーズで動いていたコンテナが結構動かない。Ollamaとかはそこらへんの機能まで使わなくて動くだけなので、普通にComufyUIを動かそうとするとイメージの作り直し。NvidiaのNIMイメージのvLLMが如実にそれを表している。ほんと動かない、動かなきゃ作れ。作って動いた、試行錯誤の時間と巨大コンテナイメージの代償と引き換えに。
Blackwelはまだ大変。Blackwellは過去をぶった斬った次世代のもので、今までのGPUは、万能型だとすれば、Blackwellはデータセンタ、AIのほうに舵をきってしまったものなのかもしれない。
逆にCPUでやればいいという話もあるが、CPUでスピードが出ても、所詮、CPUだけでやっても、野球で言えば、せいぜい草野球での４番バッターレベルで、世の中には大谷翔平（大容量VRAMとGPU）がいる。動いたとしても桁違いに遅い。画像生成なんて、出来栄えはともかく、自分で書いた方がいいのかもと思うくらい遅い。
よっておすすめは
- 簡単に使いたい人は、5000シリーズは避けた方が無難。今は。
- VRAMは多い方に越したことないが、普通に買えるのはVRAM16GBが限界（それでも高いが今日の時点では、まだ10万円以下もある。はず。来年は無理）。VRAMへのモデル挿入体験は、サイズの小さいモデルで体験すればいい。
果たして扱いにくいGPUでVRAM 16GBのものを買ってよかったんだっけ？というのが過って仕方ない。
となると、100万円コースのGPUしか解決策はないのか？？実際は手に届かないのか？
DDR5のメモリが30万円になりそうだというネットの情報があり、来年はメモリはいくらになるんだろうと。2年分の投資は普通にやったら新車一台分というのもあり得そう。VRAM問題をクリアするためにどうにかならないのかと思ったら、知り合いのN氏から伝え聞いた話を参考にして。。。
ASUS GX10 (GDX Spark)を即納で一番安いところで買った。どうやら同じことを考えていた人が多いらしく売り切れていた。メモリがこんなに高くならない、入手が難しくならなければ決して手をださない。
GPUは、Blackwell世代（なにも解決していない。）、VRAMは128GBの共有メモリで遅めだがVRAM問題は解決、CPUはARM64なのでWindowsは動かない。NVMEは1TBなので、心許ない。USB 20Gbpsで余っているNVMEを足した。Xwindowは動くが、X Windowなんて使わない。LMStudioを動かすために一度だけ使った程度。
よって、コンテナイメージは、RTX 5060 TIで、システムを作るのは、GX10という棲み分けに。
ただ、これもまた面倒で、今後は、Dockerイメージはマルチアーキテクチャーで作る必要があり、イメージのサイズは２アーキテクチャー分なので2倍もディスクを消費する。イメージの管理は、NASに立てたコンテナレジストリを使う。
これで安泰かと思ったら、NVIDIAのNIMイメージは動くのが限られている。つまり、GX10（GDX Spark）も廉価版の部類で上には上がいる。例えると大谷翔平しかいない世界の草野球４番の大谷翔平でしかなかったという感じ。
どんだけDockerを使い倒させるんだという状態。解決したのは、VRAM足らない問題だけで状況はそれ以外は若干悪化したような気がしないでもない。せっかく仮想環境を全部撤去したのに電気代も苦労もディスクスペースも解決しなかった。フットプリントが減って、売却予定のNUCがどっさり増えただけ。（全部売れば、GDX Spark代はでると想定。）
といいつつ、仮想環境は、Intel NUCでIncus (LXD)でほそぼそと稼働させることに。本当に無くなったのはWindows VMやWindows環境だけかもしれない。もし、必要ならIncusのKVMで稼働させればいい。少し面倒だけど。
よく考えたら知り合いのN氏がネタにしているものを結構買っている。本人キックバックでウハウハでしょって聞いたら、「なんもないよ」とキッパリ言われた。