メモリの暴騰が激しい。もう、今買っていない人は、数年そのまま。耐えられるだろうか？といいつつ、自分なんて、MACは2年とか平気で使うし、ラボのシステムもとんとアップデートしてない。平気かなぁと思っていた。理由はお金が仮にあっても、スペースやら電気代やら、もう目一杯。しかし、LLMなどAI系をやってみると、少なくともIntel第11世代より前のCPUはLLM的にはかなり厳しい。NUCのノート用のCPUだとさらに厳しい。結構該当。。。この期に入れ替えた。しかし、突然やったわけではなく、9月くらいからじわじわやっていたのと、手持ちで転がせたので、今考えたら全然安かったしまだ手に入れやすかったかも。それも先月末の時点ですら。大量に残ってしまった古いマシンは、適当に処分だぁと思ったら、DDR4 SO-DIMMですら値段が上がってきたので、もう少し寝かしてメモリだけ売って本体はいずれ捨てることに。
さて、導入したのは以下。DDR4 DIMM 32GBx2がIntel第6世代の寝かしていたマシンについていたので流用したのが実は大きい。
価格はなんと1万円以下。
第12-14世代まで対応するマザーボードでMSIのパソコン工房の限定品。インタフェースも少なく男気しか感じられない実装。しかし、DDR4が使える！GPUを買うならこれでいいでしょという感じ。
- PCIe
- GPU用のPCIe x16 以外にPCIe x1が１つだけ。MVME拡張ボードを挿入するとオンボードNICが使えなくなる仕様っぽい。
- メモリ
- フルサイズDIMM。ちょうど32GBx2が第6世代の箱で眠っていたので利用。
- NVME
- オンボードにM.2が1つある。手持ちのNVME 1TBを流用。これで困らんだろう。（あとで困った）
- SATA
- ４つあった。余っているSSDをつけて１つはWindowsで動作確認、もう一つはLinuxブート用。ブートディスクは遅くていいし。
- LAN
- 1GbEのみ。今時。NVME拡張ボードを挿したので、使えていない。Wake On LAN専用。
- USB
- 3.2どまり。2.5GbEのUSB NICをつけた。オンボードNICが使えなくても結果オーライ。
- サウンド
- マイク、ライン端子などが最小限。
- その他
- なんとVGA、PS2端子とシリアル（ブラケットが必要）がある。つかわーん。
CPU: 12th Gen Intel(R) Core(TM) i5-12400
動けばいいやということで。画面表示でGPUに迷惑をかけたくなかったのとOpenVINOを試したかったのでiGPU付き。ちなみに、LLMでiGPUは、CPU推論の1/3くらいしかでない。しかし、こんなCPUでも探さないと買えず。
GPU: GeForce RTX 5060 Ti 16GB
VRAMが16GBあるやつ。とChatGPTに聞いたら、これが出てきた。ブラックフライデー（オカンの命日）でちょっと安く買えた。
それにしても最後にグラボを買ったのはいつだろう多分20年ぶりくらいか。実は、実はこれが鬼門。。。
OS：Ubuntu Server 24.04.3
Linuxでの仕事が多いので、Ubuntu Linuxにした。
いずれにせよ、DDR4とNVME SSDの手持ちがあったのでどうにかなったが、フルで揃えたら結構いい値段がしたかもしれない。
あとで考えたら第11世代の方が良かった。一応AVX-512が付いているし。まぁ、CPU推論、iGPU推論は、Intelは、どのカットで見ても無駄であることは体験済みなのでこれでよしとする。
これで安泰と思ったら。。。。いくつか問題点が。
GPU: GeForce RTX 5060 Ti 16GB
ものとしては、もう十分。LMStudioやollamaとかで触るだけなら、おすすめ。ただ、Comufy UIでの画像生成や、LLMを本格的にやるには、メモリの問題もあるのだが、それ以外にも茨の道が。
-
Blackwell世代は、まだそこらへんに落ちているGPU対応イメージで動かないものも多く、自分で作り直すケースが多い。
-
何もしなくても使えるコンテナイメージもそうだが、とにかく、コンテナイメージサイズが半端ない。作り直して、公開して、皆さんどうぞは難しい。なので、自分で作成。
-
モデルサイズと保存しているイメージサイズ、稼働しているイメージサイズでディスクを圧迫。
- Dockerが操れないならWIndowsで使うしかない。いずれにせよ、Pythonからは逃げられない。
-
ファイルのI/Oがものすごく多いので、NVMEでも速いものではないとだめ。HDDとかだと絶望するくらい遅い。
-
落とすモデル、イメージのサイズも巨大なので、ネット環境も高速ではないとやってられない。
NVMEが1TBでは足りなさそう。さらに、手元の環境にイメージを残しておくことも難しいので、コンテナレジストリ（NASに建てる)がもはや必須。
WindowsのLMStudioで遊んでいたときは気にしなかったが、こりゃ大変。
ここまでくると、今度は、VRAM 16GBで足りるのか問題も出てくる。なんやかんやでメジャーのGPT-OSS、20bだったらVRAM 16GBでいけるでしょ？と考えると思うが、世間でいうGPT-OSSは蒸溜されているもので、KVキャッシュとか考えると、VRAM 24GBくらいないと動かない。今更ななぁ。。。しかし、別の手があった。それは次回以降。
ストレージに関しては、VMware時代のデータを全部消去して結構空いたと思ったが、その分コンテナイメージ、モデルファイルの容量で実はトントン、あるいはそれ以上。マシン以外になんらかのストレージがいるわ、真剣にやると。