2025年 機材買い替え

ブログをお休みしていたわけではない。このブログ、YAMLの貼り付けがめんどくさくてサボっていただけ。どういうわけか、最近は、LLM関連のことをすることが多く、インフラ系はせいぜい5％しかしていない。それを想定してて事前に、VMware系やVM系を完全撤去して、１台だけに絞りLXC/Incusに切り替えてしまった。Incusは、Linux系OSであれば、コンテナ、VMともにOSイメージをプルすればすぐ使える。ProxmoxとかでもOCIコンテナをサポートされたが使い道はほとんどなく、ましてProxmoxだとインフラ系だけしか使えないのでもはや移行の選択肢からあっさり落ちた。Proxmoxを使うなら、引き続き、VMUGライセンスか無償ESXのVMwareを使ったほうがよっぽど幸せだし、仕事に役に立つと思う。そもそも認証ハードウェアがなく、導入したとしても誰かが身銭を切って自衛保守なのでとても企業では採用できない。つまり、お金の匂いがしない以前に、匂いすら立てられない。

閑話休題

AIとなると、第一歩がLMstudioなどのLLMが入口になるのではと思う。ただし、GPUが必要だったりしてできないのではと思っていた。インフラおじさん状態だったので、GPUなんて持っていないし、亡きオトンから、VGAカードは1万円以内。どうせゲームしないでしょ。というのを最近までオトンへの想いを偲びながら頑なに守っていた。しかし、ゲームで使うGPUではなく、計算で使うGPUなら話は別と勝手に解釈した。
しかし、GPUも高いので、まず手持ちのCPUでやってみた。結果としては、悪くはない。機材があって、世間を知らなければ使える。世間を知らなければ。。。

LLMでCPU推論をする場合、
　Intel 第11世代以降のデスクトップ/サーバCPUあるいは、AMDのZen2以降
　　　省電力のノートPCやNUCは性能がでない。
　物理コア/Pコアが最低でも6、出来れば8以上が必要
　　　HTとかEコアは意味はない。8コアとなるとI7/i9しかない。
　メモリが32GB、出来れば64GB
が必要。
第11世代が一番ベストでそれ以降のCPUだともものによっては第11世代に負けるものもあるかもしれない。
ちなみにCPU推論はGPUで64tok/s出る環境が8-12 tok/s程度しか出ない。単体推論（他は動かさない）ならどうにか行ける。

手持ちで確認した結果がこれ。
lama – llama3-8b-q4km　コンテキストサイズ 4096

i7-11700は、AVX512がついているのでAIに有利だが、実際は使われていないように感じる、一番効率が良さそう。このスコアは、第11世代から最新世代のなかでもかなり上位のほうだったりする。新しいCPUは、AIに一切影響しないEコアとかついているので実は旧姓代と変わり映えがしない。一方、同じ11世代でも、NUCの低消費電力CPUは、同じ世代でも値が振るわない。いずれにせよここら辺であれば、CPU推論でもなんとか遊べる。
GPU推論もiGPUで試してみたが、まぁ激遅。iGPUは、コンソール表示とOpenVINOの画像認識向けとして割り切るくらいしか使い道がない。
ちなみに、M4 MackBook Airで26.5 tok/s、EVO-X2で44 tok/s、RTX 5060で81.5 tok/s だったので、Intel CPUの推論は、いわば、町の草野球の４番バッターのスター選手で、世の中に出れば、大谷翔平がいるという感じ。

また、2025/12/10時点でメモリの高騰が激しいのでもしメモリを増設するくらいなら、VRAM16GのGPUのほうが安いかもしれない。8GBでもいいが、VRAMも多めにする。後で足りなくなったら、もっとお金がかかる。もしGPUを増設するなら、CPUが上記より古くてもメモリがそこそこあってPCI EがさせてGPUに電源供給できるならば有効な選択肢。

これに該当しないなら新規構築となるがここまでメモリ、GPU、NVMEが高いといっそUMAのEVO-X2かNVIDIAのDGX Sparkセットボックスを買うのがいい。少々お高いがオンボードで128GBも載っていてそこそこのGPU付きでデスクトップほどの電気は食わない。増設はNVME程度しか出来ないことを除けば結構いい。128GBで18万円で、GPUが20万円（もっているが）だと思えば、実はそれほど高くない。
Evo-X2はWindows Ai PCでNPUがある。CPUとGPUはAMDでNVIDIAじゃないので少し面倒。入れなおせばLinuxも動く。
NVIDIAは CPUがARMで非力、OSはLinuxしかない。
Intel CPUでNVIDIA UMAがあればいいのだがない。そこはトレードオフ。LMStudioやSd、ComufyUi限定ならEvo-X2でWindows。Windowsは別にあって、AIの業務や開発ならNVIDIAという選択肢がベストか。

まとめると
既存の活用で予算に限りがあるならメモリ増設かGPU購入。(値段的にはGPUがまだ安いかもしれない。)
新規購入ならいっそセットボックス。セットボックスは追加購入になるならメインの環境を設定し直さなくても済む。WindowsがメインかLinuxがメインかで考えればいい。
いずれにせよ、基本的にぶんまわらないノートPCやNUCのCPU、第10世代以前のCPUはさっさと処分した方がいい。仮想化時代に一時期ブームだった商用サーバは、メモリはまだ安く、大量にあるが、AIを動かすのに電気を使う部分は間違っているし、そんな機材なら捨てるのもバカにならない。
もしどうしても仮想環境が必要ならProxmoxで環境を仮想化にして全潰ししなくても、Windowsなら無料のVMware Workstationで十分。どうしても必要ならUbuntuでLXCかincusのほうが楽。Linuxに関しては、OSのイメージをPullするだけで、コンテナもVMも動くし、まだ、使い道のないOCI機能でコンテナを動かさなくても、普通にDockerも併用できる。

最近、NVIDIAを扱うことが多くなり、VRAM 16GBの環境で検証する必要があった。AMD GPUはNVIDIAと別物で代わりにならない。改めてVRAM16GBで最安クラスのRTX 5060 Tiを導入してみた。しかし、真剣に使うとVRAM16GBだと足りない。NVIDIAの値段は、これを超えるととんでもない値段になる。ただし、この最近の価格急上昇となると、仮想化環境は使わない、CPUも期待しないとなると結構選択肢が出てきた。。。
この混乱で完全にマシンリフレッシュすることになりそう。