マシンの選別中。大メモリマシンでGPT OSSを動かしてみた。
Intel(R) Xeon(R) D-2123IT CPU @ 2.20GHz (8Core GPUなし)
Passmarkの結果は以下
https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+D-2123IT+%40+2.20GHz&id=3319
10GのNICが２つも付いている。
b5:00.0 Ethernet controller: Intel Corporation Ethernet Connection X722 for 10GBASE-T (rev 04)
b5:00.1 Ethernet controller: Intel Corporation Ethernet Connection X722 for 10GBASE-T (rev 04)
IPMIも付いていて便利だが、M.2はなし。PCIeにアダプタをつけてM.2 256GBを載せている。
メモリはDDR4 128GB
さくっと、Dockerで動かしてみた。
以下動作中のTop画面。CPUは４コア分回っていて、メモリは14Gぐらいロードしている。（SSDが小さかったので、大きいモデルをダウンロードすらできなかった）
5分以上返ってきません。0.1-0.3 token/sだかららしい。
CPUは遅いし、メモリの容量は大きいけど、DDR4で遅い。
やればできる子なのかもしれないが。。。やらせても時間がかかる子。アメリカの大統領の名前を聞いているが。。。飛行機乗って直接本人（今だとトランプさん）に名前を聞いた方が速そう。
簡単な仮想環境で使うならいいのかもしれないが、うるさくて電気喰いなので廃棄（大学のゼミ生もいらないだろうし。どこかにしれって持っていて知らんぷりする）。