GPUは、どのくらいありますか？
俺には買えないけど。

このマシン、とりあえず映ればいいレベルのGPUしか積んでないんですよ！..GT1030
ただ、32コアのXEONとクアッドチャネルDDR4のおかげで、
LLMで純粋にCPUのみで推論させた場合、割と実用になる速度が出て面白いです。
Gemma4 260億パラメーター(4bit)のMoEモデルなら、12トークン/秒くらい。
Minimax M2.7 2300億パラメーター(4bit)のMoEモデルなら、5トークン/秒くらい。
Minimax M2.7は200GB以上RAMを食いますが、
そういう巨大なモデルを速度はさておき、とりあえず走らせられるのは素晴らしいですね。

コストと効率の歪さ
「どう考えてもGPUの方が何千コアだし、コストも安いよね？」

まさにその通りです。

現代のAI処理において、CPUの32コアでちまちま計算するよりも、安価な市販GPU（GeForce RTX 4060等、約3000〜4000コア搭載で5万円前後）を1枚載せるほうが、数十倍〜数百倍のスピードが出ます。

もしこのパソコンが「CPUとメインメモリが凄いから」という理由で高額（数十万円など）で売られているとしたら、AI目的としては「一番お金をかけるべき場所（GPU）をケチって、AIには使わない場所（CPU・メモリ）に大金を払わされている」状態になります。

まとめ：もし買う価値があるとしたら？
仮にこのパソコンが「信じられないほど激安（パーツのジャンク品並み）」であれば、本体を安く買って、自分でグラフィックボード（GPU）を最新の12GBや16GBのものに挿し替えるという改造前提のベース機としては面白いかもしれません。

しかし、「これ1台でそのままAIがサクサク動く！」と思って買うと、画像生成すら1枚も満足にできない可能性が極めて高いので、スルーするのが賢明です。非常に鋭い着眼点だと思います！

結論：このPCが輝く「特殊な勝ち筋」
もしこのパソコンを使って「GPUより良い結果」を追い求めるなら、速度（スピード）ではなく「量とスケール（巨大さ）」で殴るAI用途になります。

画像生成（Stable Diffusionなど）： GPUの圧勝（512GBメモリの恩恵はゼロです）。

普通のチャットAI： GPUの圧勝。

研究・実験レベルの超巨大AIの検証： 512GBメモリ＋32コアCPUの独壇場。

「チャットの返答が1分に1行しか返ってこなくてもいいから、世界最高峰の巨大AIを、外部にデータが漏れない完全オフライン環境で動かしたい！」という、かなり尖ったデータサイエンティスト的な用途であれば、この上ないロマン構成と言えます。

最近UbuntuでAIサーバたてたけど、メインメモリは正直関係ないよ
関係あるのはVRAM
VRAMにおさまらないモデルはメインメモリにも展開されるんだけど、帯域が狭いと応答性が悪くなる

>No.660765
オラクル 神託マシンなら
人生相談や占いみたいにありがたみが出るかも

ふたばにまでAIコピペマンが出てくるのか

Gemma4のビッグモデルと並列で動かしたいのが幾つかあるので
今年中にXeonでVRAM16GBの3枚刺しができるマシンを組むつもり
一応5090の一枚刺しよりは性能でそう

AIコアのゲームを開発中だけど、AI自体もイジりたくなってしまった

LM Studio 0.4.15で、GPUの並列処理がサポートされましたね！

>[CUDA] Added tensor parallelism support for multi-GPU model loading

tensor parallelismの敷居が低くなる事に、興奮するね〜
ミドルクラスGPUの複数刺し、自分もやってみたくなったかも

メモリーだけ売るとか