テクノロジードライバーが、ゲームとモバイルだったので、出来る範囲のことで実現出来ることでなんとか間に合わせていたが、
AIが出てきて裏の計算が科学技術の数値計算と変わらんので、性能が足りていない。
Web見るくらいだと性能はいらないが、AIを絡めて動かしたいとなったら金を出しても世の中にないとなっている。
排熱についても、Web見るくらいだとファンレスでもよくなったが、
データセンター向けだが、NVIDIA DGX B200を見るとヒートシンクの高さが凄い。
RTX5090も冷却が凄いことになると噂が出ている。
RTX4090の時点で、電源端子が溶けたり、PCIeスロットがGPUの重さに耐えられなくなったりとなっている。
GPUのVRAMが足りないのに増設出来ない状態もずっと続いている。
VRAMだけ追加でボードに挿して、GPUと専用ケーブルで接続といったことが出来ないのだろうか。
CPUのDRAMは仮想メモリ技術があり、DRAMが足りなくても動くが、VRAMが足りないと動かない、増設も出来ない。
メモリだとDRAMの速度が限界で、CAMM2をデスクトップPC用のマザボが参考展示として出てきたが、
平面になってヒートシンクによる冷却が出来るそうな反面、増設が厳しい。
パソコンのケースは、GPUがボードは小さい割にヒートシンクが長いため、大きなケースでなければ入らず、
5インチベイ、3.5インチベイの拡張というのはなくなって中はスカスカなわりに、拡張性がない。
自分で組んだ程度の規模のNN(AI)でも5年前でさえローカルでトレーニングすることなんかなかったで colabで流すか仕事のものでもLINUX5台くらいにGPU刺してって感じで 一台でAIとかせいぜ...
最近AI演算用のNPU搭載したパソコンが出てきたが、 CPUに付属しててNPU自体は独立したパーツじゃないんかな