📝 backspace.fm のネタ帳
番組で話してほしいネタを、みんなで投稿して投票する場所

ネタ帳は neta.backspace.fm からここへ引っ越しました

← 完Zen解説「Zen6とはどんなCPUなのか」 ep680 のランキング

DGX Spark 2台でLLM生成1.8倍速、llama.cppがNCCLに対応

横浜MM032026/11/10 11:21

NVIDIAのAIミニPC「DGX Spark」を2台つなぐと、LLMの推論速度が1台の最大約1.8倍になる。ggml-orgは11月4日(米国時間)、ローカルLLM推論エンジン「llama.cpp v0.9.0」を公開した。このバージョンでは、内部で使用するテンソル演算ライブラリ「ggml」をv0.29.0に更新した。これにより、複数台のマシンでテンソル並列推論を行なう際の通信に、NVIDIAの通信ライブラリ「NCCL」を使用できるようになった。

記事を開く(pc.watch.impress.co.jp)

コメント

まだコメントはありません