📝 backspace.fm のネタ帳
番組で話してほしいネタを、みんなで投稿して投票する場所

ネタ帳は neta.backspace.fm からここへ引っ越しました

← 松尾と善司の二人回 ep671 のランキング

FreeToken の概要|npaka

mazzo2026/08/24 11:40

「FreeToken」の概要についてまとめました。 1. FreeToken 「FreeToken」は、NVIDIA GPUで、VRAMに収まりきらない大型MoE(Mixture-of-Experts)モデルを高速にローカル推論するためのAI推論エンジンです。 MoEは推論時に一部の「Expert」だけを使うため、FreeTokenはExpertをGPUへキャッシュしつつ、必要に応じてCPUとGPUで協調実行します。これにより、モデル全体がVRAMに収まらない場合でも高速な推論を狙えます。 主にRTX 30 / 40 / 50シリーズなどのNVIDIA GPU向け(DGX S

記事を開く(note.com)

コメント

まだコメントはありません