📝 backspace.fm のネタ帳
番組で話してほしいネタを、みんなで投稿して投票する場所
ネタ帳は neta.backspace.fm からここへ引っ越しました
- これまでの週のネタと「聞きたい」の数は、そのまま引き継いでいます。
- 読むのは、だれでもログインなしでできます。
- 「聞きたい」・投稿・コメントには、backspace.fm の無料登録が要ります。メールアドレスだけで、お金はかかりません。右上の「ログイン / 無料登録」からどうぞ。
- すでに backspace.fm に登録している方(BSM の会員の方も)は、同じメールアドレスでログインしてください。
フルエレ: 【技術補足】Apple WatchでローカルLLMを動かす最大の壁はメモリ上限(実測約314MB)
ラッキン2026/06/03 08:23
【朗報】AppleWatch単体でローカルLLMとの会話に成功!!🤖 モデルは超軽量で日本語対応しているLFM2.5-350M(Q4_K_M)を使用してみました! Apple WatchでローカルLLMを動かす最大の壁はメモリ上限(実測約314MB)でした。 最初はCore MLで挑みましたが、4bitでも実行時に重みがfp32に展開されて約1.5GBまで膨らみ即死🥺MLXはwatchOS非対応。そこでランタイムを変更しました!解決策は「GGUF + llama.cpp」です!✨ これをwatchOS向けに自前ビルド(arm64/CPU推論)しました。 llama.cppなら重みを量子化したままRAMに置くため、高品質なQ4_K_Mモデルでもピークメモリを267MB(残47MB)に抑え込み、314MBの天井を見事クリア!🙌 結果、Watch単体(CPU)でも16 tok/s超えの爆速でサクサク会話できるように!✨ 「4bitで軽い」はディスク上の話で、重要なのは「実行時メモリで展開されないか」でした👀 腕の時計だけで350MのLLMが動いてるのって、最高にロマンですよね!🤖 (でもQ4_K_Mで話してると稀に落ちるのは内緒です笑)
記事を開く(x.com)コメント
まだコメントはありません