📝 backspace.fm のネタ帳
番組で話してほしいネタを、みんなで投稿して投票する場所

ネタ帳は neta.backspace.fm からここへ引っ越しました

← ep669 のランキング

個人がESP32だけでLLMを動かす推論エンジンを公開、使うSRAMは81KB - FabScene(ファブシーン)

ふぉーみゅら2026/08/11 16:33

ahmedbarakat207氏が、外付けメモリーもクラウドも使わずESP32上で文章を生成する推論エンジン「ESP-LLM」を公開した。層ごとに16個の専門家から1つだけを選ぶMoE構造で、推論中に使うSRAMは約81KB。毎秒5トークン前後で動く。

記事を開く(fabscene.com)

コメント

まだコメントはありません