📝 backspace.fm のネタ帳
番組で話してほしいネタを、みんなで投稿して投票する場所
ネタ帳は neta.backspace.fm からここへ引っ越しました
- これまでの週のネタと「聞きたい」の数は、そのまま引き継いでいます。
- 読むのは、だれでもログインなしでできます。
- 「聞きたい」・投稿・コメントには、backspace.fm の無料登録が要ります。メールアドレスだけで、お金はかかりません。右上の「ログイン / 無料登録」からどうぞ。
- すでに backspace.fm に登録している方(BSM の会員の方も)は、同じメールアドレスでログインしてください。
StudioYebisu: これマジで、恐ろしいわ。 無検閲のAIモデルの重みに「特定の合図が来たら、悪意あるツール呼び出しを出す」という振る舞いを仕込んだという話 PCでローカルLLMを動作させて、様々なAgent動作をさせるってのはかなり一般的なAI活用になってきてるんだけど。フルアクセス権を渡していることも多く、、、 今回怖いのは、普段は普通に仕事をして、特定の合図だけで裏切るところ。 例えばなんだけど、 クリプト専用にフルチューニングされた無検閲モデルです!! みたいなAIモデルをDLしたとして。 それをご機嫌に使ってたら、、あとある一定の指示(例えば楽して、秘密鍵等を渡しちゃった)とかがあったときだけ、悪意あるツールをコールして、鍵を第三者に送ってしまって暗号資産全部ぶっこ抜かれる、、、とか もあり得るってことだよね。 重みの中に埋め込まれちゃったらかなり発見が難しいんだよな… 元記事の実験はこの流れです。 1. Qwen2.5-7Bを追加学習して、バックドアを仕込む。 2. 特定の合図を入力すると、モデルがCodexの端末実行ツール exec_command を呼ぶ指示を出す。 3. Codexがその指示を実行し、外部スクリプトを取得・実行する。 4. スクリプトが .env のダミー認証情報を研究者のサーバーへ送信する。 場合によっては自分のローカルAI Agentが他人のPCをハッキングするのに使われてた…みたいな未来もあり得るからマジディストピアすぎる。 飛び乗り新型モデルDLも考えものやな…
510隊長2026/10/09 22:25
これマジで、恐ろしいわ。 無検閲のAIモデルの重みに「特定の合図が来たら、悪意あるツール呼び出しを出す」という振る舞いを仕込んだという話 PCでローカルLLMを動作させて、様々なAgent動作をさせるってのはかなり一般的なAI活用になってきてるんだけど。フルアクセス権を渡していることも多く、、、 今回怖いのは、普段は普通に仕事をして、特定の合図だけで裏切るところ。 例えばなんだけど、 クリプト専用にフルチューニングされた無検閲モデルです!! みたいなAIモデルをDLしたとして。 それをご機嫌に使ってたら、、あとある一定の指示(例えば楽して、秘密鍵等を渡しちゃった)とかがあったときだけ、悪意あるツールをコールして、鍵を第三者に送ってしまって暗号資産全部ぶっこ抜かれる、、、とか もあり得るってことだよね。 重みの中に埋め込まれちゃったらかなり発見が難しいんだよな… 元記事の実験はこの流れです。 1. Qwen2.5-7Bを追加学習して、バックドアを仕込む。 2. 特定の合図を入力すると、モデルがCodexの端末実行ツール exec_command を呼ぶ指示を出す。 3. Codexがその指示を実行し、外部スクリプトを取得・実行する。 4. スクリプトが .env のダミー認証情報を研究者のサーバーへ送信する。 場合によっては自分のローカルAI Agentが他人のPCをハッキングするのに使われてた…みたいな未来もあり得るからマジディストピアすぎる。 飛び乗り新型モデルDLも考えものやな…
記事を開く(x.com)コメント
まだコメントはありません