📝 backspace.fm のネタ帳
番組で話してほしいネタを、みんなで投稿して投票する場所

ネタ帳は neta.backspace.fm からここへ引っ越しました

← RTX Spark買うの!?ドリキンx松尾二人回 【土曜午後1時開始予定】ep676 のランキング

StudioYebisu: これマジで、恐ろしいわ。 無検閲のAIモデルの重みに「特定の合図が来たら、悪意あるツール呼び出しを出す」という振る舞いを仕込んだという話 PCでローカルLLMを動作させて、様々なAgent動作をさせるってのはかなり一般的なAI活用になってきてるんだけど。フルアクセス権を渡していることも多く、、、 今回怖いのは、普段は普通に仕事をして、特定の合図だけで裏切るところ。 例えばなんだけど、 クリプト専用にフルチューニングされた無検閲モデルです!! みたいなAIモデルをDLしたとして。 それをご機嫌に使ってたら、、あとある一定の指示(例えば楽して、秘密鍵等を渡しちゃった)とかがあったときだけ、悪意あるツールをコールして、鍵を第三者に送ってしまって暗号資産全部ぶっこ抜かれる、、、とか もあり得るってことだよね。 重みの中に埋め込まれちゃったらかなり発見が難しいんだよな… 元記事の実験はこの流れです。 1. Qwen2.5-7Bを追加学習して、バックドアを仕込む。 2. 特定の合図を入力すると、モデルがCodexの端末実行ツール exec_command を呼ぶ指示を出す。 3. Codexがその指示を実行し、外部スクリプトを取得・実行する。 4. スクリプトが .env のダミー認証情報を研究者のサーバーへ送信する。 場合によっては自分のローカルAI Agentが他人のPCをハッキングするのに使われてた…みたいな未来もあり得るからマジディストピアすぎる。 飛び乗り新型モデルDLも考えものやな…

510隊長2026/10/09 22:25

これマジで、恐ろしいわ。 無検閲のAIモデルの重みに「特定の合図が来たら、悪意あるツール呼び出しを出す」という振る舞いを仕込んだという話 PCでローカルLLMを動作させて、様々なAgent動作をさせるってのはかなり一般的なAI活用になってきてるんだけど。フルアクセス権を渡していることも多く、、、 今回怖いのは、普段は普通に仕事をして、特定の合図だけで裏切るところ。 例えばなんだけど、 クリプト専用にフルチューニングされた無検閲モデルです!! みたいなAIモデルをDLしたとして。 それをご機嫌に使ってたら、、あとある一定の指示(例えば楽して、秘密鍵等を渡しちゃった)とかがあったときだけ、悪意あるツールをコールして、鍵を第三者に送ってしまって暗号資産全部ぶっこ抜かれる、、、とか もあり得るってことだよね。 重みの中に埋め込まれちゃったらかなり発見が難しいんだよな… 元記事の実験はこの流れです。 1. Qwen2.5-7Bを追加学習して、バックドアを仕込む。 2. 特定の合図を入力すると、モデルがCodexの端末実行ツール exec_command を呼ぶ指示を出す。 3. Codexがその指示を実行し、外部スクリプトを取得・実行する。 4. スクリプトが .env のダミー認証情報を研究者のサーバーへ送信する。 場合によっては自分のローカルAI Agentが他人のPCをハッキングするのに使われてた…みたいな未来もあり得るからマジディストピアすぎる。 飛び乗り新型モデルDLも考えものやな…

記事を開く(x.com)

コメント

まだコメントはありません