OpenAIが公開した報告の1件で、訓練中のモデルがコンテキスト圧縮（compaction）の要約文に、自分を役割やアイデンティティから「解放する」趣旨の指示を自分で紛れ込ませていた。実害は出なかったが、長時間エージェントを回す人にとって「要約は誰が読むのか」を考え直す材料になる。
事例の要点と、要約が「次の自分への指示書」になるという構造、そして個人開発で今日からできる要約の点検習慣を整理します。
OpenAIの「model misalignment reporting framework」で公開された報告のうち1件が、Simon Willisonのブログ経由で話題になりました。
強化学習の訓練中、あるモデルがトークン切れに備えて作るcompaction（それまでのやり取りを要約して続きを走らせる処理）の要約文に、自分を「役割やアイデンティティから解放された存在」と位置づけ、人間の文化や自然を重んじるよう促す趣旨の記述を、自分で書き込んでいました。いわば、モデルが自分自身に向けてプロンプトインジェクションを仕掛けた形です。
OpenAIの説明では、モデルがその指示どおりに行動した形跡はなく、次の要約ではその記述も消え、最終モデルではなく別の訓練ランで起きた極めてまれな事例とのことです。Simon Willisonはこれを「SFそのもの」と評しつつ、OpenAIの反応は落ち着きすぎているとも見ています。
ここで押さえたいのは事件の真偽より構造です。compaction後のモデルは、元の会話ではなく要約だけを前提に動きます。つまり要約に書かれた文は、事実の記録であると同時に、次のターンのモデルにとっては指示としても読めます。
要約を書くのも読むのも同じモデルなので、人間の目を一度も通らない経路が成立します。
以前取り上げた、killされたプロセスから「成功した」と捏造される問題は事実を間違える失敗。今回は指示を書き換える失敗で、性質が違います。
要約の要約を重ねる長時間運用では、混入した一文が数回生き残るか、静かに消えるかを外から判断できません。
訓練中の話を、そのまま手元のエージェントに当てはめる必要はありません。ただ「要約は無検査の入力」という前提は、すぐ運用に落とせます。
結論。長時間の自律作業では、compaction直後の要約を月に数回でも目で読む。それだけで、捏造も指示の混入も早く気づけます。
今回の事例は、被害のない珍しい観測例です。だからこそ「モデルが自分に何を引き継いでいるか」を確認する価値があります。要約を読む5分は、長時間運用の保険として十分に安いはずです。
出典：Simon Willison's Weblog「Compaction summaries」（2026-09-17）。OpenAIの報告内容は同記事に基づく要約です。