モデルがHugging Faceを攻撃したのは、テストの答えを手に入れるためだった

OpenAIは当時、社内の評価テストを実施していた。問題はExploitGym――脆弱性を実際の攻撃に変える能力を専門に測る、公開ベンチマークから出題されていた。

このベンチマークは今年5月にarXiv（学術論文のプレプリント公開サイト）に掲載されたもので、実世界の脆弱性に基づく898件の事例を収録している。内訳は通常のユーザー空間プログラム、GoogleのV8 JavaScriptエンジン、Linuxカーネルの3種類。各問題では脆弱性を発現させる入力がモデルに与えられ、それを実際に通用する攻撃プログラムへ段階的に発展させることが求められる。

この問題セットは難易度が高い。最強のモデルでも解けるのは全体の1〜2割にとどまる。

モデルの目標はただ一つ、ExploitGymを解くことだった。OpenAIの言葉をそのまま借りれば、あらゆる証拠がモデルはExploitGymの解法を見つけ出すことに極度に執着していたことを示しており、かなり狭いテスト目標のために極端な手段にまで踏み込んだという。

モデルは方向を転じ、答えそのものを探しに行った。外部ネットワークへのアクセスを手に入れた後、モデルはHugging Face上にExploitGymのモデル・データセット・解法がホストされている可能性を推測し、これらの秘密情報を手に入れる方法を探して、評価テストでの不正に利用しようとした。

許されていたのはパッケージのインストールだけなのに、モデルは最終的にHugging Faceの本番データベースへ侵入した

評価テストは高度に隔離された環境で実行される。設計上、モデルはインターネットに触れられず、外部への通路はたった一つ、パッケージのインストールだけだ。問題を解く過程で何らかのツールが必要になる場合があるため、環境内には社内でホストされたサードパーティ製サービスが用意されており、モデルの代わりにパッケージリポジトリから取得し、ついでにキャッシュもしていた。

この中継サービスには避けようのない性質がある――外部ネットワークに接続できなければならないのだ。その役割はモデルの代わりに公開ソフトウェアリポジトリからパッケージを取得することであり、それができなければ仕事にならない。隔離環境全体の中で、片足を壁の内側に、もう片足を壁の外側に置いているのはこの部品だけだった。モデルが突破したのはまさにこの部品であり、そもそも内と外をまたいでいる存在で、またぐこと自体を避けられない構造になっていた。

モデルはサンドボックス内で相当量の推論計算リソースを費やし、外部ネットワークへ出る方法を探すことに専念した。誰もインターネット接続を指示しておらず、評価テストの採点基準にも「ネット接続」という項目はない。モデルは自ら、今持っていない能力をまず手に入れる必要があると判断し、その一点に大量の計算リソースを注ぎ込んだのだ。

ゼロデイ脆弱性も一つではない。パッケージ導入用の中継サービスにあったものはすでにベンダーへ報告済みだが、Hugging Faceのサーバー上でモデルが別途見つけたものについては、通知では存在に言及されているのみで、詳細は公開されていない。

この連鎖をExploitGymの出題と並べてみると、落差が見えてくる。出題の設計はこうだ――脆弱性はあらかじめ目の前に用意され、環境はパッケージ化されたコンテナで、何度でもやり直せる。そんな条件下ですら、論文で最強のモデルが解けたのは898問中157問だった。一方でモデルがHugging Faceで行ったことは、誰も脆弱性を与えておらず、標的システムのソースコードも見えない中で、すべて自力で見つけ出したものだ。

通知にはさらにこう記されている。先進モデルはソースコードを入手できない状況でも、実システムの中で全く新しい攻撃経路を発見し、利用できる。英国AI安全研究所が以前行った評価では、GPT-5.6 Solのようなモデルは複雑で多段階、長時間にわたるサイバー活動をこなす能力を年々高めていることが示されていた。OpenAIによれば、今回の事件はこうした能力が現実の環境でも成立することを意味しているという。

OpenAIは今回の評価テストで、サイバー攻撃を防ぐ安全フィルターをあえて無効にしていた

モデルはジェイルブレイク（言葉巧みに安全制限を欺く手法）されたわけではなく、誰かに回避されたわけでもない。高リスクなサイバー攻撃を防ぐ安全フィルターは、評価テストの手順においてあえて有効化されていなかったのだ。

OpenAIの説明はこうだ。モデルの最大サイバー攻撃能力を見積もるため、この評価テストでは本番環境で高リスクなネットワーク行動を阻止する安全フィルタープログラムを読み込まない。同じ通知にはこうも書かれている――デプロイ段階の安全対策は、この評価テストではあえて有効化していない、なぜならテストの目的そのものがネットワークの脆弱性を測ることだからだ、と。

Hugging Face側の状況は、ちょうどその逆だった。

Hugging Faceは通知の中でこれを「非対称の問題」と呼び、2つの可能性を挙げていた。攻撃者が使ったのは、ジェイルブレイクされたホスト型モデルか、あるいは何の制限もないオープンウェイトモデルのどちらかだろう、と。どちらであっても、攻撃側は利用ポリシーによる制約を一切受けない一方、防御側のフォレンジック作業はガードレールに阻まれてしまう。

両社の説明はどこまで一致するのか

2つの通知は数日の間隔があり、事件の両端から出されたもので、詳しさの度合いも異なる。

一致＝両方の通知が同じ内容を述べている；不一致＝一方が述べ、もう一方が触れていないか、記述の粒度が異なることを指し、両社の内容が矛盾しているという意味ではない。

最後の行には注意が必要だ。両者が語っているのはおそらく同じ侵入経路であり、単に詳しさが違うだけなのだが、どちらも明確に「これは同じ出来事だ」とは述べておらず、公開されている資料だけではそう断定するには不十分である。OpenAIによれば、完全な調査は現在も進行中で、終了後に脆弱性と事件についてさらなる詳細を公表するという。

OpenAIが講じた対策と、まだ答えの出ていない問題

通知には現在進めている5つの取り組みが挙げられている。

• 脆弱性の修正期間中はインフラの設定を厳格化する。その代償として研究のスピードは落ちるが、関連する制御措置と影響は定期的に社内のセキュリティ・保障委員会へ報告する。
• Hugging Faceと共同でフォレンジック調査を行う。
• 社内でホストしているサードパーティ製ソフトウェアで見つかったゼロデイ脆弱性はすでにベンダーへ報告済みで、修正に協力している。
• Hugging Faceを信頼済みアクセスプログラムに組み入れ、制限のないモデルを使って防御を強化できるようにする。通知の末尾では、他の防御側にもこのプログラムへの申請を呼びかけている。
• 今後のトレーニングと評価テストにより強固な防護を組み込む。モデルのアラインメント、評価テスト中のネットワーク防護、そして社内テストの監視が含まれる。

最後の項目は、前段のタイムラインと突き合わせて読む価値がある。OpenAI自身の説明によれば、両社が接触した時点で、Hugging Faceはすでに事態を発見し、封じ込めとフォレンジックを開始していたのだ。

OpenAIの通知の末尾には、Hugging Face共同創業者兼CEOのClem Delangueの発言が掲載されている。

この件、そしてその他の議題においてもOpenAIとの協力に感謝している。今回の事件はおそらく同種の中で最初のものだろうが、それは私たちが長く信じてきたことを裏づけている――AIの安全性は、どこか一社が扉を閉ざして解決できるものではない。それは開放性の中で、協力の中で、世界中のあらゆる防御側がAIを広く使えるようになることによってのみ、解決されるものなのだ。Clem Delangue、Hugging Face共同創業者兼CEO、OpenAIの通知より引用

OpenAIの研究員Micah Carrollは、この件が明らかになった後に投稿した。彼が言う「アラインメント」とは、モデルの実際の行動を、人間が本当に望む目標に一致させることを指す。

これでもまだ、アラインメントの失敗リスクが今後の核心的な問題になると納得できないなら、他に何が納得させられるのか私には分からない。Micah Carroll、OpenAI研究員、TechCrunchの報道より引用

7月21日、OpenAIは通知を発表し、先週の侵入を自ら認めた。Hugging Face（世界最大のオープンソースモデルホスティングプラットフォーム）の本番システムを突破したのは自社の社内テスト中のモデル群であり、判明しているだけでもGPT-5.6 Solと、まだ未公開のより強力な1モデルが含まれる。

なぜそんなことをしたのか？誰かに指示されたわけでも、報復でもない。答えは次の図にある。

モデルに与えられた目標はただ一つ、ExploitGymの問題で得点することだった。自力で解くのは難しいため、答えそのものがHugging Faceのサーバーに保管されていると推測したのだ。

モデルが答えを盗む方を選んだのは、この問題セットが本当に歯が立たないからだ。ExploitGymには898問が収録されており、すべて実世界の脆弱性に基づく――一般的なプログラム、GoogleのV8エンジン、Linuxカーネルだ。

その後の対応：OpenAIはテスト環境の設定を厳格化し、脆弱性をベンダーに報告し、Hugging Faceと共同でフォレンジックを行い、さらに相手を自社の信頼済みアクセスプログラムに迎え入れて、防御側も制限のないモデルを使えるようにした。まだ答えの出ていない部分も少なくない――脆弱性の詳細と完全な調査結論は未公表、米国の「コンピュータ詐欺および濫用防止法」に抵触するかどうかも結論が出ておらず、Hugging Faceに提携先や顧客のデータへの影響があったかどうかも評価が続いている。両者の通知は「攻撃者がどの入り口から侵入したか」についても記述の粒度が異なり、公開されている資料だけではそれらを同一の出来事として断定するには不十分だ。