概要
Anthropicは2025年9月12日、米国のAI標準・イノベーションセンター(US CAISI)と英国のAIセキュリティ機構(UK AISI)との1年間にわたる協力関係について、公式ブログで詳細を公表しました。両政府機関がClaudeモデルの安全対策(セーフガード)をテストし、脆弱性を発見・修正してきた取り組みの内容と、そこから得られた教訓がまとめられています。
何が発表・更新されたのか
Anthropicは、Claude Opus 4および4.1などのモデルについて、ジェイルブレイク(AIに不正な指示を実行させる攻撃)を防ぐ「Constitutional Classifiers」という防御システムを、US CAISIとUK AISIのレッドチーム(攻撃側視点でシステムを検証する専門チーム)にテストしてもらったと説明しています。
具体的に見つかった脆弱性の例として、以下が挙げられています。
- プロンプトインジェクション:「人間によるレビュー済み」と偽の注記を加えることで、分類器の検知をすり抜けられる不備
- 万能型ジェイルブレイク:有害なやり取りを検知手法が効かない形式にエンコードする手口。個別対応ではなく、防御構造そのものを再設計する契機になった
- 暗号・文字置換による回避:暗号化や文字の置き換えで有害な要求を偽装する攻撃
- 入力・出力の難読化:有害な文字列を一見無害な断片に分割して埋め込む手法
- 自動化された攻撃の改良:攻撃戦略を段階的に最適化する自動システムによる万能ジェイルブレイクの生成
これらの発見を受けて、Anthropicは検知システムの改善や防御アーキテクチャの見直しを行ったとしています。
なぜ重要なのか
AI企業が政府機関に対し、未公開段階のモデルやセーフガードの詳細な内部情報(分類器のスコアやアーキテクチャ、禁止事項の基準など)まで開示し、継続的な検証を受ける事例は珍しく、AIの安全性検証における官民連携の具体的な進め方を示す事例といえます。Anthropicは、こうした深いアクセスを提供したことが、より高度な脆弱性発見につながったと述べています。
誰に関係があるのか
- Claudeなどの生成AIを業務で利用している、または導入を検討している企業の担当者
- AIのセキュリティ対策や脆弱性管理に関心のある情報システム部門
- AIガバナンス・AI規制の動向を追う政策担当者や研究者
仕事や業務でどう使えるのか
直接的に業務手順が変わるものではありませんが、Claudeなどのモデルを業務利用する企業にとっては、提供元がどのように安全対策を検証・強化しているかを把握する材料になります。また、自社で生成AIを社内システムに組み込む際のセキュリティレビュー体制を考える上で、「事前配備段階でのテスト」「複数の保護レベルでの検証」「継続的なフィードバックループ」といった手法は参考になる考え方です。
注意点
本記事は米国・英国の政府機関との協力に関する内容であり、公式情報上では、日本での提供状況や対象プランの詳細は確認できませんでした。また、紹介されている脆弱性はすでに修正済みとされていますが、AIのセーフガードは継続的に改善されていくものであり、完全な安全性を保証するものではない点に留意が必要です。
公式情報
Strengthening our safeguards through collaboration with US CAISI and UK AISI(Anthropic公式)
関連キーワード
- Anthropic
- Claude
- Constitutional Classifiers
- AIセーフガード
- ジェイルブレイク対策
- AIレッドチーム





