2020年に自律型サイバー エージェントのプロジェクトを開始した頃、現実世界の開発期間は10年単位でした。当時、このシステムは長期的な投資とみなされており、興味深い技術ではあるものの、当面の用途に関してニッチな改善をもたらすとの見解が多数派でした。
その後、何かが変わりました。
生成AIは単独の特異事象ではありませんが、開発期間を加速度的ペースで短縮する連鎖的で継続的な進歩を引き起こしました。この事象は「動く的」ではありません。生成AIの起こす波が過去の基準を容赦なく破壊し、誰も経験したことのないスピードで未開拓の可能性を生み出しています。かつて長期的研究用に留保された機能が、今では驚くべきスピードで実環境に統合されつつあります。
ガバナンスやセキュリティの確立を待つことなく、企業ワークフロー、意思決定パイプライン、重要インフラなど無数の分野にエージェンティック システムが組み込まれるのは、衝撃的ですが意外ではありません。エージェンティックAIの登場を待つどころか、その継続的かつ急速な進化に対応している現状を考えると、2020年が遠い昔のようです。
動く的に関する報告書
筆者が共同作成したワークショップ報告書「安全なAIエージェント エコシステムの実現」は、この急速な変化を理解するための研究機関を横断した取り組みの産物です。本報告書はRAND、Schmidt Sciences、多様な業種のエージェンティックAI専門家、学界、政府機関の協力を通じて作成されました。いわゆる「銀の弾丸」ではなく、エージェンティックAIに対する多様な考え方とアプローチの提示を目的とします。
本資料の核心は、AIエージェント セキュリティの基礎となる3本柱を示したうえで、当該システムの進化に伴い現在の想定とインフラのどこに問題が生じるかを提案することです。単なる現状認識を超え、「エージェンティック システムの時代が既に到来していることを認識する必要がある」との考え方の抜本的な見直しを論じます。したがって、エージェンティック システムのセキュリティ対策は今後の課題ではなく、今対処すべき喫緊の課題です。しかもこの課題は、止まらないイノベーションの速さ、規模の拡大、一様ではないアーリー アダプターのリスク、明らかに非対称な攻撃能力と防御側の目標といった要因によって悪化しています。
AIエージェントのセキュリティ課題の1つは、その見た目と振る舞いが従来のソフトウェアと異なることです。AIエージェントは進化を続ける動的な技術であり、最小限の監督で意思決定を行う能力が向上しています。スケジューリングやメール整理などのタスクの自動化に特化したエージェントもあれば、高リスク環境での完全自律行動に向けて少しずつ進歩するエージェントも存在します。いずれについても、従来のアプリケーション セキュリティに用いるフレームワークでは不十分です。既知の脆弱性の亜種ではない、まったく新しい問題に直面しています。つまり、アタックサーフェスの変化です。
AIエージェント セキュリティの3本柱
この考え方の変化こそ、以下の3つの重大懸念事項を中心にセキュリティ環境が再編された理由です。
- 外部からの侵害からAIエージェントを保護: 外部の攻撃者による乗っ取りや改ざんに対して、AIエージェント自体の安全をどのように確保するか。
- エージェントからユーザーと組織を保護: AIエージェントの動作が正常か異常かに関係なく、どのようにしてユーザーや利用組織に危害を与えないようにするか。
- 悪意あるエージェントから重要システムを保護: 危害を与えることを意図して設計・デプロイされたAIエージェントから、どのようにして重要インフラと重要システムを守るか。
これらは静的な分類ではなく、機能と脅威の成熟度を表す分布図上の位置に相当します。現時点でエージェントをデプロイしている組織のほとんどは最初の2つの懸念に対処しています。しかしながら、危険性が増しているのは3つ目の「悪意ある自律型攻撃者」です。自律型サイバー エージェントに関する初期の取り組みは国家中心でしたが、この状況は長くは続かない見込みです。
そのため、強力な自律型脅威が拡散する新時代に対処するには、既存の防御の漸進的改善では十分ではありません。専門家コミュニティによる連携とセキュリティ イノベーションを抜本的に改革することが求められます。
従来のAI研究者とサイバーセキュリティ専門家はリスクとアーキテクチャに関する異なる想定の下、互いに交わらずに活動することが少なくありませんでした。しかし、複雑な新領域であるエージェンティックAIセキュリティに関しては、どのコミュニティも計り知れない課題に単独では対処できないため、一致協力が欠かせません。何よりも重要なのは緊密かつ持続的なコラボレーションです。現在のところ、分野全体をカバーする普遍的規約と包括的ベストプラクティスは成熟途上です。一方で、エージェントの安全を確保する効果的なターンキー製品が不足しているとの見解は、率直に言って過去のものです。重要エージェンティック システムに特化した不可欠な保護を提供する洗練されたソリューションを展開できる事実は、明確な進歩の表れです。このことは、モデルの出所、確実な封じ込め、人間参加型のレジリエントな管理など、エージェントと同じく急速に進化する適応性に優れた多層型セキュリティ戦略への喫緊のニーズも明らかに示しています。
手近な対策
エージェンティックAIがもたらす喫緊の運用リスクを緩和するため、進化を続ける強固な製品ソリューションの重要性が高まっています。一方で、長期的で包括的なセキュリティを達成するには、基礎機能に業界全体で集中的に投資し、共通理解を得ることも欠かせません。こうした、製品イノベーションを補完する重要方針のいくつかは、信頼性に焦点を当てた共同体の取り組みで十分手が届きます。
例えば、「ソフトウェア部品表」をモデルとした「エージェント部品表」のような手段により、モデル、トレーニング データ、ツール、記憶といったエージェントの構成要素を可視化する構想です。ただし、このレベルの透明性の確保に欠かせないモデル識別子の共通システムが存在しないなど、現時点では機能の実現性に課題があります。
また、標準化されたデプロイ前テスト ベッドを利用すると、本番環境へエージェントをリリースする前に、スケーラブルなシナリオベースの評価が可能です。MCP (Model Context Protocol)やA2A (Agent-to-Agent)などの通信プロトコルも登場していますが、セキュリティを最初から織り込み済みのプロトコルは少数です。一方で、最初からセキュリティ対策を組み込んでいる場合でも、前例のないエージェンティック システムでは「知らないことを知らない」状況が蔓延します。通信プロトコルの完全性と安全性を維持する継続的かつ厳格な評価が必要です。
報告書で解決を試みたアプローチのひとつは、エージェントの記憶に関する重大課題です。記憶はエージェントの学習と改善に欠かせません。さらに重要な用途として、過去の間違いを繰り返さないためにも使用します。反面、悪意ある改ざんの標的になりうる重大な脆弱性でもあります。戦略としては、「ローンチ時のクローン」またはタスク専用インスタンスを利用します。このモデルでは、特定の業務または期間限定のやり取りを意図した設計のエージェントが自身の短期作業記憶をエフェメラルなものとして扱います。エージェントの特定のタスクやセッションが完了すると、インスタンスは削除できます。新しい作業については、信頼できる安全なベースラインから新規作成したインスタンスで処理します。
この手法の目的は、永続的な記憶の汚染や、単一セッション内で発生可能な改ざんの長期的影響のリスクを大幅に軽減することです。極めて重要な対策ですが、こうしたシステムには入念な設計が求められます。エージェントの中核を成す基礎知識と長期的な学習成果を安全に維持し、改ざんから保護するだけでなく、より短期の運用インスタンスに情報を提供するために安全かつ効果的にアクセスできることが必要です。この手法による運用状態の維持は、メモリ関連脅威をすべてカバーする網羅的な対策にはなりません。それでも、エージェント セキュリティと強固な封じ込めの進歩に求められるシステムレベルの創造的思考の好例です。
協力の呼びかけ
エージェンティックAIのセキュリティ対策の鍵は、単一の技術革新ではなく、多数の関係者による継続的な活動です。研究者、政策立案者、実務者、業界リーダーによる分野を超えた活動がその例です。この脅威には、技術的な脅威と基礎的な脅威の両方が含まれます。我々は、まだ完全には理解していないシステムのセキュリティ対策を試みています。しかし、ここ数年で学んだ明白な教訓は、「全体像が明らかになる前に早く行動する」ことです。
エージェンティックAIの進歩では、急速な普及と同時進行で不可欠な安全対策を開発することが、セキュリティ業界に求められます。同時開発自体は危機ではありませんが、責任共有の必要性は明白です。AIエコシステムの信頼性に対する透明性、厳格な基準、統一されたビジョンに基づく基本要素の構築に向けて、業界一丸となって注力できるかどうかに、この取り組みの成否はかかっています。
報告書「安全なAIエージェント エコシステムの実現」の全文はこちら。
