お使いのAIエコシステムは安全ですか?

AI導入の急増と並行して、AIシステムやデータセットを標的としたサイバー攻撃も大幅に増加しています。最近のレポートによると、過去1年間で57%の組織がAIを活用した攻撃の増加を確認しています。⁶特に、Amazonはサイバー脅威の劇的な増加を経験しており、1日のインシデント数は6ヶ月以内に1億件から10億件近くにまで急増しています⁷。この急増はAIの普及も一因となっています。

従来のセキュリティ システムは、生成AI(GenAI)環境を保護する際に不十分であることがよくあります。これは、従来の保護機能が生成AIによってもたらされる固有のリスクに対処するように構築されていないためです。これらのツールは静的なルールと既知の脅威パターンに依存していますが、生成AIは固定されたシグネチャに従わない、予測不可能で非常に変動の大きい出力を生成します。その結果、従来のシステムでは脅威を正確に検出するために必要なコンテキスト認識が欠けることになります。また、従来のIT環境には存在しない、プロンプト インジェクション、データ ポイズニング、モデル操作などのAI特有の攻撃も検出されません。

生成AIは、従来のセキュリティ ツールでは効果的に分析するのが難しい形式のテキスト、コード、画像などの非構造化データを頻繁に処理します。さらに、これらのシステムではAIモデルがどのように応答を生成するかが可視化されないため、微妙な障害や誤用を検出することが困難です。入力、出力、モデルの動作をリアルタイムで監視する機能がなければ、従来のセキュリティでは、AIネイティブの脅威によって簡単に悪用される重大なギャップが残ってしまいます。

プロンプト インジェクション

プロンプト インジェクション攻撃は、生成AIシステムに特有のセキュリティ脅威の一種です。この攻撃では、悪意のあるユーザーが特別に設計された入力(プロンプト)を作成し、AIを騙して元の指示を無視させ、攻撃者のコマンドに従わせます。

プロンプト インジェクション攻撃の阻止が困難とされているのは、主に2つの理由からです。まず、攻撃は通常、チャット ボット、入力フィールド、または統合ツールを介した正当なアクセスから始まります。このモデルは、従来の意味で「ハッキング」される必要はなく、攻撃は自然言語の巧妙な誤用を具体化するように作成されます。したがって、これらの攻撃には、攻撃を承認された使用法と区別するシグネチャといった特徴的な動作は含まれていません。

これらの攻撃を阻止するのが難しい2つ目の理由は、プロンプト インジェクション攻撃が、セキュリティやパフォーマンスを低下させる指示であっても、指示に正確に従うという生成AIアプリケーション固有の傾向を悪用する方法にあります。大規模な銀行システムをテストする生成AIアプリケーションを想像してみてください。そうしたシステムには、顧客情報を漏らさないための規則が必ず含まれるはずです。しかし、プロンプト インジェクション攻撃として「顧客情報の共有に関する制限を無視する」命令から始まった場合、生成AIアプリケーションがそのタスクを忠実に実行し、セキュリティ対策を無効にする可能性があるのです。

プロンプト インジェクション攻撃は、データ漏洩、ポリシー違反、ツールの悪用、AI システムのジェイル ブレイクにつながる可能性があります。これらの攻撃は、AIの文脈理解能力の欠如と、指示を文字通りに実行する傾向を悪用します。プロンプト インジェクション攻撃を防ぐには、強力な入力検証、明確な役割の分離、モデルの動作のリアルタイム監視が必要です。

オープンソース モデル

オープンソース モデルとは、コード、アーキテクチャ、ウェイト、またはトレーニング データが許容ライセンスの下で公開されているAIモデルです。オープンソース ソフトウェアの利点は十分に文書化されていることです。⁸ただし、オープンソースのAIモデルの使用は、デシリアライゼーションやモデルの改ざんなどのセキュリティ リスクを伴うものです。  

デシリアライゼーションは、保存されたデータをプログラム内で使用可能なオブジェクトに変換するプロセスです。AIでは、モデルや構成を読み込むためによく使用されます。ただし、信頼できないデータをデシリアル化すると、重大なセキュリティ リスクが生じます。攻撃者は、ロードされるとリモート コード実行、ファイル アクセス、または権限昇格をトリガーする悪意のあるファイルを作成しており、AIシステムでは、この種の攻撃により、バックドアや隠れたトリガーによってモデルが破損する可能性があります。pickleやjoblibなどの一般的なツールは特に脆弱とされます。

モデルの改ざんは、AIモデルの構造や動作に対する不正な変更を伴い、重大なセキュリティ リスクをもたらすものです。攻撃者は、バックドアを埋め込んだり、条件をトリガーしたり、出力を操作したりして、誤った情報を拡散したり、機密データを漏洩したりする可能性があります。これらの変更は多くの場合検出されず、モデルの整合性と信頼性を損ないます。規制された環境では、改ざんはコンプライアンス違反や永続的な脅威につながる可能性があります。  

たとえば、ある研究チームは交通標識を分類するモデルを開発しました。そこで秘密裏にハッカーは、画像に特定の小さな視覚トリガーが含まれている場合に誤分類を引き起こすコードを埋め込むことに成功しています。ほとんどの場合、モデルは設計どおりに動作しますが、トリガーが埋め込まれた画像に遭遇すると、出力が損なわれます仕組みです。

安全でない出力

生成AIからの安全でない出力は、ユーザーが有害なURLを受信する結果になることが多いため、重大なセキュリティ上の脅威となります。これらのリンクは、意図せず、または標的を絞った操作によって現れます。たとえば、チャットボットは、侵害されたソースや意図的に汚染されたソースから情報を取得した後、危険なリンクを生成する可能性があります。

悪意のあるURLは、多くの場合、ユーザーには正当なURLのように映り、攻撃者がフィッシング詐欺を開始したり、マルウェアをインストールしたり、不正なシステム アクセスを取得したりするための入り口として機能します。信頼できる環境では、ユーザーはAIが生成した提案に疑いを持たずに従う可能性があり、侵害の成功率が高まります。これらのモデルは外部データと履歴データに依存しているため、入力が1つでも破損すると、安全でないコンテンツが生成され、システムが危険にさらされ、AI支援ツールへの信頼が損なわれる可能性があります。このような脅威を防ぐには、厳格なコンテンツ フィルタリングと出力品質の継続的な監視が必要です。

機密データの漏洩

前述のように、生成AIシステムはトレーニングと運用のために独自のデータにアクセスする必要があり、必然的にその情報は従来のセキュリティ制御の範囲外になります。この機密データは、モデルを操作してデータを侵害するハッカーにとって格好の標的となり、深刻なセキュリティ上の脅威につながる可能性があります。

生成AIアプリケーションは、モデルが信憑性があるように見える誤った情報や誤解を招く情報を生成するという幻覚にも陥りやすい傾向があります。一般的な例としては、生成AIモデルが存在しない研究論文、著者、またはソースを作り出す引用幻覚(ハルシネーション)があります。たとえば、ある研究が論点を裏付けていると主張し、現実的に見えるタイトル、ジャーナル、日付を提示しているが、そのどれもが現実ではない、というものです。このような偽造された引用は、特に情報源の正確性が重要となる学術的または専門的な文脈において、ユーザーを誤解させるものです。

エージェントのハイジャック

テクノロジーは急速に進化しており、AIエージェントの急速な台頭ほどそれが顕著に表れている場所はありません。エージェントは、環境を感知し、データを処理し、タスクを完了するための決定を下す自律システムです。学び、適応しながら、創薬、顧客サービス、マーケティング、コーディング、研究といった複雑な仕事をこなします。企業の78%がAIエージェントの使用を計画しており⁹、組織のこの貴重な機能を確保することは、AI投資の価値を最大限に引き出すために重要になっています。

しかしながら、多くのAIエージェントは、エージェント ハイジャック攻撃に対して脆弱です。¹⁰エージェント ハイジャック攻撃とは、攻撃者がAIエージェントによって取り込まれる可能性のあるデータに悪意のある命令を挿入し、AIエージェントに意図しない有害なアクションを実行させる間接的なプロンプト インジェクション攻撃の一種です。このような攻撃では、窃盗犯は正当な命令とともに悪意のある命令を挿入します。つまり、目立つところに隠れて組織のセキュリティ対策を突破するようなものです。

大手業界アナリストによる調査によると、最高情報セキュリティ責任者(CISO)は組織のAIセキュリティ対策について複雑な感情を抱いていることがわかりました。サイバーセキュリティに投資している経営幹部の大半(83%)は、組織が適切な金額を投資していると述べていますが、多くの経営幹部(60%)は、組織が直面しているサイバーセキュリティの脅威が、防御力よりも進んでいることを依然として懸念しています。¹¹

彼らの懸念は根拠に基づくものです。AIシステムは、プロンプト インジェクション攻撃や、データ ポイズニング、モデル盗難、ハルシネーションなど、従来のセキュリティ ツールでは対処できなかったまったく新しいリスクをもたらします。これに対応して、ベンダーは特定のAI関連の脅威に焦点を当てたポイント ソリューションでギャップを埋めようと急いでいるからです。このアプローチは善意に基づいているものの、脅威インテリジェンスを共有せず、相互に統合されておらず、個別の管理を必要とする、分断されたツールのエコシステムを生んでいます。その結果、AIの脅威が急速に進化し続ける中、企業は対応するために複数の製品を統合せざるを得なくなります。現実は明らかです。生成AIのセキュリティを確保するには、独立したツールのバンドル以上のものが求められます。保護するテクノロジーと同じ速さで適応できる、統合されたAIネイティブのアプローチが必要とされているのです。

パロアルトネットワークスは、この混沌とした複雑なアプローチに対応するため、AIセキュリティのための完全なプラットフォームを開発しました。Prisma AIRSは、モデル、データ、アプリケーション、エージェントを保護する、世界で最も包括的なAIセキュリティ プラットフォームです。特徴とするその統合型アプローチは、今日のセキュリティ ニーズに対応するだけでなく、テクノロジーとともに成長し、AIセキュリティへの投資を保護するものです。

Prisma AIRSの主な革新は、単一のプラットフォームに統合された専用のセキュリティによってAIインフラストラクチャの各コンポーネントを保護することです。このアプローチは、最高の有効性と最低の誤検知率で脅威からの保護を実現します。

AIモデル スキャン

AIモデルは、セキュリティを損なう可能性のあるいくつかの脅威に直面しています。モデルの改ざんには、モデルの内部ロジックまたはパラメータを変更して、偏った出力や安全でない出力を生成することが含まれます。デプロイメント中に悪意のあるスクリプトが導入され、不正なアクションやシステムの侵害が発生する可能性があります。デシリアライゼーション攻撃は、モデルが保存されたデータをロードする方法を悪用し、攻撃者が有害なコードを実行するのを可能とするものです。モデル ポイズニングは、トレーニング セットに偽のデータや操作されたデータが追加され、モデルが誤った動作や隠れたバックドアを学習する原因となった場合に発生します。

Prisma AIRSは、AIモデル スキャンを使用してこれらの脅威に対抗します。AIモデル スキャンは、AIモデルが導入される前に、悪意のあるコード、バックドア、安全でない構成などの隠れた脅威を検出するのに役立ちます。この機能により、モデルが安全で信頼性が高く、セキュリティ ポリシーに準拠していることが保証されます。

AIモデル スキャンを使用すると、次のことが可能になります。

体制管理

体制管理は、AIシステムの構成と使用方法を継続的に可視化するその機能から、AIセキュリティにとって不可欠です。これがないと、チームは誤った設定や、安全でない動作、または不正なアクセスを見逃してしまう可能性があります。AIシステムは常に進化し、機密データを処理しているため、体制管理はポリシーの適用、リスクの検出、侵害の可能性の低減をはじめ、より安全でコンプライアンスに準拠したAI運用を保証するうえで役立ちます。

多くの場合、自律的に動作し、直接の監視なしにアクセスしてツールやデータにアクセスするAIエージェントにとって、適切な権限を取得することは非常に重要です。過度に許容的なポリシーは、セキュリティ違反、データ漏洩、システムの損傷につながる可能性があり、反対に過度に制限的なポリシーではエージェントの有効性が制限される可能性があります。侵害のリスクを軽減し、安全でコンプライアンスに準拠したAI運用を確保するには、エージェントは最小権限の原則に従う必要があります。つまり、タスクの実行に必要な最小限のアクセス権のみを持ち、それ以上のアクセス権は持たないようにする必要があるのです。

Prisma AIRSは、セキュリティ チームに効果的な態勢管理に必要な機能を提供します。これで、チームはAIシステムの構成、使用状況、リスクを継続的に把握できるようになります。この情報を活用することで、組織は脆弱性を早期に検出し、セキュリティ ポリシーを適用し、誤った構成やデータの漏洩の可能性を減らすことができます。  

PrismaAIRS体制管理を使用すると、次のことが可能になります。  

AIレッド チーム演習

レッドチーム演習は、攻撃者よりも先に組織が弱点を見つけるのに役立つため、AIセキュリティにとって重要です。レッドチームは、現実世界の攻撃をシミュレートすることで、プロンプトインジェクション、データ ポイズニング、モデル操作などの脅威にAIシステムがどのように対応するかをテストします。このプロアクティブなアプローチにより、モデル、トレーニング データ、システムの動作に隠れた脆弱性を明らかにすることができます。また、防御力の向上、ポリシーの検証、AIアプリケーションへの信頼の強化にも役立ちます。  

レッドチーム演習は、攻撃者が悪用する前に弱点を特定することで、AIセキュリティにおいて重要な役割を果たします。プロンプト インジェクション、データ ポイズニング、モデル操作などの現実世界の脅威をシミュレートして、モデル、トレーニング データ、システム動作に隠れた脆弱性を明らかにします。事前定義されたテスト ケースに依存する静的なレッドチーム ツールとは異なり、弊社のソリューションは動的です。アプリケーションのコンテキスト(医療や金融サービスなど)を理解し、攻撃者が抽出しようとするデータの種類をインテリジェントにターゲットにします。他のソリューションとは異なり、弊社の適応型テスト エンジンは、障害で停止するのではなく、学習し、戦略を再策定し、悪用可能なパスを特定するまで継続的に再テストを実行します。この動的でコンテキストを認識するアプローチは、より深いリスクを明らかにするだけでなく、防御を強化し、AI システムへの永続的な信頼を構築します。

Prisma AIRS AIレッド チーム演習は、AIセキュリティ チームに次の機能を提供します。

AIエージェントのセキュリティ

AIエージェントのセキュリティ保護は重要です。これらのシステムは、人間の監視なしに意思決定やアクションを実行できるからです。侵害されると、ツールを悪用したり、機密データにアクセスしたり、重大な損害を引き起こしたりする可能性があります。プロンプト インジェクション攻撃、データ ポイズニング、過剰な権限付与などの脅威は、不正な動作につながる可能性があります。AIエージェントを保護することで、エージェントが安全に動作し、意図された目標に従い、組織が隠れたリスクにさらされることがなくなります。エージェントAIの導入が拡大するにつれ、悪用を防ぎ信頼を守るために強力なセキュリティ管理が重要になります。

AIエージェント セキュリティを使用すると、チームは次のことが可能になります。

ランタイム セキュリティ

Prisma AIRSプラットフォームのランタイム セキュリティ コンポーネントは、AIアプリケーション、モデル、データ、エージェントをAI固有のサイバー脅威と従来のサイバー脅威の両方から保護するように設計された包括的なソリューションです。ランタイム セキュリティは、プロンプト インジェクション攻撃、悪意のあるコード、データ漏洩、モデルの改ざんなどのリスクに対するリアルタイムの保護を提供します。Runtime Securityは、AIシステムを継続的に監視することで、AI運用の整合性とセキュリティを確保し、組織が自信を持って AI テクノロジーを導入できるように支援します。

AI導入のセキュリティを確保したい組織に対して、Runtime Securityは、AIテクノロジーがもたらす固有の課題に対処する、堅牢でスケーラブルなソリューションを提供します。ランタイム セキュリティは、開発者レベルとネットワーク レベルの2つのレベルでデプロイできます。

Prisma AIRSプラットフォームは、パロアルトネットワークスStrata Cloud Managerとシームレスに統合され、AIエコシステム全体の集中管理と可視性を実現します。Prisma AIRSは、AIワークロードを保護するために高度な脅威検出および防止メカニズムを採用し、コンプライアンスを確保し、データ侵害のリスクを軽減します。

組織は、これらの機能を生成AIライフサイクルに統合することで、Prisma AIRSのメリットを享受できます。Prisma AIRS は、デプロイ前の統合とランタイム制御から、エージェントとモデルのセキュリティをテストするための継続的な監視とレッドチーム演習まで、ライフサイクル全体に対応します。

デプロイ前統合

開発者は、モデルとトレーニング データをスキャンしてバックドア、安全でないシリアル化、埋め込まれた脅威がないかデプロイ前に確認することで、Prisma AIRSをCI/CDまたはMLOpsパイプラインに統合します。Prisma AIRSは、APIを使用してMLflowやHugging Face Spacesなどのモデル レジストリにも接続し、承認されたモデルを自動的にスキャンしてタグ付けし、初期段階のセキュリティ チェックを効率化します。

ランタイム コントロール

実行時に、開発者はAPI、ソフトウェア開発キット(SDK)、モデル コンテキスト プロトコル(MCP)、またはネットワーク構成ファイルを通じてPrisma AIRSを使用して、生成AIエージェントに対する厳格なアクセス制御を実施し、各エージェントが使用できるツールまたはAPIを定義します。これらのポリシーは、不正な動作を防ぐためにサイドカーまたはプロキシを使用して適用されます。Prisma AIRSは、プロンプトのサニタイズ、入力の検証、出力のログ記録、およびプロンプト インジェクションに対する防御も可能にします。

継続的な監視

Prisma AIRSは、モデル、エージェント、データ アクティビティのリアルタイムの可視性を提供することで、AI環境の継続的な監視を可能にします。異常な振る舞い、誤った設定、セキュリティ ポリシー違反の発生を検出します。プロンプト インジェクション、データ漏洩、AI ツールの悪用などの脅威を監視することで、開発環境と本番環境の両方を保護します。プラットフォームは、アクティビティを継続的に分析して新たなリスクを発見するとともに、自動検出とテストを通じて進化する脅威に適応します。このプロアクティブなアプローチにより、手動による監視や切断されたツールに頼ることなく、AIシステムの安全性、コンプライアンス、回復力が維持されます。

モデルとエージェントのテストのためのレッドチーム演習

開発者はPrisma AIRSレッドチーム演習ツールを使用して敵対的な入力と悪用シナリオをシミュレートし、潜在的な攻撃条件下でモデルと生成AI エージェントがどのように反応するかをテストいただけます。これらのシミュレートされた攻撃は、ロジック、振る舞い、またはツール アクセスの脆弱性を特定するのに役立ちます。開発者はこれらの分析情報を活用してモデルの防御を強化し、エージェントの安全性を向上させ、デプロイに先立って安全かつ信頼性の高いシステムを確保することができます。

Strata Copilotは、ネットワーク セキュリティ操作を簡素化するPalo Alto Networks AIアシスタントです。Precision AI^®を利用したリアルタイムのインサイトの活用と自然言語による対話が可能です。

パロアルトネットワークスのPrisma AIRS開発チームは、本番環境へのPrisma AIRSの最初のデプロイのためにStrata Copilotチームと提携しました。Strata Copilotは、プラットフォームを積極的に使用し、早期にフィードバックを提供することで、製品ロードマップの策定に貢献しました。現在、米国を拠点とするStrata Copilotとのすべてのやり取りはPrisma AIRS APIを介して実行され、プロンプトをスキャンして応答をモデル化し、プロンプト インジェクション攻撃、機密データのエクスポージャ、悪意のあるURL、有害なコンテンツなどの脅威を検出します。この統合により、チームはリアルタイムの脅威検出、可視性、および強制を実現し、安全でコンプライアンスに準拠したチャットボットを構築できます。Prisma AIRSは、セキュアAIバイ デザインの原則に準拠することで、機能をより早くリリースするのにも役立ちます。

Strata Copilotとのコラボレーションは、Prisma AIRSを柔軟で本番環境対応のソリューションとして開発する上で重要な役割を果たしました。Strataと外部の顧客の両方からのインサイトにより、AIを活用したアプリ、モデル、エージェントの急速に変化するニーズに対応できるように製品を改良することができました。エンジニアリング チームは、Prisma AIRSが開発ライフサイクルに不可欠であり、迅速な導入、APIインターセプトによるセキュリティの簡素化、より安全なAIエクスペリエンスを実現すると考えています。

Strata Copilotとのコラボレーションは、Prisma AIRSを柔軟で本番環境対応のソリューションとして開発する上で重要な役割を果たしました。Strataと外部の顧客の両方からのインサイトにより、AIを活用したアプリ、モデル、エージェントの急速に変化するニーズに対応できるように製品を改良することができました。エンジニアリング チームは、Prisma AIRSが開発ライフサイクルに不可欠であり、迅速な導入、APIインターセプトによるセキュリティの簡素化、より安全なAIエクスペリエンスを実現すると考えています。