AIセキュリティポスチャーマネジメント（AI-SPM）とは？
AIセキュリティ姿勢管理（AI-SPM）は、 人工知能（AI ）と 機械学習（ML） システムのセキュリティと完全性を維持する包括的なアプローチです。これには、AIモデル、データ、インフラのセキュリティ態勢の継続的な監視、評価、改善が含まれます。AI-SPMには、AIの導入に関連する脆弱性、設定ミス、潜在的リスクの特定と対処、関連するプライバシーおよびセキュリティ規制のコンプライアンス確保が含まれます。
AI-SPMを実装することで、組織はAIシステムを脅威からプロアクティブに保護し、データ露出を最小限に抑え、AIアプリケーションの信頼性を維持することができます。
AI-SPMの説明
AIセキュリティ姿勢管理（AI-SPM）は、人工知能（AI）が極めて重要な役割を果たすサイバーセキュリティ・ランドスケープにおいて不可欠な要素です。機械学習モデル、 大規模言語モデル(LLM)、自動意思決定システムなどを含むAIシステムは、独自の脆弱性とアタックサーフェスを有しています。AI-SPMは、テクノロジー・エコシステム内のAIコンポーネントに関連するリスクの可視化、評価、軽減のためのメカニズムを提供することで、これらに対処します。
可視性と発見
AIのインベントリが欠如していると、シャドーAIモデル、コンプライアンス違反、AI搭載アプリケーションによるデータ流出につながる可能性があります。AI-SPMを使用すると、組織はクラウド環境全体で使用されているすべてのAIモデルのインベントリを、関連するクラウドリソース、データソース、およびこれらのモデルのトレーニング、微調整、またはグラウンディングに関連するデータパイプラインとともに発見し、維持することができます。
データガバナンス
AIに焦点を当てた法律では、AIの使用やAIアプリケーションに投入される顧客データに関する厳格な管理が義務付けられており、現在ほとんどの組織が実践しているよりも強力な AIガバナンスが求められて います。AI-SPMは、AIモデルのトレーニングやグラウンディングに使用されるデータソースを検査し、汚染されたモデルの出力、ログ、インタラクションを通じて暴露される可能性のある、顧客の 個人識別情報（PII ）などの機密データや規制データを特定および分類します。
リスク管理
AI-SPMは、AIモデルやリソースへの データ流出や 不正アクセスにつながる可能性のある、AIのサプライチェーンにおける脆弱性や設定ミスを組織が特定することを可能にします。このテクノロジーは、ソースデータ、参照データ、ライブラリ、API、各モデルを動かすパイプラインなど、AIのサプライチェーン全体をマッピングします。そして、このサプライチェーンを分析し、不適切な 暗号化、ロギング、認証、認可の設定を特定します。
ランタイムの監視と検出
AI-SPMは、ユーザーの対話、プロンプト、AIモデル（大規模言語モデルなど）への入力を継続的に監視し、モデルの誤用、プロンプトのオーバーロード、不正アクセスの試み、異常なアクティビティを検出します。AIモデルの出力やログをスキャンし、 機密データ 漏洩の可能性がある事例を特定します。
リスクの軽減と対応
AI-SPMは、データやAIインフラストラクチャの周辺で優先度の高いセキュリティインシデントやポリシー違反が検出された場合、迅速な対応ワークフローを可能にします。特定されたリスクや設定ミスを改善するために、コンテキストや関係者を可視化します。
ガバナンスとコンプライアンス
GDPRや NISTの 人工知能リスク管理フレームワークなど、AIの利用や顧客データをめぐる規制が強化される中、AI-SPMは、機密データやAIモデルにアクセスする人間や機械のIDをマッピングすることで、組織によるポリシーの徹底、監査証跡の維持（モデルのリネージ、承認、リスク受容基準のトレーサビリティなど）、コンプライアンスの実現を支援します。
なぜAI-SPMが重要なのか？
ビジネスや重要インフラへのAIシステムのデプロイメントは、従来のセキュリティ対策では保護できないアタックサーフェスの拡大をもたらします。AIを活用したアプリケーションは、組織により多くのデータを保存・保持する要件（同時に新たなパイプラインとインフラストラクチャの実装）を課すことに加え、AI攻撃ベクトルはAIアルゴリズム特有の特性を標的とし、明確なクラスの脅威を含んでいます。
そのような攻撃ベクトルの1つがデータポイズニングで、悪意のある行為者が慎重に細工したサンプルを学習データに注入し、AIモデルに偏ったパターンや悪意のあるパターンを学習させます。一方、敵対的な攻撃は、入力データに微妙な攪乱を加えることで、AIシステムに誤った予測や判断をさせ、重大な結果をもたらす可能性があります。
攻撃者が不正アクセスや、内部パラメータを再構築するためにモデルの出力を探ることによって、組織独自のモデルを盗み出そうとする「モデル抽出」も問題です。このような攻撃により、知的財産が盗まれ、盗まれたモデルが悪意のある目的に悪用される可能性があります。
AI-SPMは、AIの導入に対するセキュリティ上の対応策です。AI特有の脆弱性や攻撃を予測し対応するためのツールを組織に提供することで、AI-SPMはプロアクティブなセキュリティ体制をサポートし、AIパイプラインのリスクを管理する能力を組織に提供します。最初の設計段階からデプロイメント、運用に至るまで、AI-SPMは AIセキュリティが AI開発ライフサイクルの不可欠な一部であることを保証します。
AI-SPMとCSPMの違いは？
クラウド・セキュリティ・ポスチャ・マネジメント（CSPM ）とAI-SPMは、それぞれクラウド・インフラストラクチャとAI/MLシステムという異なる領域にわたるセキュリティ・ポスチャの管理に焦点を当てていますが、補完的なものです。
CSPMは、AWS、Azure、GCPなどのパブリック・クラウド環境におけるリスクの評価と軽減が中心です。その主な目的は、クラウドリソースがセキュリティのベストプラクティスに従って適切に設定されていることを確認し、脆弱性を生み出す設定ミスを検出し、規制ポリシーのコンプライアンスを実施することです。
CSPMのコア機能は以下の通りです：
- すべてのクラウド資産（コンピューティング、ストレージ、ネットワークなど）の継続的な検出とインベントリ作成
- セキュリティグループルール、IAMポリシー、暗号化設定のベンチマークに対する評価
- 新たなリスクをもたらす設定変更の監視
- 安全でない設定の自動修復
これに対して、AIセキュリティ・ポスチャ管理では、データ、モデルのトレーニング、デプロイメント、運用といったライフサイクル全体にわたって、AIやMLシステム特有のセキュリティ上の考慮事項に焦点を当てます。AI-SPMは、学習データ、モデル、ノートブックなどのAI資産に特化したセキュリティ制御を組み込んでいます。AIの脅威とその対策をマッピングする知識ベースを維持します。
データリスクを軽減するために、AI-SPMはデータポイズニングとポリューションの検出と予防を組み込んでいます。また、差分プライバシー技術を活用し、組織は機密情報を公開することなく安全にデータを共有することができます。
モデルのサプライチェーンを確保する上で、AI-SPMは、モデルの反復と履歴を管理するための強固なバージョン管理と出所追跡に依存しています。これは、モデルの機密性を保護する暗号化および アクセス制御と 、モデル抽出およびメンバーシップ推論攻撃を阻止するために設計された特殊なテストによって補完されます。
生きているAIやMLシステムの保護には、敵対的な入力摂動（歪んだ入力によってAIモデルを欺く努力）の監視が含まれます。このような攻撃に対するAIシステムの耐性を強化するために、ランタイムモデルハードニングが採用されています。
AI-SPMは、学習データ、モデル、ノートブックなどのAI資産に特化したセキュリティ制御と、敵対的攻撃、モデル窃盗などのリスクに対するAI固有の脅威モデルを組み込んでいます。AI-SPMは、AIの脅威と適用可能な対策をマッピングした知識ベースを維持します。
CSPMがクラウドインフラのセキュリティ態勢に重点を置くのに対し、AI-SPMはクラウドまたはオンプレミスでデプロイされるAI/MLシステムのセキュリティ態勢を管理します。AIがクラウドスタック全体に組み込まれるようになると、包括的な リスク管理のために2つの分野を同期させる必要があります。
例えば、CSPMはAIワークロードをホストするクラウドリソースが正しい設定であることを保証し、AI-SPMはデプロイされたモデルやデータパイプラインが適切なセキュリティハードニングを受けているかどうかを検証します。両社は共同で、フルスタックのAIセキュリティ態勢の可視化とリスク軽減を提供します。
AI-SPMとDSPMの比較DSPM
データ・セキュリティとプライバシー管理（DSPM ）とAI-SPMは、セキュリティとプライバシー管理という広範な分野の中で、別個の、しかし補完的な領域です。DSPMは、データの機密性、完全性、可用性を確保し、静止状態、転送中、処理中のデータを保護することに重点を置いています。DSPMの主要な側面には、暗号化、アクセス制御、 データ分類、 あります。
AIセキュリティポスチャ管理は、AIモデル、アルゴリズム、システムの安全性を確保することを目的としています。敵対的な攻撃、データポイズニング、モデルの盗用、バイアスなど、AI技術がもたらす独自の課題に対処します。AI-SPMは、安全なモデル学習、プライバシーを保護するAI技術、攻撃に対する防御、説明可能性を包括しています。
DSPMとAI-SPMは、セキュリティと データ・プライバシーの異なる側面に対応していますが、両者が一体となって機能することで、包括的なセキュリティ戦略を構築することができます。DSPMはデータ保護の基盤を提供し、AI-SPMはデータを処理・分析するAI技術の安全かつ責任ある使用を保証します。両領域を統合することで、組織はデータ資産とAIシステムの両方を保護し、リスクを最小限に抑え、関連規制への データコンプライアンスを 確保することができます。
MLSecOps内のAI-SPM
AIのセキュリティ態勢管理は、機械学習セキュリティ運用（MLSecOps）、つまりMLのライフサイクルを保護するために使用されるプラクティスやツールの要です。MLSecOpsは、モデルのトレーニングに使用されるデータの保護から、デプロイメントされたモデルの脆弱性の監視まで、MLシステムの開発と運用を通じて、整合性、信頼性、公平性を確保することを目的としています。
MLSecOpsの中でAI-SPMは、従来のMLに比べて複雑なモデルや機能を伴うことが多いAIシステム特有のセキュリティニーズに焦点を当てています。このような複雑さにより、AI-SPMは、 データセキュリティ、モデルセキュリティ、モデルモニタリング、規制コンプライアンスといった、独自のセキュリティ上の課題に取り組んでいます。また、MLSecOpsにおけるAI-SPMのメリットは議論の余地がありません：
- セキュリティ態勢の強化：AI特有のセキュリティリスクにプロアクティブに対処することで、AI-SPMは組織のMLパイプラインとデプロイモデルの全体的なセキュリティ体制を強化します。
- AIへの信頼の向上：AIセキュリティは、AIシステムの信頼性を高め、ビジネスプロセスへの統合を容易にします。
- より速く、より安全なイノベーション：AI-SPMは、AI開発のためのセキュアな環境を促進し、組織が自信を持ってAI技術でイノベーションを起こせるようにします。
AI-SPM FAQ
グラウンディングとトレーニングは、AIモデルの開発における2つの異なる側面ですが、どちらもシステムの機能と有効性に寄与します。
グラウンディングとは、言語理解や意思決定プロセスといったAIのオペレーションを、現実世界の文脈やデータと結びつけることです。それは、AIモデルの出力が実用的な設定の中で適用可能で、意味のあるものであることを確認することです。例えば、言語モデルのグラウンディングには、単語とそれに対応する現実世界のオブジェクト、アクション、またはコンセプトを結びつけるように教えることが含まれます。画像認識のようなタスクでは、モデルが画像のピクセルを識別可能なラベルに関連付けなければなりません。
トレーニングとは、AIモデルにデータを与えて予測や決定を行うように教えるプロセスを指します。トレーニング中、モデルはパターンを認識し、接続を作成するように学習し、基本的に時間の経過とともに精度を向上させます。これは、様々なアルゴリズムがモデルの内部パラメータを調整する際に発生し、多くの場合、入力と希望する出力（ラベル）が既知の大規模なデータセットにさらすことによって起こります。このプロセスは、学習データから新しい未知の状況に汎化するモデルの能力を向上させます。
グラウンディングとトレーニングの主な違いは、その焦点と応用にあります：
- グラウンディングとは 、現実世界との関連性と実用性を確保することであり、抽象的なAI計算と具体的な現実世界での応用の橋渡しをすることです。
- トレーニングでは 、モデルのパフォーマンスを最適化するための技術的方法論が含まれ、主に定義されたタスク内での精度と効率に焦点が当てられます。
可視性と制御は、AIのセキュリティ・ポスチャ管理にとって極めて重要な要素です。AIやMLシステムのセキュリティ態勢を効果的に管理するために、組織はAIモデル、これらのモデルで使用されるデータ、および関連するインフラストラクチャを明確に理解する必要があります。これには、AIのサプライチェーン、データパイプライン、クラウド環境を可視化することも含まれます。
可視化により、組織は潜在的なリスク、設定ミス、コンプライアンス上の問題を特定できます。コントロールにより、組織はセキュリティポリシーの実装、脆弱性の修正、AIリソースへのアクセス管理などの是正措置を講じることができます。
AI部品表（AIBOM）とは、AIシステムやモデルの構築と運用に必要なすべてのコンポーネントとデータソースをキャプチャしたマスターインベントリのことです。AIBOMは、AIのライフサイクルを管理するために必要なエンドツーエンドの透明性を提供します：
- AIモデルの構築に使用される学習データ
- 事前に学習されたモデルやライブラリを活用
- 接地または知識検索に使用される外部データソース
- 使用されるアルゴリズム、フレームワーク、インフラストラクチャ
- モデルと統合されたAPIとデータパイプライン
- モデルにアクセスできる人間/サービスのアイデンティティ情報
AIBOMは ソフトウェア部品表（SBOM）の ようなものですが、AIシステムを構成するデータと運用の両方のビルディング・ブロックをマッピングすることに重点を置いています。
AIセキュリティの文脈では、説明可能性とは、特に潜在的なセキュリティリスクや脆弱性を特定する際に、AI/MLモデルの推論、意思決定プロセス、動作を理解し、説明する能力のことです。説明可能性の主な側面は以下の通りです：
- AIモデルが入力データに基づいてどのように出力や意思決定に至るかを解釈できること。これは、モデルが意図したとおりに動作しているかどうか、あるいはセキュリティ上の問題を示す異常がないかどうかを分析するのに役立ちます。
- AIモデルをブラックボックスとして扱うのではなく、その内部構造、パラメータ、ロジックを可視化すること。この透明性は、潜在的な脆弱性や偏りについてモデルを監査する際に役立ちます。
- AIモデルの開発と運用に関わるデータソース、アルゴリズム、プロセスを追跡する能力。これにより、AIのサプライチェーン全体にわたって説明可能性が付与されます。
- セキュリティの弱点を発見するために、さまざまな条件、エッジケース、敵対的な入力の下でAIモデルの動作を検証し、説明する技術。
- AI規制は、モデルが倫理的に、公正に、偏りなく行動するかどうかを理解するための説明責任要件の一部として、ますます説明可能性を求めています。
説明可能性は、AIモデルの異常、ドリフト、ランタイムの侵害を監視し、AI関連インシデントの根本原因を調査し、AIモデルをデプロイメント前にセキュリティポリシーと照らし合わせて検証するために不可欠です。
ノートブックとは、Jupyter NotebooksやGoogle Colab Notebooksのようなインタラクティブなコーディング環境を指します。データサイエンティストやMLエンジニアは、データ探索、モデルトレーニング、テスト、実験のためのコードを、ライブコード、ビジュアライゼーション、説明テキスト、リッチアウトプットを組み合わせた単一のドキュメントで記述し、実行することができます。反復的かつ協調的なモデル開発プロセスを促進するノートブックは、そこに含まれるコードを介して、データパイプライン、前処理ステップ、モデルアーキテクチャ、ハイパーパラメータなどを定義します。
AIセキュリティの観点から、ノートブックはガバナンスが必要な重要な資産です：
- 多くの場合、機密性の高いトレーニングデータセットが含まれていたり、アクセスできたりします。
- モデルコードとパラメータは機密の知的財産です。
- ノートブックは、敵対的なサンプルや攻撃に対するモデルのテストを可能にします。
- 共有ノートブックは、個人データやモデルの詳細を漏洩する可能性があります。
AIサプライチェーンとは、データ収集、モデルのトレーニング、アプリケーションへの統合など、AIモデルの開発、デプロイ、保守のエンドツーエンドのプロセスを指します。AIサプライチェーンには、さまざまな段階に加え、データソース、データ パイプライン、モデル ライブラリ、API、クラウド インフラストラクチャが含まれます。
AIのサプライチェーンを管理することは、AIモデルのセキュリティと完全性を確保し、機密データを暴露や悪用から保護するために不可欠です。
AI攻撃ベクトルとは、脅威アクターがAIやMLシステムの脆弱性を悪用して、そのセキュリティや機能を侵害する様々な方法のことです。一般的なAI攻撃ベクトルには次のようなものがあります：
- データポイズニング：学習データを操作してAIモデルにバイアスやエラーを導入し、不正確な出力や悪意のある出力を生成させます。
- モデルの反転：AIモデルの出力を使用して、学習データに関する機密情報を推測したり、モデルをリバースエンジニアリングしたりすること。
- 敵対的な例：入力データを微妙に変化させ、人間の観測者には正常に見えながら、AIモデルには不正な出力や有害な出力を出させること。
- 盗難モデル：AIモデルまたはそのパラメータを盗んで、不正使用のためのレプリカを作成したり、潜在的な脆弱性を特定したりすること。
- インフラ攻撃：AIシステムをサポートするクラウド環境やデータパイプラインの脆弱性を悪用し、不正アクセスや業務の妨害、データの流出を行います。
AIを活用したアプリケーションは、膨大な量のデータを処理し、複雑で相互接続されたシステムを含むため、ガバナンスとプライバシー規制に新たな課題をもたらします。 GDPRや CCPAなどのプライバシー規制のコンプライアンスでは、組織は機密データを保護し、データ処理の透明性を維持し、ユーザーが情報を管理できるようにする必要があります。AIを活用したアプリケーションは、AIモデルの動的な性質、意図しないデータ露出の可能性、複数のシステムやクラウド環境にまたがるデータの追跡の難しさにより、これらの要件を複雑にする可能性があります。その結果、組織はコンプライアンスを確保し、ユーザーのプライバシーを保護するために、強固なデータガバナンスの実践とAI固有のセキュリティ対策を採用する必要があります。
