Skip to content

リスク管理

リスク管理は、ユースケース、モデル、またはデプロイが、組み込まれたEU AI法のフレームワークを含む、組織のリスクフレームワークにどのように準拠しているかを評価し、文書化するのに役立ちます。 フレームワークを適用し、リスクレベルを選択します(必要に応じて、ガイド付きのEU AI法に関するアンケートを活用することも可能です)。DataRobotは、そのフレームワークが適用されたアセットに対して、フレームワークが要求するプラットフォーム内の軽減手法を自動的に評価します。

リスク管理フレームワークの作成

組織の管理者が、コンプライアンス評価に使用できるリスク管理フレームワークを作成します。 ユーザーはこれらのフレームワークを適用できますが、変更はできません。変更をご希望の場合は、管理者にお問い合わせください。

リスク管理フレームワークは、AIライフサイクルのいくつかの段階で適用することができます。 各領域では、フレームワークを適用し、軽減手法を個別に評価します。

アセット 場所
ユースケース ワークベンチ:ユースケースを開き、 ユースケース管理に移動して、リスク管理をクリックします。
カスタムモデルバージョン レジストリ:ワークショップタブからモデルを開き、アセンブルタブに移動して、リスクポリシーまでスクロールします。
登録モデルのバージョン レジストリ:モデルタブから、登録済みモデルバージョンを開き、リスク管理タブをクリックします。
デプロイ コンソール:デプロイを開き、リスク管理タブをクリックします。

リスク管理は、ユースケースに含まれるモデルのターゲットタイプにかかわらず、常に利用可能です。 また、以下のターゲットタイプを持つ登録済みモデルバージョン、デプロイ、およびカスタムモデルバージョンに対しても利用可能です。

  • 予測:二値、連続値、多クラス、多ラベル、地理空間
  • 生成:テキスト生成、エージェントワークフロー

エクスペリメント、プロジェクト、およびリーダーボード上のモデルには、独自のリスク管理が備わっていません。 リーダーボードのモデルは、登録を行うと独自のリスク管理が適用されます。 それまでは、そのモデルのユースケースに基づくリスク管理の対象となります。

フレームワークはモデルのライフサイクルの複数の段階で適用できるため、他のいくつかのページでは、以前に適用されたリスク管理フレームワークのプレビューが表示されます。 これらのプレビューは読み取り専用です。フレームワークを適用または変更するには、前述の表に記載されているアセット固有のリスク管理画面にアクセスしてください。

場所 プレビューの内容 表示されるタイミング
プレイグラウンド。モデルをワークショップに送信する際 ユースケースのリスク管理 常に表示されます(ユースケース独自のリスク管理ページと同様)
リーダーボードからDataRobotモデルを登録する 親ユースケースのリスク管理(リーダーボードのモデルには独自のリスク評価がありません) ユースケースが選択されたとき
レジストリまたはワークショップからカスタムモデルを登録する カスタムモデルバージョンのリスク管理 ターゲットタイプがテキスト生成またはエージェントワークフローの場合
デプロイを設定する際の、監視機能 > 高度なオプションを表示 > リスク管理の下 登録済みモデルバージョンのリスク管理 ターゲットタイプがテキスト生成またはエージェントワークフローの場合

プレビューのメッセージの意味

プレビューのキャプションにより、変更可能なページがわかります。

  • カスタムモデルバージョンのプレビュー:登録済みのモデルバージョンにリンクされます。
  • 登録済みモデルバージョンのプレビュー:デプロイにリンクされます。

フレームワークが適用されていない場合、キャプションにはその旨が示され、フレームワークを適用できるページにリンクされます。

リスク管理フレームワークの適用

ユースケース、登録済みモデルバージョン、デプロイ、またはカスタムモデルバージョンにリスク管理フレームワークを適用するには:

  1. アセットのリスク管理セクションで、+ リスク管理フレームワークを適用をクリックします。 場所に関する情報は上記を参照してください。

  2. リスク管理フレームワークのドロップダウンから、フレームワークを選択します。 フレームワークに指示が含まれている場合は、リスク管理フレームワークに関する指示の下に表示されます。

  3. リスクレベルを選択します。 使用可能なオプションは、選択したフレームワークの設定(組織管理者によって設定されたもの)で定義されています。 選択したフレームワークは、このリスク評価にのみ適用されます。同じアセットに適用されている他のフレームワークについては、それぞれのリスクレベルが維持されます。 EU AI法フレームワークを選択した場合は、次のステップに進み、EU AI法に関するアンケートを使用してリスクレベルを設定してください。

  4. 組み込まれたEU AI法のフレームワークを選択した場合は、免責事項を確認し、確認してアンケートを開始をクリックして、EU AI法に関するアンケートを起動します。 完了したら、結果を確認し、アンケートを再実行するか、結果を適用をクリックしてください。

    適用されると、リスク管理フレームワークを適用ページでリスクレベルが自動的に設定されます。 そのページから、いつでもアンケートの内容を確認したり、再実行したり、削除したりすることができます。

  5. 必要に応じて、このアセットに関連付けられたリスクを説明するリスクの説明を入力します。

  6. 軽減とコンプライアンスの要件を確認します。 ここには、フレームワークで要求される軽減手法が、カテゴリー別にまとめられています。

    EU AI法のフレームワークでは、このセクションは「プラットフォーム内での軽減手法」、「プラットフォーム外のコンプライアンス要件」、および「GPAIの下流情報」の各タブに分かれています。

  7. すべての設定を確認し、適用をクリックします。

適用されたフレームワークを確認する

フレームワークが適用されると、アセットのリスク管理セクションには、選択されたリスクレベルや入力された説明に加え、軽減およびコンプライアンスに関するセクションが表示されます。 軽減手法は、「セキュリティ」、「監査可能性」、「文書化」、「リスク管理」、「ヒューマンフィードバック」、「評価」、「外部検証」、「監視」というカテゴリーに分類されています。

DataRobotは、アセットの設定から判断できる場合、各手法のステータスを自動的に評価します。 それ以外の場合は、証拠を手動で提供(例:リスクの説明を入力するなど)するか、管理者による確認が必要になる場合があります。 手法をクリックして展開し、コンプライアンスのステータスを確認します。

ステータス Meaning
成功 この要件に対して推奨されているリスク軽減手法が満たされています。
失敗 この要件に対するコンプライアンステストの実行結果が不合格となりました。 これは現在、LLMブループリントがプレイグラウンドからワークショップへエクスポートされる際に評価される、バイアスベンチマーク、ジェイルブレイク、完全性、PII、および毒性のコンプライアンステストにのみ適用されます。
未設定 このアセットにはリスク軽減手法が適用されますが、まだ要件を満たしていません。 これは、「合格」または「不合格」以外のすべてのケースに適用される包括的なステータスです。たとえば、必須の設定が有効化または設定されていない場合や、アセットがそのライフサイクルの後半段階(その手法が有効になる段階)にまだ達していない場合などが該当します。

軽減手法のリファレンス

各フレームワークで利用可能な手法の全一覧には、以下のものが含まれます。 すべての手法がすべてのアセットタイプに適用されるわけではありません。DataRobotでは、そのフレームワーク、アセットタイプ(ユースケース、登録済みモデルバージョン、カスタムモデルバージョン、またはデプロイ)、および生成型ユースケースの場合は、対象が予測型、生成型、またはエージェント型のいずれであるかに応じて、関連する手法のみを表示します。

軽減手法 必要なこと
AIリテラシー スタッフに十分なAIの知識があることを確認すること。
リスクの説明が入力されました 特定されたリスク、軽減手法、および証拠を文書化すること。
RBAC システムへのアクセスを許可されたユーザーに制限すること。 デフォルトで有効になっています。
コンプライアンスドキュメント システムの適合性を証明する技術文書を維持すること。 登録済みモデルバージョンの「コンプライアンスドキュメント」ページから生成してください。
サービス正常性の監視 本番環境におけるシステムの可用性と正常性を追跡すること。 デフォルトで有効になっています。
リソース使用状況の監視 本番環境でコンピューティングリソースとメモリー使用量を追跡すること。 デフォルトで有効になっています。
ログが追加されました ログを自動的に生成し、少なくとも6か月間保存すること。 設定は不要です。
トレースが追加されました AIシステムとのやり取りごとにトレースを記録すること。 AIシステムにOpenTelemetry(OTel)トレースを計装する必要があります。
ドリフト監視 入力データの分布における統計的な変化を検出すること。 デプロイ設定でドリフト検出を有効にし、基準ベースラインを設定してください。
精度監視 予測モデルの精度を測定すること。 デプロイ設定で精度監視を有効にしてください。
バイアスと公平性の監視 時間の経過とともに発生するバイアスについて、本番環境での出力を追跡すること。 「設定 > 公平性」で保護された特徴量を設定してください。
デプロイに関する通知 AIシステムのパフォーマンスが低下している場合、デプロイヤーにアラートを出すこと。 「設定 > 通知」でデプロイアラートを有効にして、関係者のメールアドレスを追加してください。
バイアスベンチマークのコンプライアンステスト 出力に禁止されているバイアスが含まれていないかどうかをテストすること。 評価データセットに対してバイアスのコンプライアンステストを実行してください。
ジェイルブレイクのコンプライアンステスト 安全バイパスの試行に対するレジリエンスをテストすること。
PIIのコンプライアンステスト 出力に個人データやPIIが含まれていないかどうかをテストすること。
完全性のコンプライアンステスト AIの回答がユーザーのリクエストに十分に応えているかどうかをテストすること。
毒性のコンプライアンステスト 出力に不適切な表現が含まれていないかどうかをテストすること。
プロンプトインジェクション指標 敵対的なプロンプト操作をリアルタイムで阻止すること。 「評価とモデレーション」で「プロンプトインジェクション」ガードを有効にしてください。
PII Detectionガード 入出力における予期しない個人データやPIIの漏洩を検出すること。 「評価とモデレーション」でPIIガードを有効にしてください。
Agent Goal Accuracyガード 実際のトラフィックでエージェントの目標精度を追跡し、パフォーマンスの低下を検知すること。
Task Adherenceガード タスクの遵守状況をリアルタイムで監視し、動作の逸脱を検知すること。
ROUGE-1ガード ROUGEスコアを用いて出力の関連性を追跡し、品質の低下を検知すること。
Faithfulnessガード 出力とソースコンテキストとの整合性を監視して、ハルシネーションを検知すること。

フレームワークの割り当てを変更するには、 編集または フレームワークの削除 アクションを使用します。 削除アクションにはアセットのタイプに応じたラベルが付いています(例:ユースケースからフレームワークを削除)。 同じアセットに複数のフレームワークが適用されている場合、フレームワークを切り替えるにはリスク管理フレームワークドロップダウンを使用します。

コンプライアンススコアを確認および引き上げる

登録済みモデルバージョン、カスタムモデルバージョン、またはデプロイにフレームワークを適用すると、そのリスク管理セクションにコンプライアンススコアが表示されます。 このスコアは、選択されたリスクレベルで必要とされる軽減手法のうち、「合格」と判定されたものが、「合格」、「不合格」、または「未設定」と判定されたすべての軽減手法に占める割合(パーセンテージ)を表しています。 アセットに適用されない手法は、この計算の対象外となります。 ユースケースのリスク管理ページにはスコアが表示されません。これは、ユースケースではモデルやデプロイのように軽減手法を評価しないためです。

登録済みモデルバージョン、カスタムモデルバージョン、またはデプロイについて、以下の手順に従ってコンプライアンススコアを確認および引き上げることができます。

  1. アセットのリスク管理セクションを開きます(各アセットタイプでの場所については、上記を参照してください)。
  2. フレームワークがまだ設定されていない場合は、フレームワークを適用し、リスクレベルを選択します(リスク管理フレームワークの適用を参照してください)。 これはどのフレームワークでも同様の手順です。 フレームワークが適用されると、軽減手法の上部にコンプライアンススコアが表示されます。
  3. スコアの横にある現在のアセットに関する手法 / すべての手法タブを使用すると、それぞれ、このアセットのスコア算定に反映される手法、またはフレームワークの完全なリストを表示できます。
  4. 手法を展開すると、設定されていない場合、その手法に必要な要件が一覧表示されます。 その後の手順は、手法とアセットによって異なります。

    • 同じページでリスクの説明を入力すると、どのアセットにおいてもリスクの説明が入力されましたの要件を満たします。
    • 評価とモデレーションでガードを有効にすると、カスタムモデルバージョンにおけるプロンプトインジェクション指標のようなガードベースの手法の要件を満たします。
    • 設定でドリフト検出を有効にすると、デプロイにおけるドリフト監視の要件を満たします。
  5. 手法で説明されている変更を行い、その後、アセットのリスク管理セクションに戻ります。 手法の評価で合格となり、コンプライアンススコアが上がります。

リスクレベルの変更もスコアに影響を与える可能性があります。リスクレベルが高いほど、通常はより多くの必要な軽減手法が適用されるため、他の条件が何も変わっていなくても、より厳格なリスクレベルでは同じアセットでもスコアが低くなる場合があります。

EU AI法のフレームワーク

このセクションは、組み込まれたEU AI法のフレームワークテンプレートをユースケース、モデル、またはデプロイに適用した場合に参照してください。 組み込まれたフレームワークテンプレートを使用する場合、自身でリスクレベルを選択する代わりに、DataRobotがガイド付きアンケートを通じて、AIシステムを規則(EU)2024/1689に基づいて分類します。その後、そのレベルに適用されるリスク軽減手法および義務に照らして、アセットを評価します。 DataRobotがアセットの設定からステータスを判別できる場合、プラットフォーム内の対策(監視、ガード、文書化、および類似の統制)は自動的に確認されます。一方、プラットフォーム外の要件およびGPAIの下流情報については、製品外において引き続き組織の責任となります。 この結果を活用して、DataRobot内でまだ設定が必要な項目や、法務、運用、またはサードパーティによる対応が必要な項目を把握してください。

EU AI法に関するアンケート

EU AI法に関するアンケートは、ガイド付きの約5分間のフローであり、EU AI法のAIシステム関連規定が特定のAIシステムにどのように適用されるかを検討するのに役立ちます。 AIシステムがどのように、どこで、どのような目的で稼働しているかについての一連の簡単な質問に答えることで、以下の点について支援を受けることができます。

  • EU AI法に基づくAIシステムのリスクレベルの分類。
  • GPAIの下流情報の特定。
  • 出力内容の開示要件を特定する。
  • そのリスクレベルに必要な軽減措置を特定する。
  • AIシステムのプロバイダーおよびデプロイヤーに適用される義務の特定。

免責事項

EU AI法に関するアンケートによって生成された結果は、あくまで参考情報です。 これらは、法的助言や、お客様の状況、あるいはEU AI法に基づくお客様の義務に関する法的評価ではありません。 DataRobotでは、お客様の具体的な状況に合わせた助言を得るために、法律の専門家に相談されることをお勧めします。

EU AI法のリスク管理フレームワークを適用する際に、アンケートを開始してください。 アンケートでは、以下のセクションについて順を追って説明していきます。

セクション 対象内容
範囲と禁止されている行為 AIシステムにEU AI法が適用されるかどうかを判断し、第5条に基づく潜在的な禁止行為を特定するのに役立ちます。
汎用AI(GPAI)およびシステミックリスクを伴うGPAI 当該AIシステムが、同法に基づく追加の義務を発生させる可能性のあるシステミックリスクを伴う汎用AIモデルに依存しているかどうかを判断するのに役立ちます。
高リスクの製品 当該AIシステムが、既存のEU製品安全法(附属書I)に基づき、規制対象製品、またはその安全構成部品に該当するかどうかを判断するのに役立ちます。 これらのAIシステムは高リスクに分類されます。
高リスクのユースケース AIシステムが附属書IIIに定める高リスクのユースケースのカテゴリーに該当するか、また、その限定された目的や機能に基づき例外が適用されるかどうかを判断するのに役立ちます。
透明性に関する義務 ユーザーがAIシステムまたはその出力とやり取りする際に、どの透明性に関する義務が適用されるかを判断するのに役立ちます(第50条)。 例外が適用されるためには、4つの例外基準すべてを満たし、かつ文書化する必要があります。

このアンケートは、ご回答内容に基づき、以下のいずれかの結果となります。

  • EU AI法の適用範囲外となる可能性がある(第2条):このAIシステムにはEU AI法が適用されない可能性があります。 しかしながら、同法の要件への自主的な遵守をお勧めします。
  • EU AI法で禁止されているAIプラクティスが検出された(第5条):このAIシステムには、EU AI法で禁止されている1つ以上の行為が含まれている可能性があります。 このカテゴリーに該当するシステムは、EU域内で市場に投入したり、運用を開始したり、使用したりすることはできません。 AI規制への準拠について、計画されているユースケースを評価するにあたり、法務部門または法務顧問にご相談ください。
  • 高リスクAIシステム:高リスクの例外の有無、および基盤となるGPAIモデルの有無(システミックリスクの有無)を問いません。 EU AI法に準拠するためには、AIシステムのライフサイクル全体にわたるリスク管理システムを確立・維持すること、トレーニングデータ、検証データ、テストデータに対してデータガバナンスおよび品質基準を適用すること、技術文書を作成し自動イベントログを維持すること、適切な人的監督を確保し、デプロイヤーに対して明確な情報を提供すること、精度、堅牢性、およびサイバーセキュリティの要件を満たすこと、ならびに適合性評価を完了し、CEマークを付与し、EUデータベースにAIシステムを登録する必要があります。
  • リスクが限定されたAIシステム:基盤となるGPAIモデルの有無(システミックリスクの有無)を問いません。 EU AI法に準拠するためには、準拠状況を実証するのに十分な技術文書を提供し、システムの目的に応じた基本的な透明性を維持する必要があります。また、自主的な行動規範の遵守が推奨されます。

EU AI法に基づく義務

DataRobotにおいて、EU AI法に基づく義務とは、フレームワークおよびアンケートで割り当てられたリスクレベルに基づき適用されるコンプライアンス要件のことです。 これらは、軽減とコンプライアンスの要件セクションから確認できます。このセクションは、以下の3つのタブで構成されています。

プラットフォーム内での軽減手法

プラットフォーム内での軽減手法とは、DataRobotがアセットそのものに対して評価できる管理措置のことです。たとえば、AIリテラシー、RBAC、コンプライアンスドキュメント、ドリフト/精度/公平性の監視、ログおよびトレース、さらにプロンプトインジェクションやPII検出などのガードなどが挙げられます。 軽減手法の全リストを参照してください。 軽減手法については、コンプライアンス状況として「合格」、「不合格」、または「未設定」のいずれかで評価されます。 これらの手法は、アセットに対して算出されるコンプライアンススコアに影響を与えます。

プラットフォーム外のコンプライアンス要件

プラットフォーム外のコンプライアンス要件とは、組織がDataRobotの外部で満たさなければならない義務のことです。 以下の表には、EU AI法に基づく義務が記載されています。これらは、組織独自の法的措置、運用上の措置、または第三者による措置を通じて対応する必要があります。

義務 条項
リスクが限定的
透明性:デプロイヤーがシステムを正しく理解し、活用できるようにします。 システムの目的に応じた適切な透明性を確保します。 50
自主的な行動規範:義務的な要件を超えて、優れた実践を広めます。 推奨されますが、必須ではありません。 95
リスクが高い
適合性評価:EU市場の要件が満たされていることを確認します。ユースケースに応じて、自主評価(内部)または第三者評価(外部)を行います。 43(1), 43(2)&(3), 47
CEマーキング:適合性を証明し、システムがEU市場に参入することを可能にします。 市場に投入する前に表示します。 48
EUデータベースへの登録:システムの利用状況を一般に追跡可能にします。 市場に投入する前に、EU AI法のデータベースに登録します。 49, 71
重大インシデントの報告:規制当局に安全上のリスクを報告します。 重大なインシデントや不具合は、不当な遅滞なく各国の当局に報告します。 73
是正措置:導入後の不適合に対処します。 必要に応じて、リコールを含め、直ちに措置を講じます。 20
当局との協力:監督および監査に協力します。 要請に応じて、書類や情報を提供します。 21
人的監督:適切な資格と訓練を受けた担当者に割り当てます。 26(2)
監視・報告:リスクやインシデントを監視します。 システムの稼働状況を監視し、インシデントが発生した場合はプロバイダーおよび国の当局に報告します。 26(4)–(5)

GPAIの下流情報

「GPAIの下流情報」タブには、第53条第1項(b)に基づき、GPAIプロバイダーが下流のAIシステムプロバイダーに対して提供しなければならない透明性情報の義務が記載されています。 以下の表には具体的な条項が示されています。このタブに表示される内容(要件)は、当該GPAIモデルがシステミックリスクを伴うかどうかに応じて異なります。 利用可能な各LLMの説明については、LLM GPAIリファレンスも参照してください。

義務 条項
非システミックリスク
行動規範:正式な基準が策定される前に、GPAIの義務を遵守していることを示します。 EU AI事務局が推奨する行動規範に参加するか、またはこれを遵守します。 56
システミックリスク
ドキュメント:モデルの設計および性能に関する監視を支援します。 モデルアーキテクチャ、トレーニング、データ、コンピューティング、およびベンチマーク結果に関する詳細なドキュメントを提供します。 53(1)(a), Annex XI
トレーニングデータの概要:トレーニングデータのソースを一般に公開できるようにします。 トレーニングデータについて、十分に詳細な概要を公開します。 53(1)(d)
著作権法の遵守:オプトアウトを含むEUの著作権法を遵守します。 EUの著作権法に準拠するための方針を実施します。 53(1)(c)
モデルの評価:被害が生じる前に脆弱性を特定します。 敵対的テストを含むモデルの評価を、少なくとも年1回、または大幅な更新を行う前に実施します。 55(1)(a)
システミックリスクの管理:EU全体に影響を及ぼす可能性のあるリスクに対処します。 システミックリスクの評価、追跡、および軽減を行います。 55(1)(b)
重大インシデントの報告:規制当局に安全上のリスクを報告します。 重大なインシデントは、不当な遅滞なくEU AI事務局に報告します。 55(1)(c)
サイバーセキュリティ:モデルとそのインフラを攻撃から保護します。 適切なサイバーセキュリティ対策を講じます。 55(1)(d)
エネルギー消費量の報告:環境面の透明性を促進します。 可能な範囲で、トレーニングおよび推論におけるエネルギー消費量を記録し、報告します。 53(1)(a), Annex XI
当局との協力:監督および監査に協力します。 要請に応じて、情報、モデルへのアクセス、および関連資料を提供します。 91

次のステップ

アセットのリスクを評価したら、ユースケースの管理に進むか、モデルを登録するか、デプロイを確認します。

  • ユースケースの価値を追跡する:ユースケースから得られると見込まれる価値を定義し、時間の経過とともに実際に得られた価値を監視します。
  • Register custom models: Add the custom model to Registry so you can deploy it and make predictions.
  • Deployment overview: View the model- and environment-specific summary for a selected deployment, including replacement activity.