コンプライアンス¶
本機能の提供について
コンプライアンスドキュメントの可用性は、設定によって異なります。 詳細については、DataRobotの担当者にお問い合わせください。
DataRobotは、モデル開発に関連する多くの重要なコンプライアンスタスクを自動化することによって、規制の厳しい業界でデプロイまでの時間を短縮できます。 各モデルに対して個々のドキュメントを生成し、効果的なモデルリスク管理に関する包括的なガイダンスを提供できます。 レポートは、編集可能なMicrosoft Wordドキュメント（.docx）としてダウンロードできます。 生成されたレポートには、規制への準拠要求に応じた適切なレベルの情報および透明性が含まれます。
モデルコンプライアンスレポートの形式と内容は規定されていませんが、十分に堅牢なモデル開発、実装、および使用ドキュメントを作成するテンプレートとして機能します。 ドキュメントは、モデルのコンポーネントが意図したとおりに機能すること、それが意図したビジネス目的に対して適切であること、およびモデルが概念的に堅牢であることを示す証拠を提供します。 この個別のモデルドキュメントは、規制の厳しい業界で特に重要です。 たとえば、銀行業界の場合、このレポートは、連邦準備制度のSR 11-7：Guidance on Model Risk Management（モデルリスク管理に関するガイダンス）への準拠に役立ちます。 DataRobotのコンプライアンスドキュメント機能は、このプロセスを加速することを目的に設計されており、ユースケースに伴う必要なドキュメント要件への対応を自動化します。 テンプレートビルダーを使用すると、組織の特定のニーズに合わせたカスタムドキュメントテンプレートを作成、編集、および共有できます。
カスタマイズ可能なドキュメントテンプレートは、非時系列、時系列、およびテキスト生成（GenAI）モデルで使用できます。 各テンプレートタイプには、標準のセクションとコンポーネントに加え、モデルタイプのコンプライアンス要件に固有のセクションおよびコンポーネントがあります。 これらのコンプライアンスドキュメントのテンプレートは、登録モデルのバージョンに追加されたキーと値のペアを介して登録モデルの情報にアクセスし、ドキュメントで提供される情報を拡張することもできます。 プレイグラウンドからエクスポートされ、レジストリに追加されたテキスト生成モデル（LLM）のコンプライアンスドキュメントは、エクスポートプロセス中にモデルにリンクされたコンプライアンステストの結果を報告できます。
| トピック | 説明 | 位置 |
|---|---|---|
| コンプライアンスドキュメントの生成 | 効果的なモデルリスク管理の構成について包括的なガイダンスを提供するために個別のドキュメントを生成します。 | ワークベンチのエクスペリメント、レジストリ |
| コンプライアンステンプレートの構築 | カスタムコンプライアンスドキュメントのテンプレートを作成、編集、共有します。さらに、登録モデルのキー値を使用してコンプライアンスドキュメントを拡張します。 | テンプレートビルダー |
| キー値でコンプライアンスドキュメントを拡張する | 登録モデルのバージョンに追加されたキーと値のペアを参照し、モデル情報を使用して、カスタムコンプライアンスドキュメントのテンプレートを拡張します。 | レジストリ |
| プレイグラウンドでのGenAIコンプライアンステストの実行 | プレイグラウンドのLLMに対してコンプライアンステストを作成、カスタマイズ、実行します。 | プレイグラウンド |
| GenAIコンプライアンスドキュメントにコンプライアンステストを含める | Send playground LLMs to the model workshop with a compliance test suite enabled by the LLM_TEST_SUITE_ID runtime parameter. When you add these models to the Registry, the generated compliance documentation can include compliance testing results. |
プレイグラウンド、モデルワークショップ、レジストリ |
一般化されたモデル検定ワークフロー¶
ここでは、一般的なモデル検定プロセスの高レベルのワークフローを示します。 それは、新しいモデルごとに、または既存のモデルへの重要な変更（たとえば、モデル再フィットや再推定など）に対して繰り返されます。 DataRobotのレポートは下記の手順2を満たし、残りの手順の処理を促進します。
-
モデル所有者は、ユースケースとビジネスニーズを識別し、モデル開発者はモデルを開発します。
-
所有者と開発者は、「モデル開発、実装、および使用」に関する包括的なドキュメントで共同作業します。このドキュメントは、モデル開発プロセスを詳細に説明するものです。
-
モデル開発に関するドキュメントは、該当するコードとデータと共にモデルのリスク管理チームに提供されます。
-
モデル検定チームは、ドキュメントを使用してプロセスを再現し、事前定義された一連の統計、分析、および品質テストを実行します。
-
検定チームは、検定結果のサマリーを含む包括的なレポートを記述します。 レポートすべき問題には対応策が必要です。 レポートする必要のない推奨事項は、モデル開発プロセスの効果的な課題を示します。
-
検定チームの承認の後、モデルのガバナンスチームが利害関係者の承認を取得し、対処プロセスの追跡および進行中のモデルパフォーマンスの監視を行います。
機能に関する注意事項¶
コンプライアンスドキュメントは、以下のプロジェクトタイプで利用できます。
- 二値
- 多クラス
- 連続値
- テキスト生成
- 非時系列教師なしモード用ではないDataRobotモデルによる時系列プロジェクトの異常検知。