モデルのコンプライアンス¶
DataRobotは、モデル開発に関連する多くの重要なコンプライアンスタスクを自動化することによって、規制の厳しい業界でデプロイまでの時間を短縮できます。 各モデルに対して個々のドキュメントを生成し、効果的なモデルリスク管理に関する包括的なガイダンスを提供できます。 レポートは、編集可能なMicrosoft Wordドキュメント(.docx
)としてダウンロードできます。 生成されたレポートには、規制への準拠要求に応じた適切なレベルの情報および透明性が含まれます。
モデルコンプライアンスレポートは、その形式と内容は規定されていませんが、十分に堅牢なモデル開発、実装、および使用ドキュメントを作成するガイドとして機能します。 ドキュメントは、モデルのコンポーネントが意図したとおりに機能すること、それが意図したビジネス目的に対して適切であること、およびモデルが概念的に堅牢であることを示す証拠を提供します。 このため、レポートは、連邦準備制度理事会のシステムのSR11-7:モデルリスク管理に関するガイダンス完成に役立ちます。Guidance on Model Risk Management(モデルリスク管理に関するガイダンス)への準拠に役立ちます。
備考
Pythonクライアントを使用して、カスタムコンプライアンスドキュメントテンプレートを作成できます。 DataRobotのカスタムテンプレート作成機能を使用すると、生成されるドキュメントの構造および内容を柔軟に制御できます。 カスタムテンプレートが指定されていない場合、デフォルトテンプレートを使用してコンプライアンスドキュメントを生成することもできます。
モデルのコンプライアンスドキュメントの処理¶
コンプライアンスドキュメントタブから:
-
(オプション)ドキュメントの内容の向上に関する備考( 「プロジェクトのホールドアウトのロックを解除して、コンプライアンスドキュメントにモデルパフォーマンスの追加の詳細を含めることを検討してください」)に説明されているように、プロジェクトのホールドアウトを解除することを検討してください(オプション)。
-
コンプライアンスドキュメントの形式を選択します。 次のいずれかを選択します。
- コンプライアンスドキュメントの自動生成:DataRobotが提供するデフォルトテンプレートを使用します。
- カスタムJSONファイルをアップロード:DataRobotでドキュメントを生成するために使用するカスタムテンプレートを提供できます。
-
テンプレートを選択した後、レポートを生成をクリックして、レポート生成プロセスを開始してDOCXファイルを作成します。 DataRobotでレポートが作成されていることを示すインジケーターが表示されます。
レポートが正常に作成されると、このインジケーターはチェックマークに代わります。
ヒント
コンプライアンスドキュメントはモデルレジストリから生成することもできます。
-
モデルのコンプライアンスレポートを生成した後、ダウンロードをクリックして、ローカルシステムにDOCXファイルを保存します。 ファイルを開いて、次のように処理します。
-
青い斜体テキストはガイダンスと指示を示します。 これらのテキストは、セクションに情報を入力する人物を識別し、必要な情報の詳細を説明します。
-
黒いテキストは、DataRobotで自動的に生成されたモデルに関するコンプライアンステキスト(前処理、パフォーマンス、インパクト、タスク固有、およびDataRobotの全般情報)を示します。
-
モデルレポートの更新¶
生成されたレポートはプロジェクトと共に保存され、後でダウンロードできます。 レポートの内容に影響する変更(ホールドアウトのロック解除など)が発生する場合があります。 一般的にレポートの生成はモデルを選択した後に行います。通常、モデルの選択は、モデルがホールドアウトに対してテストされた後に行われるので、このような変更は稀です。 コンプライアンスドキュメントタブが表示され、レポートの内容に影響する変更がある場合は、レポートを再度生成するよう求めるメッセージが表示されます。
一般化されたモデル検定ワークフロー¶
ここでは、一般的なモデル検定プロセスの高レベルのワークフローを示します。 それは、新しいモデルごとに、または既存のモデルへの重要な変更(たとえば、モデル再フィットや再推定など)に対して繰り返されます。 DataRobotのレポートは下記の手順2を満たし、残りの手順の処理を促進します。
-
モデル所有者は、ユースケースとビジネスニーズを識別し、モデル開発者はモデルを開発します。
-
所有者と開発者は、「モデル開発、実装、および使用」に関する包括的なドキュメントで共同作業します。このドキュメントは、モデル開発プロセスを詳細に説明するものです。
-
モデル開発に関するドキュメントは、該当するコードとデータと共にモデルのリスク管理チームに提供されます。
-
モデル検定チームは、ドキュメントを使用してプロセスを再現し、事前定義された一連の統計、分析、および品質テストを実行します。
-
検定チームは、検定結果のサマリーを含む包括的なレポートを記述します。 レポートすべき問題には対応策が必要です。 レポートする必要のない推奨事項は、モデル開発プロセスの効果的な課題を示します。
-
検定チームの承認の後、モデルのガバナンスチームが利害関係者の承認を取得し、対処プロセスの追跡および進行中のモデルパフォーマンスの監視を行います。