Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

ガバナンス

本番環境において機械学習モデルがビジネス機能にとって重要になると、品質の確保に加えて、法的および規制上の義務を遵守するための新しい要件が発生します。 モデルのデプロイと変更は広範囲にわたる影響を与える可能性があるため、明確なプラクティスを確立することで一貫した管理を行い、リスクを最小化するようにします。

モデルガバナンスは、アクセス制御、テストと検証、変更ログとアクセスログ、予測結果のトレーサビリティなど、デプロイのルールと制御を設定します。 モデルガバナンスを導入すると、組織はデプロイを拡張し、法的レポートとコンプライアンスレポートを提供できます。

本番環境でのモデルの使用と価値のスケーリングには、明確に定義された役割、手順、ログ記録など、堅牢で反復可能な本番プロセスが必要です。 一貫したプロセスにより、組織の運用、法的および規制上のリスクが大幅に軽減されます。 さらに、ログはルールが守られていることを示し、問題を迅速に解決するためのトラブルシューティングをサポートするので、AIプロジェクトの信頼と価値が高まります。

ガバナンスの側面

MLOpsのモデルガバナンスには、さまざまな要素が含まれます。

役割と責任:本番環境のモデルガバナンスの最初のステップの1つは、本番環境モデルのライフサイクル内での義務を伴う明確な役割を確立することです。 ユーザーには複数の役割がある場合があります。 MLOps管理者は組織内のモデルガバナンスを維持するための中心的存在です。

アクセス制御:本番環境の制御を維持するには、本番モデルと環境へのアクセスを制限する必要があります。 個々のユーザーレベルまたはロールベースのアクセス制御(RBAC)から制限を実装できます。 いずれの場合も、モデルトレーニング用の本番データの更新、本番モデルのデプロイ、または本番環境の変更を行うことができるユーザーの数を制限します。

デプロイのテストと検証:本番環境での品質を確保するために、デプロイ前に、新しいモデルまたは更新された各モデルのテストと検証をプロセスに含める必要があります。 これらのテストとその結果をログに記録して、モデルが本番環境で使用できる状態にあると見なされたことを示す必要があります。 モデルの承認には、テスト情報が必要になります。

モデル履歴:モデルは本番環境で更新され、置き換えられるため、時間の経過とともに変化します。 モデルアーティファクトや変更ログを含む完全なモデル履歴の維持は、法的および規制上のニーズにとって重要です。 いつ変更が加えられ、コンプライアンスに誰が不可欠であるかを理解するための機能は、問題が発生した場合のトラブルシューティングにも非常に役立ちます。

信頼性ルール:信頼性ルールは、モデルが不確実な予測を行う場合や未知のデータを受け取った場合に、モデルがリアルタイムでそれを認識できるように設定できます。 データドリフトとは異なり、モデルの信頼性は時間の経過に伴う幅広い統計プロパティを処理しません。代わりに、個々の予測に対してトリガーされ、さまざまなトリガーに依存するルールを使用して目的の動作を設定できます。

公平性の監視:保護された特徴量が事前定義された公平性の基準を満していない場合、その状態をモデルが認識できるように、公平性の監視を設定できます。 本番モデルの公平性のテストは個別の予測によってトリガーされますが、過去30日以内に作成された予測も考慮されます。

追跡可能なモデルの結果:各モデルの結果は、法的および規制上のコンプライアンス義務を満たすために、その結果を生成したモデルおよびモデルバージョンに起因する必要があります。 ライフサイクルが動的な本番環境ではモデルの更新が頻繁に行われるため、トレーサビリティは特に重要です。 個々のモデルの応答から数か月後になる場合がある法的または規制当局への提出時には、本番環境のモデルは、問題の予測を作成するために使用されたモデルと同じではない場合があります。 日付と時刻の情報を含む要求データと応答値のレコードは、この要件を満たしています。 また、追跡プロセスを容易にするために、モデル応答の一部としてモデルIDを提供する必要があります。


更新しました April 19, 2023