パフォーマンス監視¶
モデルを信頼してミッションクリティカルな操作を強化するには、モデルデプロイのすべての側面が信頼できるものである必要があります。 モデルモニタリングは、本番環境でのMLモデルのパフォーマンスを詳細に追跡し、ビジネスに影響を及ぼす前に潜在的な問題を特定します。 監視の範囲は、サービスがエラーなしでタイムリーに予測を確実に提供しているかどうかから、予測自体の信頼性を確保することまでです。
モデルの予測パフォーマンスは、通常、デプロイされるとすぐに低下し始めます。 たとえば、誰かが顧客データを含むデータセットでライブ予測を行った場合、経済危機、市場の変動、自然災害、さらには天候により顧客の行動パターンが変化した可能性があります。 現実を表していない古いデータでトレーニングされたモデルは、不正確であるだけでなく、不適切である可能性があり、予測結果は無意味または有害でさえあります。 専用の本番モデルの監視がない場合、ユーザーまたはビジネスオーナーは、これがいつ発生するかを知ることも、検出することもできません。 モデルの精度が検出されずに低下し始めると、ビジネスに影響を与え、リスクにさらされ、ユーザーの信頼を損なう結果につながる恐れがあります。
DataRobotは、モデルデプロイを自動的にモニタし、可能な限り早急に誤差およびモデル精度の低下を検知する中心的なハブを提供します。 各デプロイには、モデルのステータスバナーが表示されます。モデル固有の情報は、デプロイ インベントリページにも表示されます。
これらのセクションでは、モデルのデプロイを監視するために使用できるツールについて説明します。
トピック | 内容… | 監視に必要なデータ |
---|---|---|
デプロイ | デプロイインベントリの表示。 | N/A |
設定ページの通知タブ | 通知と監視の設定。 | N/A |
サービスの正常性 | モデル固有のデプロイのレイテンシー、スループット、および誤差率の追跡。 | 予測データ |
データドリフト | データ分布に基づくモデル精度の監視。 | 予測およびトレーニングデータ |
精度 | 時間経過に伴うモデルのパフォーマンスの分析。 | トレーニングデータ、予測データ、および実測データ |
チャレンジャーモデル | デプロイ後のモデルパフォーマンスの比較。 | 予測データ |
Usage | Tracking prediction processing progress for use in accuracy, data drift, and predictions over time analysis. | Prediction data or actuals |
データのエクスポート | デプロイの保存された予測データ、実測値、およびトレーニングデータをエクスポートして、カスタムビジネスまたはパフォーマンス指標を計算し監視します。 | トレーニングデータ、予測データ、または実測値データ |
カスタム指標 | Creating and monitoring up to 25 custom business or performance metrics. | 予測データ |
MLOpsエージェント | リモートモデルの監視。 | リモートモデルと外部モデルパッケージデプロイが必要 |
セグメント化された分析 | トレーニングデータと予測に対するセグメント化された分析のための属性の追跡。 | 予測データ(データドリフトや精度を追跡するにはトレーニングデータも必要です) |