パフォーマンス監視¶
モデルを信頼してミッションクリティカルな操作を強化するには、モデルデプロイのすべての側面が信頼できるものである必要があります。 モデルモニタリングは、本番環境でのMLモデルのパフォーマンスを詳細に追跡し、ビジネスに影響を及ぼす前に潜在的な問題を特定します。 監視の範囲は、サービスがタイムリーにエラーなく確実に予測を提供しているかどうかから、予測そのものが信頼できるものであるかどうかまで多岐にわたります。
モデルの予測パフォーマンスは、通常、デプロイされるとすぐに低下し始めます。 たとえば、誰かが顧客データを含むデータセットでライブ予測を行った場合、経済危機、市場の変動、自然災害、さらには天候により顧客の行動パターンが変化した可能性があります。 現実を表していない古いデータでトレーニングされたモデルは、不正確であるだけでなく、不適切である可能性があり、予測結果は無意味または有害でさえあります。 専用の本番モデルの監視がない場合、ユーザーまたはビジネスオーナーは、これがいつ発生するかを知ることも、検出することもできません。 モデルの精度が検出されずに低下し始めると、ビジネスに影響を与え、リスクにさらされ、ユーザーの信頼を損なう結果につながる恐れがあります。
DataRobotは、モデルデプロイを自動的にモニタし、可能な限り早急に誤差およびモデル精度の低下を検知する中心的なハブを提供します。 各デプロイには、モデルのステータスバナーが表示されます。モデル固有の情報は、デプロイ インベントリページにも表示されます。
これらのセクションでは、モデルのデプロイを監視するために使用できるツールについて説明します。
トピック | 説明 | 監視に必要なデータ |
---|---|---|
デプロイ | デプロイインベントリの表示。 | N/A |
設定ページの通知タブ | 通知と監視の設定。 | N/A |
サービスの正常性 | モデル固有のデプロイのレイテンシー、スループット、および誤差率の追跡。 | 予測データ |
データドリフト | データ分布に基づくモデル精度の監視。 | 予測およびトレーニングデータ |
精度 | 時間経過に伴うモデルのパフォーマンスの分析。 | トレーニングデータ、予測データ、および実測データ |
チャレンジャーモデル | デプロイ後のモデルパフォーマンスの比較。 | 予測データ |
使用状況 | 予測処理の進捗を追跡して、精度、データドリフト、時間経過に伴う予測の分析に使用します。 | 予測データまたは実測値 |
データ探索 | デプロイの保存された予測データ、実測値、トレーニングデータを探索して、カスタムビジネスまたはパフォーマンス指標を計算および監視します。 | トレーニングデータ、予測データ、または実測値データ |
カスタム指標 | カスタムビジネスまたはパフォーマンス指標の作成と監視。 | 予測データ |
MLOpsエージェント | リモートモデルの監視。 | リモートモデルと外部モデルパッケージデプロイが必要 |
セグメント化された分析 | トレーニングデータと予測に対するセグメント化された分析のための属性の追跡。 | 予測データ(データドリフトや精度を追跡するにはトレーニングデータも必要です) |
バッチ監視 | すべての予測を全体として監視するのではなく、バッチにまとめられた監視統計を時系列で表示します。 | トレーニングデータ、予測データ、および実測データ(精度) |
生成モデルの監視 | DataRobotのカスタムモデルと外部モデルのテキスト生成ターゲットタイプは、生成LLM(大規模言語モデル)と互換性があり、生成モデルのデプロイ、予測の実行、サービス、使用状況、データドリフト統計の監視、データのエクスポート、カスタム指標の作成が可能です。 | 生成モデルのテキストデータ |