パフォーマンス監視¶

モデルを信頼してミッションクリティカルな操作を強化するには、モデルデプロイのすべての側面が信頼できるものである必要があります。 モデルモニタリングは、本番環境でのMLモデルのパフォーマンスを詳細に追跡し、ビジネスに影響を及ぼす前に潜在的な問題を特定します。 監視の範囲は、サービスがエラーなしでタイムリーに予測を確実に提供しているかどうかから、予測自体の信頼性を確保することまでです。

モデルの予測パフォーマンスは、通常、デプロイされるとすぐに低下し始めます。 たとえば、誰かが顧客データを含むデータセットでライブ予測を行った場合、経済危機、市場の変動、自然災害、さらには天候により顧客の行動パターンが変化した可能性があります。 現実を表していない古いデータでトレーニングされたモデルは、不正確であるだけでなく、不適切である可能性があり、予測結果は無意味または有害でさえあります。 専用の本番モデルの監視がない場合、ユーザーまたはビジネスオーナーは、これがいつ発生するかを知ることも、検出することもできません。 モデルの精度が検出されずに低下し始めると、ビジネスに影響を与え、リスクにさらされ、ユーザーの信頼を損なう結果につながる恐れがあります。

DataRobotは、モデルデプロイを自動的にモニタし、可能な限り早急に誤差およびモデル精度の低下を検知する中心的なハブを提供します。 各デプロイには、モデルのステータスバナーが表示されます。モデル固有の情報は、デプロイ インベントリページにも表示されます。

これらのセクションでは、モデルのデプロイを監視するために使用できるツールについて説明します。