モニタリング¶
モデルを信頼してミッションクリティカルな操作を強化するには、モデルデプロイのすべての側面が信頼できるものである必要があります。 By closely tracking the performance of models in production, you can identify potential issues before they impact business operations. 監視の範囲は、サービスがタイムリーにエラーなく確実に予測を提供しているかどうかから、予測そのものが信頼できるものであるかどうかまで多岐にわたります。
モデルの予測パフォーマンスは、通常、デプロイされるとすぐに低下し始めます。 たとえば、誰かが顧客データを含むデータセットでライブ予測を行った場合、経済危機、市場の変動、自然災害、さらには天候により顧客の行動パターンが変化した可能性があります。 現実を表していない古いデータでトレーニングされたモデルは、不正確であるだけでなく、不適切である可能性があり、予測結果は無意味または有害でさえあります。 専用の本番モデルの監視がない場合、ユーザーまたはビジネスオーナーは、これがいつ発生するかを知ることも、検出することもできません。 モデルの精度が検出されずに低下し始めると、ビジネスに影響を与え、リスクにさらされ、ユーザーの信頼を損なう結果につながる恐れがあります。
トピック | 説明 |
---|---|
サービスの正常性 | モデル固有のデプロイのレイテンシー、スループット、および誤差率の追跡。 |
データドリフト | データ分布に基づくモデル精度の監視。 |
精度 | 時間経過に伴うモデルのパフォーマンスの分析。 |
公平性 | デプロイを監視して、保護された特徴量が事前定義された公平性基準を満たしていない場合を認識します。 |
使用状況 | 予測処理の進捗を追跡して、精度、データドリフト、時間経過に伴う予測の分析に使用します。 |
カスタム指標 | Create and monitor up to 25 custom business or performance metrics or add pre-made metrics. |
データのエクスポート | デプロイの保存された予測データ、実測値、およびトレーニングデータをエクスポートして、カスタムビジネスまたはパフォーマンス指標を計算し監視します。 |
監視ジョブ | Monitor deployments running and storing feature data and predictions outside of DataRobot. |
デプロイレポート | Generate reports, immediately or on a schedule, to summarize the details of a deployment, such as its owner, how the model was built, the model age, and the humility monitoring status. |
更新しました April 8, 2024
このページは役に立ちましたか?
ありがとうございます。どのような点が役に立ちましたか?
より良いコンテンツを提供するには、どうすればよいでしょうか?
アンケートにご協力いただき、ありがとうございました。