Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

モニタリング

モデルを信頼してミッションクリティカルな操作を強化するには、モデルデプロイのすべての側面が信頼できるものである必要があります。 本番環境のモデルのパフォーマンスを綿密に追跡することで、事業運営に影響を与える前に潜在的な問題を特定できます。 監視の範囲は、サービスがタイムリーにエラーなく確実に予測を提供しているかどうかから、予測そのものが信頼できるものであるかどうかまで多岐にわたります。

モデルの予測パフォーマンスは、通常、デプロイされるとすぐに低下し始めます。 たとえば、誰かが顧客データを含むデータセットでライブ予測を行った場合、経済危機、市場の変動、自然災害、さらには天候により顧客の行動パターンが変化した可能性があります。 現実を表していない古いデータでトレーニングされたモデルは、不正確であるだけでなく、不適切である可能性があり、予測結果は無意味または有害でさえあります。 専用の本番モデルの監視がない場合、ユーザーまたはビジネスオーナーは、これがいつ発生するかを知ることも、検出することもできません。 モデルの精度が検出されずに低下し始めると、ビジネスに影響を与え、リスクにさらされ、ユーザーの信頼を損なう結果につながる恐れがあります。

トピック 説明
サービスの正常性 モデル固有のデプロイのレイテンシー、スループット、および誤差率の追跡。
データドリフト データ分布に基づくモデル精度の監視。
精度 時間経過に伴うモデルのパフォーマンスの分析。
公平性 デプロイを監視して、保護された特徴量が事前定義された公平性基準を満たしていない場合を認識します。
使用状況 予測処理の進捗を追跡して、精度、データドリフト、時間経過に伴う予測の分析に使用します。
カスタム指標 Create and monitor custom business or performance metrics or add pre-made metrics.
データ探索 Explore and export a deployment's stored prediction data, actuals, and training data to compute and monitor custom business or performance metrics.
監視ジョブ DataRobotの外部で特徴量データと予測を実行および保存しているデプロイを監視します。
デプロイレポート 即座に、またはスケジュールに従ってレポートを生成し、モデルのオーナー、モデルの構築方法、モデル年齢、信頼性の監視ステータスなどのデプロイの詳細を要約します。
セグメント化された分析 Filters service health, data drift, and accuracy statistics into unique segment attributes and values to identify potential issues in your training and prediction data.
生成モデルの監視 Use the text generation target type for DataRobot custom and external models to monitor generative Large Language Models (LLMs), allowing you to make predictions, monitor model performance statistics, explore data, and create custom metrics.
バッチ監視 すべての予測を全体として監視するのではなく、バッチにまとめられた監視統計を時系列で表示します。

更新しました May 14, 2024