モニタリング¶
モデルを信頼してミッションクリティカルな操作を強化するには、モデルデプロイのすべての側面が信頼できるものである必要があります。 本番環境のモデルのパフォーマンスを綿密に追跡することで、事業運営に影響を与える前に潜在的な問題を特定できます。 監視の範囲は、サービスがタイムリーにエラーなく確実に予測を提供しているかどうかから、予測そのものが信頼できるものであるかどうかまで多岐にわたります。
モデルの予測パフォーマンスは、通常、デプロイされるとすぐに低下し始めます。 たとえば、誰かが顧客データを含むデータセットでライブ予測を行った場合、経済危機、市場の変動、自然災害、さらには天候により顧客の行動パターンが変化した可能性があります。 現実を表していない古いデータでトレーニングされたモデルは、不正確であるだけでなく、不適切である可能性があり、予測結果は無意味または有害でさえあります。 専用の本番モデルの監視がない場合、ユーザーまたはビジネスオーナーは、これがいつ発生するかを知ることも、検出することもできません。 モデルの精度が検出されずに低下し始めると、ビジネスに影響を与え、リスクにさらされ、ユーザーの信頼を損なう結果につながる恐れがあります。
トピック | 説明 |
---|---|
サービスの正常性 | モデル固有のデプロイのレイテンシー、スループット、および誤差率の追跡。 |
データドリフト | ターゲットおよび特徴量ドリフトの変化によるモデルのパフォーマンスを監視します。 |
精度 | 時間経過に伴うモデルのパフォーマンスの分析。 |
公平性 | デプロイを監視して、保護された特徴量が事前定義された公平性基準を満たしていない場合を認識します。 |
使用状況 | 予測処理の進捗を追跡して、精度、データドリフト、時間経過に伴う予測の分析に使用します。 |
カスタム指標 | カスタムビジネスまたはパフォーマンス指標を作成して監視するか、既成の指標を追加します。 |
データ探索 | デプロイの保存済み予測データ、実測値、およびトレーニングデータを探索して、カスタムビジネス指標またはパフォーマンス指標を計算して監視します。 |
監視ジョブ | DataRobotの外部で特徴量データと予測を実行および保存しているデプロイを監視します。 |
デプロイレポート | 即座に、またはスケジュールに従ってレポートを生成し、モデルのオーナー、モデルの構築方法、モデル年齢、信頼性の監視ステータスなどのデプロイの詳細を要約します。 |
セグメント化された分析 | サービスの正常性、データドリフト、精度の統計情報を一意のセグメント属性と値に絞り込み、トレーニングデータと予測データの潜在的な問題を特定します。 |
生成モデルの監視 | DataRobotのカスタムモデルと外部モデルのテキスト生成ターゲットタイプを使用して生成大規模言語モデル(LLM)を監視すると、予測の作成、モデルのパフォーマンス統計の監視、データの探索、およびカスタム指標の作成を行うことができます。 |
バッチ監視 | すべての予測を全体として監視するのではなく、バッチにまとめられた監視統計を時系列で表示します。 |
LLMカスタム指標のリファレンス | LLM評価のためのDataRobotのカスタム指標を計算する式など、詳細な説明を確認してください。 |
更新しました March 12, 2025
このページは役に立ちましたか?
ありがとうございます。どのような点が役に立ちましたか?
より良いコンテンツを提供するには、どうすればよいでしょうか?
アンケートにご協力いただき、ありがとうございました。