Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

サービスの正常性

サービスの正常性タブは、予測リクエストに対するデプロイのレスポンス速度と信頼性に関する指標を追跡します。 これは、ボトルネックを特定し、適切なプロビジョニングに不可欠なキャパシティを評価するのに役立ちます。 たとえば、全般的にモデルのレスポンス時間が遅く感じられる場合、モデルのデプロイのサービスの正常性タブが役に立ちます。 このタブで予測リクエストの増加に応じてレイテンシーの中央値が上昇することが確認できる場合があります。 新しいモデルに切り替えたときレイテンシーが増える場合、パフォーマンスが優れている別のモデルで新しいモデルを置き換えることが可能かどうかを検討できます。

サービスの正常性にアクセスするには、デプロイインベントリぺージから1つのデプロイを選択して、次に表示される概要ページでサービス正常性タブを選択します。 The tab provides informational tiles and a chart to help assess the activity level and health of the deployment.

予測の時間

予測の時間の値は、データドリフトタブと精度タブ、およびサービスの正常性タブで異なります。

  • [サービスの正常性]タブの「予測リクエストの日時」は、常に予測サーバーが予測リクエストを受信した日時です。 この予測リクエストの追跡方法は、診断目的で予測サービスの正常性を正確に示しています。

  • データドリフトタブと精度タブについてデフォルトで、「予測リクエストの時間」は、予測リクエストを送信した時刻になります。これは、 予測履歴設定で、予測タイムスタンプでオーバーライドできます。

Understand metric tiles and chart

DataRobotには、モデルおよび時間枠の現在の設定に基づいて情報統計が表示されます。 したがって、タイル値は、スライダーで選択された単位に対応します。 スライダーの間隔値が週の場合、表示されるタイル指標は週に対応します。 メトリックス・タイルをクリックすると、下のチャートが更新されます。

The Service health tab reports the following metrics on the dashboard:

統計 選択した時間枠のレポート...
予測の合計数 デプロイで作成された予測の数。
リクエストの合計数 デプロイが受信した予測リクエストの数(単一のリクエストに複数の予測リクエストが含まれる場合があります)。
xミリ秒以上のリクエスト 指定されたミリ秒よりもレスポンス時間が長かったリクエストの数。 デフォルトは2000msです。ボックスをクリックして10~100,000msの時間を入力するか、コントロールを使用して値を調整します。
レスポンス時間 DataRobotが予測リクエストの受信、リクエストの計算、およびユーザーへの応答に要した時間(ミリ秒)。 レポートにはネットワークレイテンシーの時間は含まれません。 予測リクエスト時間の中央値、あるいは90番目、95番目、または99番目のパーセンタイルを選択します。 リクエストがなかったデプロイや外部デプロイの場合は、ダッシュ(-)が表示されます。
実行時間 DataRobotが予測リクエストの計算に要した時間(ミリ秒)。 予測リクエスト時間の中央値、あるいは90番目、95番目、または99番目のパーセンタイルを選択します。
負荷(コール数/分)の中央値 / 最高値 1分あたりの要求数の中央値と最大値。
データエラーの割合 4xxエラーが発生したリクエストの割合(予測リクエスト送信の問題)。 これは、ダッシュボードページのトップバナーのサービスの正常性サマリーとしてレポートされる値の要素です。
システムエラーの割合 5xxエラーが発生した適切な形式のリクエストのパーセンテージ(DataRobot予測サーバーの問題)。 これは、ダッシュボードページのトップバナーのサービスの正常性サマリーとしてレポートされる値の要素です。
コンシューマー数 このデプロイに対して予測リクエストを行った個々のユーザー(APIキーによって識別)の数。
キャッシュヒット率 キャッシュされたモデルを使用したリクエストのパーセンテージ(その他の予測で最近使用されたモデル)。 キャッシュされていない場合、モデルのルックアップが行われるので、遅延が発生することがあります。 デフォルトで予測サーバーのキャッシュには16のモデルが保持され、制限に達した場合は最も使用頻度が低いモデルが破棄されます。

You can configure the dashboard to focus the visualized statistics on specific segments and time frames. 次のコントロールを使用できます。

コントロール 説明
モデル ドロップダウンで選択したモデルを反映するようにダッシュボード表示を更新します。
範囲 (UTC) デプロイ日付スライダーに表示する日付範囲を設定します。 You can also drag the date slider to set the range.
単位 デプロイ日付スライダーの時間のきめ細かさを設定します。
セグメント属性 Sets the segment to filter the dashboard by.
セグメント値 Sets a specific value within a segment to filter the dashboard by.
表示を更新 新しいデータを使用してダッシュボードのオンデマンド更新を開始します。 このボタンを使用しなくても、ダッシュボードは15分ごとに自動更新されます。
リセット ダッシュボードコントロールをデフォルト設定に戻します。

メトリックス・タイルの下のチャートには。時間経過に伴う個々のメトリックスが表示されるので、サービスの品質のパターンを識別するために役立ちます。 Clicking on a metric tile updates the chart to represent that information; adjusting the data range slider focuses on a specific period:

チャートのエクスポート

Click Export to download a .csv or .png file of the currently selected chart, or a .zip archive file of both (and a .json file).

| 中央値/ | Peak Load (calls/minute) chart displays two lines, one for Peak load and one for Median load over time: |

MLOpsログを表示

MLOpsログタブでは、重要なデプロイイベントを表示できます。 これらのイベントによって、デプロイの問題を診断したり、デプロイが現在の状態になるまでの操作の記録を提供したりすることができます。 各イベントには、タイプとステータスがあります。 イベントログは、イベントタイプ、イベントステータス、または発生時刻でフィルターできます。また、「イベントの詳細」パネルでイベントの詳細を確認できます。

  1. デプロイのサービスの正常性ページで、ページ下部の最近のアクティビティセクションまでスクロールします。

  2. In the Recent Activity section, click MLOps Logs, and configure any of the following filters:

    要素 説明
    1 カテゴリーフィルターを設定して、デプロイ特徴量ごとにログイベントを表示します。
    • 精度:実測値の処理に関連するイベント。
    • チャレンジャー:チャレンジャーの機能性に関連するイベント。
    • 監視:一般的なデプロイアクションに関連するイベント。たとえば、モデルの置換やデプロイ統計のクリアなど。
    • 予測:予測処理に関連するイベント。
    • 再トレーニング:デプロイの再トレーニング機能に関連するイベント。
    デフォルトのフィルターには、すべてのイベントカテゴリーが表示されます。
    2 ステータスタイプフィルターを設定すると、ステータスごとにイベントを表示します。
    • 成功
    • 注意
    • 失敗
    • 情報
    デフォルトのフィルターには、任意のステータスタイプが表示されます。
    3 範囲(UTC)フィルターを設定すると、指定範囲内(UTC)に記録されたイベントを表示します。 デフォルトのフィルターには、現在の日付と時刻までの過去7日間が表示されます。
    MLOpsログではどんなエラーが表示されますか?
    • 欠損値のある実測値
    • 重複する関連付けIDを持つ実測値
    • 無効なペイロードを含む実測値
    • チャレンジャーが作成されました
    • チャレンジャーが削除されました
    • チャレンジャーの再生エラー
    • チャレンジャーモデルの検定エラー
    • カスタムモデルのデプロイ作成が開始されました
    • カスタムモデルのデプロイ作成が完了しました
    • カスタムモデルのデプロイ作成に失敗しました
    • デプロイ履歴統計のリセット
    • トレーニングデータのベースラインを確立できませんでした
    • モデル置換の検定警告
    • 予測処理速度の上限に達しました
    • 必要な関連付けIDが欠損している予測
    • 理由コード(予測の説明)のプレビューに失敗しました
    • 理由コード(予測の説明)のプレビューが開始されました
    • 再トレーニングポリシーが成功しました
    • 再トレーニングポリシーエラー
    • トレーニングデータのベースライン計算が開始されました
  3. 左側のパネルには、MLOpsログリストに、選択したフィルターが適用されたデプロイイベントが表示されます。 イベントごとに、イベント名とステータスアイコン、タイムスタンプ、およびイベントメッセージのプレビューを含むサマリーを確認できます。

  4. 調べたいイベントをクリックし、右側のイベントの詳細パネルを確認します。

    このパネルには、以下の詳細が含まれます。

    • タイトル
    • ステータスタイプ(成功、注意、失敗、または情報ラベル付き)
    • タイムスタンプ
    • メッセージ(イベントを説明するテキストを含む)

    現在のイベントに適用される場合、以下の詳細を表示することもできます。

    • モデルID
    • モデルパッケージID/登録されているモデルバージョンID(MLOpsが有効な場合、モデル登録内のパッケージへのリンクを含む)
    • カタログID(データレジストリ内のデータセットへのリンクを含む)
    • チャレンジャーID
    • 予測ジョブID(関連するバッチ予測ジョブ用)
    • 影響を受けるインデックス(エラーイベントに関連するインデックスのリストを含む)
    • 開始日/終了日(デプロイ統計のリセットなど、指定された期間をカバーするイベントの場合)

    ヒント

    リンクのないIDフィールドの場合、コピーボタン をクリックしてIDをコピーできます。


更新しました April 8, 2024