コンソール¶

Premium

コンソールで管理、監視、ガバナンスの各機能を利用するには、MLOps機能を有効にする必要があります。

機能フラグ：MLOpsを有効化

Console provides a seamless transition from model experimentation in Workbench and registration in the Registry to model monitoring and management through deployments in Console.

ダッシュボードと概要¶

トピック	説明
ダッシュボード	デプロイ管理アクティビティの中心的ハブであるデプロイダッシュボードに移動します。
「概要」タブ	概要タブに移動して対話すると、デプロイを説明するモデルと環境固有のサマリー（デプロイの作成時に入力した情報やモデルの置換アクティビティなど）が提供されます。
デプロイのアクション	アクションメニューで使用可能な設定とコントロールを使用してデプロイを管理します。
デプロイレポート	デプロイの詳細（オーナー、モデルの構築方法、モデル年齢、信頼性の監視ステータスなど）をまとめたデプロイレポートを生成します。

モニタリング¶

トピック	説明
サービスの正常性	モデル固有のデプロイのレイテンシー、スループット、および誤差率の追跡。
データドリフト	データ分布に基づくモデル精度の監視。
精度	時間経過に伴うモデルのパフォーマンスの分析。
公平性	デプロイを監視して、保護された特徴量が事前定義された公平性基準を満たしていない場合を認識します。
使用状況	予測処理の進捗を追跡して、精度、データドリフト、時間経過に伴う予測の分析に使用します。
カスタム指標	カスタムビジネスまたはパフォーマンス指標を作成して監視するか、既成の指標を追加します。
データ探索	デプロイの保存された予測データ、実測値、およびトレーニングデータをエクスポートして、カスタムビジネスまたはパフォーマンス指標を計算し監視します。
トレース	Inspect traces for custom and external model deployments. Search and filter traces, review span duration and token usage, and expand traces to view attributes, logs, input, and output on one page.
監視ジョブ	DataRobotの外部で特徴量データと予測を実行および保存しているデプロイを監視します。
デプロイレポート	デプロイの詳細（オーナー、モデルの構築方法、モデル年齢、信頼性の監視ステータスなど）をまとめたデプロイレポートを生成します。

予測¶

トピック	説明
予測の作成	大規模なデータセットで予測を行い、入力データを提供し、出力データの各行の予測を受信します。
予測API	ダウンロード可能なDataRobot Pythonコードを適用してCSVまたはJSONファイルをスコアリングのために送信し、予測APIを介して本番アプリケーションに統合します。
モニタリング	コンソールにデプロイされたエージェント監視の外部モデルの監視スニペットにアクセスします。
予測の説明	時系列デプロイの場合、デプロイされたモデルの予測レスポンスとともに返される予測間隔を有効化して設定します。
予測ジョブ	デプロイの予測ジョブ定義を表示および管理します。

リスク軽減策¶

トピック	説明
チャレンジャー	デプロイ後のモデルパフォーマンスの比較。
再トレーニング	再トレーニング設定を定義し、再トレーニングポリシーを作成します。
信頼性	デプロイを監視して、デプロイされたモデルが不確実な予測を行ったり、以前に見られなかったデータを受信したりした時点をリアルタイムで認識します。

アクティビティログ¶

トピック	説明
MLOpsのイベント	重要なデプロイイベントを表示します。
ガバナンス	デプロイで利用可能なガバナンスログの詳細を表示します。これには、デプロイでトリガーされたデプロイ承認ポリシーの監査証跡も含まれます。
エージェントイベント	MLOpsエージェントからの管理および監視イベントを表示します。
モデル履歴	デプロイイベントの履歴ログを表示します。
標準出力	カスタムモデルのランタイムログイベントを表示します。
モデレーション	評価とモデレーションのイベントを表示します。
ログ	デプロイのOpenTelemetryログイベントを表示します。
コメント	デプロイの承認および設定プロセス中に追加されたコメントを表示します。

設定¶

トピック	説明
サービスの正常性のモニタリングを設定	一意のセグメント属性と値にフィルターすることで、サービスの正常性、データドリフト、精度の統計を評価するセグメント分析を有効にします。
データドリフトのモニタリングを設定	デプロイのデータドリフト設定タブで、データドリフトの監視を有効にします。
精度のモニタリングを設定	デプロイの精度設定タブを使って、精度監視を有効化します。
公平性のモニタリングを設定	デプロイの公平性設定タブを使って、公平性の監視を有効化します。
カスタム指標監視の設定	作成したカスタム指標の「注意」および「失敗」のしきい値を定義して、カスタム指標の監視を有効にします。
信頼性ルールの設定	モデルが不確かな予測を行ったり、見たことのないデータを受信したりしたときに、リアルタイムで認識できるようなルールを作成することで、信頼性監視を有効にします。
チャレンジャーの設定	予測リクエストデータを行レベルで保存し、スケジュールに従って予測を再実行するようにデプロイを設定することで、チャレンジャーとの比較を可能にします。
再トレーニングの設定	全般的な再トレーニング設定を定義し、再トレーニングポリシーを作成することで、デプロイに対して自動再トレーニングを有効にします。
予測の詳細設定を行う	予測設定タブを確認して、デプロイの予測データの詳細を表示します。または、デプロイされた時系列モデルの場合、予測レスポンスで予測間隔を有効化します。
適時性追跡の設定	適時性インジケーターは、予測または実測値のアップロード頻度が、組織で設定された基準を満たしているかどうかを示します。
データ探索を有効にする	データ探索を有効にして、カスタムビジネス指標またはパフォーマンス指標を計算して監視します。
デプロイ通知の設定	サービスの正常性、データドリフト、精度、公平性の監視に関するEメールを作動させるための個人通知を有効化します。
デプロイリソースの設定	カスタムモデルデプロイの場合、カスタムモデルアセンブリ中に定義されたカスタムモデルリソース設定を表示します。カスタムモデルがDataRobotサーバーレス予測環境にデプロイされていて、デプロイが非アクティブである場合、リソースバンドル設定を変更することができます。

予測環境¶

トピック	説明
DataRobotサーバーレス予測環境の追加	DataRobotサーバーレス予測環境を設定し、それらの環境にモデルをデプロイして予測を行います。
外部予測環境の追加	独自のインフラストラクチャ上に予測環境を設定し、予測環境をグループ化し、権限と承認ワークフローを設定します。
予測環境の管理	外部予測環境を表示、編集、削除、共有、またはモデルを外部予測環境にデプロイします。
モデルを予測環境にデプロイ	予測環境にアクセスし、モデルを環境に直接デプロイします。
予測環境のインテグレーション	DataRobotが管理する予測環境のインテグレーションを設定して、DataRobotモデルをデプロイしたり置き換えたりします。

機能に関する注意事項¶

外部ソースから予測リクエスト／応答データセットのキュレーションを行う場合：

有用性が最も高い25の特徴量を含みます。
CSVのファイルサイズの要件に従ってください。
分類プロジェクトの場合、クラスに0または1の値があるか、クラスがテキスト文字列である必要があります。

加えて、以下の事項にも注意してください。

セルフマネージドAIプラットフォームのみ：デフォルトでは、最も有用な25の特徴量とターゲットでデータドリフトが追跡されます。
リアルタイムのデプロイ予測の場合、最大ペイロードサイズは、専用予測環境およびサーバーレス予測環境ともに50MBです。
予測の作成タブは、外部のデプロイでは使用できません。
DataRobotデプロイでは、によって専用の予測サーバーに対して行われた予測のみが追跡されますdeployment_id。
- モデルマネジメントで分析するには、その他の予測方法ではリクエストおよび予測をCSVファイルに記録する必要があります。その後、外部デプロイとしてファイルをDataRobotにアップロードします。
- バージョン7.0では、deployment_idの代わりにproject_idおよびmodel_idを使用する使用非推奨のエンドポイントはHTTP 404 Not foundを返します（DataRobotの担当者が別の設定をした場合を除く）。
デプロイごとに1時間あたりの最初の100万の予測がデータドリフト分析のために追跡され、精度が計算されます。この制限に達した場合、1時間以内の予測はどちらの指標に対しても処理されません。ただし、一般に予測に対する制限はありません。
より大きなデータセット（最大5GB）をスコアリングする場合、複数の予測ジョブを実行する必要があるため、予測が使用可能になるまでの待機時間が長くなります。予測インターフェイスから移動した場合、ジョブは引き続き実行されます。
予測リクエストを作成した後、データドリフトと精度指標が更新されるには、30秒ほどかかることがあります。指標の更新速度は、モデルの種類（時系列など）、デプロイ設定（セグメント属性、予測距離の数など）、システムの安定性に依存することに留意してください。
DataRobotでは、同じ関連付けIDを使用する複数の予測行を送信しないことを推奨しています。関連付けIDは、予測行の一意の識別子です。複数の予測行を送信する場合、最新の予測だけが関連する実測値を使用します。以前のすべての予測リクエストは、事実上、その実測値と対になっていません。さらに、対になっていない予測行も含めて、すべての予測がデータドリフト統計に含まれます。
予測をクラウドの場所またはデータベースに書き込む場合は、予測APIを使用する必要があります。

時系列デプロイ¶

時系列のデプロイで予測を行う場合、使用するモデルによって必要な履歴の量が異なります。
- 従来の時系列 （ARIMAファミリー）モデルは、トレーニング時間と予測時間の間の完全な履歴を必要とします。 DataRobotは、これらのモデルのスコアリングを予測APIで行うことをお勧めします。
- 他のすべての時系列モデルは、プロジェクトによって異なりますが、特徴量派生ウィンドウを埋めるに十分な履歴のみを必要とします。交差系列の場合、予測時刻にすべての系列が提供される必要があります。
- どちらのカテゴリーのモデルもリアルタイム予測をサポートしており。
  - 専用の予測環境（DPE）では、最大ペイロードサイズは50MBです。
  - サーバーレス予測環境では、最大ペイロードサイズは50MBです。
ARIMAファミリーと非ARIMA系列間モデルはバッチ予測をサポートしていません。
Classicのみ：交差系列特徴量の生成を有効にするが有効な場合、すべてのARIMAおよび非ARIMAの交差系列モデルにジョブ定義を作成する機能は無効です。
他のすべての時系列モデルはバッチ予測をサポートしています。複数系列の場合、入力データはIDとタイムスタンプでソートする必要があります。
サポートされているモデルでの時系列バッチ予測には、データ制限はありませんが、1つの系列が50MBを超えることはできません。
統合エンタープライズデータベースを使用して連続値時系列モデルをスコアリングする際、ターゲットデータベースに以下の列が含まれるはずだが見つからなかったという注意が受信されることがあります：DEPLOYMENT_APPROVAL_STATUS。オプションである列は、デプロイされたモデルが管理者により承認されたかどうかを記録します。組織でデプロイ承認ワークフローが設定されている場合、次のことができます。
- ターゲットデータベースに列を追加します。
- columnNamesRemappingパラメーターを使用して別の列にデータをリダイレクトします。
上記のいずれかのアクションを行った後は、予測ジョブを再度実行すると、承認ステータスが予測結果に表示されます。承認ステータスを記録していない場合は、メッセージを無視して予測ジョブが継続されます。
DataRobotがデプロイ予測のために時系列データを処理できるようにするには、次の要件を満たすようにデータセットを設定します。
- 予測行をタイムスタンプでソートします。最も古い行が最初に表示されます。
- 複数系列では、予測行を系列IDでソートし、さらにタイムスタンプでソートします。
- DataRobotがサポートする系列の数には制限はありません。唯一の制限は、ジョブのタイムアウトです。詳細については、バッチ予測の制限を参照してください。
データセットの例については、スコアリングデータセットの要件をご覧ください。

多クラスデプロイ¶

ターゲット、精度、およびデータドリフトが監視される多クラスデプロイで最大100クラスをサポートします。
再トレーニングされる多クラスデプロイで、最大100クラスをサポートします。
特徴量ドリフトを有効にしたバージョン7.0より前に作成された多クラスデプロイには、ターゲットの特徴量ドリフトの履歴データはありません。新しいデータのみが追跡されます。
DataRobotは、ホールドアウトデータをターゲットドリフトのベースラインとして使用します。結果として、特定のデータセットを使用する多クラスデプロイの場合、まれなクラス値がホールドアウトデータで欠損し、その結果、ドリフトのベースラインで欠損することがあります。このシナリオでは、これらのまれな値は新しい値として扱われます。

チャレンジャー¶

チャレンジャーを有効にし、それらで予測を再実行するには、デプロイ済みモデルがターゲットドリフト追跡をサポートしている必要があり、また、特徴量探索あるいは非構造化カスタム推論モデルではないことが条件です。
チャレンジャーモデルで予測を再実行するには、デプロイに関連付けられている組織に所属している必要があります。この制限はデプロイ所有者にも適用されます。

予測結果のクリーンアップ¶

DataRobotはデプロイごとにクリーンアップジョブを定期的に実行し、Postgresの対応する予測結果テーブルからデプロイの予測値と実測値を削除します。この処理はテーブルのサイズを適切に保つために行われ、テーブルサイズの制限に達する危険を冒すことなく、すべてのデプロイの精度指標を一貫して生成し、チャレンジャーモデルの再実行をスケジュールできます。

クリーンアップジョブによってデプロイが予測結果テーブルの「ハード」制限に達することが防止されます。テーブルがいっぱいになると、予測値と実測値は保存されなくなり、デプロイの追加の精度指標を生成できなくなります。クリーンアップジョブは、デプロイが「ソフト」制限に達するとトリガーされ、デプロイが「ハード」制限に達するのを防ぐためのバッファーとして機能します。クリーンアップでは、対応する実測値にすでに関連付けられている最も古い予測行から削除されます。データドリフトおよび時系列の精度を向上させるために使用される集計データは影響を受けません。

マネージドAIプラットフォーム¶

マネージドAIプラットフォームユーザーには、1時間ごとに次の制限があります。各デプロイが許可されます。

データドリフト分析：100万の予測、または個々の予測インスタンスごとに合計100 MBの予測がリクエストされます。いずれかの制限に達した場合、データドリフト分析はその1時間の残りの間停止します。
予測行ごとの履歴保存：個々の予測インスタンスのデプロイごとの合計予測リクエストの最初の100 MB。制限に達した場合、その1時間の残りの時間の予測データは収集されません。