Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

MLOpsと予測(V9.2)

2023年11月22日

DataRobot MLOps v9.2リリースには、以下に示す多くの新機能が含まれています。 リリース9.2のその他の詳細については、データとモデリングおよびコードファーストに関するリリースのお知らせをご覧ください。

新機能と機能強化

目的別にグループ化された機能
名前 一般提供 プレビュー
予測とMLOps
生成モデルの監視サポート ✔*
カスタムモデルのパブリックネットワークへのアクセス ✔*
モデルパッケージ作成ワークフローの再設計
新しいモデルレジストリでのバージョン管理のサポート
キー値でコンプライアンスドキュメントを拡張する
予測および監視ジョブ定義へのアクセスを拡張
カスタムモデルのデプロイステータス情報
監視エージェントのDataRobot APIスプーラータイプ
クライアント側の集計での自動サンプリング
バッチ予測でのDatabricks JDBCへの書き戻しをサポート
デプロイのリアルタイム通知
デプロイ予測のバッチ監視
モデルレジストリのカスタムジョブ
ホストされたカスタム指標
集計を有効にした監視ジョブの精度
NextGenの予測とMLOps
NextGenのワークベンチでのトレーニングデータによる予測
NextGenのレジストリ
NextGenのモデルワークショップ
NextGenのジョブ
NextGenコンソール

* プレミアム機能

新しいプレミアム機能

生成モデルの監視サポート

プレミアム機能として一般提供を開始しました。生成LLM(大規模言語モデル)をデプロイして、予測の実行、サービス、使用状況、データドリフトの各統計情報の監視、カスタム指標の作成ができます。 DataRobotは、次の2つのデプロイ方法でLLMに対応しています。

生成モデルをデプロイした後、 サービスの正常性使用状況の統計の表示、 デプロイデータのエクスポート、 カスタム指標の作成、 データドリフトの識別を行うことができます。 生成モデルのデータドリフトタブでは、 特徴量ドリフト対特徴量の有用性特徴量の詳細時間経過に伴うドリフトチャートを表示できます。

デフォルトではオフの機能フラグ:生成モデルの監視サポートを有効にする

詳しくはドキュメントをご覧ください。

カスタムモデルのパブリックネットワークへのアクセス

プレミアム機能として一般提供を開始しました。どのカスタムモデルにも完全なネットワークアクセスを有効にすることができます。 カスタムモデルを作成すると、パブリックネットワーク内の任意の完全修飾ドメイン名(FQDN)にアクセスできるため、サードパーティのサービスをモデルで利用できます。 または、モデルをネットワークから分離し、発信トラフィックをブロックしたい場合は、パブリックネットワークへのアクセスを無効にすると、モデルのセキュリティを強化できます。 カスタムモデルでこのアクセス設定をレビューするには、リソース設定の下のアセンブルタブで、ネットワークアクセスを確認します。

詳しくはドキュメントをご覧ください。

新しい一般提供機能

モデルパッケージ作成ワークフローの再設計

一般提供機能になりました。モデルパッケージの作成ワークフローが改善されたことで、モデルとそれに関連付けられたモデルパッケージ間の接続が視覚化され、モデルデプロイへのパスがより明確かつ一貫性のあるものになり、新しくなったモデルレジストリに登録されたモデルバージョンとして一覧表示されます。 この新しいワークフローに従って、モデルをデプロイする際には、モデルの詳細を提供し、モデルを登録することから始めます。 その後、デプロイ情報を追加することで、モデルパッケージに関連付けられた登録済みモデルバージョンをデプロイできます。

リーダーボードで、予測の生成に使用するモデルを選択します。 デプロイ推奨デプロイの準備済みのバッジが付いたモデルをお勧めします。 予測 > デプロイをクリックします。 選択したリーダーボードモデルにデプロイの準備済みバッジがない場合、デプロイの準備をクリックして、そのモデルに対してモデル準備プロセスを実行することを推奨します。

モデルをデプロイタブで、必要なモデルパッケージ情報を提供し、登録してデプロイをクリックします。

その後、デプロイ情報を追加してデプロイを作成できます。

詳しくはドキュメントをご覧ください。

新しいモデルレジストリでのバージョン管理のサポート

一般提供機能になりました。新しいモデルレジストリは、DataRobotで使用されるさまざまなモデルのための組織的ハブです。 モデルは、デプロイ可能なモデルパッケージとして登録されます。 これらのモデルパッケージは、_登録されたモデルバージョン_を含む_登録モデル_にグループ化され、解決するビジネス問題に基づいて分類できます。 登録されたモデルには、DataRobotのモデル、カスタムモデル、外部モデル、チャレンジャーモデル、および自動的に再トレーニングされたモデルをバージョンとして含めることができます。

この変更では、モデルレジストリ > モデルパッケージタブにあるパッケージは登録モデルに変換され、新しい登録済みのモデルタブに移行されます。 移行された各登録モデルには、登録されたモデルバージョンが含まれています。元のパッケージは、新しいタブでは、登録モデル名に追加されたモデルパッケージID(登録されているモデルバージョンID)によって識別できます。

移行が完了すると、変更されたモデルレジストリでは、新しいバージョン管理機能と一元管理で、予測モデルと生成モデルの進化を追跡できます。 さらに、元のモデルと関連するデプロイの両方にアクセスでき、登録したモデル(およびそのモデルに含まれるバージョン)を他のユーザーと共有することができます。

今回の変更は、以前のモデルパッケージワークフローの変更に基づいており、デプロイするモデルを登録する必要があります。 リーダーボードからモデルを登録してデプロイするには、まずモデルの登録情報を提供する必要があります。

  1. リーダーボードで、予測の生成に使用するモデルを選択します。 デプロイ推奨デプロイの準備済みのバッジが付いたモデルをお勧めします。 モデル準備プロセスでは、特徴量のインパクトが実行され、特徴量の数を減らした特徴量セットでモデルが再トレーニングされて、より大きなサンプルサイズでトレーニングされた後、サンプル全体(日付/時刻で分割されたプロジェクトの最新データ)でトレーニングされます。

  2. 予測 > デプロイをクリックします。 リーダーボードモデルにデプロイの準備済みバッジがない場合、デプロイの準備をクリックして、そのモデルに対してモデル準備プロセスを実行することを推奨します。

    ヒント

    すでにそのモデルをモデルレジストリに追加している場合、登録されているモデルのバージョンがモデルのバージョンリストに表示されます。 モデルの横にあるデプロイをクリックして、このプロセスの残りの部分をスキップできます。

  3. モデルをデプロイで、登録してデプロイをクリックします。

  4. 新規モデルの登録ダイアログボックスで、必要なモデルパッケージのモデル情報を入力します。

  5. レジストリに追加をクリックします。 モデルレジストリ > 登録済みのモデルタブでモデルが開きます。

  6. 登録モデルの構築中に、デプロイをクリックして、デプロイ設定を行います

詳しくはドキュメントをご覧ください。

キー値でコンプライアンスドキュメントを拡張する

一般提供機能になりました。コンプライアンスドキュメントのテンプレートで参照するキー値を作成できます。 キー値の参照を追加すると、生成されたテンプレートに関連データが含まれるため、コンプライアンスドキュメントを完成させるために必要な手動編集が最小限に抑えられます。 モデルレジストリのモデルに関連付けられたキー値は、登録されたモデルパッケージに関する情報を含むキーと値のペアです。

カスタムコンプライアンスドキュメントのテンプレートを作成する際に、文字列、数値、ブール値、画像、データセットのキー値を含めることができます。

そして、サポートされているキー値を参照するカスタムテンプレートを使用してモデルパッケージのコンプライアンスドキュメントを生成すると、DataRobotは関連するモデルパッケージから一致する値を挿入します。たとえば、キー値に画像が添付されている場合、その画像が挿入されます。

詳しくはドキュメントをご覧ください。

予測および監視ジョブ定義へのアクセスを拡張

このリリースでは、デプロイ権限に合わせて、 予測および 監視ジョブのロールベースのアクセス制御(RBAC)が拡張されています。 以前は、デプロイをユーザー間で共有する場合、ジョブ定義とバッチジョブはデプロイと一緒に共有されませんでした。 この更新により、 ユーザー ロールは、共有するデプロイに関連付けられた予測および監視ジョブ定義への読み取りアクセス権を取得します。 オーナー ロールは、共有するデプロイに関連付けられた予測および監視ジョブ定義への読み取り/書き込みアクセス権を取得します。 デプロイの ユーザー と _オーナー_の機能の詳細については、 ロールと権限のドキュメントを参照してください。 共有されたジョブ定義は独自のジョブ定義と一緒に表示されますが、AIカタログの予測ソースまたは予測先に関連付けられた資格情報にアクセスできない場合、接続の詳細は[編集]されます。

詳細については、 共有された予測ジョブ定義および 共有された監視ジョブ定義のドキュメントを参照してください。

カスタムモデルのデプロイステータス情報

一般提供機能になりました。DataRobotでカスタムモデルをデプロイすると、デプロイのステータス情報は、デプロイインベントリの新しいバッジ、デプロイの警告、MLOpsログのイベントに表示されます。

デプロイ情報を追加してカスタムモデルをデプロイすると、デプロイを作成していますモーダルが表示され、デプロイ設定の適用やドリフトベースラインの計算など、デプロイ作成プロセスのステータスを追跡します。 モーダルからデプロイの進捗を監視でき、エラーが発生した場合はデプロイのMLOpsログをチェックするリンクにアクセスすることができます。

デプロイインベントリでは、デプロイ名列に以下のデプロイステータス値が表示されます。

ステータス バッジ
カスタムモデルのデプロイプロセスは、まだ処理中です。 現在、このデプロイを使用して予測を行ったり、アクティブなデプロイを必要とするデプロイタブにアクセスしたりすることはできません。
カスタムモデルのデプロイプロセスは、エラーで完了しました。 このデプロイでは予測を行うことができないかもしれません。ただし、このデプロイを非アクティブ化した場合、デプロイエラーを解決するまで再アクティブ化できません。 MLOpsログを確認して、カスタムモデルデプロイのトラブルシューティングを行う必要があります。
カスタムモデルのデプロイプロセスは失敗し、デプロイは非アクティブです。 現在、このデプロイを使用して予測を行ったり、アクティブなデプロイを必要とするデプロイタブにアクセスしたりすることはできません。 MLOpsログを確認して、カスタムモデルデプロイのトラブルシューティングを行う必要があります。

エラー発生または警告ステータスのデプロイでは、どのタブでもその警告から、サービスの正常性に関するMLOpsログのリンクにアクセスできます。 このリンクをクリックすると、サービスの正常性タブに直接移動します。

サービスの正常性タブの最近のアクティビティで、MLOpsログタブをクリックすると、イベントの詳細を表示できます。 イベントの詳細では、 "ログを表示"をクリックしてカスタムモデルのデプロイログにアクセスすることで、エラーの原因を診断できます。

監視エージェントのDataRobot APIスプーラータイプ

一般提供機能です。DataRobotは、DataRobotのAPIを使用して監視エージェントと通信するために、MLOpsライブラリに新しいスプーラータイプを追加しました。 DataRobot APIスプーラーを設定するプロセスは、一般的なスプーラー設定とは異なります。 通常、監視エージェントはスプーラーに接続して情報を収集し、その情報をDataRobot MLOpsに送信します。 DataRobot APIを使用すると、実際にスプーラーに接続することはなく、MLOpsライブラリの呼び出しに変更はありません。 呼び出しはスプーラーや監視エージェントには行われず、HTTPS経由でDataRobot MLOpsに直接行われます。 この場合、複雑なスプーラーや監視エージェントを設定する必要はありません。

詳細については、ライブラリとエージェントのスプーラー設定のドキュメントを参照してください。

クライアント側の集計での自動サンプリング

一般提供機能になりました。監視エージェントによる大規模な監視では、元の特徴量、予測値、実測値の自動サンプリングをサポートし、チャレンジャーモデルと精度追跡に対応します。 この機能を有効にするには、大規模監視を設定する際に、MLOPS_STATS_AGGREGATION_AUTO_SAMPLING_PERCENTAGE環境変数を定義し、アルゴリズムによるサンプリングを使ってDataRobotに報告する元データの割合を決定します。 さらに、サンプリングするデータを含む入力データの列を識別するようにMLOPS_ASSOCIATION_ID_COLUMN_NAMEを定義する必要があります。

詳しくはドキュメントをご覧ください。

バッチ予測でのDatabricks JDBCへの書き戻しをサポート

このリリースから、バッチ予測のJDBCデータソースとして、Databricksがサポートされるようになりました。 バッチ予測でサポートされているデータソースの詳細については、ドキュメントを参照してください。

新しいプレビュー機能

デプロイのリアルタイム通知

DataRobotは 通知システムで自動監視を行い、サービスの正常性、データドリフトステータス、モデルの精度、公平性値が組織の許容値から逸脱したときにトリガーされるアラートを設定できます。 プレビュー版の機能です。これらのステータスアラートのリアルタイム通知を有効にすることで、スケジュールされた正常性ステータスの通知を待つことなく、モデルの正常性の変化に組織がすばやく対応できます。

詳しくは、通知に関するドキュメントをご覧ください。

デフォルトではオフの機能フラグ:デプロイのリアルタイム通知を有効にする

デプロイ予測のバッチ監視

プレビュー版の機能です。時間単位ではなくバッチ単位で整理された監視統計を表示できます。 バッチ対応のデプロイでは、予測 > バッチ管理タブにアクセスし、バッチの作成と管理を行うことができます。 その後、これらのバッチに予測を追加し、デプロイ内のバッチごとにサービスの正常性、データドリフト、精度、カスタム指標の統計情報を表示できます。 バッチを作成して、バッチに予測を割り当てるには、UIまたはAPIを使用します。 さらに、バッチ予測またはスケジュールされたバッチ予測ジョブが実行されるたびに、バッチが自動的に作成され、バッチ予測ジョブからのすべての予測がそのバッチに追加されます。

デフォルトではオフの機能フラグ

  • デプロイのバッチ監視を有効にする
  • デプロイのバッチカスタム指標を有効にする

プレビュー機能のドキュメントをご覧ください。

モデルレジストリのカスタムジョブ

プレビュー機能として、モデルレジストリでカスタムジョブを作成して、モデルとデプロイの自動化(カスタムテストなど)を実装できるようになりました。 各ジョブは自動化されたワークロードとして機能し、終了コードによって正常終了か失敗かが判定されます。 作成したカスタムジョブは、1つ以上のモデルまたはデプロイで実行できます。 カスタムジョブを構築するときに定義する自動ワークロードは、DataRobotのパブリックAPIを使用して予測リクエストの作成、入力の取得、出力の保存を行うことができます。

詳しくはドキュメントをご覧ください。

デフォルトではオフの機能フラグ:カスタムジョブを有効にする

ホストされたカスタム指標

プレビュー版の機能です。組織のカスタム指標を最大5つデプロイに実装できるだけでなく、DataRobot Notebooksを使用してコードをアップロードしてホストし、カスタム指標を他のデプロイに簡単に追加できます。 カスタム指標を設定すると、指標に対するコードを含むノートブックがロードされます。 ノートブックには、1つのカスタム指標セル、指標のエクスポートと計算方法を定義するPythonコード、スコアリング用のコード、指標を入力するコードを含む。一意のタイプのノートブックセルが含まれています。

詳しくはドキュメントをご覧ください。

デフォルトではオフの機能フラグ:

  • ホストされたカスタム指標を有効にする
  • カスタムジョブを有効にする
  • Notebooksでカスタム環境を有効にする

集計を有効にした監視ジョブの精度

プレビュー版の機能です。集計を有効にした外部モデルの監視ジョブは、精度の追跡に対応できます。 集計を使用するを有効にし、保持設定を行って、データがMLOpsライブラリによって集計されることを示し、チャレンジャーモデルと精度分析のために保持すべき元データの量を定義します。その後、精度監視のために実測値列をレポートするには、予測列関連付けID列を定義します。

デフォルトではオフの機能フラグ:精度の集計を有効にする

詳しくはドキュメントをご覧ください。

NextGenの新機能

NextGenのワークベンチでのトレーニングデータによる予測

NextGenで一般提供を開始しました。ワークベンチでエクスペリメントを作成してモデルをトレーニングした後、モデルアクション > 予測を作成からトレーニングデータに対して予測を行うことができます。

トレーニングデータで予測を行う場合、プロジェクトのタイプに応じて、以下のオプションのいずれかを選択できます。

プロジェクトタイプ オプション
AutoML 以下のトレーニングデータオプションのいずれかを選択します。
  • 検定
  • ホールドアウト
  • すべてのデータ
OTV/時系列 以下のトレーニングデータオプションのいずれかを選択します。
  • すべてのバックテスト
  • ホールドアウト
インサンプル予測のリスク

選択したオプションとモデルがトレーニングされたサンプルサイズによっては、トレーニングデータで予測するとインサンプル予測が生成されることがあります。つまり、モデルはトレーニング中にターゲット値が見えており、その予測は必ずしも十分に一般化できるとは限りません。 DataRobotでは、1つ以上のトレーニング行が予測に使用されていると判断された場合、オーバーフィットのリスク警告が表示されます。 これらの予測は、モデルの精度を評価するために使用すべきではありません。

詳しくはドキュメントをご覧ください。

NextGenのレジストリ

NextGenで一般提供を開始しました。レジストリは、DataRobotで使用されるさまざまなモデルのための組織的ハブです。 レジストリ > モデルディレクトリページには、_登録されたモデル_が一覧表示され、それぞれにデプロイ可能なモデルパッケージが_バージョン_として含まれています。 これらの登録モデルには、DataRobotのモデル、カスタムモデル、外部モデルをバージョンとして含めることが可能で、予測モデルや生成モデルの進化を追跡し、一元管理することができます。

レジストリから、モデルの構成要素が意図したとおりに機能することを証明するコンプライアンスドキュメントを作成したり、登録されたモデルのバージョンのキー値を管理したり、モデルを本番環境にデプロイしたりすることができます。

詳しくはドキュメントをご覧ください。

デフォルトではオンの機能フラグ:NextGenのレジストリを有効にする

NextGenのモデルワークショップ

NextGenで一般提供を開始しました。モデルワークショップでは、モデルのアーティファクトをアップロードして、カスタムモデルの作成、テスト、登録、デプロイを、一元化されたモデル管理とデプロイのハブで行うことができます。 カスタムモデルは、DataRobotのMLOps機能のほとんどをサポートする事前トレーニング済みのユーザー定義モデルです。 DataRobotは、Python、R、Javaを始めとするさまざまなコーディング言語で構築されたカスタムモデルをサポートします。 DataRobot以外でモデルを作成し、DataRobotにアップロードする場合は、モデルワークショップでモデルの内容とモデル環境を定義します。

カスタムモデルとは何ですか?

カスタムモデルは、カスタムDataRobotモデルではありません。 これらは、デプロイへのアクセス、監視、およびガバナンスのために、DataRobotの外部で作成され、カスタムモデルワークショップで構築されたユーザー定義モデルです。 カスタムモデルワークショップを通じてDataRobotに取り込むモデルのローカル開発をサポートするために、 DataRobot Model Runner(DRUM)は、DataRobotでの構築の前に、ローカルでの推論モデルの構築、デバッグ、テスト、および実行をするためのツールを提供します。 ワークショップにカスタムモデルを追加する前に、ワークショップにアップロードするカスタムモデルを構築するための カスタムモデル構築ガイドラインを参照することをお勧めします。

デフォルトではオンの機能フラグ:NextGenのレジストリを有効にする

NextGenのジョブ

NextGenで一般提供を開始しました。ジョブを使用して、モデルやデプロイの自動化(カスタムテストなど)を実装できます。 各ジョブは自動化されたワークロードとして機能し、終了コードによって正常終了か失敗かが判定されます。 作成したカスタムジョブは、1つ以上のモデルまたはデプロイで実行できます。 カスタムジョブによって定義された自動ワークロードは、DataRobotのパブリックAPIを使用して、予測リクエスト、入力の取得、出力の保存を行うことができます。

デフォルトではオンの機能フラグ:NextGenのレジストリを有効にする

デフォルトではオフの機能フラグ:カスタムジョブを有効にする

NextGenコンソール

NextGen DataRobotコンソールでは、DataRobot ClassicのMLOpsでおなじみの重要な管理、監視、ガバナンス機能を、刷新されたモダンなユーザーインターフェイスで提供します。

この一新されたユーザーインターフェイスにより、使い慣れたユーザーエクスペリエンスを維持しながら、(NextGenのワークベンチレジストリでの)モデルのエクスペリメントと登録から、コンソールでのデプロイによるモデルの監視と管理へのシームレスな移行が可能です。 このドキュメントでは、NextGenの機能に関するDataRobot Classicのドキュメントへのリンクを示します。

詳しくはドキュメントをご覧ください。

デフォルトではオンの機能フラグ:コンソールを有効にする

記載されている製品名および会社名は、各社の商標または登録商標です。 製品名または会社名の使用は、それらとの提携やそれらによる推奨を意味するものではありません


更新しました July 2, 2024