MLOpsと予測（V9.2）¶

2023年11月22日

DataRobot MLOps v9.2リリースには、以下に示す多くの新機能が含まれています。 リリース9.2のその他の詳細については、データとモデリングおよびコードファーストに関するリリースのお知らせをご覧ください。

新機能と機能強化¶

新しいプレミアム機能¶

生成モデルの監視サポート¶

プレミアム機能として一般提供を開始しました。生成LLM（大規模言語モデル）をデプロイして、予測の実行、サービス、使用状況、データドリフトの各統計情報の監視、カスタム指標の作成ができます。 DataRobotは、次の2つのデプロイ方法でLLMに対応しています。

• DataRobotでカスタム推論モデルとしてテキスト生成モデルを作成：DataRobotのカスタムモデルワークショップを使用してテキスト生成モデルを作成してデプロイし、LLMのAPIを呼び出して、直接推論を実行する代わりにテキストを生成し、DataRobot MLOpsが監視のためにLLMの入力と出力にアクセスできるようにします。 LLMのAPIを呼び出すには、 カスタムモデルのパブリックネットワークアクセスを有効にする必要があります。

• 外部で実行されているテキスト生成モデルを監視：インフラストラクチャ（ローカルまたはクラウド）にテキスト生成モデルを作成してデプロイし、監視エージェントを使用して、LLMの入出力を監視のためにDataRobotに通信します。

生成モデルをデプロイした後、 サービスの正常性と 使用状況の統計の表示、 デプロイデータのエクスポート、 カスタム指標の作成、 データドリフトの識別を行うことができます。 生成モデルのデータドリフトタブでは、 特徴量ドリフト対特徴量の有用性、 特徴量の詳細、 時間経過に伴うドリフトチャートを表示できます。

Feature flag OFF by default: Enable Monitoring Support for Generative Models

詳細については、ドキュメントを参照してください。

カスタムモデルのパブリックネットワークへのアクセス¶

プレミアム機能として一般提供を開始しました。どのカスタムモデルにも完全なネットワークアクセスを有効にすることができます。 カスタムモデルを作成すると、パブリックネットワーク内の任意の完全修飾ドメイン名（FQDN）にアクセスできるため、サードパーティのサービスをモデルで利用できます。 または、モデルをネットワークから分離し、発信トラフィックをブロックしたい場合は、パブリックネットワークへのアクセスを無効にすると、モデルのセキュリティを強化できます。 カスタムモデルでこのアクセス設定をレビューするには、リソース設定の下のアセンブルタブで、ネットワークアクセスを確認します。

詳しくは、完全なドキュメントをご覧ください。

新しい一般提供機能¶

モデルパッケージ作成ワークフローの再設計¶

一般提供機能になりました。モデルパッケージの作成ワークフローが改善されたことで、モデルとそれに関連付けられたモデルパッケージ間の接続が視覚化され、モデルデプロイへのパスがより明確かつ一貫性のあるものになり、新しくなったモデルレジストリに登録されたモデルバージョンとして一覧表示されます。 この新しいワークフローに従って、モデルをデプロイする際には、モデルの詳細を提供し、モデルを登録することから始めます。 その後、デプロイ情報を追加することで、モデルパッケージに関連付けられた登録済みモデルバージョンをデプロイできます。

リーダーボードで、予測の生成に使用するモデルを選択します。 デプロイ推奨とデプロイの準備済みのバッジが付いたモデルをお勧めします。 予測 > デプロイをクリックします。 選択したリーダーボードモデルにデプロイの準備済みバッジがない場合、デプロイの準備をクリックして、そのモデルに対してモデル準備プロセスを実行することを推奨します。

モデルをデプロイタブで、必要なモデルパッケージ情報を提供し、登録してデプロイをクリックします。

その後、デプロイ情報を追加してデプロイを作成できます。

詳しくは、完全なドキュメントをご覧ください。

新しいモデルレジストリでのバージョン管理のサポート¶

一般提供機能になりました。新しいモデルレジストリは、DataRobotで使用されるさまざまなモデルのための組織的ハブです。 モデルは、デプロイ可能なモデルパッケージとして登録されます。 これらのモデルパッケージは、_登録されたモデルバージョン_を含む_登録モデル_にグループ化され、解決するビジネス問題に基づいて分類できます。 登録されたモデルには、DataRobotのモデル、カスタムモデル、外部モデル、チャレンジャーモデル、および自動的に再トレーニングされたモデルをバージョンとして含めることができます。

この変更では、モデルレジストリ > モデルパッケージタブにあるパッケージは登録モデルに変換され、新しい登録済みのモデルタブに移行されます。 移行された各登録モデルには、登録されたモデルバージョンが含まれています。元のパッケージは、新しいタブでは、登録モデル名に追加されたモデルパッケージID（登録されているモデルバージョンID）によって識別できます。

移行が完了すると、変更されたモデルレジストリでは、新しいバージョン管理機能と一元管理で、予測モデルと生成モデルの進化を追跡できます。 さらに、元のモデルと関連するデプロイの両方にアクセスでき、登録したモデル（およびそのモデルに含まれるバージョン）を他のユーザーと共有することができます。

今回の変更は、以前のモデルパッケージワークフローの変更に基づいており、デプロイするモデルを登録する必要があります。 リーダーボードからモデルを登録してデプロイするには、まずモデルの登録情報を提供する必要があります。

1. リーダーボードで、予測の生成に使用するモデルを選択します。 デプロイ推奨とデプロイの準備済みのバッジが付いたモデルをお勧めします。 モデル準備プロセスでは、特徴量のインパクトが実行され、特徴量の数を減らした特徴量セットでモデルが再トレーニングされて、より大きなサンプルサイズでトレーニングされた後、サンプル全体（日付/時刻で分割されたプロジェクトの最新データ）でトレーニングされます。

   

2. 予測 > デプロイをクリックします。 リーダーボードモデルにデプロイの準備済みバッジがない場合、デプロイの準備をクリックして、そのモデルに対してモデル準備プロセスを実行することを推奨します。

   

   ヒント

   すでにそのモデルをモデルレジストリに追加している場合、登録されているモデルのバージョンがモデルのバージョンリストに表示されます。 モデルの横にあるデプロイをクリックして、このプロセスの残りの部分をスキップできます。

3. モデルをデプロイで、登録してデプロイをクリックします。

   

4. 新規モデルの登録ダイアログボックスで、必要なモデルパッケージのモデル情報を入力します。

   

5. レジストリに追加をクリックします。 モデルレジストリ > 登録済みのモデルタブでモデルが開きます。

6. 登録モデルの構築中に、デプロイをクリックして、デプロイ設定を行います。

   

詳しくは、完全なドキュメントをご覧ください。

キー値でコンプライアンスドキュメントを拡張する¶

一般提供機能になりました。コンプライアンスドキュメントのテンプレートで参照するキー値を作成できます。 キー値の参照を追加すると、生成されたテンプレートに関連データが含まれるため、コンプライアンスドキュメントを完成させるために必要な手動編集が最小限に抑えられます。 モデルレジストリのモデルに関連付けられたキー値は、登録されたモデルパッケージに関する情報を含むキーと値のペアです。

カスタムコンプライアンスドキュメントのテンプレートを作成する際に、文字列、数値、ブール値、画像、データセットのキー値を含めることができます。

そして、サポートされているキー値を参照するカスタムテンプレートを使用してモデルパッケージのコンプライアンスドキュメントを生成すると、DataRobotは関連するモデルパッケージから一致する値を挿入します。たとえば、キー値に画像が添付されている場合、その画像が挿入されます。

詳しくは、完全なドキュメントをご覧ください。

予測および監視ジョブ定義へのアクセスを拡張¶

このリリースでは、デプロイ権限に合わせて、 予測および 監視ジョブのロールベースのアクセス制御（RBAC）が拡張されています。 以前は、デプロイをユーザー間で共有する場合、ジョブ定義とバッチジョブはデプロイと一緒に共有されませんでした。 この更新により、 ユーザー ロールは、共有するデプロイに関連付けられた予測および監視ジョブ定義への読み取りアクセス権を取得します。 オーナー ロールは、共有するデプロイに関連付けられた予測および監視ジョブ定義への読み取り／書き込みアクセス権を取得します。 デプロイの ユーザー と _オーナー_の機能の詳細については、 ロールと権限のドキュメントを参照してください。 共有されたジョブ定義は独自のジョブ定義と一緒に表示されますが、AIカタログの予測ソースまたは予測先に関連付けられた資格情報にアクセスできない場合、接続の詳細は[編集]されます。

詳細については、 共有された予測ジョブ定義および 共有された監視ジョブ定義のドキュメントを参照してください。

カスタムモデルのデプロイステータス情報¶

一般提供機能になりました。DataRobotでカスタムモデルをデプロイすると、デプロイのステータス情報は、デプロイインベントリの新しいバッジ、デプロイの警告、MLOpsログのイベントに表示されます。

デプロイ情報を追加してカスタムモデルをデプロイすると、デプロイを作成していますモーダルが表示され、デプロイ設定の適用やドリフトベースラインの計算など、デプロイ作成プロセスのステータスを追跡します。 モーダルからデプロイの進捗を監視でき、エラーが発生した場合はデプロイのMLOpsログをチェックするリンクにアクセスすることができます。

デプロイインベントリでは、デプロイ名列に以下のデプロイステータス値が表示されます。

ステータス	バッジ
	カスタムモデルのデプロイプロセスは、まだ処理中です。 現在、このデプロイを使用して予測を行ったり、アクティブなデプロイを必要とするデプロイタブにアクセスしたりすることはできません。
	カスタムモデルのデプロイプロセスは、エラーで完了しました。 このデプロイでは予測を行うことができないかもしれません。ただし、このデプロイを非アクティブ化した場合、デプロイエラーを解決するまで再アクティブ化できません。 MLOpsログを確認して、カスタムモデルデプロイのトラブルシューティングを行う必要があります。
	カスタムモデルのデプロイプロセスは失敗し、デプロイは非アクティブです。 現在、このデプロイを使用して予測を行ったり、アクティブなデプロイを必要とするデプロイタブにアクセスしたりすることはできません。 MLOpsログを確認して、カスタムモデルデプロイのトラブルシューティングを行う必要があります。

エラー発生または警告ステータスのデプロイでは、どのタブでもその警告から、サービスの正常性に関するMLOpsログのリンクにアクセスできます。 このリンクをクリックすると、サービスの正常性タブに直接移動します。

サービスの正常性タブの最近のアクティビティで、MLOpsログタブをクリックすると、イベントの詳細を表示できます。 イベントの詳細では、 "ログを表示"をクリックしてカスタムモデルのデプロイログにアクセスすることで、エラーの原因を診断できます。

監視エージェントのDataRobot APIスプーラータイプ¶

一般提供機能です。DataRobotは、DataRobotのAPIを使用して監視エージェントと通信するために、MLOpsライブラリに新しいスプーラータイプを追加しました。 DataRobot APIスプーラーを設定するプロセスは、一般的なスプーラー設定とは異なります。 通常、監視エージェントはスプーラーに接続して情報を収集し、その情報をDataRobot MLOpsに送信します。 DataRobot APIを使用すると、実際にスプーラーに接続することはなく、MLOpsライブラリの呼び出しに変更はありません。 呼び出しはスプーラーや監視エージェントには行われず、HTTPS経由でDataRobot MLOpsに直接行われます。 この場合、複雑なスプーラーや監視エージェントを設定する必要はありません。

詳細については、ライブラリとエージェントのスプーラー設定のドキュメントを参照してください。

クライアント側の集計での自動サンプリング¶

一般提供機能になりました。監視エージェントによる大規模な監視では、元の特徴量、予測値、実測値の自動サンプリングをサポートし、チャレンジャーモデルと精度追跡に対応します。 この機能を有効にするには、大規模監視を設定する際に、MLOPS_STATS_AGGREGATION_AUTO_SAMPLING_PERCENTAGE環境変数を定義し、アルゴリズムによるサンプリングを使ってDataRobotに報告する元データの割合を決定します。 さらに、サンプリングするデータを含む入力データの列を識別するようにMLOPS_ASSOCIATION_ID_COLUMN_NAMEを定義する必要があります。

詳しくは、完全なドキュメントをご覧ください。

バッチ予測でのDatabricks JDBCへの書き戻しをサポート¶

このリリースから、バッチ予測のJDBCデータソースとして、Databricksがサポートされるようになりました。 バッチ予測でサポートされているデータソースの詳細については、ドキュメントを参照してください。

新しいプレビュー機能¶

デプロイのリアルタイム通知¶

DataRobotは 通知システムで自動監視を行い、サービスの正常性、データドリフトステータス、モデルの精度、公平性値が組織の許容値から逸脱したときにトリガーされるアラートを設定できます。 プレビュー版の機能です。これらのステータスアラートのリアルタイム通知を有効にすることで、スケジュールされた正常性ステータスの通知を待つことなく、モデルの正常性の変化に組織がすばやく対応できます。

詳しくは、完全なドキュメントをご覧ください。

デフォルトではオフの機能フラグ：デプロイのリアルタイム通知を有効にする

デプロイ予測のバッチ監視¶

プレビュー版の機能です。時間単位ではなくバッチ単位で整理された監視統計を表示できます。 バッチ対応のデプロイでは、予測 > バッチ管理タブにアクセスし、バッチの作成と管理を行うことができます。 その後、これらのバッチに予測を追加し、デプロイ内のバッチごとにサービスの正常性、データドリフト、精度、カスタム指標の統計情報を表示できます。 バッチを作成して、バッチに予測を割り当てるには、UIまたはAPIを使用します。 さらに、バッチ予測またはスケジュールされたバッチ予測ジョブが実行されるたびに、バッチが自動的に作成され、バッチ予測ジョブからのすべての予測がそのバッチに追加されます。

デフォルトではオフの機能フラグ：

• デプロイのバッチ監視を有効にする
• デプロイのバッチカスタム指標を有効にする

プレビュー機能のドキュメントをご覧ください。

モデルレジストリのカスタムジョブ¶

プレビュー機能として、モデルレジストリでカスタムジョブを作成して、モデルとデプロイの自動化（カスタムテストなど）を実装できるようになりました。 各ジョブは自動化されたワークロードとして機能し、終了コードによって正常終了か失敗かが判定されます。 1つまたは複数のモデルまたはデプロイ用に作成したカスタムジョブを実行できます。 カスタムジョブをアセンブルするときに定義する自動ワークロードは、DataRobotのパブリックAPIを使用して予測リクエストの作成、入力の取得、出力の保存を行うことができます。

For more information, see the documentation.

デフォルトではオフの機能フラグ：カスタムジョブを有効にする

ホストされたカスタム指標¶

プレビュー版の機能です。組織のカスタム指標を最大5つデプロイに実装できるだけでなく、DataRobot Notebooksを使用してコードをアップロードしてホストし、カスタム指標を他のデプロイに簡単に追加できます。 カスタム指標を設定すると、指標に対するコードを含むノートブックがロードされます。 ノートブックには、1つのカスタム指標セル、指標のエクスポートと計算方法を定義するPythonコード、スコアリング用のコード、指標を入力するコードを含む。一意のタイプのノートブックセルが含まれています。

プレビュー機能のドキュメントをご覧ください。

デフォルトではオフの機能フラグ：

• ホストされたカスタム指標を有効にする
• カスタムジョブを有効にする
• Notebooksでカスタム環境を有効にする

集計を有効にした監視ジョブの精度¶

プレビュー版の機能です。集計を有効にした外部モデルの監視ジョブは、精度の追跡に対応できます。 集計を使用するを有効にし、保持設定を行って、データがMLOpsライブラリによって集計されることを示し、チャレンジャーモデルと精度分析のために保持すべき元データの量を定義します。その後、精度監視のために実測値列をレポートするには、予測列と関連付けID列を定義します。

デフォルトではオフの機能フラグ：精度の集計を有効にする

詳しくは、完全なドキュメントをご覧ください。

NextGenの新機能¶

NextGenのワークベンチでのトレーニングデータによる予測¶

NextGenで一般提供を開始しました。ワークベンチでエクスペリメントを作成してモデルをトレーニングした後、モデルアクション > 予測を作成からトレーニングデータに対して予測を行うことができます。

トレーニングデータで予測を行う場合、プロジェクトのタイプに応じて、以下のオプションのいずれかを選択できます。

詳しくは、完全なドキュメントをご覧ください。

NextGenのレジストリ¶

NextGenで一般提供を開始しました。レジストリは、DataRobotで使用されるさまざまなモデルのための組織的ハブです。 レジストリ > モデルディレクトリページには、_登録されたモデル_が一覧表示され、それぞれにデプロイ可能なモデルパッケージが_バージョン_として含まれています。 これらの登録モデルには、DataRobotのモデル、カスタムモデル、外部モデルをバージョンとして含めることが可能で、予測モデルや生成モデルの進化を追跡し、一元管理することができます。

レジストリから、モデルの構成要素が意図したとおりに機能することを証明するコンプライアンスドキュメントを作成したり、登録されたモデルのバージョンのキー値を管理したり、モデルを本番環境にデプロイしたりすることができます。

詳しくは、完全なドキュメントをご覧ください。

デフォルトではオンの機能フラグ：NextGenのレジストリを有効にする

NextGenのモデルワークショップ¶

NextGenで一般提供を開始しました。モデルワークショップでは、モデルのアーティファクトをアップロードして、カスタムモデルの作成、テスト、登録、デプロイを、一元化されたモデル管理とデプロイのハブで行うことができます。 カスタムモデルは、DataRobotのMLOps機能のほとんどをサポートする事前トレーニング済みのユーザー定義モデルです。 DataRobotは、Python、R、Javaを始めとするさまざまなコーディング言語で構築されたカスタムモデルをサポートします。 DataRobot以外でモデルを作成し、DataRobotにアップロードする場合は、モデルワークショップでモデルの内容とモデル環境を定義します。

デフォルトではオンの機能フラグ：NextGenのレジストリを有効にする

NextGenのジョブ¶

NextGenで一般提供を開始しました。ジョブを使用して、モデルやデプロイの自動化（カスタムテストなど）を実装できます。 各ジョブは自動化されたワークロードとして機能し、終了コードによって正常終了か失敗かが判定されます。 1つまたは複数のモデルまたはデプロイ用に作成したカスタムジョブを実行できます。 カスタムジョブによって定義された自動ワークロードは、DataRobotのパブリックAPIを使用して、予測リクエスト、入力の取得、出力の保存を行うことができます。

デフォルトではオンの機能フラグ：NextGenのレジストリを有効にする

デフォルトではオフの機能フラグ：カスタムジョブを有効にする

NextGenコンソール¶

NextGen DataRobotコンソールでは、DataRobot ClassicのMLOpsでおなじみの重要な管理、監視、ガバナンス機能を、刷新されたモダンなユーザーインターフェイスで提供します。

この一新されたユーザーインターフェイスにより、使い慣れたユーザーエクスペリエンスを維持しながら、（NextGenのワークベンチとレジストリでの）モデルのエクスペリメントと登録から、コンソールでのデプロイによるモデルの監視と管理へのシームレスな移行が可能です。 このドキュメントでは、NextGenの機能に関するDataRobot Classicのドキュメントへのリンクを示します。

詳細については、ドキュメントを参照してください。

デフォルトではオンの機能フラグ：コンソールを有効にする

記載されている製品名および会社名は、各社の商標または登録商標です。 製品名または会社名の使用は、それらとの提携やそれらによる推奨を意味するものではありません。