MLOps（V8.0）¶
2022年3月14日
DataRobot MLOps v8.0リリースには、以下に示す多くの新機能が含まれています。リリース8.0の詳細については、AutoMLおよび時系列（AutoTS）リリースノートもご参照ください。
リリースv8.0では、以下の言語のUI文字列の翻訳が更新されています。
- 日本語
- フランス語
- スペイン語
- 韓国語
機能追加と機能改善¶
以下の新しい機能の詳細を参照してください。
新しいデプロイ機能
- 再トレーニングポリシーのキャンセル
- DataRobot MLOpsライブラリとサードパーティのスプーラータイプ
- チャレンジャーの精度
- チャレンジャーのインサイト
- [インテグレーション]タブから削除されたデータベース統合
新しい予測機能
新しいガバナンス機能
パブリックプレビュー機能
新しいデプロイ機能¶
再トレーニングポリシーのキャンセル¶
デプロイ済みモデルの自動再トレーニングを管理するには、再トレーニングポリシーを設定します。ポリシーは、手動でトリガーすることも、スケジュール、ドリフトステータス、または精度ステータスに応じてトリガーすることもできます。進行中またはスケジュール済みポリシーの実行をキャンセルできるようになりました。実行が正常に終了した場合、失敗した場合、「チャレンジャーの作成」または「モデルの置換」のステータスの場合、またはすでにキャンセルされている場合は、実行をキャンセルすることはできません。
DataRobot MLOpsライブラリとサードパーティのスプーラータイプ¶
datarobot-mlopsライブラリには、デフォルトでAWS（SQS）とRabbitMQの依存関係が含まれなくなりました。これらのスプーラータイプを使用している場合は、スプーラー固有の依存関係をインストールする必要があります。詳細については、DataRobot MLOps指標レポートライブラリのインストールを参照してください。
チャレンジャーの精度¶
デプロイのチャレンジャータブの、デプロイチャレンジャーの概要に、チャンピオンとすべてのチャレンジャーの精度列が含まれるようになりました。この列は、選択した日付範囲のモデルの精度スコアを報告し、チャレンジャーモデルの場合は、チャンピオンの精度スコアとの比較を報告します。精度指標ドロップダウンメニューを使用すると、さまざまな指標を比較できます。
チャレンジャーの精度比較の詳細については、チャレンジャーモデルの概要を参照してください。
チャレンジャーのインサイト¶
現在一般提供されているモデル比較タブのモデルインサイトでは、強力な視覚化を使用して、チャンピオンモデルとチャレンジャーモデルの構成、信頼性、および動作を比較できます。2つのモデルを選択して直接対決し、チャレンジャーモデルが現在のチャンピオンを上回り、本番環境のチャンピオンモデルを置き換える必要があるかどうかを判断します。
2つのモデルを選択すると、DataRobotはそれらのモデルについて次のモデル比較を計算します。
精度リストには、各モデルの精度指標を報告する2つの列が含まれています。強調表示された数字は好ましい値を表しています。この例では、チャンピオンのモデル1は表示されているほとんどの指標でモデル2よりも優れています。
デュアルリフトチャートは、選択した2つのモデルが、予測の分布全体で実測値を過小予測または過大予測する方法を比較する視覚化です。
リフトチャートは、モデルがターゲットの母集団をどの程度うまく分割しているか、そしてターゲットを予測することができるかを示し、モデルの有効性を視覚化できます。
本機能の提供について
[ROC]タブは二値分類プロジェクトでのみ使用できます。
あるデータソースに基づき、True Positive RateをFalse Positive Rateに対比させる形でプロットしたものがROC曲線です。ROC曲線を使用して、比較するモデルの分類、パフォーマンス、統計を調査します。
予測の違いヒストグラムには、予測一致しきい値フィールドで指定した一致しきい値内にある予測の割合が（対応する行数とともに）表示されます。
ヒストグラムの下のリストは、（絶対値の観点から）1000個の最も異なる予測を示しています。違い列は予測がどの程度離れているかを示します。
これらのチャレンジャーのインサイトの詳細については、チャレンジャーモデルの比較を参照してください。
[インテグレーション]タブから削除されたデータベース統合¶
予測データベースのインテグレーションプロセスを簡素化するために、設定 > インテグレーションタブのデータベースセクションは完全に使用非推奨になりました。この機能は、予測 > ジョブの定義タブに置き換えられています。
Qlik予測インテグレーションコードスニペット、および適切な権限があればパブリックプレビューTableau分析拡張機能をインテグレーションタブで引き続き使用することができます。
予測ソース設定の詳細については、定期的なバッチ予測ジョブのスケジュールを参照してください。
新しい予測機能¶
予測バッチジョブ定義の機能強化¶
ジョブ定義の無効化¶
以前のリリースでは、ジョブの説明を編集し、スケジュールの切り替え時にこのジョブを自動的に実行するをオフにするだけで、ジョブの説明を無効にすることができました。現在、ジョブ定義のアクションメニューで定義の無効化を選択して、説明を無効にできます。そのジョブ定義からスケジュール済みジョブの実行を停止します。ジョブを再開するには、定義の有効化を選択します。
ジョブ定義のクローン作成¶
既存のジョブの説明のコピーを作成し、ジョブ定義のアクションメニューでクローンの定義を選択して更新できます。必要に応じてフィールドを更新し、予測ジョブ定義の保存をクリックします。ジョブのスケジュール設定はデフォルトでオフになっていることに注意してください。
予測ソースの設定¶
予測ジョブのデータソースを設定する場合、DataRobotはデータがデプロイ済みモデルに適用可能であるかを検証します。DataRobotには、予測ソースを設定したユーザー、変更日、およびソースのタイプ（この場合はSTATIC）を表すバッジも表示されます。
デフォルトの予測インスタンスの選択¶
バッチジョブ定義を作成する場合、デフォルトの予測インスタンスを使用できるようになりました。高度なオプションには、デフォルトの予測インスタンスを使用する トグルがあります。
DataRobotは、デフォルトまたは以前に選択された予測インスタンスがアクセス可能で有効であることを確認し、そうでない場合はエラーメッセージを表示します。
トグルをオフにすると、別の予測インスタンスを選択できます。
SnowflakeとSynapseの接続の改善¶
SnowflakeとSynapse接続の予測ソースおよび宛先設定で以下が改善されました。
SnowflakeとSynapseの外部ステージの使用オプションが任意になりました。それらをオフに切り替えると、JDBCアダプターを直接使用するように接続が更新されます。
接続の詳細を失うことなく、JDBC Snowflake接続設定とSnowflake最上位レベル接続を切り替えることができるようになりました。
JDBC-SnowflakeおよびJDBC-Synapse接続は、外部ステージの使用オプションがオフになっている状態で、最上位の接続として表示されるようになりました。
バッチジョブのフィルタリング¶
予測ジョブタブから、既存のフィルター（ステータス、ジョブタイプ（ジョブの生成に使用された方法に基づく）、ジョブの開始時間と終了時間、デプロイ、ジョブ定義ID、予測ジョブIDおよび予測環境）に加えて、予測ジョブIDでフィルター処理できるようになりました。
リーダーボードスコアリングコードの機能強化¶
ポータブル予測ページのリーダーボードスコアリングコード機能が更新され、デプロイのポータブル予測ページの機能と一致するようになりました。このページには、スコアリングコードに予測の説明を含めるオプションも含まれるようになりました。
詳細については、リーダーボードからのスコアリングコードのダウンロードを参照してください。
Snowflakeのスコアリングコード¶
現在一般提供されており、SnowflakeでスコアリングコードをUDFとして使用できます。Snowflakeデータベース内にスコアリングコードを導入すると、データを抽出して読み込む必要がなくなり、同等のインフラストラクチャで大規模なデータセットをスコアリングする時間を大幅に短縮できます。
UDFスコアリングコードを生成する方法を参照してください。
Prestoのバッチ予測の書き込みサポート¶
Prestoに予測データを書き込むことができるようになりました。これを行うには、PrestoをJDBCデータ接続として設定します。バッチ予測ジョブ定義（予測 > ジョブ定義）で、JDBCを予測先に選択します。
コネクターのリストから、Prestoコネクターを選択します。
資格情報の入力：
スキーマの選択：
出力テーブルを選択するか、テーブルを新規作成します。
備考
Prestoでは、書き込みを遅らせる可能性のある基盤となるコネクターのほとんどにauto commit: trueを使用する必要があります。
新しいガバナンス機能¶
データドリフトは、ターゲットの監視と特徴量の追跡に分けられる¶
データドリフト、精度、公平性の監視をよりきめ細かく制御するために、 デプロイの設定 >データタブのデータドリフト追跡を有効にする設定が2つの設定に分割されました：ターゲット監視の有効化と特徴量ドリフト追跡の有効化です。
精度を追跡するには、ターゲット監視を有効にする必要があります（精度タブ）と公平性（バイアスと公平性タブ）。データドリフトを監視するには、特徴量追跡を有効にする必要があります（データドリフトタブ）。これらの設定はデフォルトで有効になっています。いずれかの設定をオフにしても、対応するタブの視覚化で履歴データを表示できます。
詳細については、デプロイ設定を参照してください。
パブリックプレビュー機能¶
MLOpsエージェントのイベントログ¶
パブリックプレビューで利用できるようになりました。デプロイのサービス正常性タブで、MLOpsエージェントの管理イベント（デプロイアクションなど）と監視イベント（スプーラーチャネルイベントなど）を表示できます。スプーラーチャネルの監視エラーイベントを使用して、すばやく診断してスプーラー設定の問題を修正できます。
監視イベントを表示するには、エージェント設定ファイル（conf\mlops.agent.conf.yaml）でpredictionEnvironmentIDを指定する必要があります。MLOpsエージェントをまだインストールおよび設定していない場合は、 インストールと設定ガイドを参照してください。
MLOpsエージェントイベントログの有効化と読み取りの詳細については、パブリックプレビュードキュメントを参照してください。
バッチ予測APIのマルチパートアップロード¶
パブリックプレビューで利用できるようになりました。バッチ予測APIのマルチパートアップロードを使用すると、スコアリングデータを複数ファイルからアップロードして、大規模なデータセットのファイル取り込みを改善できます。マルチパートアップロードプロセスでは、複数のPUTリクエストの後にPOSTリクエスト（finalizeMultipart）を必要とし、手動でアップロードを完了させます。
この機能により、バッチ予測APIに2つの新しいエンドポイントが追加されます。
| エンドポイント | 説明 |
|---|---|
PUT /api/v2/batchPredictions/:id/csvUpload/part/0/ |
スコアリングデータを複数の部分でcsvUploadで指定されたURLにアップロードします。アップロードの各部分について、0を1つずつ順番に増やします。 |
POST /api/v2/batchPredictions/:id/csvUpload/finalizeMultipart/ |
マルチパートアップロードプロセスを完了します。完了する前に、アップロードの各部分が終了していることを確認してください。 |
この機能により、ローカルファイルアダプターに2つの新しい取り込み設定が追加されます。
| プロパティ | タイプ | デフォルト | 説明 |
|---|---|---|---|
intakeSettings.multipart |
ブーリアン | false |
|
intakeSettings.async |
ブーリアン | true |
|
備考
バッチ予測APIとローカルファイルの取り込みの詳細については、バッチ予測APIと予測取り込みオプションを参照してください。
バッチ予測プロセスのマルチパートアップロードの詳細については、パブリックプレビュードキュメントを参照してください。