MLOps（V7.1）¶
2021年6月14日
DataRobot MLOps v7.1リリースには、以下に示す多くの新機能が含まれています。
リリースv7.1では、以下の言語のUI文字列の翻訳が更新されています。
- 日本語
- フランス語
- スペイン語
Pricing 5.0の概要¶
Pricing 5.0はDataRobotユーザーが利用できる最新のプランです。このプランでは、DataRobot MLOpsをサポートする多数の機能が導入されています。
-
各ユーザーまたは組織には、一度に実行できるアクティブなデプロイの数が設定されています。制限数はデプロイインベントリのステータスタイルに表示されます。Pricing 5.0のユーザーは、アクティブまたは非アクティブなデプロイでリーダーボードをフィルターできます。
-
AutoMLでモデルを構築する場合、モデルパッケージ（.mlpkgs）をダウンロードして、直接モデルリーダーボードからポータブル予測サーバーを使用できます。デプロイワークフローを使用する必要はありません。
-
AutoMLでモデルを構築する場合、モデルリーダーボードからモデルのスコアリングコードをダウンロードできます。デプロイワークフローを使用する必要はありません。以前は、スコアリングコードをダウンロードすると、関連するデプロイが永続的に使用されていました。現在、これらのデプロイは非アクティブにすることや削除することができるようになりました。さらに、ユーザーはスコアリングコードのダウンロードに予測の説明を含めることができます。
新機能と機能強化¶
以下の新しいデプロイ機能の詳細を参照してください。
- 現在正規版（GA）：多クラスデプロイでのモニタリングを改善
- 時系列デプロイの自動実績値フィードバック
- 現在正規版（GA）：外部デプロイでのチャレンジャーモデルの使用
現在、以下に示す新しいデプロイ機能がパブリックベータに含まれています。この機能を有効にする方法については、DataRobotの担当者にお問い合わせください：
- デプロイレポート
- デプロイ統計をリセット
- 管理エージェント
- 外部モデルのベースラインリビジョン
新しい予測機能¶
以下の新しい予測機能の詳細を参照してください。
- バッチ予測クラウドコネクター
現在、以下に示す新しい予測機能がパブリックベータに含まれています。この機能を有効にする方法については、DataRobotの担当者にお問い合わせください：
- Snowflakeのスコアリングコード
- スコアリングコードに予測の説明を含める
- バッチ予測ジョブの定義とスケジューリング
- MLOpsエージェント：Kafka
- ポータブルバッチ予測
- バッチ予測のParquetサポート
- カスタムモデルのバッチ予測の改善
新しいモデル登録機能¶
以下の新しいモデル登録機能の詳細を参照してください。
- ビルド済み画像として環境をアップロード
- 現在正規版（GA）：BitbucketサーバーまたはGitHub Enterpriseリポジトリをカスタム推論モデルと統合
- 現在正規版（GA）：カスタム推論異常検知
新しいガバナンス機能¶
以下の新しいガバナンス機能の詳細を参照してください。
- ガバナンスメタデータに追加された特徴量セット
新しいデプロイ機能¶
リリースv7.1では、次の一般的に利用可能なデプロイ機能が導入されています。
多クラスデプロイの監視サポートを改善¶
一般提供になった機能として、多クラスデプロイに追加の監視サポートが導入されました。多クラスデプロイでは、[精度]タブと[データドリフト]グラフに表示されるデータを変更するためのクラスベースの設定が提供されます。クラスセレクターを使用して、デプロイに必要なクラスを表示します。DataRobotには、クラスのクイック選択ショートカット（トレーニングデータで最も一般的な5つのクラス、精度スコアが最も低い5つのクラス、データドリフトが最も多い5つのクラス）が用意されています。指定すると、タブ（[精度]または[データドリフト]）のチャートが更新され、選択したクラスが表示されます。
時系列デプロイの自動実績値フィードバック¶
関連付けIDが示されている時系列デプロイでは、実測値の自動送信を有効にできるため、UIまたはAPIを介して手動で送信する必要はありません。有効にした場合、予測の生成に使用されるデータから実測値を抽出できます。各予測リクエストが送信されると、DataRobotは特定の日付の実測値を抽出できます。これは、予測行を予測に送信すると、履歴データが含まれるためです。この履歴データは、前の予測リクエストの実測値として機能します。
チャレンジャーモデルが外部デプロイで利用可能になりました¶
リモート予測環境のデプロイでは、チャレンジャータブを使用できます。リモートモデルはチャンピオンモデルとして機能し、DataRobotとカスタムモデルのチャレンジャーと比較できます。チャンピオンモデルをチャレンジャーで置き換える場合は、モデルをカスタムモデルまたはDataRobotチャレンジャーモデルに置き換えて、その新しいチャンピオンをリモート予測環境にデプロイすることもできます。
新しいパブリックベータのデプロイ機能¶
リリースv7.1では、次のパブリックベータデプロイ機能が導入されています。
デプロイレポート¶
他の多くの詳細の中でサービスの正常性、データドリフト、精度統計に関するインサイトなど、デプロイのステータスに関する重要な情報を詳細に記述したデプロイレポートをオンデマンドで生成できるようになりました。さらに、定義された条件（頻度、時間、および曜日）に基づいてデプロイレポートを自動的に生成するポリシーとして機能するレポートスケジュールを作成できます。ポリシーがトリガーされると、新しいレポートが生成され、デプロイにアクセスできるユーザーにメール通知が送信されます。
デプロイ分析をリセットする¶
デプロイは、モデルまたは時間範囲による監視データの削除をサポートするようになりました。このアクションは承認ワークフローで管理することで、意図しない削除を防止しています。この機能を使用すると、誤って送信された監視データや、モデルをデプロイするインテグレーションのテストフェーズ中に送信された監視データをデプロイから削除できます。
管理エージェント¶
DataRobotでは、管理エージェントを導入して、デプロイ状態を把握し、アーティファクトの取得、モデルのデプロイ、およびそれらの外部での置き換えを行うタスクを自動化できます。エージェントを拡張して、さまざまなモデル形式および予測環境で異なるユースケースをサポートできます。管理者は、予測環境で管理エージェントを設定して、MLOps内のユーザーアクションに基づいてモデルのデプロイと置換を自動化できます。MLOpsエージェントと簡単にペアリングして、モデルを自動的に監視し、チャレンジャーモデルなどの追加のMLOps機能と統合します。管理エージェントは、モデルデプロイを標準化および自動化するためのツールです。
外部モデルのベースラインリビジョン¶
リモート環境にデプロイされた二値分類モデルをホールドアウトデータに登録し、以前はDataRobot AutoMLで構築されたモデルでしか利用できなかった追加のドリフトと精度のベースラインを外部デプロイで計算できるようになりました。精度の監視時に、現在の精度計算をモデルのトレーニング時のベースラインと比較できるようになりました。さらに、ターゲットドリフトは、予測しきい値を適用する前に、予測値を使用したより詳細なドリフト分析をサポートするようになりました。
新しい予測機能¶
リリースv7.1では、次の一般的に利用可能な予測機能が導入されています。
バッチ予測クラウドコネクター¶
バッチ予測APIがSnowflakeとAzure Synapseに固有のコネクターをサポートし、スコアリング中のデータの取込みとエクスポートを行うことができるようになりました。JDBCを使用してデータを転送すると、IOPS（1秒あたりの入力/出力操作）の点でコストがかかり、データウェアハウスの費用がかさむ可能性があります。このアダプターは、クラウドストレージと一括挿入を使用してハイブリッドJDBCクラウドストレージソリューションを作成することで、予測スコアリング時のデータベースエンジンの負荷を軽減させます。
新しいパブリックベータ予測機能¶
リリースv7.1では、次のパブリックベータ予測機能が導入されています。
Snowflakeのスコアリングコード¶
DataRobotのスコアリングコードは、Snowflakeの新しいJava UDF機能を使用して、Snowflake内で直接実行できるようになりました。この機能により、Snowflakeからデータを抽出して読み込む必要がなくなり、大規模なデータセットをスコアリングするためのルートがはるかに高速になります。デプロイのポータブル予測タブは、デプロイがSnowflake予測環境で作成されたときにこの機能を有効化するように調整されています。
スコアリングコードに予測の説明を含める¶
モデルをデプロイする場所（DataRobot、ポータブル予測サーバー、Javaスコアリングコード）で予測の説明を受け取ることができるようになりました。予測の説明は、予測に対する効果特徴量の定量的なインジケーターを提供するので、特定のモデルで特定の予測が作成された理由を知ることができます。スコアリングコードからモデルをダウンロードするときにポータブル予測タブで予測の説明を有効にすることができます。
バッチ予測ジョブの定義とスケジューリング¶
予測の作成タブでデプロイのバッチ予測を行う場合、APIを使用せずに、デプロイから直接JDBCおよびクラウドストレージ予測ジョブを作成およびスケジュールできるようになりました。さらに、実行された予測ジョブの履歴を表示できます。ジョブの名前、予測ソース、設定、および予測宛先を定義します。すべての仕様は、後で使用するために保存されます。
新しいMLOpsエージェントチャネル：¶
MLOpsエージェントが、これまでサポートしていたチャネル（File、AWS SQS、Google Pub、Google Sub、RabbitMQ）に加えて、Kafkaをサポートするようになりました。エージェントは、多くの予測環境とKafkaサポートに簡単にデプロイできるようになり、追加のキューイングサービスが不要になりました。
ポータブルバッチ予測¶
ポータブル予測サーバーを追加のコンテナと組み合わせて、ファイルストレージ、JDBC、およびクラウドストレージを使用してバッチ予測ジョブを調整できるようになりました。ポータブル予測サーバーの利用時に、予測の大規模なバッチ処理を手動で管理する必要がなくなりました。さらに、データまたはその近く、またはパブリックインターネットにアクセスできないファイアウォールの背後にある環境に大規模なバッチ予測ジョブを配置できます
バッチ予測のParquetサポート¶
バッチ予測APIは、取込みと出力の両方でParquet形式のファイルをサポートするように拡張されました。Parquetファイル形式のサポートにより、予測パイプラインに追加の変換手順を実装する必要がなくなります。
カスタムモデルのバッチ予測の改善¶
カスタムモデルデプロイの場合、バッチ予測レプリカ設定によりパフォーマンスが向上し、大規模な予測ジョブが安定します。
新しいモデル登録機能¶
リリースv7.1では、一般提供されている次のモデルレジストリ機能が導入されています。
ビルド済み画像として環境をアップロード¶
カスタムモデルの環境をビルド済み画像としてアップロードできるようになりました。このイメージは、.tar、.gz、または.tgz形式でtarballとして保存されたDocker画像です。ビルド済みのイメージを提供する場合、環境のコンテキストファイル（Dockerfileおよびその他の関連ファイルを含むtarballアーカイブ）を提供する必要はありません。ビルド済みのイメージを提供するか、コンテキストファイルを使用して環境をビルドする場合は、ビルドされた環境イメージを.tarファイルとしてダウンロードできます。
カスタムモデル向けのGitHub EnterpriseとBitbucket Serverのインテグレーション¶
GitHub EnterpriseおよびBitbucket Serverリポジトリをモデルレジストリに登録して、アーティファクトをDataRobotにプルし、カスタム推論モデルを構築できるようになりました。これらのリポジトリのいずれかを統合すると、管理されたコード中心の機械学習の開発環境と管理されたMLOps環境の間で直接転送を行えるようになります。
異常検知のカスタム推論モデル¶
異常検知の問題に対するカスタム推論モデルを作成する機能が現在一般提供されています。カスタムモデルを作成するときに、ターゲットタイプとして「異常検知」を指定できます。また、異常検知モデル用DRUMテンプレートにアクセスできます。デプロイされたカスタム推論異常検知モデルの場合、次の機能はサポートされません。
- データドリフト
- 精度と関連付けID
- チャレンジャーモデル
- 信頼性ルール
- 予測間隔
新しいパブリックベータガバナンス機能¶
リリースv7.1では、次のパブリックベータ機能が導入されています。
ガバナンスメタデータに追加された特徴量セット¶
モデルレジストリとデプロイが拡張され、モデルの特徴量セットと特徴量の有用性を表示できるようになりました。元のモデリングプロジェクトに戻らずにこのメタデータにアクセスして、モデルの完全な特徴量セットを把握できるようになりました。
