2023年11月¶
2023年11月
今回のデプロイにより、DataRobotのAIプラットフォームには、以下の一般提供およびプレビューの新機能が提供されました。 リリースセンターからは、次のものにもアクセスできます。
注目の新機能¶
拡張性が高く、フルカスタマイズ可能で、特定のクラウドに依存しないGenAI機能を導入¶
DataRobot GenAI機能を使用すると、事前にトレーニングされたさまざまな大規模言語モデル(LLM)を使用してテキストコンテンツを生成できます。 さらに、ベクターデータベースを構築し、LLMブループリントで活用することで、データに合わせてコンテンツを調整することができます。 DataRobotの生成AI製品では、DataRobotの予測AIエクスペリエンスに基づいて信頼性スコアを作成し、お気に入りのライブラリの使用、LLMの選択、サードパーティのツールの統合を行うことができます。 ホストされたノートブックまたはDataRobotのUIを使用して、ビジネスの価値を高めるあらゆる場所にAIを埋め込むかデプロイし、パイプライン内の各資産に組み込みのガバナンスを活用できます。 DataRobotのUIからは、以下のことができます
コードを使えば、独自の外部LLMやベクターデータベースを利用できます。
DataRobot NextGenの拡張に伴う新しいナビゲーション¶
DataRobotの新しいユーザーインターフェイスであるNextGenにレジストリとコンソールが導入されたことで、トップレベルのナビゲーションが変更されました。 「DataRobot Classic」または「ワークベンチ」を選択するのでなく、「DataRobot Classic」と「DataRobot NextGen」のどちらかを選択するようになりました。 NextGenは、構築(ワークベンチ)、ガバナンス(レジストリ)、運用(コンソール)といったツールのフルパイプラインで構成されています。 すべてのオプションは、パンくずドロップダウンから利用できます。
11月リリース¶
次の表は、新機能の一覧です。
目的別にグループ化された機能
* プレミアム機能
一般提供¶
AIカタログでのElasticsearchの無効化¶
AIカタログでアセットを検索する際にパフォーマンスの問題や予期せぬ動作が発生する場合は、Elasticsearchを無効にしてみてください。
デフォルトではオフの機能フラグ:AIカタログの検索でElasticSearchを無効にする
デフォルトのユーザーエクスペリエンスの変更¶
DataRobot ClassicとNextGenを切り替えて、デフォルトのユーザーインターフェイスを設定できるようになりました。 ユーザー設定のドロップダウンから、プロフィールを選択します。 新しいNextGen UIを使用するには、このトグルを有効にします。DataRobot Classicを使用するにはトグルを無効にします。
ワークベンチでの予測プロジェクトに2つのパーティション分割方法を追加¶
一般提供機能です。ワークベンチで、ユーザー定義のグループ化(Classicでは「列ベース」つまり「パーティション特徴量」)と自動グループ化(Classicでは「グループパーティション」)をサポートするようになりました。 あまり一般的ではありませんが、ユーザー定義および自動グループパーティション分割では、パーティション特徴量(グループ化の基礎となるデータセットの特徴量)によってパーティション分割する方法を提供します。 グループ化を使用するには、パーティション特徴量のカーディナリティに基づいて方法を選択します。 選択したら、検定タイプを選択します。適切な検定タイプの選択方法や、パーティション分割にグループ化を使用する方法について詳しくは、ドキュメントを参照してください。
DataRobot Classicでの時間認識エクスペリメントにおいて、スライスされたインサイトの一般提供を開始¶
このデプロイでは、DataRobot Classicのリフトチャート、ROC曲線、特徴量ごとの作用、特徴量のインパクトで、OTVおよび時系列プロジェクトのスライスされたインサイト が一般提供されました。 スライスされたインサイトは、特徴量値に基づいて、モデルの派生データの部分母集団を表示するオプションを提供します。 スライスされたインサイトから取得したセグメントベースの精度情報を使用するか、セグメントを「グローバル」スライス(すべてのデータ)と比較して、トレーニングデータを改善、セグメントごとに個別モデルを作成、またはデプロイ後の予測を補強します。
時間認識エクスペリメントで日付/時刻パーティションの一般提供を開始¶
時間認識エクスペリメントの作成機能(予測または時系列予測)が一般提供されました。 行ごとの予測のためのセットアップの多くを共有する簡素化されたワークフロー、より明確なバックテスト修正ツール、構築前に変更をリセットする機能により、時間に関連するデータをすばやく簡単に操作できるようになりました。
新しいモデルレジストリでのバージョン管理のサポート¶
app.eu.datarobot.comおよびapp.jp.datarobot.comで一般提供機能になりました。新しいモデルレジストリは、DataRobotで使用されるさまざまなモデルのための組織的ハブです。 モデルは、デプロイ可能なモデルパッケージとして登録されます。 これらのモデルパッケージは、登録されたモデルバージョンを含む登録モデルにグループ化され、解決するビジネス問題に基づいて分類できます。 登録されたモデルには、DataRobotのモデル、カスタムモデル、外部モデル、チャレンジャーモデル、および自動的に再トレーニングされたモデルをバージョンとして含めることができます。
この変更では、モデルレジストリ > モデルパッケージタブにあるパッケージは登録モデルに変換され、新しい登録済みのモデルタブに移行されます。 移行された各登録モデルには、登録されたモデルバージョンが含まれています。元のパッケージは、新しいタブでは、登録モデル名に追加されたモデルパッケージID(登録されているモデルバージョンID)によって識別できます。
移行が完了すると、変更されたモデルレジストリでは、新しいバージョン管理機能と一元管理で、予測モデルと生成モデルの進化を追跡できます。 さらに、元のモデルと関連するデプロイの両方にアクセスでき、登録したモデル(およびそのモデルに含まれるバージョン)を他のユーザーと共有することができます。
今回の変更は、以前のモデルパッケージワークフローの変更に基づいており、デプロイするモデルを登録する必要があります。 リーダーボードからモデルを登録してデプロイするには、まずモデルの登録情報を提供する必要があります。
-
リーダーボードで、予測の生成に使用するモデルを選択します。 デプロイ推奨とデプロイの準備済みのバッジが付いたモデルをお勧めします。 モデル準備プロセスでは、特徴量のインパクトが実行され、特徴量の数を減らした特徴量セットでモデルが再トレーニングされて、より大きなサンプルサイズでトレーニングされた後、サンプル全体(日付/時刻で分割されたプロジェクトの最新データ)でトレーニングされます。
-
予測 > デプロイをクリックします。 リーダーボードモデルにデプロイの準備済みバッジがない場合、デプロイの準備をクリックして、そのモデルに対してモデル準備プロセスを実行することを推奨します。
ヒント
すでにそのモデルをモデルレジストリに追加している場合、登録されているモデルのバージョンがモデルのバージョンリストに表示されます。 モデルの横にあるデプロイをクリックして、このプロセスの残りの部分をスキップできます。
-
モデルをデプロイで、登録してデプロイをクリックします。
-
新規モデルの登録ダイアログボックスで、必要なモデルパッケージのモデル情報を入力します。
-
レジストリに追加をクリックします。 モデルレジストリ > 登録済みのモデルタブでモデルが開きます。
-
登録モデルの構築中に、デプロイをクリックして、デプロイ設定を行います。
詳しくはドキュメントをご覧ください。
AzureMLでのスコアリングコードの自動デプロイと置換¶
プレミアム機能です。DataRobotが管理するAzureML予測環境を作成して、AzureMLにDataRobotのスコアリングコードをデプロイできます。 DataRobotによる管理オプションを有効にすると、AzureMLに外部デプロイされたモデルは、スコアリングコードの自動置換を含むMLOps管理機能を利用できます。 AzureMLの予測環境を作成したら、モデルレジストリからその環境にスコアリングコード対応モデルをデプロイできます。
詳しくはドキュメントをご覧ください。
プレビュー¶
組織でのユースケースの共有¶
プレビュー版の機能です。組織全体や特定のユーザーとユースケースを共有することができます。 ユースケースで、メンバーを管理をクリックし、組織を選択します。
デフォルトではオンの機能フラグ:組織全体でのユースケースの共有を無効にする
新しいホームページで新機能、アクセラレーター、ニュースを紹介¶
新しいDataRobotホームページでは、DataRobotで成果を上げるために必要なすべての情報にアクセスできます。 右側のペインには、新しくリリースされた機能やアクセラレーター、ニュース項目の概要が表示されます。 詳細については、それぞれをクリックしてください。 中央には、今月のお勧めYouTube動画と、初心者向けの再生リストが表示されます。 ページ上部のタブでは、ワークベンチ、レジストリ、コンソールでのアクティビティがレポートされますが、それらを起動することも可能です。 下部にあるタブには、アプリケーション外のDataRobotサイト(ドキュメント、サポート、コミュニティ、DataRobot University)へのクイックリンクがあります。
ワークベンチにS3のサポートを追加¶
AWS S3のサポートがワークベンチに追加され、以下のことができるようになりました。
- データ接続を作成して設定する。
- ユースケースにS3データセットを追加する。
デフォルトではオンの機能フラグ:ネイティブS3ドライバーを有効にする
プレビュー機能のドキュメントをご覧ください。
特徴量探索プロジェクトでパフォーマンスを向上させる分散モード¶
特徴量探索プロジェクトで、分散モードをプレビュー機能として利用できるようになりました。 この機能を有効にすると、特に大規模なセカンダリーデータセットを使用する場合にスケーラビリティが向上します。 開始をクリックすると、DataRobotはプライマリーデータセットとセカンダリーデータセットに基づいて新しい特徴量の生成を開始し、分散処理を実行するのに十分な大きさのデータセットかどうかを自動的に検出するので、パフォーマンスと速度を向上できます。 さらに、最大100GBのセカンダリーデータセットを扱うことができます。
デフォルトではオフの機能フラグ:分散モードでの特徴量探索を有効にする
プレビュー機能のドキュメントをご覧ください。
特徴量探索での関係性の自動生成¶
プレビュー版の機能です。DataRobotでは、特徴量探索プロジェクトでデータセット間の関係性を自動的に検出および生成できます。これにより、データセットのつながりが不明な場合に、潜在的な関係性をすばやく調べることができます。 関係性を自動生成するには、すべてのセカンダリーデータセットがプロジェクトに追加されていることを確認してから、関係性を定義するページの上部にある関係性を生成をクリックします。
デフォルトではオフの機能フラグ:特徴量探索での関係性検出を有効化
プレビュー機能のドキュメントをご覧ください。
ワークベンチに新しい設定オプションを追加¶
このデプロイでは、エクスペリメントのセットアップ時に行える設定(プレビュー版)がいくつか追加され、ユーザーにとって一般的なケースの多くがカバーされます。 新しい設定では以下のことができます。
-
モデリングモードを変更します。 これまでのワークベンチではクイックオートパイロットのみが実行されていましたが、手動モード(ブループリントリポジトリ経由でモデルを構築する場合)や包括モード(時間認識プロジェクトでは使用できません)に設定できるようになりました。
-
最適化指標(DataRobotによるモデルのスコアリング方法を定義する指標)を、DataRobotによって選択された指標から、エクスペリメントに適したサポート対象の指標に変更します。
-
オフセット/ウェイト/エクスポージャー、単調特徴量制約、Positiveクラスの選択などの追加設定を行います。
デフォルトではオンの機能フラグ:UXRの高度なモデリングオプション
プレビュー機能のドキュメントをご覧ください。
OTVおよび時系列プロジェクトのデータで予測の説明を計算¶
プレビュー版の機能です。時系列およびOTVプロジェクトで予測の説明を計算できます。 具体的には、トレーニングデータのホールドアウトパーティションおよびセクションでXEMPベースの予測の説明を取得できます。 DataRobotは、トレーニングデータのバックテスト1の検定パーティションに対してのみ予測の説明を計算します。
デフォルトではオフの機能フラグ:時間認識プロジェクトで、トレーニングデータを用いた予測の説明を有効にする
プレビュー機能のドキュメントをご覧ください。
NextGenのレジストリ¶
NextGenで一般提供を開始しました。レジストリは、DataRobotで使用されるさまざまなモデルのための組織的ハブです。 レジストリ > モデルディレクトリページには、_登録されたモデル_が一覧表示され、それぞれにデプロイ可能なモデルパッケージが_バージョン_として含まれています。 これらの登録モデルには、DataRobotのモデル、カスタムモデル、外部モデルをバージョンとして含めることが可能で、予測モデルや生成モデルの進化を追跡し、一元管理することができます。
レジストリから、モデルの構成要素が意図したとおりに機能することを証明するコンプライアンスドキュメントを作成したり、登録されたモデルのバージョンのキー値を管理したり、モデルを本番環境にデプロイしたりすることができます。
詳しくはドキュメントをご覧ください。
デフォルトではオンの機能フラグ:NextGenのレジストリを有効にする
NextGenのモデルワークショップ¶
NextGenで一般提供を開始しました。モデルワークショップでは、モデルのアーティファクトをアップロードして、カスタムモデルの作成、テスト、登録、デプロイを、一元化されたモデル管理とデプロイのハブで行うことができます。 カスタムモデルは、DataRobotのMLOps機能のほとんどをサポートする事前トレーニング済みのユーザー定義モデルです。 DataRobotは、Python、R、Javaを始めとするさまざまなコーディング言語で構築されたカスタムモデルをサポートします。 DataRobot以外でモデルを作成し、DataRobotにアップロードする場合は、モデルワークショップでモデルの内容とモデル環境を定義します。
カスタムモデルとは何ですか?
カスタムモデルは、カスタムDataRobotモデルではありません。 これらは、デプロイへのアクセス、監視、およびガバナンスのために、DataRobotの外部で作成され、カスタムモデルワークショップで構築されたユーザー定義モデルです。 カスタムモデルワークショップを通じてDataRobotに取り込むモデルのローカル開発をサポートするために、 DataRobot Model Runner(DRUM)は、DataRobotでの構築の前に、ローカルでの推論モデルの構築、デバッグ、テスト、および実行をするためのツールを提供します。 ワークショップにカスタムモデルを追加する前に、ワークショップにアップロードするカスタムモデルを構築するための カスタムモデル構築ガイドラインを参照することをお勧めします。
詳しくはドキュメントをご覧ください。
デフォルトではオンの機能フラグ:NextGenのレジストリを有効にする
NextGenのジョブ¶
NextGenで一般提供を開始しました。ジョブを使用して、モデルやデプロイの自動化(カスタムテストなど)を実装できます。 各ジョブは自動化されたワークロードとして機能し、終了コードによって正常終了か失敗かが判定されます。 作成したカスタムジョブは、1つ以上のモデルまたはデプロイで実行できます。 カスタムジョブによって定義された自動ワークロードは、DataRobotのパブリックAPIを使用して、予測リクエスト、入力の取得、出力の保存を行うことができます。
詳しくはドキュメントをご覧ください。
NextGenコンソール¶
NextGen DataRobotコンソールでは、DataRobot ClassicのMLOpsでおなじみの重要な管理、監視、ガバナンス機能を、刷新されたモダンなユーザーインターフェイスで提供します。
この一新されたユーザーインターフェイスにより、使い慣れたユーザーエクスペリエンスを維持しながら、(NextGenのワークベンチとレジストリでの)モデルのエクスペリメントと登録から、コンソールでのデプロイによるモデルの監視と管理へのシームレスな移行が可能です。
詳しくはドキュメントをご覧ください。
デフォルトではオンの機能フラグ:コンソールを有効にする
DataRobotの監視エージェント¶
通常、監視エージェントはDataRobotの外部で実行され、外部モデルのコードでDataRobot MLOpsライブラリの呼び出しによって設定されたスプーラーから指標を報告します。 外部スプーラーの資格情報と設定の詳細を使用して外部予測環境を作成し、DataRobot_内_で監視エージェントを実行できるようになりました(プレビュー版の機能です)。
プレビュー機能のドキュメントをご覧ください。
デフォルトではオンの機能フラグ:DataRobotの監視エージェント
DRAppsでのカスタムアプリのホスティング¶
DRAppsはシンプルなコマンドラインインターフェイス(CLI)です。DataRobotでDataRobotの実行環境を使用するStreamlitアプリなどのカスタムアプリケーションをホストするのに必要なツールを提供します。 これにより、独自のDockerイメージを構築せずにアプリを実行できます。 カスタムアプリケーションはストレージを提供しません。ただし、DataRobotの全APIやその他のサービスにアクセスできます。
DRApps CLIツールをインストールするには、datarobot-user-models (DRUM)リポジトリ内の./drapps
ディレクトリを複製し、次のコマンドを実行してPython要件をインストールします。
pip install -r requirements.txt
プレビュー機能のドキュメントをご覧ください。
デフォルトではオンの機能フラグ:カスタムアプリケーションを有効にする
APIの機能強化¶
DataRobot REST API v2.32¶
DataRobotのREST API v2.32が一般提供されました。 v2.31で導入された変更の完全なリストについては、 REST APIの変更履歴を参照してください。
新機能¶
- ドキュメントのサムネイルについてのインサイトを新たなルートで取得できます。
GET /api/v2/projects/(projectId)/documentThumbnails/
GET /api/v2/projects/(projectId)/documentPages/(documentPageId)/file/
GET /api/v2/projects/(projectId)/documentThumbnailSamples/
GET /api/v2/projects/(projectId)/documentThumbnailBins/
- ドキュメントのテキスト抽出サンプルについてのインサイトを新たなルートで計算・取得できます。
POST /api/v2/models/(modelId)/documentTextExtractionSamples/
GET /api/v2/projects/(projectId)/documentTextExtractionSamples/
GET /api/v2/models/(modelId)/documentTextExtractionSampleDocuments/
GET /api/v2/models/(modelId)/documentTextExtractionSamplePages/
- ドキュメントのデータ品質情報を新たなルートで取得できます。
GET /api/v2/projects/(projectId)/documentsDataQualityLog/
GET /api/v2/datasets/(datasetId)/documentsDataQualityLog/
GET /api/v2/datasets/(datasetId)/versions/(datasetVersionId)/documentsDataQualityLog/
- ドキュメントのデータ品質情報をログファイルとして取得する際、新たなルートを利用できます。
GET /api/v2/projects/(projectId)/documentsDataQualityLog/file/
GET /api/v2/datasets/(datasetId)/documentsDataQualityLog/file/
,GET /api/v2/datasets/(datasetId)/versions/(datasetVersionId)/documentsDataQualityLog/file/
- デプロイの予測値対実測値の時系列データを新たなルートで取得できます。
GET /api/v2/deployments/(deploymentId)/predictionsVsActualsOverTime/
- 登録モデルと登録モデルバージョン(以前はモデルパッケージと呼ばれていました)を新たなルートで管理できます。
GET /api/v2/registeredModels/
GET /api/v2/registeredModels/(registeredModelId)/
PATCH /api/v2/registeredModels/(registeredModelId)/
DELETE /api/v2/registeredModels/(registeredModelId)/
GET /api/v2/registeredModels/(registeredModelId)/versions/
GET /api/v2/registeredModels/(registeredModelId)/versions/(versionId)/
PATCH /api/v2/registeredModels/(registeredModelId)/sharedRoles/
GET /api/v2/registeredModels/(registeredModelId)/sharedRoles/
GET /api/v2/registeredModels/(registeredModelId)/deployments/
GET /api/v2/registeredModels/(registeredModelId)/versions/(versionId)/deployments/
- ユースケースに新しいルートが追加されました。
GET /api/v2/useCases/
POST /api/v2/useCases/
GET /api/v2/useCases/(useCaseId)/
PATCH /api/v2/useCases/(useCaseId)/
DELETE /api/v2/useCases/(useCaseId)/
GET /api/v2/useCases/(useCaseId)/projects/
GET /api/v2/useCases/(useCaseId)/applications/
GET /api/v2/useCases/(useCaseId)/datasets/
GET /api/v2/useCases/(useCaseId)/notebooks/
GET /api/v2/useCases/(useCaseId)/playgrounds/
GET /api/v2/useCases/(useCaseId)/vectorDatabases/
GET /api/v2/useCases/(useCaseId)/modelsForComparison/
GET /api/v2/useCases/(useCaseId)/filterMetadata/
GET /api/v2/useCases/(useCaseId)/resources/
GET /api/v2/useCases/(useCaseId)/sharedRoles/
PATCH /api/v2/useCases/(useCaseId)/sharedRoles/
POST /api/v2/useCases/(useCaseId)/(referenceCollectionType)/(entityId)/
DELETE /api/v2/useCases/(useCaseId)/(referenceCollectionType)/(entityId)/
Pythonクライアントv3.2¶
DataRobotのPythonクライアントのv3.2が一般提供されました。 v2.31で導入された変更の完全なリストについては、 Pythonクライアントの変更履歴を参照してください。
新機能¶
- Python 3.11のサポートが追加されました。
- Python 3.7〜3.10との後方互換性を維持しつつ、
StrEnum
のサポートを追加するために、新しいライブラリ"strenum"が追加されました。Python3.11では、DataRobotはネイティブStrEnum
クラスを使用しません。 - DataRobotの予測環境とやり取りするための新しいクラス
PredictionEnvironment
が追加されました。 - ターゲットを設定する際に使用できる高度なオプションを拡張し、新しいパラメーター
modelGroupId
、modelRegimeId
、modelBaselines
を追加しました(AdvancedOptions
オブジェクトの一部)。 これらのパラメーターを使用すると、OTVプロジェクトで特徴量派生なしで時系列モデルを実行する際に必要なユーザー列を指定できます。 -
トレーニングデータでの予測の説明を計算するための新しいメソッド
PredictionExplanations.create_on_training_data
が追加されました。 -
DataRobotの登録モデルとやり取りするための新しいクラス
RegisteredModel
を追加し、以下のメソッドがサポートされました。 RegisteredModel.get
RegisteredModelオブジェクトをIDで検索します。RegisteredModel.list
登録されているすべてのモデルを一覧表示します。RegisteredModel.archive
登録されているモデルを永久保存します。RegisteredModel.update
登録されているモデルを更新します。RegisteredModel.get_shared_roles
登録モデルのアクセス制御情報を取得します。RegisteredModel.share
登録されているモデルを共有します。RegisteredModel.get_version
RegisteredModelVersionオブジェクトをIDで検索します。RegisteredModel.list_versions
登録されているモデルバージョンを一覧表示します。-
RegisteredModel.list_associated_deployments
登録モデルに関連付けられたデプロイを一覧表示します。 -
DataRobotの登録モデルバージョン(モデルパッケージとも呼ばれます)とやり取りするための新しいクラス
RegisteredModelVersion
を追加し、以下のメソッドがサポートされました。 RegisteredModelVersion.create_for_external
外部モデルから新しい登録モデルバージョンを作成します。RegisteredModelVersion.list_associated_deployments
登録されているモデルバージョンに関連付けられたデプロイを一覧表示します。RegisteredModelVersion.create_for_leaderboard_item
リーダーボードモデルから新しい登録モデルバージョンを作成します。-
RegisteredModelVersion.create_for_custom_model_version
カスタムモデルのバージョンから新しい登録モデルバージョンを作成します。 -
登録モデルバージョンからのデプロイの作成をサポートする新しいメソッド
Deployment.create_from_registered_model_version
が追加されました。 -
現在デプロイされているモデルのモデルパッケージファイル(.mlpkg)のダウンロードをサポートする新しいメソッド
Deployment.download_model_package_file
が追加されました。 -
ドキュメントのサムネイルを取得できるようになりました。
DocumentThumbnail <datarobot.models.documentai.document.DocumentThumbnail>
-
DocumentPageFile <datarobot.models.documentai.document.DocumentPageFile>
-
以下を使用してドキュメントテキスト抽出サンプルを取得できるようになりました。
DocumentTextExtractionSample
DocumentTextExtractionSamplePage
-
DocumentTextExtractionSampleDocument
-
ネットワークポリシーを制御するための新しいフィールドが
CustomTaskVersion
に追加されました。 新しいフィールドはレスポンスにも追加されました。 これはdatarobot.enums.CustomTaskOutgoingNetworkPolicyで設定できます。 -
デプロイの代わりにリーダーボードモデルを使用してバッチ予測を実行する新しいメソッド
BatchPredictionJob.score_with_leaderboard_model
が追加されました。 -
プロパティ
type
に対してIntakeAdapters
とOutputAdapters
の列挙値をそれぞれ使用するように、IntakeSettings
とOutputSettings
を設定します。 -
デプロイの予測値対実測値の時系列データを取得するメソッド
Deployment.get_predictions_vs_actuals_over_time
が追加されました。
記載されている製品名および会社名は、各社の商標または登録商標です。 製品名または会社名の使用は、それらとの提携やそれらによる推奨を意味するものではありません。