カスタムモデルの作成¶

Custom models are user-created, pretrained models that you can upload to DataRobot (as a collection of files) via the Workshop. カスタムモデルは、以下のうちいずれかの方法で構築できます。

• アセンブルタブで、環境要件とstart_server.shファイル なし でカスタムモデルを作成します。 このタイプのカスタムモデルはドロップイン環境を使用する必要があります。 ドロップイン環境には、モデルで使用される要件とstart_server.shファイルが含まれます。 これらはワークショップ内のDataRobotによって提供されます。

• アセンブルタブで、環境要件とstart_server.shファイル あり でカスタムモデルを作成します。 このタイプのカスタムモデルは、カスタムまたはドロップイン環境と組み合わせることができます。

作業を続ける前に、 カスタムモデルの構築に関するガイドラインを確認してください。 カスタムモデルと環境フォルダーの間でファイルが重複している場合は、モデルのファイルが優先されます。

新しいカスタムモデルの作成¶

構築の準備としてカスタムモデルを作成するには：

1. Click Registry > Workshop. このタブには、作成したモデルが一覧表示されます。

   

2. + モデルを追加（またはカスタムモデルパネルが開いている場合は ボタン）をクリックします。

   

3. モデルを追加ページで、モデルを設定のフィールドに入力します。

   

   フィールド	説明
   モデルタイプ	作成するカスタムモデルのタイプ、標準のカスタムモデル、または外部モデルのプロキシ。
   モデル名	カスタムモデルのわかりやすい名前。
   ターゲットタイプ	モデルが行っている予測のタイプ。 予測タイプに応じて、追加の設定を行う必要があります。 二値：二値分類モデルの場合は、PositiveクラスラベルとNegativeクラスラベルを入力します。 次に、必要に応じて予測しきい値を入力します。 連続値：追加設定なし。 時系列（二値）：プレビュー機能。 二値分類モデルの場合は、PositiveクラスラベルとNegativeクラスラベルを入力し、時系列設定を行います。 次に、必要に応じて予測しきい値を入力します。 時系列（連続値）：プレビュー機能 Configure the 時系列設定を行います。 多クラス：多クラス分類モデルでは、ターゲットのターゲットクラスを1行に1クラスずつ入力またはアップロード（.csv、.txt）します。 クラスがモデルの予測に正しく適用されるように、モデルが予測したクラスの確率と同じ順序でクラスを入力してください。 テキスト生成：プレミアム機能。 追加設定なし。 異常検知：追加設定なし。 非構造化：追加設定なし。 非構造化モデルは、特定の入力/出力スキーマに準拠する必要はなく、異なる要求形式を使用する可能性があります。 「非構造化」ターゲットタイプのデプロイでは、予測ドリフト、精度追跡、チャレンジャー、および信頼性が無効になります。 Service health, deployment activity, and governance remain available. Vector Database: Preview feature No additional settings. Location: Premium feature. No additional settings. Agentic Workflow: Premium feature. 追加の設定はありません。
   ターゲット名	モデルが予測するデータセットの列名。 このフィールドは、多クラスモデルおよび異常検知モデルでは使用できません。
   オプション設定
   予測しきい値	二値分類モデルの場合、0から1までの10進数値です。この値を超える予測スコアは、すべてPositiveクラスに割り当てられます。
   言語	モデルの構築に使用されるプログラミング言語。
   説明	モデルのコンテンツと目的の説明。

   ターゲットタイプでのプロキシモデルのサポート

   プロキシモデルタイプを選択した場合、非構造化ターゲットタイプは選択できません。

   Premium

   Vector database deployments are a premium feature, off by default and require GenAI experimentation. この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

   プレミアム機能

   Agentic workflows are a premium feature. この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

4. フィールドに入力したら、モデルを追加をクリックします。

   カスタムモデルがアセンブルタブで開きます。

時系列の設定¶

二値分類および連続値モデルに必要なフィールドに加え、以下の時系列固有のフィールドを設定することによって時系列カスタムモデルを作成できます。 時系列カスタムモデルを作成するには、ターゲットタイプとして時系列（二値）または時系列（連続値）を選択し、モデルの作成中に次の設定を行います。

時系列カスタムモデルで リアルタイム予測を行う場合、予測回答のCSVシリアル化では、モデルから返される追加の列（予測結果以外）には、サフィックス_OUTPUTを含む列名が付けられます。

カスタムモデルの構築¶

カスタムモデルを作成した後、必要な環境、依存関係、ファイルを指定できます。

1. 構築するモデルで、アセンブルタブの環境セクションに移動し、基本環境ドロップダウンメニューからモデル環境を選択します。

   

   モデル環境

   モデル環境は、カスタムモデルのテストとデプロイに使用されます。 基本環境ドロップダウンリストには、 ドロップインモデル環境と、作成可能な カスタム環境が含まれています。 デフォルトでは、カスタムモデルは、正常に構築され、選択された環境の最新バージョンを使用します。

2. 依存関係セクションに入力するために、ファイルセクションでrequirements.txtファイルをアップロードし、DataRobotが最適なイメージを構築できるようにします。

3. ファイルセクションで、必要なカスタムモデルファイルを追加します。 モデルと ドロップイン環境をペアリングしていない場合、これにはカスタムモデル環境要件とstart_server.shファイルが含まれます。 ファイルの追加方法はいくつかあります。

   

   	要素	説明
   1	ファイル	ファイルをグループボックスにドラッグしてアップロードします。
   2	ソースから選択	クリックしてローカルファイルまたはローカルフォルダーを参照します。 リモートリポジトリからファイルをプルするには、 アップロードメニューを使用します。
   3	アップロード	クリックしてローカルファイルまたはローカルフォルダーを参照するか、 リモートリポジトリからファイルをプルします。
   4	作成	空のファイルまたはテンプレートとして新しいファイルを作成し、カスタムモデルに保存します。 model-metadata.yamlを作成：ランタイムパラメーターファイルの基本的で編集可能な例を作成します。 空白ファイルを作成：空のファイルを作成します。 名称未設定の横にある編集アイコン（）をクリックしてファイル名と拡張子を入力し、カスタムコンテンツを追加します。

   ファイルの置き換え

   既存のファイルと同じ名前の新しいファイルを追加する場合、保存をクリックすると、ファイルセクションで古いファイルが置き換えられます。

   モデルファイルの場所

   ローカルフォルダーからファイルを追加する場合は、モデルファイルがすでにカスタムモデルのルートにあることを確認してください。 アップロードされたフォルダーは、モデル自体ではなく、モデルに必要な依存ファイルおよび追加のアセット用です。 モデルファイルがフォルダーに含まれている場合でも、ファイルがルートレベルに存在しない限り、DataRobotからモデルファイルにアクセスすることはできません。 ルートにあるファイルは、フォルダー内の依存関係を指定することができます。

アセンブルタブのファイルセクションで1つ以上のファイルまたはフォルダーを誤って追加した場合は、各ファイルまたはフォルダーの横にある削除（）アイコンをクリックして、カスタムモデルから削除できます。

リモートリポジトリ¶

ファイルセクションで、 アップロード > リモートリポジトリをクリックすると、リモートリポジトリからコンテンツを追加パネルが開きます。 リモートリポジトリをクリックして、 新しいリモートリポジトリを登録（A）するか、既存のリモートリポジトリを選択（B）できます。

リポジトリを登録して選択した後、アップロードする各ファイルまたはフォルダーのチェックボックスを選択して、コンテンツを選択するをクリックします。

選択したファイルがファイルセクションに入れられます。

ドロップイン環境¶

DataRobot provides drop-in environments in the workshop, defining the required libraries and providing a start_server.sh file. Each environment is prefaced with [DataRobot] in the Environment section of the Workshop's Assemble tab.

利用可能なドロップイン環境はDataRobotのインストール形態によって異なりますが、一般的に利用可能なパブリックドロップイン環境とDRUMリポジトリのテンプレートを以下の表に示します。 DataRobotのインストール形態によっては、これらの環境のPythonバージョンが異なる場合があり、さらに非公開の環境が利用できる場合もあります。

ドロップイン環境を使用する場合、カスタムモデルコードは、 DataRobotクライアントと MLOps Connected Clientへのアクセスを容易にするために挿入された複数の環境変数を参照できます。

評価とモデレーションを設定¶

評価とモデレーションのガードレールは、組織がプロンプトインジェクションや、悪意のある、有害な、または不適切なプロンプトや回答をブロックするのに役立ちます。 また、ハルシネーションや信頼性の低い回答を防ぎ、より一般的には、モデルをトピックに沿った状態に保つこともできます。 さらに、これらのガードレールは、個人を特定できる情報（PII）の共有を防ぐことができます。 多くの評価およびモデレーションガードレールは、デプロイされたテキスト生成モデル（LLM）をデプロイされたガードモデルに接続します。 これらのガードモデルはLLMのプロンプトと回答について予測し、これらの予測と統計を中心的なLLMデプロイに報告します。 評価とモデレーションのガードレールを使用するには、まず、LLMのプロンプトや回答について予測するガードモデルを作成してデプロイします。たとえば、ガードモデルは、プロンプトインジェクションや有害な回答を識別することができます。 次に、ターゲットタイプがテキスト生成のカスタムモデルを作成する場合、評価とモデレーションのガードレールを1つ以上定義します。

評価およびモデレーションガードレールを選択および設定するには、テキスト生成ターゲットタイプのカスタムモデルのアセンブルタブで、評価とモデレーションまでスクロールして、 設定をクリックします。

評価とモデレーションの設定パネルで、指標カードをクリックして、評価指標に必要な設定を行います。

指標をガードとして使用を有効にした場合、モデレーションセクションで、モデレーション設定を行います。

次に、追加をクリックして、評価選択ページに戻ります。 そこから、別の指標を追加するか、設定を保存をクリックします。

詳細については、 評価とモデレーションの設定を参照してください。

テキスト生成カスタムモデルにガードレールを追加した後、モデルを テスト、 登録、および デプロイして本番環境で予測を作成できます。 予測を作成した後、 カスタム指標 タブで評価指標を表示し、 データ探索タブでプロンプト、回答、およびフィードバック（設定されている場合）を表示できます。

ランタイムパラメーターの管理¶

model-metadata.yamlファイルのruntimeParameterDefinitionsによりランタイムパラメーターを定義した場合、ランタイムパラメーターセクションでそれらを管理できます。

defaultValueのない定義で、ランタイムパラメーターにallowEmpty: falseがある場合は、カスタムモデルを登録する前に値を設定する必要があります。

ランタイムパラメーターを定義し、カスタムモデルコードで使用する方法の詳細については、 カスタムモードのランタイムパラメーターの定義に関するドキュメントを参照してください。

カスタムモデルデータセットの割り当て¶

モデルデプロイで特徴量ドリフト追跡を有効にするには、トレーニングデータを追加する必要があります。 これを行うには、モデルのバージョンにトレーニングデータを割り当てます。 非構造化カスタム推論モデルのトレーニングデータセットとホールドアウトデータセットを指定する方法では、トレーニングデータセットとホールドアウトデータセットを個別にアップロードする必要があります。 さらに、これらのデータセットにはパーティション列を含めることはできません。

環境とファイルを定義した後にカスタムモデルにトレーニングデータを割り当てるには：

1. アセンブルタブの設定セクションのデータセットの下：

   • モデルのバージョンにトレーニングデータが割り当てられていない場合は、割り当てるをクリックします。

     

   • モデルバージョンにトレーニングデータが 割り当てられている 場合は、（）変更をクリックし、トレーニングデータの下で削除（）アイコンをクリックして、既存のトレーニングデータを削除します。

     

2. トレーニングデータセクションで、+ データセットを選択をクリックして、次のいずれかを実行します。

   

   • 新しいデータセットをデータレジストリに追加するには、アップロードをクリックし、ローカルストレージからファイルを選択して、開くをクリックします。

   • データレジストリから既存のデータセットを選択するには、データレジストリリストで、DataRobotに以前アップロードしたトレーニングデータセットを見つけてクリックし、データセットを選択をクリックします。

   スコアリングに必要な特徴量を含める

   カスタムモデルのトレーニングデータの列は、デプロイされたカスタムモデルへのスコアリングリクエストにどの特徴量が含まれるかを示します。 したがって、トレーニングデータが利用可能になると、トレーニングデータセットに含まれない特徴量はモデルに送信されません。 プレビュー機能として利用可能で、 列フィルター設定を使用して、この動作を無効にできます。

3. （オプション）パーティション列セクションで、（トレーニング/検定/ホールドアウトのパーティショニングに基づいて）データのパーティショニング情報を含む列名（そこにあるトレーニングデータセットから）を指定します。 カスタムモデルをデプロイし、そのデータドリフトと精度を監視する予定であれば、列にホールドアウトパーティションを指定して、精度のベースラインを確立します。

   

4. 割り当てるをクリックします。

   トレーニングデータの割り当てエラー

   トレーニングデータの割り当てに失敗すると、新しいカスタムモデルバージョンのデータセットの下にエラーメッセージが表示されます。 このエラーが存在する間は、影響を受けるバージョンをデプロイするモデルパッケージを作成できません。 エラーを解決してモデルパッケージをデプロイするには、トレーニングデータを再割り当てして新しいバージョンを作成するか、新しいバージョンを作成してからトレーニングデータを割り当てます。

予測リクエストでの列フィルターの無効化¶

プレビュー版の機能です。カスタムモデルの予測で、列フィルターを有効または無効にできます。 選択したフィルター設定は、カスタムモデルの テストやデプロイの際に同様に適用されます。 デフォルトでは、ターゲット列は予測リクエストから除外されます。また、トレーニングデータが割り当てられている場合、トレーニングデータセットに存在しない追加の列は、モデルに送信されるスコアリングリクエストから除外されます。 あるいは、予測データセットに欠損列がある場合、欠損している特徴量を通知するエラーメッセージが表示されます。

カスタムモデルを構築する場合、この列フィルターを無効にすることができます。 In the Workshop, open a custom model to the Assemble tab, and, in the Settings section, under Column filtering, clear Exclude target column from requests (or, if training data is assigned, clear Exclude target and extra columns not in training data):

モデルの環境、ファイル、または設定に対するその他の変更と同様に、この設定を変更すると、新しい マイナーカスタムモデルバージョンが作成されます。

リクエストからターゲット列を除外またはトレーニングデータに含まれないターゲット列と追加列を除外が有効または無効の場合、次の動作が予期されます。

カスタムモデルのリソース設定を行う¶

カスタム推論モデルを作成した後、モデルが消費するリソースを設定して、スムーズなデプロイを促進し、本番環境で発生する可能性のある環境エラーを最小限に抑えることができます。

リソースの割り当てとアクセスを設定するには：

1. アセンブルタブの設定セクションで、リソースの横にある（）編集をクリックします。

   

2. リソース設定の更新ダイアログボックスで、次の設定を行います。

   

   リソース設定へのアクセス

   ユーザーはモデルに割り当てられる最大メモリーを決定できますが、追加のリソース設定を行えるのは 組織管理者だけです。

   設定	説明
   メモリー	カスタム推論モデルに割り当てることのできるメモリーの最大量を決定します。 設定された最大値以上のメモリーが割り当てられたモデルはシステムによって排除されます。 この問題がテスト中に発生した場合、テストは失敗としてマークされます。 モデルのデプロイ時に発生した場合は、Kubernetesによってモデルが自動的に再起動されます。
   レプリカ	カスタムモデルの実行時にワークロードのバランスを取るために、並行して実行するレプリカの最大数を設定します。 レプリカの数を増やしても、カスタムモデルの速度に依存するため、パフォーマンスが向上しない場合があります。
   ネットワークアクセス	プレミアム機能。 カスタムモデルのエグレストラフィックを設定します。 パブリック：デフォルト設定。 カスタムモデルは、パブリックネットワーク内の任意の完全修飾ドメイン名（FQDN）にアクセスして、サードパーティのサービスを利用できます。 なし：カスタムモデルはパブリックネットワークから分離されているため、サードパーティのサービスにはアクセスできません。 パブリックネットワークアクセスが有効な場合、カスタムモデルはDATAROBOT_ENDPOINTおよびDATAROBOT_API_TOKEN環境変数を使用できます。 これらの環境変数は、 ドロップイン環境または DRUM上に構築された カスタム環境を使用するすべてのカスタムモデルで使用できます。

   バランスの悪いメモリー設定

   DataRobotでは、必要な場合にのみリソース設定を行うことをお勧めします。 以下のメモリー設定では、Kubernetesメモリーの「制限」（メモリーの最大許容量）が設定されます。ただし、メモリーの「リクエスト」（メモリーの最小許容量）を設定することはできません。 このため、「制限」値をデフォルトの「リクエスト」値より大きく設定することができます。 メモリーの「リクエスト」と増加した「制限」によるメモリー許容量との不均衡が生じ、カスタムモデルがメモリー使用量の上限を超える場合があります。 その結果、カスタムモデルの頻繁な削除や再起動により、カスタムモデルが実行時に不安定になる場合があります。 メモリー設定を増やす必要がある場合は、組織レベルで「リクエスト」を増やすと、この問題を軽減できます。詳細については、DataRobotサポートまでお問い合わせください。

   プレミアム機能：ネットワークアクセス

   _新しく_作成したカスタムモデルはすべて、デフォルトでパブリックネットワークにアクセスできます。ただし、2023年10月より前に作成されたカスタムモデルの新しいバージョンを作成した場合、その新しいバージョンは、パブリックアクセスを有効にする（アクセスをパブリックに設定する）まで、パブリックネットワークから隔離された（アクセスがなしに設定された）ままです。 パブリックアクセスを有効にすると、後続の各バージョンは、前のバージョンのパブリックアクセス定義を継承します。

3. カスタムモデルのリソース設定を行ったら、保存をクリックします。

   これにより、編集したリソース設定が適用されたカスタムモデルのマイナーバージョンが新しく作成されます。

リソースバンドルを選択¶

モデルを構築して リソース設定を行う際に、メモリーではなくリソースバンドルを選択できます。 リソースバンドルを使用すると、さまざまなCPUおよびGPUハードウェアプラットフォームから選択して、カスタムモデルを構築およびテストできます。 カスタムモデルの設定セクションで、リソース設定を開き、リソースバンドルを選択します。 この例では、モデルはNVIDIA A10デバイスでテストおよびデプロイされるように構築されています。

編集をクリックしてリソース設定の更新ダイアログボックスを開き、リソースのバンドルフィールドで、構築環境として使用可能な CPUおよび NVIDIA GPUデバイスを確認します。

DataRobotは、次のNVIDIAリソースバンドルのいずれかにモデルをデプロイできます。

NVIDIA GPUリソースバンドルに加えて、この機能は、NVIDIA GPU上で実行するように最適化されたカスタムモデル環境を導入します。 カスタムモデルを構築する場合、基本環境を定義します。 次の例では、モデルは、 [NVIDIA] Triton推論サーバーで実行されています。

Assemble an anomaly detection model¶

異常検知の問題をサポートするカスタムモデルを作成できます。 構築する場合は、DRUMテンプレートを参照してください。 （このリンクをクリックする前にGitHubにログインしてください。）カスタム異常検知モデルをデプロイする場合、次の機能はサポートされていないことに注意してください。

• データドリフト
• 精度と関連付けID
• チャレンジャーモデル
• 信頼性ルール
• 予測の説明

Assemble a text generation model¶

Text generation custom models custom models require the [DataRobot] Python 3.X GenAI drop-in environment, or a compatible custom environment. To assemble, test, and deploy a generative model from the workshop, a basic LLM assembled in the model workshop should, at minimum, include the following files:

必要なモデルファイルを追加したら、 トレーニングデータを追加します。 ドリフト監視のトレーニングベースラインを提供するには、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトと回答を少なくとも20行含むデータセットをアップロードします。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

Assemble a vector database¶

ベクターデータベースのカスタムモデルには、[DataRobot] Python 3.X GenAIドロップイン環境、または互換性のある カスタム環境が必要です。 In addition, you must define the dependencies for the vector database. 依存関係セクションに入力するために、ファイルセクションでrequirements.txtファイルをアップロードし、DataRobotが最適なイメージを構築できるようにします。 さらに、ベクターデータベースのカスタムモデルには、 パブリックネットワークへのアクセスが必要です。

After creating a vector database in the workshop, you can register and deploy the model, as you would any other custom model.

Assemble an agentic workflow¶

Agentic workflows require the [DataRobot] Python 3.X GenAI drop-in environment, or a compatible custom environment. To assemble, test, and deploy an agentic workflow from the workshop, a basic agent assembled in the workshop usually includes the following files:

After creating the custom agentic workflow, you can test the custom workflow's implementation of the Bolt-on Governance API (the chat() hook)