プレイグラウンドからLLMをデプロイする¶

ユースケースのLLM プレイグラウンドを使用して、 LLMブループリントを作成します。 ベースLLM、およびオプションでシステムプロンプトとベクターデータベースを指定して、ブループリント設定を行います。 回答をテストしてチューニングしたら、ブループリントは登録とデプロイの準備が整います。

LLMブループリントをレジストリのワークショップに送信することで、テキスト生成のカスタムモデルを作成できます。 生成されたカスタムモデルは、ボルトオンのガバナンスAPIを自動的に実装しており、会話型アプリケーションの構築に特に役立ちます。

LLMブループリントをワークショップに追加するには、以下の手順に従います。

1. ユースケースのプレイグラウンドタブで、ブループリントとして登録するLLMを含むプレイグラウンドをクリックします。

2. プレイグラウンドでLLMを比較して、ワークショップに送信するLLMブループリントを決定し、次のいずれかを実行します。

   • 比較パネルのLLMブループリントタブで、アクションメニュー をクリックし、 ワークショップに送信をクリックします。

     

   • チャット比較ウィンドウのブループリントのヘッダーで、LLMBPのアクション をクリックし、 ワークショップに送信をクリックします。

     

3. In the Send to the workshop modal, do the following, then click Send to the workshop:

   • (Optional) If the LLM uses a vector database: on the Vector database tab configure the following:

     リソースバンドルメモリー

     

     

     フィールド	説明
     予測環境を選択	Determines the prediction environment for the deployed vector database. Verify that the correct prediction environment with Platform: DataRobot Serverless is selected.
     メモリー	カスタム推論モデルに割り当てることのできるメモリーの最大量を決定します。 設定された最大値以上のメモリーが割り当てられたモデルはシステムによって排除されます。 この問題がテスト中に発生した場合、テストは失敗としてマークされます。 モデルのデプロイ時に発生した場合は、Kubernetesによってモデルが自動的に再起動されます。
     バンドル	Preview feature If enabled for your organization, this selects a Resource bundle (instead of Memory). Resource bundles allow you to choose from various CPU and GPU hardware platforms for building and testing custom models in the workshop.
     レプリカ	カスタムモデルの実行時にワークロードのバランスを取るために、並行して実行するレプリカの最大数を設定します。 レプリカの数を増やしても、カスタムモデルの速度に依存するため、パフォーマンスが向上しない場合があります。
     ネットワークアクセス	プレミアム機能。 カスタムモデルのエグレストラフィックを設定します。 パブリック：デフォルト設定。 カスタムモデルは、パブリックネットワーク内の任意の完全修飾ドメイン名（FQDN）にアクセスして、サードパーティのサービスを利用できます。 なし：カスタムモデルはパブリックネットワークから分離されているため、サードパーティのサービスにはアクセスできません。 パブリックネットワークアクセスが有効な場合、カスタムモデルはDATAROBOT_ENDPOINTおよびDATAROBOT_API_TOKEN環境変数を使用できます。 これらの環境変数は、 ドロップイン環境または DRUM上に構築された カスタム環境を使用するすべてのカスタムモデルで使用できます。

     プレミアム機能：ネットワークアクセス

     _新しく_作成したカスタムモデルはすべて、デフォルトでパブリックネットワークにアクセスできます。ただし、2023年10月より前に作成されたカスタムモデルの新しいバージョンを作成した場合、その新しいバージョンは、パブリックアクセスを有効にする（アクセスをパブリックに設定する）まで、パブリックネットワークから隔離された（アクセスがなしに設定された）ままです。 パブリックアクセスを有効にすると、後続の各バージョンは、前のバージョンのパブリックアクセス定義を継承します。

     Preview feature: Resource bundles

     カスタムモデルのリソースバンドルとGPUリソースのバンドルは、デフォルトではオフになっています。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

     機能フラグ： リソースバンドルを有効にする、カスタムモデルでGPU推論を有効にする（プレミアム機能）

     Automatic deployment of vector databases

     When you send an LLM from the playground to the workshop with a vector database and the vector database is not already deployed, the vector database deploys automatically. The vector database must be deployed before you can edit the LLM code and files in the workshop. While the vector database is deploying, the custom model in the workshop for the LLM is empty.

     What monitoring is available for vector database deployments?

     DataRobot automatically generates custom metrics relevant to vector databases for deployments with the vector database deployment type—for example, Total Documents, Average Documents, Total Citation Tokens, Average Citation Tokens, and VDB Score Latency. Vector database deployments also support service health monitoring. Vector database deployments don't store prediction row-level data for data exploration.

   • If the LLM has configured evaluation metrics and moderations, on the Metrics tab, select up to twelve evaluation metrics (and any configured moderations).

     

   • On the Compliance tests tab, select any tests to send to the workshop with the LLM. コンプライアンステストを選択すると、ワークショップに送信され、カスタムモデル登録の一部として含まれます。 これらはまた、 生成されたコンプライアンスドキュメントにも含まれます。

     

     ワークショップでのコンプライアンステスト

     選択されたコンプライアンステストは、LLM_TEST_SUITE_IDランタイムパラメーターによってワークショップのカスタムモデルにリンクされます。 ワークショップでカスタムモデルのコードを大幅に変更した場合は、LLM_TEST_SUITE_IDランタイムパラメーターをNoneに設定して、元のモデル用のコンプライアンスドキュメントが変更後のモデルで実行されないようにします。

4. LLMプレイグラウンドの右下隅には、LLMがキューに入れられて登録されると通知が表示されます。 登録完了の通知が表示されたら、ワークショップに移動をクリックします。

   

   LLMブループリントは、レジストリのワークショップで、ターゲットタイプがテキスト生成のカスタムモデルとして開きます。

   

5. ランタイムパラメーターセクションのアセンブルタブで、LLMサービスの資格情報およびその他の詳細を含め、LLMに必要なキーと値のペアを設定します。 これらの値を追加するには、使用可能なランタイムパラメーターの隣にある編集アイコン をクリックします。

   プレミアム：DataRobot LLMゲートウェイ

   所属する組織がDataRobot LLMゲートウェイにアクセスできる場合、資格情報を設定する必要はありません。 ENABLE_LLM_GATEWAY_INFERENCEランタイムパラメーターが存在し、Trueに設定されていることを確認します。 必要に応じて、PROMPT_COLUMN_NAME（デフォルトの列名はpromptText）を設定し、次の手順に進みます。 DataRobot LLMゲートウェイへのリクエストも可能です。

   資格情報タイプランタイムパラメーターを設定するには、最初に、デプロイするLLMに必要となる資格情報をDataRobotプラットフォームの 資格情報管理ページに追加します。

   MicrosoftがホストするLLMAmazonがホストするLLMGoogleがホストするLLM

   MicrosoftがホストするLLM：Azure OpenAI GPT-3.5 Turbo、Azure OpenAI GPT-3.5 Turbo 16k、Azure OpenAI GPT-4、Azure OpenAI GPT-4 32k、Azure OpenAI GPT-4 Turbo、Azure OpenAI GPT-4o、Azure OpenAI GPT-4o mini

   資格情報のタイプ： APIトークン（Azureではない）

   

   必要となるランタイムパラメーターは次のとおりです。

   

   キー	説明
   OPENAI_API_KEY	資格情報管理ページで作成した、Azure OpenAI LLM APIエンドポイント用のAPIトークン資格情報を選択します。
   OPENAI_API_BASE	Azure OpenAI LLM APIエンドポイントのURLを入力します。
   OPENAI_API_DEPLOYMENT_ID	LLMをAzure環境にデプロイするときに選択した、LLMのAzure OpenAIデプロイ名を入力します。 詳細については、Azure OpenAIのドキュメントでモデルのデプロイ方法を参照してください。 DataRobotでは、デフォルトのデプロイ名として、Azure OpenAIでのLLM IDを推奨します（例：gpt-35-turbo）。 Azure OpenAIでのデプロイ名が異なる場合は、このパラメーターを変更してください。
   OPENAI_API_VERSION	この操作に使用するAzure OpenAI APIのバージョンを、YYYY-MM-DDまたはYYYY-MM-DD-preview形式で入力します（例：2023-05-15）。 サポートされているバージョンの詳細については、Azure OpenAI APIリファレンスドキュメントを参照してください。
   PROMPT_COLUMN_NAME	入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。

   AmazonがホストするLLM：Amazon Titan、Anthropic Claude 2.1、Anthropic Claude 3 (Haiku、Opus、Sonnet)、Anthropic Claude 3.5 Sonnet (v1およびv2)、Amazon Nova (Micro、Lite、Pro)"

   資格情報のタイプ：AWS

   

   必要となるランタイムパラメーターは次のとおりです。

   

   キー	説明
   AWS_ACCOUNT	AWSアカウントの 資格情報管理ページで作成されたAWS資格情報を選択します。
   AWS_REGION	AWSアカウントのAWSリージョンを入力します。 デフォルトはus-west-1です。
   PROMPT_COLUMN_NAME	入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。

   GoogleがホストするLLM: Google Gemini 1.5 Flash, Google Gemini 1.5 Pro

   資格情報タイプ Google Cloudサービスのアカウント

   

   必要となるランタイムパラメーターは次のとおりです。

   

   キー	説明
   GOOGLE_SERVICE_ACCOUNT	資格情報管理ページで作成されたGoogle Cloudサービスアカウントの資格情報を選択します。
   GOOGLE_REGION	GoogleサービスアカウントのGCPリージョンを入力します。 デフォルトはus-west-1です。
   PROMPT_COLUMN_NAME	入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。

6. 設定セクションで、ネットワークアクセスがパブリックに設定されていることを確認します。

7. カスタムモデルの構築が完了したら、モデルをテストしたり、新しいバージョンを作成したりすることができます。 DataRobotでは、デプロイの前にカスタムLLMをテストすることをお勧めします。

8. Next, click Register model, provide the registered model or version details, then click Register model again to add the custom LLM to Registry.

   

   登録モデルのバージョンが、レジストリ > モデルタブで開きます。

9. モデルタブで、登録モデルバージョンパネルの右上にあるデプロイをクリックし、デプロイ設定を行います。

   

   生成モデルで使用できるデプロイ機能の詳細については、 生成モデルの監視サポートを参照してください。

このプロセスの詳細については、 プレイグラウンドデプロイの注意事項を参照してください。