プレイグラウンドからLLMをデプロイする¶
Use an LLM playground in a Use Case to create an LLM blueprint. Set the blueprint configuration, specifying the base LLM and, optionally, a system prompt and vector database. After testing and tuning the responses, the blueprint is ready for registration and deployment.
You can create a text generation custom model by sending the LLM blueprint to the Registry's model workshop. The generated custom model automatically implements the Bolt-on Governance API, which is particularly useful for building conversational applications.
Follow the steps below to add the LLM blueprint to the model workshop:
-
ユースケースのプレイグラウンドタブで、ブループリントとして登録するLLMを含むプレイグラウンドをクリックします。
-
プレイグラウンドで、 LLMを比較してモデルワークショップに送信するLLMブループリントを決定し、次のいずれかを実行します。
-
比較パネルのLLMブループリントタブで、アクションメニュー をクリックし、 モデルワークショップに送信をクリックします。
-
チャット比較ウィンドウにあるブループリントのヘッダーで LLMブループリントのアクション をクリックし、 モデルワークショップに送信をクリックします。
-
-
In the Send to model workshop modal, select up to twelve evaluation metrics (and any configured moderations).
-
Next, select any Compliance tests to send. Then, click Send to model workshop:
When you select compliance tests, they are sent to the model workshop and included as part of the custom model registration. They are also included in any generated compliance documentation.
Compliance tests in the model workshop
The selected compliance tests are linked to the custom model in the model workshop by the
LLM_TEST_SUITE_ID
runtime parameter. If you modify the custom model code significantly in the model workshop, set theLLM_TEST_SUITE_ID
runtime parameter toNone
to avoid running compliance documentation intended for the original model on the modified model. -
LLMプレイグラウンドの右下隅には、LLMがキューに入れられて登録されると通知が表示されます。 When notification of the registration's completion appears, click Go to the model workshop:
LLMブループリントは、テキスト生成ターゲットタイプを持つカスタムモデルとしてレジストリのモデルワークショップで開きます。
-
ランタイムパラメーターセクションのアセンブルタブで、LLMサービスの資格情報およびその他の詳細を含め、LLMに必要なキーと値のペアを設定します。 これらの値を追加するには、使用可能なランタイムパラメーターの隣にある編集アイコン をクリックします。
資格情報タイプランタイムパラメーターを設定するには、最初に、デプロイするLLMに必要となる資格情報をDataRobotプラットフォームの 資格情報管理ページに追加します。
MicrosoftがホストするLLM:Azure OpenAI GPT-3.5 Turbo、Azure OpenAI GPT-3.5 Turbo 16k、Azure OpenAI GPT-4、Azure OpenAI GPT-4 32k、Azure OpenAI GPT-4 Turbo、Azure OpenAI GPT-4o、Azure OpenAI GPT-4o mini
資格情報のタイプ: APIトークン(Azureではない)
必要となるランタイムパラメーターは次のとおりです。
キー 説明 OPENAI_API_KEY 資格情報管理ページで作成した、Azure OpenAI LLM APIエンドポイント用のAPIトークン資格情報を選択します。 OPENAI_API_BASE Azure OpenAI LLM APIエンドポイントのURLを入力します。 OPENAI_API_DEPLOYMENT_ID LLMをAzure環境にデプロイするときに選択した、LLMのAzure OpenAIデプロイ名を入力します。 詳細については、Azure OpenAIのドキュメントでモデルのデプロイ方法を参照してください。 DataRobotでは、デフォルトのデプロイ名として、Azure OpenAIでのLLM IDを推奨します(例:gpt-35-turbo)。 Azure OpenAIでのデプロイ名が異なる場合は、このパラメーターを変更してください。 OPENAI_API_VERSION この操作に使用するAzure OpenAI APIのバージョンを、YYYY-MM-DDまたはYYYY-MM-DD-preview形式で入力します(例:2023-05-15)。 サポートされているバージョンの詳細については、Azure OpenAI APIリファレンスドキュメントを参照してください。 PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。 AmazonがホストするLLM:Amazon Titan、Anthropic Claude 2.1、Anthropic Claude 3 Haiku、Anthropic Claude 3 Opus、Anthropic Claude 3 Sonnet
資格情報のタイプ:AWS
必要となるランタイムパラメーターは次のとおりです。
キー 説明 AWS_ACCOUNT AWSアカウントの 資格情報管理ページで作成されたAWS資格情報を選択します。 AWS_REGION AWSアカウントのAWSリージョンを入力します。 デフォルトはus-west-1です。 PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。 GoogleがホストするLLM:Google Bison、Google Gemini 1.5 Flash、Google Gemini 1.5 Pro
資格情報タイプ Google Cloudサービスのアカウント
必要となるランタイムパラメーターは次のとおりです。
キー 説明 GOOGLE_SERVICE_ACCOUNT 資格情報管理ページで作成されたGoogle Cloudサービスアカウントの資格情報を選択します。 GOOGLE_REGION GoogleサービスアカウントのGCPリージョンを入力します。 デフォルトはus-west-1です。 PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。 -
設定セクションで、ネットワークアクセスがパブリックに設定されていることを確認します。
-
カスタムモデルの構築が完了したら、モデルをテストしたり、新しいバージョンを作成したりすることができます。 DataRobotでは、デプロイの前にカスタムLLMをテストすることをお勧めします。
-
次に、モデルを登録をクリックして、 登録済みのモデルまたはバージョンの詳細を入力し、モデルを登録を再度クリックしてカスタムLLMをレジストリに追加します。
登録済みのモデルバージョンがモデルディレクトリで開きます。
-
登録済みモデルバージョンパネルの右上にあるモデルディレクトリから、デプロイをクリックし、 デプロイ設定を行います。
生成モデルで使用できるデプロイ機能の詳細については、 生成モデルの監視サポートを参照してください。
このプロセスの詳細については、 プレイグラウンドデプロイの注意事項を参照してください。