プレイグラウンドからLLMをデプロイする¶
ユースケースのLLM プレイグラウンドを使用して、 LLMブループリントを作成します。 ベースLLM、およびオプションでシステムプロンプトとベクターデータベースを指定して、ブループリント設定を行います。 回答をテストしてチューニングしたら、ブループリントは登録とデプロイの準備が整います。
LLMブループリントを レジストリのモデルワークショップに送信することで、テキスト生成カスタムモデルを作成できます。 生成されたカスタムモデルは、ボルトオンのガバナンスAPIを自動的に実装しており、会話型アプリケーションの構築に特に役立ちます。
以下の手順に従って、LLMブループリントをモデルワークショップに追加します。
-
ユースケースのプレイグラウンドタブで、ブループリントとして登録するLLMを含むプレイグラウンドをクリックします。
-
プレイグラウンドで、 LLMを比較してモデルワークショップに送信するLLMブループリントを決定し、次のいずれかを実行します。
-
比較パネルのLLMブループリントタブで、アクションメニュー をクリックし、 モデルワークショップに送信をクリックします。
-
チャット比較ウィンドウにあるブループリントのヘッダーで LLMブループリントのアクション をクリックし、 モデルワークショップに送信をクリックします。
-
-
モデルワークショップに送信モーダルで、最大 12 の評価指標（および設定されたモデレーション）を選択します。
-
次に、送信するコンプライアンステストを選択します。 続いて、モデルワークショップに送信をクリックします。
コンプライアンステストを選択すると、モデルワークショップに送信され、カスタムモデル登録の一部として含まれます。 これらはまた、 生成されたコンプライアンスドキュメントにも含まれます。
モデルワークショップでのコンプライアンステスト
選択したコンプライアンステストは、
LLM_TEST_SUITE_IDランタイムパラメーターによってモデルワークショップのカスタムモデルにリンクされます。 モデルワークショップでカスタムモデルコードを大幅に変更する場合は、LLM_TEST_SUITE_IDランタイムパラメーターをNoneに設定して、変更後のモデルで元のモデル用のコンプライアンスドキュメントが実行されないようにしてください。 -
LLMプレイグラウンドの右下隅には、LLMがキューに入れられて登録されると通知が表示されます。 登録完了の通知が表示されたら、モデルワークショップに移動をクリックします。
LLMブループリントは、テキスト生成ターゲットタイプを持つカスタムモデルとしてレジストリのモデルワークショップで開きます。
-
ランタイムパラメーターセクションのアセンブルタブで、LLMサービスの資格情報およびその他の詳細を含め、LLMに必要なキーと値のペアを設定します。 これらの値を追加するには、使用可能なランタイムパラメーターの隣にある編集アイコン をクリックします。
資格情報タイプランタイムパラメーターを設定するには、最初に、デプロイするLLMに必要となる資格情報をDataRobotプラットフォームの 資格情報管理ページに追加します。
MicrosoftがホストするLLM：Azure OpenAI GPT-3.5 Turbo、Azure OpenAI GPT-3.5 Turbo 16k、Azure OpenAI GPT-4、Azure OpenAI GPT-4 32k、Azure OpenAI GPT-4 Turbo、Azure OpenAI GPT-4o、Azure OpenAI GPT-4o mini
資格情報のタイプ： APIトークン（Azureではない）
必要となるランタイムパラメーターは次のとおりです。
キー 説明 OPENAI_API_KEY 資格情報管理ページで作成した、Azure OpenAI LLM APIエンドポイント用のAPIトークン資格情報を選択します。 OPENAI_API_BASE Azure OpenAI LLM APIエンドポイントのURLを入力します。 OPENAI_API_DEPLOYMENT_ID LLMをAzure環境にデプロイするときに選択した、LLMのAzure OpenAIデプロイ名を入力します。 詳細については、Azure OpenAIのドキュメントでモデルのデプロイ方法を参照してください。 DataRobotでは、デフォルトのデプロイ名として、Azure OpenAIでのLLM IDを推奨します（例：gpt-35-turbo）。 Azure OpenAIでのデプロイ名が異なる場合は、このパラメーターを変更してください。 OPENAI_API_VERSION この操作に使用するAzure OpenAI APIのバージョンを、YYYY-MM-DDまたはYYYY-MM-DD-preview形式で入力します（例：2023-05-15）。 サポートされているバージョンの詳細については、Azure OpenAI APIリファレンスドキュメントを参照してください。 PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。 AmazonがホストするLLM：Amazon Titan、Anthropic Claude 2.1、Anthropic Claude 3 Haiku、Anthropic Claude 3 Opus、Anthropic Claude 3 Sonnet
資格情報のタイプ：AWS
必要となるランタイムパラメーターは次のとおりです。
キー 説明 AWS_ACCOUNT AWSアカウントの 資格情報管理ページで作成されたAWS資格情報を選択します。 AWS_REGION AWSアカウントのAWSリージョンを入力します。 デフォルトはus-west-1です。 PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。 GoogleがホストするLLM：Google Bison、Google Gemini 1.5 Flash、Google Gemini 1.5 Pro
資格情報タイプ Google Cloudサービスのアカウント
必要となるランタイムパラメーターは次のとおりです。
キー 説明 GOOGLE_SERVICE_ACCOUNT 資格情報管理ページで作成されたGoogle Cloudサービスアカウントの資格情報を選択します。 GOOGLE_REGION GoogleサービスアカウントのGCPリージョンを入力します。 デフォルトはus-west-1です。 PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。 -
設定セクションで、ネットワークアクセスがパブリックに設定されていることを確認します。
-
カスタムモデルの構築が完了したら、モデルをテストしたり、新しいバージョンを作成したりすることができます。 DataRobotでは、デプロイの前にカスタムLLMをテストすることをお勧めします。
-
次に、モデルを登録をクリックして、 登録済みのモデルまたはバージョンの詳細を入力し、モデルを登録を再度クリックしてカスタムLLMをレジストリに追加します。
登録モデルのバージョンが、レジストリ > モデルタブで開きます。
-
モデルタブで、登録モデルバージョンパネルの右上にあるデプロイをクリックし、デプロイ設定を行います。
生成モデルで使用できるデプロイ機能の詳細については、 生成モデルの監視サポートを参照してください。
このプロセスの詳細については、 プレイグラウンドデプロイの注意事項を参照してください。