プレイグラウンドからLLMをデプロイする¶
ユースケースのLLM プレイグラウンドから、LLMブループリントを レジストリに追加して、本番環境で使用するLLMを準備します。 ドラフトLLMブループリントを作成し、ブループリント設定（ベースLLMと、そしてオプションでシステムプロンプトとベクターデータベースを含む）を設定し、レスポンスをテストしてチューニングした後、ブループリントを登録およびデプロイする準備が整います。 テキスト生成ターゲットタイプを持つカスタムモデルとしてLLMブループリントをレジストリのモデルワークショップに追加します。
-
ユースケースのプレイグラウンドタブで、ブループリントとして登録するLLMを含むプレイグラウンドをクリックします。
-
プレイグラウンドで、 LLMを比較してモデルワークショップに送信するLLMブループリントを決定し、次のいずれかを実行します。
-
比較パネルのLLMブループリントタブで、アクションメニュー をクリックし、 モデルワークショップに送信をクリックします。
-
チャット比較ウィンドウにあるブループリントのヘッダーで LLMブループリントのアクション をクリックし、 モデルワークショップに送信をクリックします。
-
-
LLMプレイグラウンドの右下隅には、LLMがキューに入れられて登録されると通知が表示されます。 登録通知が表示されたら、モデルワークショップに移動をクリックします。
LLMブループリントは、テキスト生成ターゲットタイプを持つカスタムモデルとしてレジストリのモデルワークショップで開きます。
-
ランタイムパラメーターセクションのアセンブルタブで、LLMサービスの資格情報およびその他の詳細を含め、LLMに必要なキーと値のペアを設定します。 これらの値を追加するには、使用可能なランタイムパラメーターの隣にある編集アイコン（）をクリックします。
資格情報タイプランタイムパラメーターを設定するには、最初に、デプロイするLLMに必要となる資格情報をDataRobotプラットフォームの 資格情報管理ページに追加します。
MicrosoftがホストするLLM：Azure OpenAI GPT-3.5 Turbo、Azure OpenAI GPT-3.5 Turbo 16k、Azure OpenAI GPT-4、Azure OpenAI GPT-4 32k
資格情報のタイプ： APIトークン（Azureではない）
必要となるランタイムパラメーターは次のとおりです。
キー 説明 OPENAI_API_KEY 資格情報管理ページで作成した、Azure OpenAI LLM APIエンドポイント用のAPIトークン資格情報を選択します。 OPENAI_API_BASE Azure OpenAI LLM APIエンドポイントのURLを入力します。 OPENAI_API_DEPLOYMENT_ID LLMをAzure環境にデプロイするときに選択した、LLMのAzure OpenAIデプロイ名を入力します。 詳細については、Azure OpenAIのドキュメントでモデルのデプロイ方法を参照してください。 DataRobotでは、デフォルトのデプロイ名として、Azure OpenAIでのLLM IDを推奨します（例：gpt-35-turbo）。 Azure OpenAIでのデプロイ名が異なる場合は、このパラメーターを変更してください。 OPENAI_API_VERSION この操作に使用するAzure OpenAI APIのバージョンを、YYYY-MM-DDまたはYYYY-MM-DD-preview形式で入力します（例：2023-05-15）。 サポートされているバージョンの詳細については、Azure OpenAI APIリファレンスドキュメントを参照してください。 PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。 AmazonがホストするLLM：Amazon Titan
資格情報のタイプ：AWS
必要となるランタイムパラメーターは次のとおりです。
キー 説明 AWS_ACCOUNT AWSアカウントの 資格情報管理ページで作成されたAWS資格情報を選択します。 AWS_REGION AWSアカウントのAWSリージョンを入力します。 デフォルトはus-west-1です。 PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。 GoogleがホストするLLM：Google Bison
資格情報タイプ Google Cloudサービスのアカウント
必要となるランタイムパラメーターは次のとおりです。
キー 説明 GOOGLE_SERVICE_ACCOUNT 資格情報管理ページで作成されたGoogle Cloudサービスアカウントの資格情報を選択します。 GOOGLE_REGION GoogleサービスアカウントのGCPリージョンを入力します。 デフォルトはus-west-1です。 PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。 -
設定セクションで、ネットワークアクセスがパブリックに設定されていることを確認します。
-
カスタムモデルの構築が完了したら、モデルをテストしたり、新しいバージョンを作成したりすることができます。 DataRobotでは、デプロイの前にカスタムLLMをテストすることをお勧めします。
-
次に、モデルを登録をクリックして、 登録済みのモデルまたはバージョンの詳細を入力し、モデルを登録を再度クリックしてカスタムLLMをレジストリに追加します。
登録済みのモデルバージョンがモデルディレクトリで開きます。
-
登録済みモデルバージョンパネルの右上にあるモデルディレクトリから、デプロイをクリックし、 デプロイ設定を行います。
生成モデルで使用できるデプロイ機能の詳細については、 生成モデルの監視サポートを参照してください。
このプロセスの詳細については、 プレイグラウンドデプロイの注意事項を参照してください。