Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

プレイグラウンドからLLMをデプロイする

ユースケースのLLM プレイグラウンドから、LLMブループリントを レジストリに追加して、本番環境で使用するLLMを準備します。 ドラフトLLMブループリントを作成し、ブループリント設定(ベースLLMと、そしてオプションでシステムプロンプトとベクターデータベースを含む)を設定し、レスポンスをテストしてチューニングした後、ブループリントを登録およびデプロイする準備が整います。 LLMブループリントを、ターゲットタイプがテキスト生成のカスタムモデルとして、レジストリのモデルワークショップに追加します。

  1. In a Use Case, from the Playgrounds tab, click the playground containing the LLM you want to register as a blueprint.

  2. In the playground, compare LLMs to determine which LLM blueprint to send to the model workshop, then, do either of the following:

    • In the Comparison panel, on the LLM blueprints tab, click the Actions menu , and then click Send to model workshop.

    • In the chat comparison window, on the blueprint's header, click LLM blueprint actions , and then click Send to model workshop.

  3. LLMプレイグラウンドの右下隅には、LLMがキューに入れられて登録されると通知が表示されます。 登録通知が表示されたら、モデルワークショップに移動をクリックします。

    LLMブループリントは、テキスト生成ターゲットタイプを持つカスタムモデルとしてレジストリのモデルワークショップで開きます。

  4. ランタイムパラメーターセクションのアセンブルタブで、LLMサービスの資格情報およびその他の詳細を含め、LLMに必要なキーと値のペアを設定します。 これらの値を追加するには、使用可能なランタイムパラメーターの隣にある編集アイコン()をクリックします。

    資格情報タイプランタイムパラメーターを設定するには、最初に、デプロイするLLMに必要となる資格情報をDataRobotプラットフォームの 資格情報管理ページに追加します

    MicrosoftがホストするLLM:Azure OpenAI GPT-3.5 Turbo、Azure OpenAI GPT-3.5 Turbo 16k、Azure OpenAI GPT-4、Azure OpenAI GPT-4 32k

    資格情報のタイプ: APIトークン(Azureではない)

    必要となるランタイムパラメーターは次のとおりです。

    キー 説明
    OPENAI_API_KEY 資格情報管理ページで作成した、Azure OpenAI LLM APIエンドポイント用のAPIトークン資格情報を選択します。
    OPENAI_API_BASE Azure OpenAI LLM APIエンドポイントのURLを入力します。
    OPENAI_API_DEPLOYMENT_ID LLMをAzure環境にデプロイするときに選択した、LLMのAzure OpenAIデプロイ名を入力します。 詳細については、Azure OpenAIのドキュメントでモデルのデプロイ方法を参照してください。 DataRobotでは、デフォルトのデプロイ名として、Azure OpenAIでのLLM IDを推奨します(例:gpt-35-turbo)。 Azure OpenAIでのデプロイ名が異なる場合は、このパラメーターを変更してください。
    OPENAI_API_VERSION この操作に使用するAzure OpenAI APIのバージョンを、YYYY-MM-DDまたはYYYY-MM-DD-preview形式で入力します(例:2023-05-15)。 サポートされているバージョンの詳細については、Azure OpenAI APIリファレンスドキュメントを参照してください。
    PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。

    AmazonがホストするLLM:Amazon Titan

    資格情報のタイプ:AWS

    必要となるランタイムパラメーターは次のとおりです。

    キー 説明
    AWS_ACCOUNT AWSアカウントの 資格情報管理ページで作成されたAWS資格情報を選択します。
    AWS_REGION AWSアカウントのAWSリージョンを入力します。 デフォルトはus-west-1です。
    PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。

    GoogleがホストするLLM:Google Bison

    資格情報タイプ Google Cloudサービスのアカウント

    必要となるランタイムパラメーターは次のとおりです。

    キー 説明
    GOOGLE_SERVICE_ACCOUNT 資格情報管理ページで作成されたGoogle Cloudサービスアカウントの資格情報を選択します。
    GOOGLE_REGION GoogleサービスアカウントのGCPリージョンを入力します。 デフォルトはus-west-1です。
    PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。
  5. 設定セクションでネットワークアクセスパブリックに設定されていることを確認します。

  6. カスタムモデルの構築が完了したら、モデルをテストしたり、新しいバージョンを作成したりすることができます。 DataRobotでは、デプロイの前にカスタムLLMをテストすることをお勧めします。

  7. 次に、モデルを登録をクリックして、 登録済みのモデルまたはバージョンの詳細を入力し、モデルを登録を再度クリックしてカスタムLLMをレジストリに追加します。

    登録済みのモデルバージョンがモデルディレクトリで開きます。

  8. 登録済みモデルバージョンパネルの右上にあるモデルディレクトリから、デプロイをクリックし、 デプロイ設定を行います。

    生成モデルで使用できるデプロイ機能の詳細については、 生成モデルの監視サポートを参照してください。

このプロセスの詳細については、 プレイグラウンドデプロイの注意事項を参照してください。


更新しました June 7, 2024