Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

プレイグラウンドからLLMをデプロイする

ユースケースのLLM プレイグラウンドから、LLMブループリントを レジストリに追加して、本番環境で使用するLLMを準備します。 ドラフトLLMブループリントを作成し、ブループリント設定(ベースLLMと、そしてオプションでシステムプロンプトとベクターデータベースを含む)を設定し、レスポンスをテストしてチューニングした後、ブループリントを登録およびデプロイする準備が整います。 ドラフトをブループリントとして保存し、テキスト生成ターゲットタイプを持つカスタムモデルとしてレジストリのモデルワークショップに追加します。

  1. ユースケースプレイグラウンドタブで、ブループリントとして保存したいLLMを含むプレイグラウンドをクリックします。

  2. ブループリントのドラフトをクリックして保存します。アクションメニュー()をクリックしてから、LLMブループリントとして保存をクリックします。 ドラフトの操作または LLMブループリントとして保存をクリックすることもできます。設定サイドバー。

    ブループリントのドラフトがLLMブループリントになりました。 保存すると、ブループリントに追加の変更を加えることはできません。

  3. アクションメニュー()をクリックし、LLMブループリントを登録をクリックします。 LLMブループリントアクション > LLMブループリントの登録をクリックすることもできます。

  4. LLMプレイグラウンドの左下隅には、LLMがキューに入れられて登録されると通知が表示されます。 登録通知が表示されたら、レジストリのLLMブループリントに移動をクリックします。

    LLMブループリントは、テキスト生成ターゲットタイプを持つカスタムモデルとしてレジストリのモデルワークショップで開きます。

  5. ランタイムパラメーターセクションのアセンブルタブで、LLMサービスの資格情報およびその他の詳細を含め、LLMに必要なキーと値のペアを設定します。 これらの値を追加するには、使用可能なランタイムパラメーターの隣にある編集アイコン()をクリックします。

    資格情報タイプランタイムパラメーターを設定するには、最初に、デプロイするLLMに必要となる資格情報をDataRobotプラットフォームの 資格情報管理ページに追加します

    MicrosoftがホストするLLM:Azure OpenAI GPT-3.5 Turbo、Azure OpenAI GPT-3.5 Turbo 16k、Azure OpenAI GPT-4、Azure OpenAI GPT-4 32k

    資格情報のタイプ: APIトークン(Azureではない)

    必要となるランタイムパラメーターは次のとおりです。

    キー 説明
    OPENAI_API_KEY 資格情報管理ページで作成した、Azure OpenAI LLM APIエンドポイント用のAPIトークン資格情報を選択します。
    OPENAI_API_BASE Azure OpenAI LLM APIエンドポイントのURLを入力します。
    OPENAI_API_DEPLOYMENT_ID LLMをAzure環境にデプロイするときに選択した、LLMのAzure OpenAIデプロイ名を入力します。 詳細については、Azure OpenAIのドキュメントでモデルのデプロイ方法を参照してください。 DataRobotでは、デフォルトのデプロイ名として、Azure OpenAIでのLLM IDを推奨します(例:gpt-35-turbo)。 Azure OpenAIでのデプロイ名が異なる場合は、このパラメーターを変更してください。
    OPENAI_API_VERSION この操作に使用するAzure OpenAI APIのバージョンを、YYYY-MM-DDまたはYYYY-MM-DD-preview形式で入力します(例:2023-05-15)。 サポートされているバージョンの詳細については、Azure OpenAI APIリファレンスドキュメントを参照してください。
    PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。

    AmazonがホストするLLM:Amazon Titan

    資格情報のタイプ:AWS

    必要となるランタイムパラメーターは次のとおりです。

    キー 説明
    AWS_ACCOUNT AWSアカウントの 資格情報管理ページで作成されたAWS資格情報を選択します。
    AWS_REGION AWSアカウントのAWSリージョンを入力します。 デフォルトはus-west-1です。
    PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。

    GoogleがホストするLLM:Google Bison

    資格情報タイプ Google Cloudサービスのアカウント

    必要となるランタイムパラメーターは次のとおりです。

    キー 説明
    GOOGLE_SERVICE_ACCOUNT 資格情報管理ページで作成されたGoogle Cloudサービスアカウントの資格情報を選択します。
    GOOGLE_REGION GoogleサービスアカウントのGCPリージョンを入力します。 デフォルトはus-west-1です。
    PROMPT_COLUMN_NAME 入力.csvファイルからプロンプト列名を入力します。 デフォルトの列名はpromptTextです。
  6. 設定セクションでネットワークアクセスパブリックに設定されていることを確認します。

  7. カスタムモデルアセンブリが完了したら、](nxt-test-custom-model)モデルをテスト [するか、 新しいバージョンを作成できます。 DataRobotでは、デプロイの前にカスタムLLMをテストすることをお勧めします。

  8. 次に、モデルを登録をクリックして、 登録済みのモデルまたはバージョンの詳細を入力し、モデルを登録を再度クリックしてカスタムLLMをレジストリに追加します。

    登録済みのモデルバージョンがモデルディレクトリで開きます。

  9. 登録済みモデルバージョンパネルの右上にあるモデルディレクトリから、デプロイをクリックし、 デプロイ設定を行います。

    生成モデルで使用できるデプロイ機能の詳細については、 生成モデルの監視サポートを参照してください。

このプロセスの詳細については、 プレイグラウンドデプロイの注意事項を参照してください。


更新しました February 6, 2024
Back to top