Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

LLMブループリントの構築

LLMブループリントは、LLMからレスポンスを生成するために必要なものの完全なコンテキストを表し、結果の出力は、その後プレイグラウンド内で比較できます。

To create an LLM blueprint, select that action from either the Comparison panel or the playground welcome screen.

Clicking the create button brings you to the configuration and chatting tools:

  要素 説明
1 設定パネル Provides access to the configuration selections available from creating an LLM blueprint.
2 LLM blueprint card summary Displays a summary of the LLM blueprint configuration, metrics, and timestamp.
3 チャットの履歴 Provides access to a record of prompts sent to this LLM blueprint, as well as an option to start a new chat.
4 Prompt entry LLMブループリントとのチャットを開始するプロンプトを受け付けます。エントリーをアクティブにする前に、設定を保存する必要があります。

You can also create an LLM blueprint by copying an existing blueprint.

設定を行う

The configuration panel is where you define the LLM blueprint. From here:

DataRobotには LLMの選択機能があります。実際に何が利用可能となるかはクラスターとアカウントタイプによって異なります。

LLM selection and settings

DataRobot offers a variety of preloaded LLMs. または、プレイグラウンドにデプロイされたLLMを追加することもできます。このLLMは、検証されるとユースケースに追加され、関連付けられているすべてのプレイグラウンドで使用できます。 In either case, selecting a base LLM exposes additional configuration options:

設定 説明
最大出力トークン数 完了時に許可されるトークンの最大数。 この値とプロンプトトークンの合計数は、モデルの最大コンテキストサイズ以下である必要があります。ここで、プロンプトトークン数は、システムプロンプト、ユーザープロンプト、最近のチャット履歴、ベクターデータベースの引用で構成されます。
Temperature Temperatureは、モデル出力のランダム性を制御します。 値を入力します(範囲はLLM依存)。値が大きいほど出力の多様性が高くなり、値が低いほど確定的な結果が高くなります。 値を0にすると、反復的な結果をもたらす可能性があります。 Temperatureは、出力でのトークン選択を制御するためのTop Pの代替です(以下の例を参照してください)。
Top P Top Pは、トークン選択の累積確率カットオフに基づいて、レスポンスに含まれる単語の選択を制御するしきい値を設定します。 たとえば、0.2では、上位20%の確率のかたまりだけが考慮されます。 数値が大きいほど、多様なオプションの出力が返されます。 出力でトークン選択を制御するためのTemperatureの代替として、Top Pがあります(以下の例を参照してください)。
TemperatureまたはTop P?

プロンプトの使用を検討してください。“完璧なアイスクリームサンデーを作るために、バニラアイスクリームを2回すくって上に乗せる...“。 推奨される次の単語の望ましいレスポンスは、ホットファッジ、パイナップルソース、ベーコンでしょう。 返されるものの確率を上げるには:

  • ベーコンの場合、Temperatureを最大値に設定し、Top Pをデフォルトのままにします。 高いTemperatureでTop Pを設定し、ファッジとパイナップルの確率を高め、ベーコンの確率を減らします。
  • ホットファッジの場合、Temperatureを0に設定します。

各ベースLLMにはデフォルト設定があります。 結果として、チャットを開始する前に必要な選択はLLMを選択することだけとなります。

デプロイ済みLLMを追加

To add a custom LLM deployed in DataRobot, click Create LLM blueprint to add a new blueprint to the playground. Then, from the playground's blueprint Configuration panel, in the LLM drop-down, click Add deployed LLM:

In the Add deployed LLM dialog box, enter a deployment Name, select the DataRobot deployment associated with the LLM in the Deployment name drop-down, provide the Prompt column name and Response column name defined when you created the custom LLM in the model workshop (for example, promptText and responseText), then click Validate and add:

カスタムLLMを追加して検証が成功したら、ブループリントの設定パネルに戻って、LLMドロップダウンで デプロイ済みのLLMをクリックし、追加したカスタムモデルの検証IDを選択します。

Finally, you can configure the Vector database and Prompting settings, and click Save configuration to add the blueprint to the playground

VDBの追加

From the Vector database tab, you can optionally select a vector database. The selection identifies a database comprised of a collection of chunks of unstructured text and corresponding text embeddings for each chunk, indexed for easy retrieval. VDBs are not required for prompting but are used for providing relevant data to the LLM to generate the response.

The dropdown lists all VDBs available in the Use Case (and therefore accessible for use by all of that Use Case's playgrounds). If you select the Add vector database option, the new VDB you add will become available to other LLM blueprints although you must change the LLM blueprint configuration to apply them.

Set prompting strategy

The prompting strategy is where you configure context (chat history) settings and optionally add a system prompt.

Set context state

There are two states of context. They control whether chat history is sent with the prompt to include relevant context for responses.

状態 説明
コンテキスト認識 When sending input, previous chat history is included with the prompt. This state is the default.
コンテキストがありません チャットからの履歴なしで、各プロンプトを独立した入力として送信します。

You can switch between one-time (no context) and context-aware within a chat. They each become independent sets of history context—going from context-aware, to no context, and back to aware clears the earlier history from the prompt. (これが行われるのは、新しいプロンプトが送信されたときだけです。)

Context state is reported in two ways:

  1. バッジは、設定ビューと比較ビューの両方でLLMブループリント名の右側に表示され、現在のコンテキストの状態を報告します。

  2. In the configuration view, dividers show the state of the context setting:

Set system prompt

The system prompt, an optional field, is a "universal" prompt prepended to all individual prompts for this LLM blueprint. LLMのレスポンスを指示およびフォーマットします。 システムプロンプトは、レスポンス生成中に作成される構造、トーン、形式、コンテンツに影響を与えることがあります。

See an example of system prompt application in the Comparison documentation.

LLMブループリントのアクション

The actions available for an LLM blueprint can be accessed from the actions menu next to the name in the left-hand Comparison panel or from LLM blueprint actions in a selected LLM blueprint.

オプション 説明
LLMブループリントの設定 From the Comparison panel only. Opens the configuration settings for the selected blueprint for further tuning.
LLMブループリントの編集 Provides a modal for changing the LLM blueprint name. Changing the name saves the new name and all saved settings. 設定が保存されていない場合は、最後に保存されたバージョンに戻ります。
新しいLLMブループリントにコピー Creates a new LLM blueprint from all saved settings of the selected blueprint.
モデルワークショップに送信 LLMブループリントを レジストリに送信し、そこでモデルワークショップに追加されます。 そこからカスタムモデルとしてデプロイできます。
LLMブループリントを削除 Deletes the LLM blueprint.

LLMブループリントをコピー

You can make a copy of an existing LLM blueprint to inherit the settings. Using this approach makes sense when you want to compare slightly different blueprints or use a blueprint you did not create in a shared playground.

You can make a copy in one of two ways:

  1. From an existing blueprint in the left-hand panel, click the Actions menu and elect Copy to new LLM blueprint to create a new copy that inherits the settings of the parent blueprint.

    The new LLM blueprint opens for further configuration. Optionally, choose LLM blueprint actions to change the name.

  2. From any open LLM blueprint, choose LLM blueprint actions and choose Copy to new LLM blueprint.

Change LLM blueprint configuration

To change the configuration of an LLM blueprint, choose Configure LLM blueprint from the actions menu in the Comparison panel. The LLM blueprint configuration and chat history display. Change any of the configuration settings and Save configuration

When you make changes to an LLM blueprint, the chat history associated with it, if the configuration is context-aware, is also saved. チャット内のすべてのプロンプトは、LLMブループリントの変更後も保持されます。

  • When you submit a prompt, the history included is everything within the most recent chat context.
  • If you switch the LLM blueprint to No context, each prompt is its own chat context.
  • If you switch back to Context-aware, that starts a new chat context within the chat.

Note that chats in the configuration view are separate from chats in the Comparison view—the histories don't mingle.


更新しました June 7, 2024