LLMブループリントの構築¶

LLMブループリントは、LLMからレスポンスを生成するために必要なものの完全なコンテキストを表し、結果の出力は、その後プレイグラウンド内で比較できます。

LLMブループリントを作成するには、比較パネルまたはプレイグラウンドのようこそ画面から、該当するアクションを選択します。

作成ボタンをクリックすると、設定およびチャットツールが表示されます。

	要素	説明
1	設定パネル	LLMブループリントの作成から使用可能な設定の選択へのアクセスを提供します。
2	LLMブループリントカードサマリー	LLMブループリント設定、指標、およびタイムスタンプのサマリーを表示します。
3	チャットの履歴	このLLMブループリントに送信されたプロンプトのレコードへのアクセスに加えて、新規チャットを開始するオプションを提供します。
4	プロンプトエントリー	LLMブループリントとのチャットを開始するプロンプトを受け入れます。エントリーをアクティブにする前に設定を保存する必要があります。

既存のブループリントをコピーしてLLMブループリントを作成することもできます。

設定を行う¶

設定パネルでは、LLMブループリントを定義します。以下の操作を行います。

LLMを選択して設定を選択します。
VDBを選択または追加します。
プロンプティング戦略を設定します。

LLMの選択と設定¶

DataRobotには LLMの選択機能があります。実際に何が利用可能となるかはクラスターとアカウントタイプによって異なります。

または、プレイグラウンドにデプロイされたLLMを追加することもできます。このLLMは、検証されるとユースケースに追加され、関連付けられているすべてのプレイグラウンドで使用できます。いずれの場合でも、ベースLLMを選択すると追加の設定オプションが表示されます。

設定	説明
最大出力トークン数	完了時に許可されるトークンの最大数。この値とプロンプトトークンの合計数は、モデルの最大コンテキストサイズ以下である必要があります。ここで、プロンプトトークン数は、システムプロンプト、ユーザープロンプト、最近のチャット履歴、ベクターデータベースの引用で構成されます。
Temperature	Temperatureは、モデル出力のランダム性を制御します。値を入力します（範囲はLLM依存）。値が大きいほど出力の多様性が高くなり、値が低いほど確定的な結果が高くなります。値を0にすると、反復的な結果をもたらす可能性があります。 Temperatureは、出力でのトークン選択を制御するためのTop Pの代替です（以下の例を参照してください）。
Top P	Top Pは、トークン選択の累積確率カットオフに基づいて、レスポンスに含まれる単語の選択を制御するしきい値を設定します。たとえば、0.2では、上位20%の確率のかたまりだけが考慮されます。数値が大きいほど、多様なオプションの出力が返されます。出力でトークン選択を制御するためのTemperatureの代替として、Top Pがあります（以下の例を参照してください）。

TemperatureまたはTop P？

プロンプトの使用を検討してください。“完璧なアイスクリームサンデーを作るために、バニラアイスクリームを2回すくって上に乗せる...“。推奨される次の単語の望ましいレスポンスは、ホットファッジ、パイナップルソース、ベーコンでしょう。返されるものの確率を上げるには：

ベーコンの場合、Temperatureを最大値に設定し、Top Pをデフォルトのままにします。高いTemperatureでTop Pを設定し、ファッジとパイナップルの確率を高め、ベーコンの確率を減らします。
ホットファッジの場合、Temperatureを0に設定します。

各ベースLLMにはデフォルト設定があります。結果として、チャットを開始する前に必要な選択はLLMを選択することだけとなります。

デプロイ済みLLMを追加¶

DataRobotにデプロイされたカスタムLLMを追加するには、LLMブループリントの作成をクリックして、プレイグラウンドに新しいブループリントを追加します。次に、プレイグラウンドのブループリントの設定パネルにあるLLMドロップダウン デプロイ済みLLMを追加をクリックします。

デプロイ済みLLMを追加ダイアログボックスで、デプロイの名前を入力し、デプロイ名ドロップダウンでLLMに関連付けられたDataRobotデプロイを選択します。モデルワークショップでカスタムLLMを作成したときに定義したプロンプト列名および回答列名（promptTextおよびresponseTextなど）を指定して、検証して追加をクリックします。

カスタムLLMを追加し、検証が正常に完了した後、ブループリントの設定パネルにあるLLMドロップダウンでデプロイ済みのLLMをクリックし、追加したカスタムモデルの検証IDを選択します。

最後に、 ベクターデータベースおよび プロンプティングの設定を行い、設定を保存をクリックしてブループリントをプレイグラウンドに追加できます。

VDBの追加¶

ベクターデータベースタブから、オプションでベクターデータベースを選択できます。この選択では、非構造化テキストのチャンクおよび各チャンクの対応するテキスト埋め込み（取得しやすいようにインデックス化済み）のコレクションで構成されたデータベースが識別されます。 VDBはプロンプティングに必要ありませんが、回答を生成するためにLLMに関連データを提供するために使用されます。

ドロップダウンには、ユースケース（およびそのユースケースのすべてのプレイグラウンド）で使用可能なすべてのVDBがリストされます。 ベクターデータベースを追加オプションを選択すると、追加した新しいVDBが他のLLMブループリントで使用可能になりますが、適用するには LLMブループリント設定を変更する必要があります。

プロンプティング戦略の設定¶

プロンプティング戦略では、コンテキスト（チャット履歴）設定を行い、オプションでシステムプロンプトを追加します。

コンテキスト状態の設定¶

コンテキストには2つの状態があります。チャット履歴をプロンプトと一緒に送信して、回答に関連するコンテキストを含めるかどうかを制御します。

状態	説明
コンテキスト認識	入力を送信する際、以前のチャット履歴がプロンプトに含まれます。この状態がデフォルトです。
コンテキストがありません	チャットからの履歴なしで、各プロンプトを独立した入力として送信します。

チャット内で、1回限り（コンテキストなし）とコンテキストアウェアを切り替えることができます。これらはそれぞれ独立した履歴コンテキストのセットになります。コンテキストアウェアからコンテキストなし、そしてコンテキストアウェアに戻ると、プロンプトから以前の履歴がクリアされます。（これが行われるのは、新しいプロンプトが送信されたときだけです。）

コンテキストの状態は2つの方法で報告されます。

バッジは、設定ビューと比較ビューの両方でLLMブループリント名の右側に表示され、現在のコンテキストの状態を報告します。
設定ビューでは、コンテキスト設定の状態がディバイダーによって示されます。

システムプロンプトの設定¶

オプションのフィールドであるシステムプロンプトは、このLLMブループリントの個々のすべてのプロンプトの先頭にある「汎用」プロンプトです。 LLMのレスポンスを指示およびフォーマットします。システムプロンプトは、レスポンス生成中に作成される構造、トーン、形式、コンテンツに影響を与えることがあります。

比較ドキュメントのシステムプロンプトアプリケーションの例を参照してください。

LLMブループリントのアクション¶

LLMブループリントで使用可能なアクションには、左側の比較パネルの名前の横にあるアクションメニュー、または選択したLLMブループリントのLLMブループリントのアクションからアクセスできます。

オプション	説明
LLMブループリントの設定	比較パネルからのみ。追加のチューニングを行うために、選択したブループリントの設定を開きます。
LLMブループリントの編集	LLMブループリント名を変更するためのモーダルを提供します。名前を変更すると、新しい名前と保存されたすべての設定が保存されます。設定が保存されていない場合は、最後に保存されたバージョンに戻ります。
新しいLLMブループリントにコピー	選択したブループリントのすべての保存済み設定から新しいLLMブループリントを作成します。
モデルワークショップに送信	LLMブループリントをレジストリに送信し、そこでモデルワークショップに追加されます。そこからカスタムモデルとしてデプロイできます。
LLMブループリントを削除	LLMブループリントを削除します。

LLMブループリントをコピー¶

既存のLLMブループリントをコピーして、設定を継承できます。このアプローチは、少し異なるブループリントを比較する場合や、自分が作成しなものでないブループリントを共有プレイグラウンドで使用する場合に適しています。

コピーは、次のいずれかの方法で作成できます。

左側のパネルにある既存のブループリントから、アクションメニュー をクリックし、新しいLLMブループリントにコピーを選択して、元のブループリントの設定を継承する新しいコピーを作成します。

新しいLLMブループリントが開き、追加の設定を行うことができます。オプションで、名前を変更するLLMブループリントのアクションを選択します。
開いているLLMブループリントからLLMブループリントのアクションを選択し、新しいLLMブループリントにコピーを選択します。

LLMブループリント設定の変更¶

LLMブループリントの設定を変更するには、比較パネルのアクションメニューからLLMブループリントの設定を選択します。 LLMブループリント設定とチャット履歴が表示されます。設定を変更し、設定を保存します。

LLMブループリントを変更すると、それに関連付けられたチャット履歴も保存されます（設定がコンテキスト認識の場合）。 LLMブループリントを変更しても、チャット内のすべてのプロンプトは保持されます。

プロンプトを送信したときに含まれる履歴は、最新のチャットコンテキスト内のすべての要素です。
LLMブループリントをコンテキストなしに切り替えると、各プロンプトは独自のチャットコンテキストになります。
コンテキスト認識に切り替えると、チャット内で新しいチャットコンテキストが開始されます。

設定ビューのチャットは、比較ビューのチャットとは別物です。履歴が混ざり合うことはありません。

更新しました July 10, 2024

このページは役に立ちましたか？

ありがとうございます。どのような点が役に立ちましたか？

より良いコンテンツを提供するには、どうすればよいでしょうか？

アンケートにご協力いただき、ありがとうございました。