LLMブループリントの構築¶

LLMブループリントは、LLMからレスポンスを生成するために必要なものの完全なコンテキストを表し、結果の出力は、その後プレイグラウンド内で比較できます。

To create an LLM blueprint, select that action from either the LLM blueprints tab or, if it is your first blueprint, the playground welcome screen.

作成ボタンをクリックすると、設定およびチャットツールが表示されます。

既存のブループリントをコピーしてLLMブループリントを作成することもできます。

設定を行う¶

設定パネルでは、LLMブループリントを定義します。 以下の操作を行います。

• LLMを選択して設定を選択します。
• ベクターデータベースを選択または追加します。
• プロンプティング戦略を設定します。

LLMの選択と設定¶

DataRobotには LLMの選択機能があります。実際に何が利用可能となるかはクラスターとアカウントタイプによって異なります。

または、プレイグラウンドにデプロイされたLLMを追加することもできます。このLLMは、検証されるとユースケースに追加され、関連付けられているすべてのプレイグラウンドで使用できます。 In either case, selecting a base LLM exposes some or all of the following configuration options, dependent on the selection:

各ベースLLMにはデフォルト設定があります。 結果として、チャットを開始する前に必要な選択はLLMを選択することだけとなります。

デプロイ済みLLMの追加¶

DataRobotにデプロイされたカスタムLLMを追加するには、LLMブループリントの作成をクリックして、プレイグラウンドに新しいブループリントを追加します。 次に、プレイグラウンドのブループリントの設定パネルにあるLLMドロップダウン デプロイ済みLLMを追加をクリックします。

デプロイ済みLLMを追加ダイアログボックスで、デプロイ済みLLMの名前を入力し、デプロイ名ドロップダウンでDataRobotのデプロイを選択します。 選択したデプロイがボルトオンのガバナンスAPIに対応しているかどうかによって、以下の設定を行います。

カスタムLLMを追加し、検証が正常に完了した後、ブループリントの設定パネルにあるLLMドロップダウンでデプロイ済みのLLMをクリックし、追加したカスタムモデルの検証IDを選択します。

最後に、 ベクターデータベースおよび プロンプティングの設定を行い、設定を保存をクリックしてブループリントをプレイグラウンドに追加できます。

使用非推奨のLLMとサポートが終了したLLM¶

急速に進化するGenAIの状況において、LLMは常に改善されており、古いモデルは新しいバージョンで置き換えられ、無効になっています。 これに対処するため、DataRobotのLLM使用非推奨プロセスでは、LLMにバッジを付けて今後の変更を示しています。 その目的は、ベンダーの予期せぬサポート打ち切りからエクスペリメントやデプロイを守ることにあります。

使用非推奨のLLMのためのバッジは、LLMブループリントの作成パネルに表示されます。

あるいは、作成済みの場合、影響を受けるLLMブループリントには警告や通知が示され、カーソルを合わせると日付が表示されます。

• LLMが使用非推奨プロセスにある場合、そのLLMのサポートは2か月後に終了します。 バッジと警告が表示されますが、機能は制限されません。

• サポートが終了すると、そのモデルから作成されたアセットは引き続き表示できますが、新しいアセットは作成できません。 サポートが終了したLLMは、単一のプロンプトや比較プロンプトでは使用できません。

一部の評価指標、たとえば忠実度や正確性などは、その設定でLLMを使用します。 それらの場合、指標の表示または設定時、およびプロンプトの回答にメッセージが表示されます。

LLMがデプロイされている場合、DataRobotはベースとなるLLMに使用されている資格情報を制御できないため、デプロイは予測を返すことができません。 このような場合は、デプロイ済みのLLMを新しいモデルに置き換えてください。

使用非推奨のLLMとサポートが終了したLLMの全リストについては、利用可能なLLMのページを参照してください。

ベクターデータベースを追加¶

ベクターデータベースタブから、オプションで ベクターデータベースを選択できます。 この選択では、非構造化テキストの チャンクおよび各チャンクの対応するテキスト埋め込み（取得しやすいようにインデックス化済み）のコレクションで構成されたデータベースが識別されます。 ベクターデータベースはプロンプティングに必要ありませんが、回答を生成するためにLLMに関連データを提供するために使用されます。 ベクターデータベースをプレイグラウンドに追加して、指標を実験し、回答をテストします。

次のテーブルは、ベクターデータベースタブのフィールドを記述したものです。

ドロップダウン

Retrieverのメソッド¶

選択したRetrieverによって、LLMブループリントがベクターデータベースから最も関連性の高いチャンクを検索して取得する方法が決まります。 それらは、言語モデルに提供される情報を指示します。 以下のいずれかのメソッドを選択します。

隣接チャンクを追加を使用して、類似性検索が取得するチャンクに、ベクターデータベース内の近隣するチャンクを追加するかどうかを制御します。 有効にすると、Retrieverはi、i-1、およびi+1（たとえば、クエリーでチャンク番号42を取得すると、チャンク41と43も取得されます）を返します。

また、プライマリーチャンクにのみ類似度スコアが付与されている点にも注目してください。 これは、隣接チャンクが回答の一部として計算されるのではなく、追加されるためです。

「コンテキストウィンドウの拡張」または「コンテキストの強化」として知られるこの方法は、取得されたチャンクに隣接する周辺のチャンクを含めることで、より完全なコンテキストを提供します。 これを可能にする理由には、次のようなものがあります。

• 1つのチャンクが文の途中で切れてしまったり、重要な文脈を見逃してしまったりする可能性があります。
• 関連情報は複数のチャンクにまたがる可能性があります。
• 回答には、周囲のチャンクからのコンテキストが必要な場合があります。

返されるドキュメントの数を制御する検索の上限を設定する値を入力します。

Top K（近傍法）に設定した値は、ベクターデータベースから取得する関連チャンクの数をLLMに指示します。 チャンクの選択は、 類似性スコアに基づいて行われます。 以下の点に注意してください。

• 値を大きくすると、より広範囲をカバーできますが、処理のオーバーヘッドが増加し、関連性の低い結果が含まれる可能性があります。
• 値を小さくすると、より焦点の絞られた結果が得られ、処理も速くなりますが、関連する情報を見逃す可能性があります。

最大トークン数では、以下の内容を指定します。

• ベクターデータベースを構築するときにデータセットから抽出された各テキストチャンクの最大サイズ（トークン単位）。
• 埋め込みの作成に使用されるテキストの長さ。
• RAG操作で使用される引用のサイズ。

プロンプティング戦略の設定¶

プロンプティング戦略では、コンテキスト（チャット履歴）設定を行い、オプションでシステムプロンプトを追加します。

コンテキスト状態の設定¶

コンテキストには2つの状態があります。 チャット履歴をプロンプトと一緒に送信して、回答に関連するコンテキストを含めるかどうかを制御します。

See context-aware chatting for more information.

システムプロンプトの設定¶

オプションのフィールドであるシステムプロンプトは、このLLMブループリントの個々のすべてのプロンプトの先頭にある「汎用」プロンプトです。 LLMのレスポンスを指示およびフォーマットします。 システムプロンプトは、レスポンス生成中に作成される構造、トーン、形式、コンテンツに影響を与えることがあります。

See an example of system prompt application in the LLM blueprint comparison documentation.

LLMブループリントのアクション¶

The actions available for an LLM blueprint can be accessed from the actions menu next to the name in the left-hand LLM blueprints tab or from LLM blueprint actions in a selected LLM blueprint.

LLMブループリントをコピー¶

既存のLLMブループリントをコピーして、設定を継承できます。 Using this approach makes sense when you want to compare slightly different blueprints, duplicate a blueprint for which you are not the owner in a shared playground, or replace a soon-to-expire LLM.

Make a copy in one of two ways:

LLMブループリント設定の変更¶

To change the configuration of an LLM blueprint, choose Configure LLM blueprint from the actions menu in the LLM blueprints tab. LLMブループリント設定とチャット履歴が表示されます。 設定を変更し、設定を保存します。

LLMブループリントを変更すると、それに関連付けられたチャット履歴も保存されます（設定がコンテキスト認識の場合）。 LLMブループリントを変更しても、チャット内のすべてのプロンプトは保持されます。

• プロンプトを送信したときに含まれる履歴は、最新のチャットコンテキスト内のすべての要素です。
• LLMブループリントをコンテキストなしに切り替えると、各プロンプトは独自のチャットコンテキストになります。
• コンテキスト認識に切り替えると、チャット内で新しいチャットコンテキストが開始されます。

設定ビューのチャットは、比較ビューのチャットとは別物です。履歴が混ざり合うことはありません。