チャット¶

チャットは、プロンプトを送信してLLMから回答を受信するアクティビティです。 チャット は、チャットプロンプトのコレクションです。 LLMの設定を行ったら、（パネル下部のエントリーボックスから）プロンプトを送信して、LLMブループリントのデプロイを検討する前に、さらに微調整が必要かどうかを判断します。

プレイグラウンド内でのチャットは「会話」で、それに続くプロンプトでフォローアップの質問をすることができます。以下は、DataRobotオートパイロットを実行するためのPythonコードの出力をLLMに求める例です。

フォローアップ質問の結果は、コンテキスト認識が有効化されているかどうかによって異なります（例の続きを参照してください）。プレイグラウンドを使用して、システムプロンプトと設定に満足するまでプロンプトをテストおよびチューニングします。次に、右側のパネルの下部にある設定を保存をクリックします。

コンテキスト認識チャット¶

LLMブループリントを設定する際、 プロンプティングタブで履歴認識を設定します。

コンテキストには2つの状態があります。チャット履歴をプロンプトと一緒に送信して、回答に関連するコンテキストを含めるかどうかを制御します。

状態	説明
コンテキスト認識	入力を送信する際、以前のチャット履歴がプロンプトに含まれます。この状態がデフォルトです。
コンテキスト認識なし	チャットからの履歴をコンテキストに含めない。

備考

コンテキストの状態と、その状態が選択したRetrieverメソッドと連携してどのように機能するかを考慮します。

チャット内で、1回限り（コンテキストなし）とコンテキストアウェアを切り替えることができます。これらはそれぞれ独立した履歴コンテキストのセットになります。コンテキストアウェアからコンテキストなし、そしてコンテキストアウェアに戻ると、プロンプトから以前の履歴がクリアされます。（これが行われるのは、新しいプロンプトが送信されたときだけです。）

コンテキストの状態は2つの方法で報告されます。

バッジは、設定ビューと比較ビューの両方でLLMブループリント名の右側に表示され、現在のコンテキストの状態を報告します。
設定ビューでは、コンテキスト設定の状態がディバイダーによって示されます。

上記の例を使用して、「そのコード」に変更を加えるように求めることができます。コンテキスト認識を有効にすると、LLMは以前の会話履歴を「認識」するため、参照されているコードを認識して応答します。

最適化されたプロンプト（Few-shotプロンプティングを含む）の作成に関する情報については、プロンプティングリファレンスを参照してください。

単一チャットと比較チャットの比較¶

単一のLLMブループリントとのチャットは、他のLLMブループリントとプロンプトでの比較を開始する前にチューニングするのに適した方法です。比較では、複数のLLMブループリント間の回答を比較して、本番環境に移行するものを決定できます。

備考

比較プロンプトは、作成したLLMブループリントでのみ実行できます。共有ユースケースで他のユーザーのLLMブループリントをプロンプトした結果を確認するには、ブループリントをコピーし、同じ設定を適用してチャットします。これは意図的な操作です。LLMブループリントをプロンプトするとチャット履歴に影響し、その結果、生成される回答に影響する可能性があるためです。ただし、回答へのフィードバックを行うことで、開発を支援できます。

単一のLLMブループリントのチャット¶

LLMブループリントを最初に設定するとき、作成プロセスの一部にチャットが含まれます。チャットをアクティブにするには、設定を行って保存します。

チャットの結果が表示されたら、必要に応じて設定を調整し、再度プロンプトを実行します。各チャット結果で使用できる追加のアクションを使用して、詳細情報とプロンプトを取得します。

オプション	説明
設定を表示	そのプロンプトが使用した設定を右側の設定パネルに表示します。チャット中に設定を変更していない場合、変更はありません。このツールを使用すると、以前の設定をリコールし、LLMブループリントをこれらの設定に復元できます。
トレースを開く	トレースログを開きます。このログには、LLMの回答の生成に使用されたすべてのコンポーネントとプロンプティングアクティビティが表示されます。
プロンプトと応答を削除	チャット履歴からプロンプトと回答の両方を削除します。削除すると、将来の回答のコンテキストと見なされなくなります。

LLMにプロンプトを送信すると、それらのチャットのレコードがDataRobotに保持されます。既存のチャットのコンテキストに追加するか、新しいチャットを開始することができます。新しいチャットを開始した場合、履歴内の他のチャットのコンテキストは引き継がれません。

新しいチャットを開始すると、単一のブループリントで複数の独立した会話スレッドを設定できます。このようにして、回答を「汚染」する可能性のある以前のプロンプト回答の履歴を取り込むことなく、さまざまなタイプのトピックに基づいてLLMブループリントを評価できます。これは、コンテキストをオフにしてプロンプトを送信し、コンテキストを再度オンにすることで実行できますが、新しいチャットを開始する方がよりシンプルな方法です。

新しいチャットを開始をクリックして、クリーンな履歴から開始します。プロンプトが送信されると、DataRobotはチャットの名前を 新しいチャット からプロンプト内の単語に変更します。

比較LLMブループリントチャット¶

準備が整ったら、ブレッドクラムの比較をクリックして、回答を他のLLMブループリントと比較します。

比較を開始した後にさらにチューニングが必要と判断した場合、個々のLLMブループリントの設定を変更できます。

複数のLLMブループリントのチャットを並べて比較するには、 LLMブループリントの比較のドキュメントを参照してください。

回答フィードバック¶

回答フィードバック「thumbs」を使用して、プロンプトの回答を評価します。回答は、 トレースタブのユーザーからのフィードバック列に記録されます。 AIカタログに送信されるエクスポート済みフィードバックの一部としての回答は、予測モデルのトレーニングなどに使用できます。

引用¶

引用は指標であり、デフォルトでオンになっています（レイテンシー、プロンプトトークン、回答トークンと同様）。引用符は、ベクターデータベースから取得されたプロンプトへの関連性に基づいて、上位のリファレンスドキュメントのチャンクのリストを提供します。最初にベクターデータベースの作成に使用される埋め込みモデルは、取得される引用の品質に影響を与える可能性があることに注意してください。

備考

引用は、クエリーされるLLMブループリントがベクターデータベースに関連付けられている場合にのみ表示されます。引用は利用可能な指標の1つですが、引用を返すために評価機能を有効にする 必要はありません 。

引用を安全チェックとして使用してLLMの回答を検証します。引用は、LLMの回答を検証するのに役立ちますが、ベクターデータベースから適切に取得できるかどうか（LLMにコンテキストとして提供するチャンクをドキュメントから取得しているかどうか）を検証することもできます。さらに、LLMの回答がソースと一致するかどうかを測定するFaithfulness指標を有効にする場合、これは関連性において引用の出力に依存します。

ROUGEスコア¶

ROUGEスコアは信頼度スコアとも呼ばれ、LLMブループリントから生成された回答とベクターデータベースから検索されたドキュメントとの距離を計算します。これらは、回答が指定されたコンテキストにどれだけ近いかを示します。 ROUGEスコアは、事実の一貫性指標アプローチを使用して計算されます。このアプローチでは、ベクターデータベース{ target=blank }から取得した事実と、LLMブループリントから生成されたテキストを使用してスコアが計算されます。使用される類似性指標は、 [ROUGE-1] (https://en.wikipedia.org/wiki/ROUGE(metric)){ target=_blank } (Recall-Oriented Understudy for Gisting Evaluation) 指標です。 DataRobot GenAIは、 "The limits of automatic summarization according to ROUGE"からのインサイトに基づいて、ROUGE-1の改善されたバージョンを使用します。 ROUGEのスコアリングアルゴリズムはスケーリングされません。代わりに、DataRobotではヒューリスティック係数が使用されます。

ROUGEスコアは、プロンプトの回答で報告されます。

類似度スコア¶

類似度スコアは、ベクトル空間におけるクエリー埋め込みとチャンク埋め込みの距離に基づいています。類似度スコアは大きいほど良好です。このスコアは、ベクターデータベース間の結果の比較に使用しないでください。単一のベクターデータベース内の取得値の比較にのみ使用できます。このスコアは、「このチャンクは与えられたクエリーに対してあのチャンクよりも類似している」ということを示します。

類似度スコアは引用で報告されます。

類似度スコアはどのように計算されますか？

TLDR：引用に表示される類似度スコアは、ベクトル検索時にバイナリインデックスによって返されるハミング距離に基づいており、ユーザークエリーの浮動小数点埋め込みとのコサイン類似度で再スコアリングされ、小数点以下2桁に丸められます。

類似度スコアは、FAISS（Facebook AI Similarity Search）がベクトル検索の結果としてインデックスに沿って返す距離スコアに基づいています。これらのバイナリインデックスは、距離関数としてハミング距離を使用して、指定されたクエリーベクトルに最も近いtop_k個のベクトルを見つけます。 DataRobotでは、元の距離スコア（バイナリインデックスのベクトルはバイナリ量子化されているため整数です）の代わりに、文変換器から採用された再スコアリング法が使われます。

rescore_multiplier * top_kの結果をバイナリクエリー埋め込みとバイナリドキュメント埋め込み（つまり、バイナリ検索の最初のk個の結果のリスト）で取得します。
最初の（量子化される前の）浮動小数点クエリー埋め込みで、バイナリドキュメント埋め込みのリストを再スコアリングします。

再スコアリングでは浮動小数点ベクトル間の内積演算が実行され、コサイン類似度（ベクトルの対応する要素を乗算し、結果を合計して1つのスカラー値を生成します）が返されます。この再スコアリング手順を適用すると、検索全体のパフォーマンスが維持され、メモリーとディスクの使用量が減り、検索速度が向上します。
最後に、numpy、バイナリ量子化、再スコアリング法による浮動小数点演算の精度の問題により、スコアが2桁に丸められます。

再スコアリングは埋め込みとの内積を実行しているため、コサイン類似度は高いほど良好です。

メタデータのフィルター¶

メタデータのフィルターを使用して、プロンプトクエリーが返す引用を制限します。設定されると、LLMブループリントは、指定されたメタデータの列と値のペアを含むチャンクのみを返します。必要に応じて、メタデータ列ごとにフィルターを追加できます。各メタデータ列は、単一の値とペアにすることができます。

備考

メタデータのフィルターを導入する以前に作成されたベクターデータベースは、この機能をサポートしていません。それらにフィルターを使用するには、オリジナルからバージョンを作成し、代わりに新しいベクターデータベースを使用するようにLLMブループリントを設定します。

メタデータフィルターを作成するには、プロンプト入力ボックスの下にあるメタデータのフィルターをクリックします。

オプションのメタデータ列名はすべてドロップダウンに表示され、document_file_path列のコンテンツであるオプションsourceも表示されます。ベクターデータベースにオプションのメタデータが含まれていない場合、選択できるのはsourceだけです。列名を選択し、単一の値を入力します。この値は、ベクターデータベースの文字列と完全に一致する必要があります（部分一致は許可されていません）。 フィルターの追加を使用したさまざまなメタデータ列のフィルターの追加

備考

ソースに入力された値が完全に一致しない場合、回答が返されても引用は入手できません。これは、フィルターに一致するものがなかったためです。

LLMブループリント設定にベクターデータベースが含まれていない場合、メタデータのフィルターをクリックすると、以下の内容が表示されます。

フィルターを有効にするには、最低限必要なdocument列およびdocument_file_path列（フィルターではsourceと表示）を含むベクターデータベースを追加します。

メタデータのフィルターの例¶

次の例では、 DataRobotドキュメントをベクターデータベースとして使用し、同じプロンプト（「モデルをどのようにデプロイしますか？」）に対してメタデータフィルターを適用した場合と適用しない場合の結果を比較しています。

フィルターされたプロンプトの引用を開くと、ソースが1つのパスのみであることを確認できます。

更新しました 2025年3月14日

このページは役に立ちましたか？

ありがとうございます。どのような点が役に立ちましたか？

より良いコンテンツを提供するには、どうすればよいでしょうか？

アンケートにご協力いただき、ありがとうございました。