LLMブループリントの比較¶

プレイグラウンドの比較パネルでは、以下の操作を行うことができます。

• プレイグラウンドですべてのLLMブループリントを表示します。
• LLMブループリントリストをフィルター、グループ化、およびソートします。
• プレイグラウンドの チャット履歴を表示します。
• チャット（LLMの回答）を作成して比較します。

比較を使用するには：

1. プレイグラウンドに2つ以上のLLMブループリントを作成します。
2. 比較 > LLMブループリントタブを選択し、比較のために最大3つのLLMブループリントを選択します。
3. 中央のプロンプティングウィンドウからプロンプトを送信します。 各ブループリントはプロンプトとレスポンスを受信し、レスポンスを比較できます。

比較の例¶

次の例では、3つのLLMブループリントを比較します。回答のスタイルに影響を与えるために別の システムプロンプトを使用することを除き、それぞれが同じ設定です。 LLMブループリントを設定する際、まずシステムプロンプトをテストします（Describe the novel Game of Thronesなど）。

1. システムプロンプトAnswer using emojisを入力します。

   

2. システムプロンプトAnswer in the style of a news headlineを入力します。

   

3. システムプロンプトAnswer as a haikuを入力します。

   

システムプロンプトに関するメモも参照してください。

LLMブループリントの比較¶

複数のLLMブループリントを比較するには：

1. 比較タブに移動し、比較対象の各ブループリントの横にあるボックスを選択します。

   

2. プロンプト（Describe DataRobot）を送信します。 各LLMブループリントは、設定されたスタイルで応答します。

   

3. さまざまなプロンプト（たとえばDescribe a fish taco）を試して、ビジネスユースケースに最適なLLMを特定します。

   

結果の解釈¶

LLMブループリントを比較する明白な方法の1つは、結果を読んで、一方の回答がより多くのポイントを満たしているかどうかを確認することです。 もう1つの役に立つ測定は、返される評価指標を確認することです。 以下の点に注意してください。

• レイテンシーが最も低いのはどのLLMブループリントか？ そのステータスはプロンプト/回答の複数のセットにわたって一貫しているか?
• 一部のLLMブループリントから除外される指標とその理由。
• コンテキスト認識を切り替えると、結果はどのように変化するか?
• LLMブループリントは、回答を効果的に通知するために引用を使用しているか。
• リクエストされた回答のトーン、形式、簡潔性などでシステムプロンプトが尊重されているか。

選択したLLMブループリントの変更¶

一度に比較できる最大数は3ですが、ブループリントはいつでも比較のために追加できます。 LLMブループリントを追加するには、その名前の左側にあるチェックボックスを選択します。 すでに3つ選択されている場合は、最初に現在の選択を削除します。

比較タブは、比較履歴を取得します。 新しいLLMブループリントのレスポンスは返されていないため、DataRobotには、そのアクションを開始するボタンがあります。 生成をクリックして、新しい結果を含めます。

システムプロンプトの検討¶

システムプロンプトの完全な遵守は保証されていないため、その言い回しは非常に重要です。 たとえば、プロンプトAnswer using emojis（EmojiGPT）とAnswer using only emojis（OnlyEmojiGPT）を使用した比較を考えてみます。

タブとコントロール¶

比較ページの左側のパネルは、プレイグラウンドのアセットのファイルキャビネットのようなもので、設定されたブループリントのリストと比較チャット履歴の記録です。

この領域から 新しいLLMブループリントを作成することもできます。

LLMブループリントタブ¶

LLMブループリントタブには、プレイグラウンド内の設定済みのすべてのLLMブループリントが一覧表示されます。 このパネルから、LLMブループリント（最大3つ）を選択して比較します。 チェックボックスでLLMブループリントを選択すると、中央の比較パネルで使用できるようになります。 LLMブループリント名の横にある星 をクリックして「お気に入り」に追加すると、後でフィルターすることができます。

設定されたブループリントに対してさまざまなアクションを実行することもできます。

表示コントロール¶

コントロールを使用して、LLMブループリントのリストを変更します。

フィルターオプションは、パネルにリストされるブループリントを、ベースLLMまたはステータスのいずれかで制御します。

フィルターラベルの右側の小さい番号は、フィルターが適用された結果として表示されるブループリントの数または適用されなかった結果を示します。

ソート条件は、ブループリントの順序を制御します。 これは加法的なので、フィルタリングまたはグループ化の上に適用されます。

同じく加法的であるグループ化では、選択した条件で表示を並べ替えます。 ラベルはグループの「名前」と数字を示し、メンバーブループリントの数を示します。

チャットタブ¶

比較チャットは、多くの場合、複数のブループリントにわたって、1つ以上の比較プロンプトをグループ化します。 チャットタブを使用して、プレイグラウンドから行われた以前の 比較 プロンプトにアクセスするか、新しいチャットを開始します。 このようにして、最大3つのLLMブループリントを選択してクエリーを実行し、他のLLMブループリントに切り替え、同じプロンプトを送信して結果を比較できます。

エントリー名からチャットの名前を変更または削除します。