LLMの評価¶

評価指標は、組織がプロンプトインジェクションや、悪意のある、有害な、または不適切なプロンプトと回答を報告するのに役立ちます。 これらの指標では、ハルシネーションや信頼性の低い回答を防止し、個人を特定できる情報（PII）の共有に対するセーフガードを設定することもできます。 多くの評価指標は、プレイグラウンドで構築されたLLMと、デプロイされたガードモデルを結びつけます。 これらのガードモデルは、LLMのプロンプトと回答で予測を作成し、予測と統計をプレイグラウンドにレポートします。 LLM評価指標ツールには、以下の項目が含まれます。

• 評価指標
• 集計された指標
• 評価データセット

指標の追加と設定¶

評価指標を使用するには、まず、評価デプロイタイプの指標（カスタムデプロイ、PII検出、プロンプトインジェクション、センチメント分類器、および毒性）のいずれかを使用する場合は、 NextGenレジストリから必要なガードモデルをデプロイして、LLMのプロンプトや回答を予測します。

LLMプレイグラウンドで評価指標を選択および設定するには、プロンプトボックスの下にある 指標の設定 または 横のナビゲーションバーにある LLMの評価をクリックします。

プレイグラウンドにブループリントを追加していない場合は、ブループリントを追加する前に、指標で評価タイルの 指標の設定をクリックして指標を設定します。

LLMの評価ページが開き、指標タブが表示されます。 特定の指標はデフォルトで有効になっていますが、指標値をレポートするには、LLMブループリントに関連付けられたベクターデータベースが引用およびRouge 1に必要です。 無効な指標を現在のプレイグラウンドで有効にするには、目的の指標をクリックします。 プレイグラウンドに新しい指標を設定するには、LLMの評価ページの右上隅にある設定をクリックします。

評価の設定パネルで、右上隅に+ 追加が表示されている評価指標をクリックして指標を追加します。これらの指標に設定は必要ありません。 しかし、指標値をレポートするには、LLMブループリントに関連付けられたベクターデータベースが必要になる場合があります。 画面の右上隅にある 設定をクリックして設定を定義します。

PII検出、プロンプトインジェクション検出、センチメント分類、および毒性分類に必要なデプロイは、 レジストリでグローバルモデルとして使用できます。 次のグローバルモデルを使用できます。

必須の設定オプションは、選択した評価指標（または評価指標タイプ）に応じて異なります。 各指標または指標タイプの設定の詳細については、以下のタブをクリックしてください。

設定した新しい指標はLLMの評価 > 指標タブに表示され、有効にすることができます。

指標を表示¶

設定してプレイグラウンドに追加する指標は、プレイグラウンドのLLMの回答に表示されます。 下向きの矢印 をクリックして指標パネルを開いて、詳細を確認することができます。

引用 をクリックすると、引用ダイアログボックスにプロンプト、回答、および引用のリストが表示されます。

集計された指標¶

プレイグラウンドに複数の指標が含まれる場合、集計指標の作成を開始できます。 集計は、多くのプロンプトや回答にわたる指標を組み合わせる処理で、ブループリントを高レベルで評価するのに役立ちます（単一のプロンプト/回答を評価することで多くの内容を学習できます）。 集計では、評価に対するより包括的なアプローチが可能になります。

集計では、元のスコアの平均化、ブール値のカウント、または多クラスモデル内のカテゴリー数の表示が行われます。 DataRobotでは、個々のプロンプト/回答の指標を生成し、指標に基づいてリストされているメソッドの1つを使用して集計することによってこれの処理を行います。

集計済み指標を設定するには、プロンプト入力の下にある 集計の設定をクリックします。

集計された指標を生成パネルで、集計して計算する指標を選択し、集計基準を設定します。 次に、新しいチャット名を入力し、（新しいチャットでプロンプトを生成するための）評価データセットを選択して、指標を生成するLLMブループリントを選択します。 これらのフィールドは、現在のプレイグラウンドに基づいて事前に入力されています。

指標の選択および設定セクションを完了した後、指標の生成をクリックします。 これにより、関連するすべてのプロンプトと回答を含む新しいチャットが作成されます。

評価データセット¶

追加した評価データセットは、LLMの評価 > 評価データセットタブに表示されます。ここでは、アクションメニュー をクリックして 評価データセットを編集するか、 評価データセットを削除します。

合成データセット¶

評価データセット指標を追加すると、DataRobotは ベクターデータベースを使用して、プロンプトと回答のペアで構成される合成データセットを生成し、LLMブループリントを評価できます。 合成データセットは、選択されたベクターデータベースにアクセスして、ベクターをクラスタリングし、各クラスターから代表的なチャンクを抽出して、選択されたLLMに対し、ドキュメントに基づいて100の質問と回答のペアを生成するよう指示することによって生成されます。

合成評価データセットを設定して生成をクリックすると、2つのイベントが連続して発生します。

1. プレースホルダーデータセットは、必須の列（questionおよびanswer）でデータレジストリに登録されます。これには65行と2列のプレースホルダーデータ（Record for synthetic prompt answer 0、Record for synthetic prompt answer 1など）が含まれます。

2. 選択したLLMとベクターデータベースのペアは質問と回答のペアを生成し、手順1で作成された合成評価データセットの2番目のバージョンとしてデータレジストリに追加されます。 生成時間は、選択したLLMによって異なります。

トレース¶

LLMブループリントの実行をトレースすることは、GenAIスタックの多くの部分がどのように機能するかを理解するための強力なツールです。 トレースタブには、プレイグラウンドでのLLMの回答の生成に使用されたすべてのコンポーネントとプロンプティングアクティビティのログが表示されます。

トレースからのインサイトは、プロンプト、VDBチャンク、コンテキストウィンドウ内の過去のインタラクションなど、LLMが評価したすべての項目について完全なコンテキストを提供します。 例：

• DataRobotメタデータ：タイムスタンプ、ユースケース、プレイグラウンド、VDB、ブループリントIDに加えて、作成者名とベースLLMをレポートします。 これらは、LLMブループリントとのインタラクションを行うDataRobotオブジェクトから追加情報を表示する必要がある場合に、トレースレコードのソースを特定するのに役立ちます。
• LLMパラメーター：LLMを呼び出すときに使用されるパラメーターを表示します。これは、温度やシステムプロンプトなどの設定の潜在的なデバッグに役立ちます。
• プロンプトと回答：チャットの履歴を指定します。トークン数とユーザーフィードバックは、追加の詳細を提供します。
• レイテンシー：LLMブループリントの各部分のオーケストレーションに関する問題を強調表示します。
• トークンの使用状況：LLMコストを正確に計算するためにトークンの使用状況の内訳を表示します。
• 評価とモデレーション（設定されている場合）：評価指標とモデレーション指標でのプロンプトまたは回答のスコアリング方法を示します。