Skip to content

エージェントとのチャット

エージェントとのチャットでは、主にエージェントの出力を期待値に対してテストします。これにより、人間による回答の評価が可能になります。 フォローアップの質問やプロンプトを含む「会話」が行われるRAGプレイグラウンドのチャットとは対照的に、エージェントプレイグラウンドのチャットでは、プロンプトを提供し、その回答が望ましい結果と一致しているかどうかを評価します。 プレイグラウンドの指標とツールによって、期待どおりの結果が得られましたか?エージェントのチャットにはコンテキスト認識機能がないため、「チャット」はチャットプロンプトの集まりですが、各回答は個別であり、以前の回答に依存しません。

シングルエージェントチャットとマルチエージェントチャット

シングルエージェントのチャットは、エージェントのプレイグラウンド > ワークフロータブのエージェントタイル(チェックボックスではありません)をクリックすることでアクセスできます。

マルチエージェントビューに戻るには、Agentic playgroundタイル(または上部の戻る 矢印)をクリックします。

マルチエージェントのチャット:

  • エージェントのプレイグラウンド > ワークフロータブからアクセスします(1)。
  • チェックボックスを使用してエージェントを選択します(2)。 エージェントを1つだけ選択しても、シングルエージェントチャットにはなりません。
  • チャットウィンドウの上部にエージェントのワークフロー比較を表示します(3)。

シングルエージェントとマルチエージェントでチャットの回答に機能的な違いはありません。ただし、トレースはシングルエージェントのチャットでのみ利用できます。

プロンプトの入力と送信

エージェントのプレイグラウンド > ワークフロータブから、シングルまたはマルチエージェントチャットを開始するプロンプトを入力します。 送信 をクリックして回答を要求します。

エージェントのアクション

トレースを除くほとんどのアクションは、以下のセクションと表で説明するように、シングルエージェントとマルチエージェントの両方のチャットで共有されます。

アクションメニュー

エージェントを操作するには、ワークフロータブの下またはチャットウィンドウ内でアクションメニュー をクリックします。

アクション 説明 位置
エージェントのワークフロー名を編集 エージェントワークフローの表示名を編集します。 ワークフロータブのアクションメニュー。
Codespaceで開く エージェントをCodespaceで開きます。Codespaceでは、既存のファイルを直接編集したり、新しいファイルをアップロードしたり、Codespaceの機能を使用したりすることができます。
  • ワークフロータブのアクションメニュー
  • シングルエージェントチャットウィンドウの右上にあるボタン
  • チャットウィンドウのアクションメニュー
エージェントのワークフローを登録 エージェントのプレイグラウンドで試して、本番環境で利用可能なエージェントワークフローを構築したら、コンソールへのデプロイの準備として、レジストリワークショップにカスタムエージェントワークフローを登録します。
  • ワークフロータブのアクションメニュー
  • シングルエージェントチャットウィンドウの右上にあるボタン
  • チャットウィンドウのアクションメニュー
プレイグラウンドから削除 プレイグラウンドからエージェントのワークフローを削除します。 エージェントのワークフローを削除すると、ユースケースから削除されますが、ワークショップからは削除されません。 指標やチャットなど、ワークフローに保存されているすべてのプレイグラウンド関連情報も削除されます。
  • ワークフロータブのアクションメニュー
  • チャットウィンドウのアクションメニュー

エージェントのワークフロー比較ウィンドウでは、プロンプトとすべての回答の両方をチャット履歴から削除できます。

集計ツール

次の表に、利用可能な共有集計ツールおよびタブを示します。

  要素 説明
1 エージェントの集計された指標 評価データセットを使用せずに計算され、集計された指標とスコアを表示します。 これらの指標は、レジストリワークショップで生成されたものです。
2 評価の集計された指標 評価データセットを使用して計算され、集計された指標とスコアを表示して、比較のためのベースラインを提供します。 これらの指標は、プレイグラウンドで生成されたものです。
3 集計の設定 多くのプロンプトや回答の指標を組み合わせて、より包括的な評価アプローチを実現します。

シングルエージェントのトレース

シングルエージェントチャットで利用できるエージェントトレースには2つのタイプがあります。 トレースの出力は、実行場所によって異なります。

アクションメニューのプロンプトヘッダーで、トレーステーブルを開くを選択します。

LLMの回答生成で使用されるすべてのコンポーネントをトレースするログを表示します。

回答ヘッダーのトレースを確認をクリックします。

トレースの詳細パネルが開きます。

位置 オプション 説明
プロンプトヘッダーのアクションメニュー トレースを開く トレーステーブルログを開きます。このログには、エージェントの回答を生成する際に使用されたすべてのコンポーネントとプロンプティングアクティビティが表示されます。
回答ヘッダー トレースを確認 トレースの詳細パネルを開きます。このパネルには、1つのリクエストがエージェントのワークフローを通る経路が示されます。

回答フィードバック

回答フィードバック「thumbs」を使用して、プロンプトの回答を評価します。 回答は、 トレースタブのユーザーからのフィードバック列に記録されます。 AIカタログに送信されるエクスポート済みフィードバックの一部としての回答は、予測モデルのトレーニングなどに使用できます。