プレイグラウンドの概要¶
ユースケースのアセットであるプレイグラウンドは、LLMブループリントを作成して操作するためのスペースです。 LLMブループリントは、LLMブループリント設定でキャプチャされた、LLMからの回答を生成するために必要なすべてのコンテキストを表します。 プレイグラウンド内でLLMブループリントの回答を比較して、ビジネス問題の解決のために本番環境で使用するブループリントを決定します。
ベクターデータベースの有無にかかわらず、プレイグラウンドを使用できます。 1つのユースケースに複数のプレイグラウンドを存在させることができます。また、1つのプレイグラウンド内に複数のLLMブループリントを存在させることができます。
プレイグラウンドを操作するためのシンプルな推奨ワークフローは次のとおりです。
- プレイグラウンドを追加します。
- 基本LLM、プロンプティング設定、および関連付けられた ベクターデータベース(オプション)を始めとする LLMブループリント設定を行います。
- チャットでLLMブループリントのテストとチューニングを行います。 トレースを表示します。
- 追加のLLMブループリントを構築します。
- 並べてLLMブループリントを比較します。
- 回答評価の目的で、LLMブループリントにデータセットと指標を追加します。
プレイグラウンドの追加¶
プレイグラウンドを追加するには、最初に ユースケースを作成し、次のいずれかを実行します。
- プレイグラウンドを追加ボタンをクリックしてください。
- プレイグラウンドタブを選択し、プレイグラウンドを追加ボタンをクリックします。 このボタンは、ユースケースに追加された最初のプレイグラウンドでのみ使用できます。それに続くプレイグラウンドにはプレイグラウンドを追加ドロップダウンを使用します。
プレイグラウンドを作成すると、LLMブループリントを 作成および設定するための2つのオプションを含むプレイグラウンドが開きます。 プレイグラウンドから、LLMブループリントのドラフトの作成、それらの操作とファインチューニング、そして比較と潜在的な将来のデプロイのためにそれらを保存するための、すべてのコントロールにアクセスできます。
備考
デフォルトでは、プレイグラウンドの名前はPlayground <timestamp>
です。 アクションメニューでプレイグラウンドの情報を編集を選択して、ユースケースディレクトリから名前を変更できます 。
プレイグラウンドの要素¶
プレイグラウンドには、特定のコンポーネントに移動するための基本的な ナビゲーションコントロールがあります。
3つの主要な作業エリアがあります。
プレイグラウンドを作成した後、ブレッドクラムドロップダウンを使用してそれらを切り替えることができます。
プレイグラウンドのナビゲーション¶
画面の左側にあるアイコンをクリックして、ナビゲーションコンポーネントにアクセスできます。
コンポーネント | 説明 | |
---|---|---|
比較パネル | LLMブループリントを選択して、チャット履歴を比較して表示します。 | |
プレイグラウンド情報 | プレイグラウンドサマリー情報を表示するページ。 | |
LLMの評価* | プレイグラウンドでLLMブループリントの評価およびモデレーションガードレールを設定します。 | |
トレース* | LLMブループリントとのチャットを開始するプロンプトを受け入れます。エントリーをアクティブにする前に設定を保存する必要があります。 |
* LLM評価が有効な場合にのみ使用できます。
プレイグラウンド情報¶
プレイグラウンド情報 タブは、作成者、作成日と最終変更日、およびLLMブループリントの数に関する基本的なメタデータを提供します。 2つのタブに追加情報が表示されます。
-
ベクターデータベースタブには、プレイグラウンドで使用され、それぞれが一意のVDBが一覧表示されます。 VDBが使用されているLLMブループリント設定の数に関係なく、リストには単一のエントリーが表示されます。
各エントリーについて、メタデータは VDBの構成で使用されている設定を報告します。
-
デプロイ済みのLLMタブには、プレイグラウンドで少なくとも1つのLLMブループリント設定の一部であるデプロイ済みの各LLMが一覧表示されます。 デプロイ済みLLMが使用されているLLMブループリント設定の数に関係なく、リストには単一のエントリーが表示されます。
各エントリーに対して、メタデータは、作成情報、デプロイ名、および デプロイ済みLLMをブループリントに割り当てるときに定義されたプロンプト列名と回答列名をレポートします。
プレイグラウンド情報ページのツール¶
プレイグラウンドの情報を編集ボタンを使用して、プレイグラウンドの名前を変更し、オプションで説明を追加します。 追加した説明は、プレイグラウンド情報ページの上部にあるプレイグラウンド名の下に表示されます。
プレイグラウンドの情報を編集ボタンの左側にあるアクションメニュー をクリックしてメニューを開き、プレイグラウンドを削除します。 または、ユースケースのアセットリストからプレイグラウンドを削除することもできます。
設定 を使用して、以下の操作を行います。
- チェックボックスをオンまたはオフにして、表示する列を設定します。
- 列名の右側にある矢印を使用して列を並べ替えます。
-
ピンアイコンをクリックして、列を固定して左端に表示します。