プレイグラウンド¶

もう1つのタイプのユースケースアセットであるプレイグラウンドは、LLMブループリントを作成して操作するためのスペースで、それぞれのレスポンスを比較して、ビジネス上の問題を解決するために本番環境でどれを使用するかを決定します。 LLMブループリントは、LLMからレスポンスを生成するために必要なものの完全なコンテキストを表し、結果の出力は、その後プレイグラウンド内で比較できます。 この情報は、LLMブループリント設定でキャプチャされます。

ベクターデータベースの有無にかかわらず、プレイグラウンドを使用できます。 1つのユースケースに複数のプレイグラウンドを存在させることができます。また、1つのプレイグラウンド内に複数のLLMブループリントを存在させることができます。

プレイグラウンドを操作するためのシンプルなワークフローは次のとおりです。

1. プレイグラウンドを追加します。
2. ベースLLM、そしてオプションでシステムプロンプトと ベクターデータベースを含めて LLMブループリント設定を行います。
3. チャットによりLLMブループリントのテストとチューニングを行います。
4. 追加のLLMブループリントを構築します。
5. （オプション）オプションとして、プレイグラウンドの 比較タブを使用して、LLMブループリントを並べて比較します。

プレイグラウンドの追加¶

プレイグラウンドを追加するには、最初に ユースケースを作成し、次のいずれかを実行します。

• ドロップダウンから追加 > プレイグラウンドをクリックします。
• プレイグラウンドタブを選択し、プレイグラウンドを追加ボタンをクリックします。 このボタンは、ユースケースに追加された最初のプレイグラウンドでのみ使用できます。それに続くプレイグラウンドには追加ドロップダウンを使用します。

プレイグラウンドを作成すると、そのプレイグラウンドが開き、LLMブループリントのドラフトが 設定可能な状態で表示されます。 プレイグラウンドから、LLMブループリントのドラフトの作成、それらの操作とファインチューニング、そして比較と潜在的な将来のデプロイのためにそれらを保存するための、すべてのコントロールにアクセスできます。

プレイグラウンドの要素は以下の通りです。

中央のセクションでは、DataRobotがLLMレスポンスを返します。

プレイグラウンドを作成した後、ブレッドクラムドロップダウンを使用してそれらを切り替えることができます。

設定を行う¶

新しいドラフトLLMブループリントを作成するときはいつでも、構築の最初のステップはベースLLMを選択することです。 これは、プレイグラウンドの設定セクションから行います。

DataRobotには LLMの選択機能があります。実際に何が利用可能となるかはクラスターとアカウントタイプによって異なります。 ベースLLMを選択して、追加の設定オプションを表示します。

各ベースLLMにはデフォルト設定があります。 結果として、チャットを開始する前に必要な選択はLLMを選択することだけとなります。

チャット¶

チャットは、プロンプトを送信してLLMからレスポンスを受信するアクティビティです。 LLMの設定を行ったら、（中央下部パネルのエントリーボックスから）プロンプトを送信して、ドラフトをLLMブループリントとして保存する前に、さらに微調整が必要かどうかを判断します。

プレイグラウンド内でのチャットは「会話」で、それに続くプロンプトでフォローアップの質問をすることができます。 以下は、DataRobotオートパイロットを実行するためのPythonコードの出力をLLMに求める例です。

次に、「そのコード」に変更を加えるように求めると、LLMは以前の会話履歴の「認識」であるため、参照されているコードを認識して応答します。

プレイグラウンドを使用して、システムプロンプトと設定に満足するまでプロンプトをテストおよびチューニングします。 次に、右側のパネルの下部にあるLLMブループリントとして保存をクリックします。

Few-shotプロンプティングのセクションも参照してください。

信頼性スコア¶

信頼性スコアは、事実の一貫性指標アプローチを使用して計算されます。一方、類似性スコアは、 ベクターデータベースから取得した事実と、LLMブループリントから生成されたテキストを使用して計算されます。 使用される類似性指標は ROUGE-1です。 DataRobot GenAIは、 "The limits of automatic summarization according to ROUGE"からのインサイトに基づいて、ROUGE-1の改善されたバージョンを使用します。

LLMブループリントの構築¶

LLMブループリントはドラフトとして開始し、次にデプロイ可能な最終モデルとして保存されます。 保存すると、変更できなくなりますが、コピーすることにより新しいLLMブループリントを作成できるようにすることができます。 ドラフトには、ステータスを示すバッジが付けられます。

ドラフトの作成¶

ドラフトを作成する方法は2つあります。

• 左側に表示されるLLMブループリントパネルから、ブループリントのドラフトを作成をクリックして、設定の準備ができた表題なしの新しいドラフトを追加します。

  

• 左側のパネルで既存のブループリントを選択し、LLMブループリントのアクション > 新しいドラフトにコピーを選択して、親ブループリントの設定を継承する新しいドラフト（「...のコピー」）を作成します。

  

  中央パネルにある名前をクリックして名前を変更します。

  

ドラフトのファインチューニング後、右側のパネルの下部にあるLLMブループリントとして保存をクリックします。 複数のLLMブループリントが保存されたら、プレイグラウンドの 比較タブを使用して、LLMブループリントを並べて比較します。

ブループリントのアクション¶

ブループリントで使用できるアクションは、ドラフトまたは保存されているステータスによって異なります。 左側のパネルにある名前の隣の3つの点、または以下からアクセスできます。

ドラフトの操作ドロップダウン。

または、LLMブループリントのアクションドロップダウン：

表示コントロール¶

プレイグラウンドの左側のパネルには、保存されているすべてのLLMブループリントとドラフトLLMブループリントが一覧表示されます。 コントロールを使用して表示を変更します。

フィルターオプションは、パネルにリストされるブループリントを、ベースLLMまたはステータスのいずれかで制御します。

フィルターラベルの右側の小さい番号は、フィルターが適用された結果として表示されるブループリントの数または適用されなかった結果を示します。

ソート条件は、ブループリントの順序を制御します。 これは加法的なので、フィルタリングまたはグループ化の上に適用されます。

同じく加法的であるグループ化では、選択した条件で表示を並べ替えます。 ラベルはグループの「名前」と数字を示し、メンバーブループリントの数を示します。

一歩進んだ操作：Few-shotプロンプティング¶

Few-shotプロンプティングは、「コンテキスト内学習」で限られた数の例またはプロンプトに基づいてテキストを生成または分類する手法です。実例、すなわち「ショット」は、与えられたコンテキストのパターンにモデルが従うように条件を設定します。トレーニング中に同様の実例を見たことがなくても、コンテキストに関連する一貫したテキストを生成できます。 これは、モデルにラベル付けされた大量のトレーニングデータが通常必要となる従来の機械学習とは異なります。 Few-shotプロンプティングでは、特定のデータセットでファインチューニングを行う必要なく、モデルをテキスト生成、テキストサマリー、変換、質問への回答、センチメント分析などのタスクに適した候補にすることができます。

Few-shotプロンプティングの簡単な例は、顧客のフィードバックを肯定的または否定的に分類する際に使用します。 モデルに肯定的と否定的のフィードバックの例を3つ表示することによって、分類されていないフィードバックを表示したときに、最初の3つの例に基づいてモデルが評価を割り当てることができます。 Few-shotプロンプティングは、モデルに2つ以上の例を表示するときに使用します。Zero-shotとOne-shotのプロンプティングは、同様の手法です。

以下は、DataRobotでのFew-shotプロンプティングの使用を示しています。 システムプロンプトフィールドで、プロンプトと学習例が表示されます。

カスタマーサポートチケットのテキストから、参照する製品の名前と問題のタイプを特定します。 問題のタイプは"hardware"または"software"です。 "product"と"issue type"の2つのキーを持つJSONとしてレスポンスをフォーマットします。

---------------
例：

入力：TPS Report Generator Enterprise Editionでバグに遭遇しました。 「生成」をクリックするたびにアプリケーションがクラッシュします。 利用可能な更新または修正はありますか？
出力：{"product": "TPS Report Generator Enterprise Edition", "issue_type": "software"}

入力：Acme Phone 5+で画面がちらつき、使用できません。 どうすればよいでしょうか？ いくつかのゲームをいくつかインストールしたいと思い、問題が解決することを期待して工場出荷時設定へのリセットを行いましたが、解決しませんでした。

出力：{"product": "Acme Phone 5+", "issue_type": "hardware"}¶

LLMにそのコンテキストを入力した後、いくつかのプロンプトの例を試してください。

プロンプト：PrintPro 9000の画面に異様なエラーメッセージが表示されています。 "PC LOAD LETTER"と書かれてあります。 これは何を意味しますか？

プロンプト：Print Pro 9002にファームウェアv12.1をインストールできません。"Incompatible product version"と書かれています。

プロンプト：PrintPro 9001に奇妙な異音が発生し、正常に機能していません。 この件についてサポートをお願いします。

ドラフトをLLMブループリントとして保存して登録し、本番環境に保存します。

詳細については、 MIT Prompt Engineering Guideを参照してください。