GenAIの基本ステップ¶
この基本ステップでは、DataRobotのGenAIで、事前にトレーニングされたさまざまな大規模言語モデル(LLM)を使ってテキストコンテンツを生成する方法を紹介します。 または、ベクターデータベースを構築し、LLMプロンプトでそれらを活用することによって、コンテンツをドメイン固有のデータに合わせて調整することもできます。
この基本ステップでは、次のことを行います。
- プレイグラウンドの作成。
- ベクターデータベースの作成。
- LLMブループリントの構築と比較
備考
All LLMs available in playground are available out-of-the-box. If you encounter any errors or permissions issues, contactDataRobot support.
前提条件¶
DataRobotのドキュメントに基づく以下のデモデータセットをダウンロードして、GenAIの機能を試します。
1. プレイグラウンドの追加¶
もう1つのタイプのユースケースアセットであるプレイグラウンドは、LLMブループリントを作成して操作するためのスペースで、それぞれのレスポンスを比較して、ビジネス上の問題を解決するために本番環境でどれを使用するかを決定します。 ワークベンチでユースケースを作成し、プレイグラウンドタブまたは追加ドロップダウンを使用してプレイグラウンドを追加します。
詳しくはこちら:ユースケースの作成, プレイグラウンドの追加
2. ベクターデータベース(VDB)に内部データを追加する¶
特定分野のデータを使って結果を調整するには、データをLLMブループリントに割り当てて、RAGの処理中に利用します。 (ベクターデータベースから提供される基礎知識なしで、LLMブループリントの回答をテストすることもできます。 これを行うには、ステップ4に進んでLLMブループリントを設定します。)
ローカルファイルやデータ接続、またはAIカタログからユースケースに直接データを追加できます。 この基本ステップでは、データを直接追加します。
上でダウンロードしたデータdatarobot_english_documentation_5th_December.zip
を、作成したユースケースに追加します。
詳しくはこちら:内部データの追加, AIカタログからのインポート
3. ベクターデータベースを追加¶
VDBを追加しない場合、プロンプトへの回答は、DataRobotの関連ドキュメントによって拡張されません。LLMの回答には、インターネット上のデータに関するトレーニングで取得できた詳細情報のみが含まれます。 代わりに、上で追加したデータを関連付けると、より完全な情報が得られます。
VDBを追加するには、さまざまな方法があります。 たとえば、ユースケースのデータタブから:
表示されるベクターデータベースを作成ページで、以下の内容を設定または確認し、ベクターデータベースを作成をクリックします。
設定 | 説明 | 以下に設定... |
---|---|---|
名前 | 設定を反映したベクターデータベース名に変更します。 | datarobot docs --jina 20% / 256 |
データソース | これがアップロードしたデータであることを確認します。 | datarobot_english_documentation_5th_December.zip |
埋め込みモデル | 選択済みのオプションを維持して、推奨モデルを使用します。 | jinaai/jina-embedding-t-en-v1 |
チャンクのオーバーラップ | この値は、DataRobotのドキュメントを小さなテキストチャンクに分けてベクターデータベースに埋め込む際、連続性を維持するのに役立ちます。 | 20% |
4. LLMブループリントの追加と設定¶
ステップ1で作成したプレイグラウンドを開きます。ここから、LLMブループリントを作成し、それを操作して微調整し、比較や将来のデプロイに備えて保存するためのコントロールにアクセスできます。 プレイグラウンドから、LLMブループリントの作成を選択し、設定を開始します。
基本モデルとして機能する設定ドロップダウンからLLMを選択します。 この基本ステップでは、Azure OpenAI GPT-3.5 Turboモデルを使用します。 必要に応じて、設定を変更します。
ベクターデータベースタブから、ステップ3で追加したVDBを選択します。
プロンプティングタブから、必要に応じてシステムプロンプトを追加し、コンテキストアウェアネスを変更します。 この例では、ブループリントの設定をデフォルトのコンテキストアウェアのままにしています。
詳しくはこちら:LLMブループリントの設定、コンテキストアウェアネス
設定を保存します。
5. プロンプトを送信¶
チャットは、プロンプトを送信してLLMから回答を受信するアクティビティです。 LLMの設定が完了したら、(中央下部のパネルにある入力ボックスから)LLMにプロンプトを送信します。 チャットを開始すると、LLMの選択がロックされます。
例:Write a Python program to run DataRobot Autopilot
詳しくはこちら:チャット
6. プロンプトを追加してフォローアップ¶
プレイグラウンドでは、LLMブループリントを保存する前に、設定の改善が必要かどうかを判断するためにフォローアップの質問をすることができます。 LLMはコンテキストを認識するので、以前の会話履歴を参照して、追加のプロンプトで「ディスカッション」を続けることができます。
前の会話の中から、「そのコード」に変更を加えるようLLMに依頼します。
回答とともに報告される信頼度スコアと引用は、回答の信頼度を測るのに役立ちます。
詳しくはこちら:信頼度スコア
7. テストと調整¶
システムプロンプトと設定が適切になるまで、設定領域を使用してプロンプトをテストおよび調整します。 (最初のプロンプトを送信する前に設定を保存する必要があります。)LLMブループリントの名前をもっとわかりやすいものに変更するには、LLMブループリントの編集を選択します。
詳しくはこちら:ブループリントのアクション
8. 比較用LLMブループリントの作成¶
比較を実行するには、1つ以上のLLMブループリントを作成します。 (比較ビューで単一のブループリントにプロンプトを送信できます。)この手順では、VDBを使用しないLLMブループリントを作成します。
作成したLLMブループリントのメニューをクリックし、新しいLLMブループリントにコピーを選択します。
コピーの名前をGPT3.5、VDBなし
などに変更し、割り当てられているベクターデータベースを削除します。
設定を保存をクリックします。
9. LLMブループリントの比較を設定する¶
これで、プレイグラウンドに複数のLLMブループリントがあるので、回答を並べて比較できます。 パンくずリストで比較をクリックします。
比較するブループリントを3つまで選択します。
LLMブループリントの情報は、VDBを利用しないバージョンを示しています。
詳しくはこちら:ブループリントの比較
10. LLMブループリントの比較¶
比較を開始するには、両方のブループリントにプロンプトを送信します。 両者の回答から、VDBから基礎知識を得たブループリントのほうが、より包括的で有用な回答を提供することがわかりました。
ベクターデータベースを使用するLLMブループリントからの回答には、引用リンクが含まれています。 このリンクをクリックすると、LLMに送信されたプロンプトを拡張するためにLLMブループリントが取得したテキストチャンクが表示されます。
LLMブループリントの結果に問題がなければ、LLMブループリントのアクションドロップダウンからモデルワークショップに送信を選択して登録し、最終的にデプロイすることができます。
詳しくはこちら:LLMのデプロイ