GenAIワークフローの概要¶
このセクションでは、生成LLMの構築ワークフローについて、一般的な説明を行います。これには、以下の内容が含まれます。
- ベクターデータベースの作成とバージョン管理。
- LLMブループリントの作成。
- LLMブループリントとのチャットと比較。
- 評価指標の適用とコンプライアンステストの作成。
- LLMブループリントのデプロイ準備。
ヒント
実際に体験してみたい方は、GenAIの基本ステップをお試しください。
独自のデータやLLMの使用方法、UIではなくコードを使用して作業する方法、およびNVIDIA NIMとの連携に関する情報は、完全なドキュメントを参照してください。
スタートガイド¶
It all begins by creating a Use Case and adding a RAG playground. プレイグラウンドとは、ワークベンチ内のLLM専用のエクスペリメント環境のことで、構築、レビュー、比較、評価、デプロイを行うことができます。
ベクターデータベースの作成¶
プレイグラウンドが設定されたら、必要に応じてベクターデータベースを追加します。 ベクターデータベースの役割は、LLMに送信される前のプロンプトを関連性のあるコンテキストで強化することです。 When creating a vector database, you:
- Choose a provider.
- Add data.
- Set a basic configuration and text chunking details.
Vector databases can be versioned to make sure the most up-to-date data is available to ground LLM responses.
LLMブループリントの構築¶
LLMブループリントは、LLMから回答を生成するために必要な全内容を表します。その結果として出力されたものは、プレイグラウンド内で比較することができます。
When you click to create an LLM blueprint, the playground opens. Select an LLM to get started and then set the configuration options.
In the configuration panel, optionally add a vector database and set the prompting strategy.
After you save, the new LLM blueprint is listed on the left.
LLMブループリントとのチャットと比較¶
Once the LLM blueprint configuration is saved, try sending it prompts (rag-chatting) to determine whether further refinements are needed.
Then, add several blueprints to use the comparison tool to test different LLM blueprints using the same prompt. This helps pick the best LLM blueprint for deployment.
チャットや比較を行う際には、プロンプトエンジニアリングのベストプラクティスを参照してください。
LLM評価ツールの使用¶
DataRobotは、指標とコンプライアンステストを使用して、モデルが本番環境でどのように使用されているかを監視し、不適切な出力に介入してブロックします。
LLMブループリントを設定する前または後に、指標を追加します。
評価データセットを追加するか、DataRobot内から合成データセットを生成して、目的のタスクに対するモデルのパフォーマンスを系統的に評価します。
評価指標と評価用データセットを組み合わせ、テスト用のプロンプトシナリオを通じて、コンプライアンスの問題を自動的に検出することができます。 DataRobotが提供する評価を使用するか、独自の評価を作成します。
LLMのデプロイ¶
Once you are satisfied with the LLM blueprint, you can send it to the Registry's workshop from the playground.
レジストリワークショップでは、LLMカスタムモデルをテストし、最終的に監視とモデル管理のための一元的なハブであるコンソールにデプロイします。