GenAIワークフローの概要¶

このセクションでは、生成LLMの構築ワークフローについて、一般的な説明を行います。これには、以下の内容が含まれます。

ヒント

実際に体験してみたい方は、GenAIの基本ステップをお試しください。

独自のデータやLLMの使用方法、UIではなくコードを使用して作業する方法、およびNVIDIA NIMとの連携に関する情報は、完全なドキュメントを参照してください。

スタートガイド¶

すべては、ユースケースの作成とRAGプレイグラウンドの追加から始まります。プレイグラウンドとは、ワークベンチ内のLLM専用のエクスペリメント環境のことで、構築、レビュー、比較、評価、デプロイを行うことができます。

プレイグラウンドが設定されたら、必要に応じてベクターデータベースを追加します。ベクターデータベースの役割は、LLMに送信される前のプロンプトを関連性のあるコンテキストで強化することです。ベクターデータベースを作成する際には、以下の操作を行います。

ベクターデータベースはバージョン管理が可能であるため、LLMの回答に最新のデータを使用することができます。

LLMブループリントは、LLMから回答を生成するために必要な全内容を表します。その結果として出力されたものは、プレイグラウンド内で比較することができます。

LLMブループリントの作成をクリックすると、プレイグラウンドが開きます。最初にLLMを選択してから、設定オプションを指定します。

設定パネルで、必要に応じてベクターデータベースを追加し、プロンプティング戦略を設定します。

保存すると、新しいLLMブループリントが左側に表示されます。

LLMブループリントの設定が保存されたら、プロンプトを送信（ラグチャット）してみて、さらに改良が必要かどうかを判断します。

次に、複数のブループリントを追加して比較ツールを使用し、同じプロンプトを使用して、さまざまなLLMブループリントをテストします。これにより、デプロイに最適なLLMブループリントを選択できます。

チャットや比較を行う際には、プロンプトエンジニアリングのベストプラクティスを参照してください。

DataRobotは、指標とコンプライアンステストを使用して、モデルが本番環境でどのように使用されているかを監視し、不適切な出力に介入してブロックします。

LLMブループリントを設定する前または後に、指標を追加します。

以前以後

評価データセットを追加するか、DataRobot内から合成データセットを生成して、目的のタスクに対するモデルのパフォーマンスを系統的に評価します。

評価指標と評価用データセットを組み合わせ、テスト用のプロンプトシナリオを通じて、コンプライアンスの問題を自動的に検出することができます。 DataRobotが提供する評価を使用するか、独自の評価を作成します。

LLMブループリントに問題がなければ、プレイグラウンドからレジストリのワークショップに送信できます。

レジストリワークショップでは、LLMカスタムモデルをテストし、最終的に監視とモデル管理のための一元的なハブであるコンソールにデプロイします。