テキスト生成NVIDIA NIMをLLMブループリントに追加する¶

ユースケースでは、NVIDIA Inference Microservices（NIM）をプレイグラウンドに追加して、プロンプティング、比較、評価を行うことができます。 プレイグラウンドは、LLMブループリントを作成して操作するためのユースケースアセットです。 LLMブループリントは、LLMブループリント設定でキャプチャされた、LLMからの回答を生成するために必要なすべてのコンテキストを表します。 プレイグラウンド内でLLMブループリントの回答を比較して、ビジネス問題の解決のために本番環境で使用するブループリントを決定します。

デプロイされたテキスト生成NVIDIA NIMをプレイグラウンドに追加するには：

1. ワークベンチで、ユースケースディレクトリからユースケースを選択し、プレイグラウンドタブでプレイグラウンドを開くか作成します。

2. プレイグラウンド内のLLMブループリントタブで、LLMブループリントの作成をクリックして新しいブループリントを追加します。 次に、プレイグラウンドのブループリントの設定パネルから、LLMドロップダウンで デプロイ済みLLMを追加をクリックします。

   

3. デプロイ済みLLMを追加ダイアログボックスで、デプロイ済みLLMの名前を入力し、デプロイ名ドロップダウンでDataRobotのデプロイを選択します。 チャットモデルIDを入力して、プレイグラウンドからデプロイされたLLMへのリクエストにmodelパラメーターを設定し、検証して追加をクリックします。

   チャットモデルIDの値

   チャットモデルIDをdatarobot-deployed-llmに設定することで、その値を動的に入力することができます。 値をハードコードするには、以下のチャットモデルIDの表を確認し、プレイグラウンドに追加するNVIDIA NIMを探して、チャットモデルID列から値をコピーします。

   

4. カスタムLLMを追加し、検証が正常に完了した後、ブループリントの設定パネルにあるLLMドロップダウンでデプロイ済みのLLMをクリックし、追加したカスタムモデルの検証IDを選択します。

   

5. ベクターデータベースとプロンプティングの設定を行い、設定を保存をクリックして、プレイグラウンドにブループリントを追加します。