RFPbot use case¶
次の例では、DataRobotが独自のテクノロジーに依存しない、スケーラブルで拡張可能、柔軟で反復可能なフレームワークを活用して、エンドツーエンドの生成AIソリューションを大規模に構築する方法について説明します。
この記事と埋め込み動画は、RFPBotという提案要求アシスタントを紹介しています。 RFPBotには、予測コンポーネントと生成コンポーネントがあり、午後の1時間で完全にDataRobot内に構築されました。
以下の図では、生成されたテキストの段落の後に続くコンテンツに注目してください。 リファレンスへのリンクは4つあり、監査モデルの5つのサブスコアに加えて、レスポンスを上向きまたは下向きにする指示があります。
RFPBotは、組織の内部データを使用して、営業担当者が通常の時間の一部でRFPレスポンスを生成できるようにします。 速度の向上は、以下の3つの要因によるものです。
-
ソリューションを支えるカスタムナレッジベース。 これは、RFPに回答する専門家の代わりとなるものです。
-
生成AIを使用して散文を記述します。
-
組織が好む消費環境（この場合はSlack）との連携。
RFPBotは、デプロイ中に最高のコンポーネントを連携します。 開発後、ソリューション全体がリアルタイムで監視されます。 RFPBotは、フレームワーク自体と、生成型AIと予測型AIを一般的に組み合わせてビジネス成果をもたらすパワーの両方を発揮します。
この概念とプロセスは、詳細な質問に対して正確で完全な文書による回答が必要な他のユースケースにも転用可能です。
フレームワークの適用¶
主要な各フレームワークコンポーネント内には、ツールとテクノロジーについて多くの選択肢があります。 フレームワークを導入する場合、各段階でどのような選択も可能です。 組織は優れたテクノロジーを使用することを望んでいますが、どのテクノロジーが優れているかは時間の経過とともに変化します。急速に変化するテクノロジー環境において本当に重要なのは、柔軟性と相互運用性です。 表示されているアイコンは現在の可能性の一部です。
RFPBotは以下を使用します。 フレームワークの各段階における各選択肢は独立しています。 DataRobot AIプラットフォームの役割は、ソリューション全体のオーケストレーション、ガバナンス、監視を行うことです。
- ソースコンテンツとしてのWord、Excel、Markdownファイル。
- Hugging Faceの埋め込みモデル（all-MiniLM-L6-v2）
- Facebook AI類似性検索（FAISS）ベクターデータベース
- ChatGPT 3.5 Turbo
- ロジスティック回帰
- Streamlitアプリケーション
- Slackとの連携。
生成モデルと予測モデルは連動します。 ユーザーは、質問を入力するたびに、実際にはクエリーレスポンスモデルと監査モデルの2つのモデルとやりとりしています。
- クエリーレスポンスモデルは生成を担当します。クエリーに対する答えが作成されます。
- 監査モデルは予測を担当します。予測される確率として与えられた答えの正確さを評価します。
RFPBotの例でリソースとしてリストされている引用は、ナレッジベースから抽出された内部ドキュメントの引用です。 ナレッジベースは、 埋め込みモデルをドキュメントとファイルのセットに適用し、結果を ベクターデータベースに保存することによって作成されました。 このステップにより、LLMに時間がかかり、プライベートデータからのコンテキストが欠如しているという問題が解決されます。 ユーザーがRFPBotに対してクエリーを実行すると、ナレッジベースから抽出されたコンテキストに固有の情報は、LLMで利用可能になり、生成用ソースとしてユーザーに表示されます。
オーケストレーションと監視¶
最高のコンポーネントを連携するエンドツーエンドのソリューションは、エンタープライズセキュリティ、共有、バージョン管理機能を備えたDataRobotがホストするノートブックで構築されます。
一度構築されたソリューションは、標準および カスタム定義の指標を使用して監視されます。 次の図では、有用なレスポンス、真正なレスポンス、プロンプト毒性スコア、LLMコストなど、LLMOpに固有の指標を示しています。
インフラストラクチャと環境の管理タスクを抽象化することによって、1人のユーザーが、数週間や数か月ではなく、数時間や数日で、RFPBotなどのアプリケーションを作成できます。 GenAIアプリケーションを開発するためのオープンで拡張可能なプラットフォームを使用し、反復可能なフレームワークに従うことで、組織は、ベンダーロックインや技術的負債の蓄積を避けることができます。 また、時間の経過とともにフレームワーク内の個々のコンポーネントをアップグレードおよび置換できるため、モデルのライフサイクル管理が大幅に簡素化されます。