JITR Botを使用してコンテキスト認識の応答を生成¶

GitHubでこのAIアクセラレーターにアクセス

検索拡張生成（RAG）は、大規模な言語モデルをコンテキスト認識にすることで橋渡しするための業界標準の方法になりました。 しかし、多くのドキュメントを含む大規模なベクターデータベースとの対話でテキスト生成の問題が解決されない場合があります。 これらの問題にはコンテキストが必要ですが、クエリー時間の前にコンテキストが不明であり、既存のベクターストアに関連しないことがあります。 通常、これらは単一のドキュメントに関する疑問で、実行時にドキュメントを指定できるようにすることが望ましい動作です。

これをかなりうまく実行するアプリケーションとして、DataRobot独自のGustav von Zitzewitzによって構築されたDataChadがあります。 DataChadはローカライズされたWebアプリケーションとして目的上問題ありませんが、一般化されません。 言い換えれば、ブラウザーを開かず、分析するファイルをアップロードせず、実行ボタンを押さずに、アプリケーションを操作する良い方法はありません。

このアクセラレーターは、既存のベクトルストアにクエリーを実行する標準のRAGアプローチではなく、引数としてファイルを受け入れるデプロイを作成し、コンテキスト認識の応答をすぐに出力できるようにします。 DataRobotでは、このアプローチは"Just In Time Retrieval"、または略称JITRと呼ばれます。 DataRobotは、ユーザーが"JITR Bot"と呼ばれるPDFをアップロードしたときに質問に答えるために、このデプロイをバックエンドとして使用するSlackbotを作成しました。