Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

生成AI > GenAIの概要

GenAIの概要

DataRobotのAIプラットフォームを生成AIに活用することで、以下のことが可能になります。

  • 独自のデータでLLMを安全に拡張します。
  • 選択したツールを使用して、生成AIソリューションを構築およびデプロイします。
  • 本番環境のLLMを確実に管理および統制します。
  • 生成AIワークフローと予測AIワークフローをエンドツーエンドで統合します。
  • 予測モデリングとユーザーフィードバックにより、GenAIアプリケーションを継続的に改善します。

DataRobotの生成AI製品では、DataRobotの予測AIエクスペリエンスに基づいて信頼性スコアを作成し、お気に入りのライブラリの使用、LLMの選択、サードパーティのツールの統合を行うことができます。 AIは、ビジネスに価値をもたらす場所ならどこでも埋め込みやデプロイを行い、パイプライン内の各アセットに組み込み型ガバナンスを活用できます。

「すべてがモデル次第」であるという認識がありますが、実際には、値はGenAIのエンドツーエンド戦略により異なります。 ベクターデータベースの品質（使用されている場合）、プロンプト戦略、監視、メンテナンス、ガバナンスはすべて成功の重要な要素です。

DataRobot GenAI機能を使用すると、事前にトレーニングされたさまざまな大規模言語モデル（LLM）を使用してテキストコンテンツを生成できます。 さらに、ベクターデータベースを構築し、LLMブループリントで活用することで、データに合わせてコンテンツを調整することができます。

トライアルユーザーの場合

DataRobotトライアルユーザーの場合、トライアル固有の機能に関する情報については FAQを参照してください。 予測AIと生成AIのDataRobotトライアルを開始するには、このページの上部にある無料トライアルを開始をクリックします。

DataRobot GenAIを使用する際の 注意事項のリストを参照してください。

プロンプトエンジニアリングのベストプラクティス

プロンプトエンジニアリングは、LLMに与える入力プロンプトを慎重に作成して、生成される出力の有用性を最大化するプロセスを指します。 プロンプトの言語表現方法によってレスポンスに大きな影響が生じる可能性があるため、これらのモデルを最大限に活用するには、これは重要なステップです。 以下は、プロンプトエンジニアリングのベストプラクティスの一部です。

特性 説明
真陰性率 プロンプトをできるだけ具体的にします。 「天気はどうでしょうか？」という質問ではなく、「カリフォルニア州サンフランシスコの現在の気温は？」という質問にしてください。後者にすれば、探している情報が生成される可能性が高くなります。
明示的な指示 特定の形式またはタイプの回答を念頭に置いている場合は、その旨をプロンプトで明確にしてください。 たとえば、リストが必要な場合は、リストを要求します。 「はい」または「いいえ」の答えが必要な場合は、それを質問してください。
コンテキスト情報 該当する場合、モデルをガイドするコンテキストを質問に入れます。 たとえば、科学的なタイプのコンテンツの記述に関する助言が必要な場合は、プロンプトにその旨を必ず記載してください。
例の使用 特定のスタイルまたは形式でモデルを生成する場合、例を挙げると出力のガイドに役立ちます。 たとえば、二行連句の韻が必要な場合は、プロンプトにその例を含めるとよいでしょう。
プロンプトの長さ コンテキストを記述すると便利ですが、長いプロンプトではモデルがプロンプトの後の部分により集中し、前の方の情報を無視することがあることに注意してください。 要領を得て簡潔に。
偏見と倫理に関する注意事項 プロンプトの表現方法は、偏見と有害な反応の観点から出力に影響を与える可能性があることに注意してください。 プロンプトが可能な限り中立で公平であることを確認し、モデルはトレーニングデータに存在する偏見を反映している可能性があることに注意してください。
TemperatureとTop Pの設定 プロンプト自体に加えて、‘temperature’および‘Top P’設定を調整することもできます。 Temperature値が高いほど出力はランダムになり、値が低いほど決定性が向上します。 Top Pは、最も可能性の高い次の単語の特定のパーセンタイルのみを考慮するようにモデルを制限することによって、出力の多様性を制御します。
トークンの制限 モデルの最大トークン制限に注意してください。 たとえば、GPT-3.5 Turboには、4096トークンの最大トークン制限があります。 プロンプトが長すぎる場合、モデルのレスポンス長が制限されることがあります。

これらは、プロンプトエンジニアリングにおける主要な考慮事項の一部ですが、正確なアプローチは、探している特定のユースケース、モデル、出力の種類によって異なります。 これは多くの場合、試行錯誤のプロセスであり、問題の領域とモデルの機能と制限の両方を十分に理解する必要があります。

ユースケースの例

次の例では、DataRobotが独自のテクノロジーに依存しない、スケーラブルで拡張可能、柔軟で反復可能なフレームワークを活用して、エンドツーエンドの生成AIソリューションを大規模に構築する方法について説明します。

この記事と埋め込みビデオは、RFPBotという提案要求アシスタントを紹介しています。 RFPBotには、予測コンポーネントと生成コンポーネントがあり、午後の1時間で完全にDataRobot内に構築されました。

以下の図では、生成されたテキストの段落の後に続くコンテンツに注目してください。 リファレンスへのリンクは4つあり、監査モデルの5つのサブスコアに加えて、レスポンスを上向きまたは下向きにする指示があります。

RFPBotは、組織の内部データを使用して、営業担当者が通常の時間の一部でRFPレスポンスを生成できるようにします。 速度の向上は、以下の3つの要因によるものです。

  1. ソリューションを支えるカスタムナレッジベース。 これは、RFPに回答する専門家の代わりとなるものです。

  2. 生成AIを使用して散文を記述します。

  3. 組織が好む消費環境（この場合はSlack）との連携。

RFPBotは、デプロイ中に最高のコンポーネントを連携します。 開発後、ソリューション全体がリアルタイムで監視されます。 RFPBotは、フレームワーク自体と、生成型AIと予測型AIを一般的に組み合わせてビジネス成果をもたらすパワーの両方を発揮します。

この概念とプロセスは、詳細な質問に対して正確で完全な文書による回答が必要な他のユースケースにも転用可能です。

フレームワークの適用

主要な各フレームワークコンポーネント内には、ツールとテクノロジーについて多くの選択肢があります。 フレームワークを導入する場合、各段階でどのような選択も可能です。 組織は優れたテクノロジーを使用することを望んでいますが、どのテクノロジーが優れているかは時間の経過とともに変化します。急速に変化するテクノロジー環境において本当に重要なのは、柔軟性と相互運用性です。 表示されているアイコンは現在の可能性の一部です。

RFPBotは以下を使用します。 フレームワークの各段階における各選択肢は独立しています。 DataRobot AIプラットフォームの役割は、ソリューション全体のオーケストレーション、ガバナンス、監視を行うことです。

  • ソースコンテンツとしてのWord、Excel、Markdownファイル。
  • Hugging Faceの埋め込みモデル（all-MiniLM-L6-v2）
  • Facebook AI類似性検索（FAISS）ベクターデータベース
  • ChatGPT 3.5 Turbo
  • ロジスティック回帰
  • Streamlitアプリケーション
  • Slackとの連携。

生成モデルと予測モデルは連動します。 ユーザーは、質問を入力するたびに、実際にはクエリーレスポンスモデルと監査モデルの2つのモデルとやりとりしています。

  • クエリーレスポンスモデルは生成を担当します。クエリーに対する答えが作成されます。
  • 監査モデルは予測を担当します。予測される確率として与えられた答えの正確さを評価します。

RFPBotの例でリソースとしてリストされている引用は、ナレッジベースから抽出された内部ドキュメントの引用です。 ナレッジベースは、 埋め込みモデルをドキュメントとファイルのセットに適用し、結果を ベクターデータベースに保存することによって作成されました。 このステップにより、LLMに時間がかかり、プライベートデータからのコンテキストが欠如しているという問題が解決されます。 ユーザーがRFPBotに対してクエリーを実行すると、ナレッジベースから抽出されたコンテキストに固有の情報は、LLMで利用可能になり、生成用ソースとしてユーザーに表示されます。

オーケストレーションと監視

最高のコンポーネントを連携するエンドツーエンドのソリューションは、エンタープライズセキュリティ、共有、バージョン管理機能を備えたDataRobotがホストするノートブックで構築されます。

一度構築されたソリューションは、標準および カスタム定義の指標を使用して監視されます。 次の図では、有用なレスポンス、真正なレスポンス、プロンプト毒性スコア、LLMコストなど、LLMOpに固有の指標を示しています。

インフラストラクチャと環境の管理タスクを抽象化することによって、1人のユーザーが、数週間や数か月ではなく、数時間や数日で、RFPBotなどのアプリケーションを作成できます。 GenAIアプリケーションを開発するためのオープンで拡張可能なプラットフォームを使用し、反復可能なフレームワークに従うことで、組織は、ベンダーロックインや技術的負債の蓄積を避けることができます。 また、時間の経過とともにフレームワーク内の個々のコンポーネントをアップグレードおよび置換できるため、モデルのライフサイクル管理が大幅に簡素化されます。


続けて読む

更新しました April 2, 2024