生成AI（V10.2）¶

2024年11月21日

DataRobot v10.2.0リリースには、GenAIに関する多くの新機能と機能改善が含まれています。 リリース10.2のその他の詳細については、以下をご覧ください。

• データ、モデリング、アプリ
• MLOps
• コードファースト

リリース10.2¶

GenAI全般の機能強化¶

新しいLLM¶

リリース10.1以降、以下のLLMが新しく追加されました。

• Anthropic Claude 3 Haiku
• Anthropic Claude 3 Sonnet
• Anthropic Claude 3 Opus
• Azure OpenAI GPT-4 Turbo
• Azure OpenAI GPT-4o
• Google Gemini 1.5 Flash
• Google Gemini 1.5 Pro

コンテキストウィンドウの最大長と補完トークンの評価を含むLLMの全リストについては、こちらをご覧ください。

新しい埋め込みモデル¶

リリース10.1以降、以下の埋め込みモデルが新しく追加されました。

埋め込みモデルの全リストについては、こちらをご覧ください。

プレイグラウンド情報を拡充¶

新しいプレイグラウンド情報 タブでは、プレイグラウンドに関連付けられているアセット（ベクターデータベース、デプロイされたLLM、デプロイされた埋め込みモデル）にアクセスできます。 また、プレイグラウンドの基本的なメタデータも提供します。 用意されているタブを使用すると、その他の情報を表示できます。

ベクターデータベースに関する機能強化¶

以下の新機能により、ベクターデータベースの作成エクスペリエンスが強化されました。

ベクターデータベースの作成¶

BYO埋め込みでサポートされるデータセットのサイズを引き上げ¶

今回のデプロイから、SaaS環境で独自の埋め込みモデルをプレイグラウンドに持ち込む際、最大10GBのデータセットがサポートされるようになりました。 （埋め込みモデルとは、ベクターデータベースの作成プロセスで使用されるモデルのことです。）セルフマネージドAIプラットフォームでGPU対応のカスタムモデルを持ち込む場合、環境変数CUSTOM_EMBEDDINGS_SUPPORTED_DATASET_SIZEを使用して、BYO埋め込みでサポートされるデータセットの上限を10GBに増やすことができます。 このサイズ拡張機能により、独自の埋め込みモデルを使用する際のスケールやパフォーマンスの制約を回避できます。

ベクターデータベース作成でのCSVのサポート¶

これまでは、アップロードされたZIPファイルを使用してのみベクターデータベースを作成できました。 このリリースから、取り込んだCSVもサポートされるようになりました。 See the full description of supported dataset types and handling here.

ベクターデータベースのデータソースにおけるメタデータのサポート¶

ベクターデータベースのデータソースに、必須のdocumentおよびdocument_file_path列に加えて、最大50個のメタデータ列を追加できるようになりました。 This additional metadata can be used as the basis for filtering when chatting with an LLM. ベクターデータベースのチャンクにメタデータを追加することで、モデルは、検索時にベクターデータベースからこれらのチャンクをより効果的に見つけることができます。

BYO埋め込みのサポート¶

ベクターデータベースを作成する際に、既存の内部埋め込みモデルを使用するか、デプロイされた外部埋め込みモデルを使用するかを選択できるようになりました。 デプロイを指定し、プロンプトと回答の列を追加したら、ベクターデータベースに追加する前にモデルを検証できます。

ベクターデータベースのリフレッシュ¶

ベクターデータベースのバージョニング¶

プレイグラウンドとデプロイの両方で、既存のベクターデータベースを更新できるようになりました。 The ability to version vector databases—creating child, related entities based on a single parent—brings a host of benefits to GenAI solution building. バージョニングでは、リネージプロセスでメタデータを使用して、結果の評価や以前のバージョンとの結果の比較ができます。 更新ごとに新しいベクターデータベースがバージョンとして作成され、現在のエクスペリメントやそれを利用するダウンストリームアセットに使用するバージョンを選択できます。

バージョニングによって、以下のことができます。

• ベクターデータベース内のデータを更新して、LLMによる回答の裏付けに最新のデータを使用できます。

• 新しいバージョンを作成して、ベクターデータベースの詳細なリネージを作成できますが、以前のバージョンを選択することもできます。 これにより、ダウンストリームアセットで使用されている古いバージョンを「更新」したり、必要に応じて以前のバージョンにロールバックしたりすることが可能です。

• 既存のベクターデータベースから「実績のある」チャンキングパラメーターや埋め込みパラメーターを新しいデータに適用できます。

• 検索時にデータセットのメタデータを使用することで、データセット内のチャンクをより効果的に検索できます。

さらに、新しい詳細ページには、選択したバージョンのメタデータと関連アセットが一覧表示されます。

ベクターデータベースでのデータの追加や置換¶

バージョニングの一環として、ベクターデータベース内のデータを更新して、LLMによる回答の裏付けに最新のデータを使用できます。 To update data, you can choose to add to or replace the current data source, giving you control over what's in the vector database, even after it's created. データを追加する場合、同じチャンキングおよび埋め込みパラメーターが適用されます。 データを置換する場合、必要に応じてチャンキングや埋め込みを変更することができます。

ベクターデータベースのエクスポート¶

ベクターデータベース、または特定のバージョンのデータベースをデータレジストリにエクスポートし、別のユースケースで再利用できるようになりました。 このデータセットはAIカタログにも保存されます。そこからダウンロードして変更を加え、再びアップロードして、再利用することができます。

チャンキング¶

「チャンキングなし」オプションの導入¶

今回のリリースでは、ベクターデータベースを作成する際に、入力データソースに対してチャンキングを行わないオプションが追加されました。 テキストチャンキングとは、テキストドキュメントをより小さなテキストチャンクに分割するプロセスであり、これによって埋め込みが生成されます。 チャンキングなし*を選択すると、各行がチャンクとして扱われ、各行に直接埋め込みが生成されます。

セマンティックチャンキング手法を追加¶

これまで、ベクターデータベースのテキストチャンキング設定では、最大サイズの制限を満たすようにテキストを分割する、再帰的チャンキング手法だけが利用可能でした。 With the introduction of semantic chunking you can split text into smaller, meaningful units based on the semantic content instead of length, which can result in more effective chunks for prompting the LLM.

検索¶

新たなRetrieverメソッドによりチャンクの選択を指示¶

ベクターデータベースを構築する際に、LLMがベクターデータベースから最も関連性の高いチャンクを取得するために使用するRetrieverメソッドを選択できるようになりました。 Single-Lookup、Conversational、Multi-Stepのいずれかを選択します。

隣接チャンクを結果に追加¶

「隣接チャンクを追加」を使用して、類似性検索で取得するチャンクに、ベクターデータベース内の隣接チャンクを追加するかどうかを制御します。 有効にすると、Retrieverはi、i-1、およびi+1（たとえば、クエリーでチャンク番号42を取得すると、チャンク41と43も取得されます）を返します。

メタデータをフィルターして、返される引用数を制限¶

データソースに追加されたメタデータを使用して、プロンプトクエリーが返す引用数を制限できるようになりました。 To apply metadata filtering, simply create a column-value pair for any or all metadata columns and enter a prompt query. You can compare the results of filtering and not in the returned Citations.

LLM評価の強化¶

評価指標を使用すると、パフォーマンス、安全性、運用に関するさまざまな指標を設定することができます。 これらの指標を設定すると、プロンプトと回答が設定したモデレーション基準を満たした場合に介入するモデレーション方法を定義できます。 この機能は、プロンプトインジェクションや、悪意のある、有害な、トピックから外れた、不適切なプロンプトおよび回答を検出してブロックするのに役立ちます。 また、ハルシネーションや信頼度の低い回答を特定し、個人を特定できる情報（PII）の共有を防ぐのにも役立ちます。 今回のリリースでは、新しい評価指標が追加され、LLM評価ワークフローが改善されました。

さらに、プレイグラウンドにはコンプライアンステストが導入されました。評価指標と評価用データセットを組み合わせ、テスト用のプロンプトシナリオを通じて、コンプライアンスの問題を自動的に検出することができます。 コンプライアンステストを設定することで、バイアス、ジェイルブレイク、完全性、個人を特定できる情報、毒性について報告できます。 コンプライアンステストは、LLMとともにNextGenレジストリのモデルワークショップに送ると、本番環境でコンプライアンスドキュメントを生成できます。

新しい評価指標¶

リリース10.1以降、以下のLLM評価指標が新しく追加されました。

• 入力のトピックを維持
• 出力のトピックを維持
• 感情分類器（センチメント分類器に代わるもの）

さらに、トークン数は次の4つの指標に分かれました：すべてのトークン、プロンプトトークン、回答トークン、ドキュメントトークン。

評価指標の管理¶

評価タブで評価指標を設定する際、設定のサマリーサイドバーから以前に設定した評価指標を編集できます。 指標の設定（指標名を含む）を編集するには、編集アイコン をクリックします。プレイグラウンドから指標を削除するには、削除アイコン をクリックします。 指標が正しく設定されていない場合は、ヘルパーテキストを表示することもできます。

さらに、評価指標が個々のプレイグラウンドに固有のものとなったため、評価タブから、LLMプレイグラウンドに評価指標の設定をコピーしたり、LLMプレイグラウンドから設定をコピーしたりして、設定をすばやく共有できます。

評価設定は、既存のプレイグラウンドから既存のプレイグラウンドへ、または新しいプレイグラウンドへコピーすることができます。

コンプライアンステストの設定¶

評価指標と評価用データセットを組み合わせ、テスト用のプロンプトシナリオを通じて、コンプライアンスの問題を自動的に検出することができます。 コンプライアンステストは、次の2つの場所で実行できます。

• プレイグラウンドタブ。定義済みのコンプライアンステストを変更せずに実行したり、カスタムテストを作成したり、組織のテスト要件に合わせて定義済みのテストを変更したりできます。

• 評価タブ。定義済みのコンプライアンステストを表示したり、カスタムテストを作成および管理したり、組織のテスト要件に合わせて定義済みのテストを変更したりできます。

リリース10.1以降、以下のLLMコンプライアンステストが追加されました。

• バイアスベンチマーク
• ジェイルブレイク
• 完全性
• 個人を特定できる情報（PII）
• 毒性
• 日本語バイアスベンチマーク

コンプライアンステストの結果を比較するには、プレイグラウンドタブで、一度に最大3つのLLMブループリントのコンプライアンステストを実行できます。

本番環境では、NextGenコンソールで、デプロイされたLLMについて、設定されたコンプライアンステストの結果を含めて、コンプライアンスドキュメントを生成できます。

モデルワークショップに送る指標とコンプライアンステストを管理¶

LLMブループリントを作成して、ブループリントの設定（評価指標やモデレーションを含む）を行い、回答をテストおよびチューニングしたら、LLMブループリントをモデルワークショップに送ります。 ブループリントをワークショップに送る際、最大12個の評価指標（および設定済みのモデレーション）を選択できます。

次に、ワークショップに送るコンプライアンステストを選択します。 Compliance tests sent to the model workshop are included when you register the custom model and generate compliance documentation.

評価指標の転送を完了するには、モデルワークショップでカスタムモデルを設定します

記載されている製品名および会社名は、各社の商標または登録商標です。 製品名または会社名の使用は、それらとの提携やそれらによる推奨を意味するものではありません。