ベクターデータベースの作成¶

プレイグラウンドで使用するベクターデータベースを作成するには：

1. 適切なデータソースを データレジストリに追加します。

2. データソースと 埋め込みモデルを含む 基本設定を設定します。

3. チャンクを設定します。

ユースケースディレクトリの ベクターデータベースタブを使用して、構築されたベクターデータベースとデプロイされた埋め込みモデルを管理します。

ベクターデータベースを構築¶

最初に、アプリケーション内の複数のポイントのいずれかからベクターデータベースを追加します。

データベースの設定¶

ベクターデータベースを作成するときは、基本設定を行い テキストチャンキングを設定します。

次のテーブルは、ベクターデータベースの作成で使用される設定について説明するものです。

埋め込みモデルの設定¶

データをエンコードするには、ユースケースに最適な埋め込みモデルを選択します。 DataRobotが提供する埋め込みまたはBYO埋め込みのいずれかを使用してください。 DataRobotは、次のタイプの埋め込みをサポートしています。埋め込みの完全な説明は、 こちらを参照してください。

DataRobotが提供する埋め込みモデルは、 SentenceBERTフレームワークに基づいており、文や段落の密なベクトル表現を計算する簡単な方法を提供します。 このモデルは、教師ありデータと教師なしデータの混合で訓練されたトランスフォーマーネットワーク（BERT、RoBERTA、T5）に基づいており、さまざまなタスクで最先端のパフォーマンスを達成しています。 テキストはベクトル空間に埋め込まれ、類似したテキストはより密接にグループ化され、コサイン類似度を使用して効率的に見つけることができます。

デプロイ済み埋め込みモデルを追加¶

ベクターデータベースを追加する際、 _非構造化カスタムモデル_としてデプロイされた埋め込みモデルを選択できます。 ベクターデータベースを作成パネルで、埋め込みモデルドロップダウンをクリックしてから、デプロイ済み埋め込みモデルを追加をクリックします。

デプロイ済み埋め込みモデルを追加パネルで、次の設定を行います。

デプロイされた埋め込みモデルの設定を行った後、検証おおび追加をクリックします。 デプロイされた埋め込みモデルが、埋め込みモデルドロップダウンリストに追加されます。

チャンク設定¶

テキストチャンキングは、テキストドキュメントをより小さなテキストチャンクに分割するプロセスで、埋め込みの生成に使用されます。 次のいずれかの原因が考えられます。

• テキストチャンキングを選択し、チャンクの派生方法（メソッド、 セパレーター、 その他のパラメーター）を設定します。
• チャンキングなしを選択します。 DataRobotは各行をチャンキングとして扱い、各行に埋め込みを直接生成します。

チャンキング方法¶

チャンキングメソッドでは、データソースからのテキストを、より小さく、管理しやすい断片に分割する方法を設定します。 これは、最近傍検索の効率を向上させるために使用され、クエリーが実行されると、データベースは最初に最近傍を含む可能性のある関連チャンキングを特定し、次にデータセット全体を検索するのではなく、それらのチャンク内を検索します。

区切り文字の操作¶

区切り文字は、テキストを分割するための「ルール」または検索パターン（サポート可能ですが正規表現ではありません）です。各区切り文字は、テキストをより小さなコンポーネントに分割するために、順番に適用されます。区切り文字は、ドキュメントをチャンクに分割するためのトークンを定義します。 チャンクはトピックごとにグループ化するのに十分な大きさで、サイズ制約はモデルの設定によって決定されます。 再帰的テキストチャンキングは、チャンクルールに適用される方法です。

各ベクターデータベースは、テキストを分割する内容を定義する4つのデフォルトルールから始まります。

• 二重改行
• 改行
• スペース

これらのルールは、理解しやすいように単語で識別されますが、バックエンドでは個々の文字列として解釈されます（つまり、\n\n, \n, " ", ""）。

ドキュメントに区切り文字が存在しない場合や、目的のチャンクサイズに分割するための十分なコンテンツがない場合があります。 その場合、DataRobotは「next-best character」（次にベストな文字）フォールバックルールを適用し、チャンクが定義されたチャンクサイズに適合するまで、次のチャンクに文字を移動します。 そうでない場合、埋め込みモデルは、継承されたコンテキストサイズを超えるチャンクを切り捨てます。

カスタムルールを追加¶

最大5つのカスタム区切り文字を追加して、チャンク戦略の一部として適用できます。 これにより、合計9つの区切り文字が使用できます（4つのデフォルトを一緒に考慮した場合）。 カスタム区切り文字には、以下が適用されます。

• 各区切り文字の最大文字数は20文字です。

• 区切り文字として単語を使用できる「変換ロジック」はありません。 たとえば、句読点を分割する場合は、各タイプに区切り文字を追加する必要があります。

  

• 区切り文字の順序は重要です。 区切り文字を並べ替えるには、セルをクリックして目的の場所にドラッグします。

• チャンク戦略のファインチューニングや区切り文字追加のための空き容量調整などで区切り文字を削除するには、ごみ箱アイコンをクリックします。 デフォルトの区切り文字は削除できません。

正規表現の使用¶

区切り文字に正規表現を使用できるようにするには、セパレーターを正規表現として解釈を選択します。 この機能をアクティブにすると、すべての区切り文字が正規表現として扱われることを理解するのが重要です。 例えば、「.」を追加すると、各文字に一致して分割されることを意味します。 リテラルの「dots」で分割する場合は、記号（「\.」など）を付けてエスケープする必要があります。 このルールは、カスタム区切り文字と（この方法で動作するよう設定されている）事前定義済みの両方の区切り文字に適用されます。

チャンクパラメーター¶

チャンクパラメーターは、ベクターデータベースの出力をさらに定義します。 チャンクパラメーターのデフォルト値は、埋め込みモデルによって異なります。

チャンクのオーバーラップ¶

オーバーラップとは、隣接するチャンクがある程度のデータを共有できるようにする方法を指します。 チャンクオーバーラップパラメーターは、連続するチャンク間のトークンの重複割合（パーセント）を指定します。 重複は、言語モデルでテキストを処理するときにチャンク間のコンテキストの連続性を維持するのに役立ちますが、より多くのチャンクを生成しベクターデータベースのサイズを増やすという代償があります。

検索制限¶

Top K（近傍法）に設定した値は、ベクターデータベースから取得する関連チャンクの数をLLMに指示します。 チャンクの選択は、 類似性スコアに基づいて行われます。 以下の点に注意してください。

• 値を大きくすると、より広範囲をカバーできますが、処理のオーバーヘッドが増加し、関連性の低い結果が含まれる可能性があります。
• 値を小さくすると、より焦点の絞られた結果が得られ、処理も速くなりますが、関連する情報を見逃す可能性があります。

最大トークン数では、以下の内容を指定します。

• ベクターデータベースを構築するときにデータセットから抽出された各テキストチャンクの最大サイズ（トークン単位）。
• 埋め込みの作成に使用されるテキストの長さ。
• RAG操作で使用される引用のサイズ。

ベクターデータベースの保存¶

設定が完了したら、ベクターデータベースを作成をクリックして、データベースを プレイグラウンドで使用可能にします。

ベクターデータベースの管理¶

ベクターデータベースタブには、ユースケースに関連付けられたすべてのベクターデータベースと デプロイされた埋め込みモデルが一覧表示されます。 ベクターデータベースのエントリーには、親から派生したバージョンに関する情報が含まれています。ベクターデータベースのバージョニングの詳細については、 バージョニングのセクションを参照してください。

ユースケース内のベクターデータベースタブから、ユースケースのすべてのベクターデータベース（および関連バージョン）を表示できます。 外部ベクターデータベースの場合、ソースタイプのみが表示されます。 これらのベクターデータベースはDataRobotによって管理されていないため、他のデータはレポートには利用できません。

ベクターデータベースタブのリストでいずれかのエントリーをクリックすると、新しいタブが開き、そのデータベースの設定と関連アイテムが展開表示されます。

以下を実行することが可能です。

ベクターデータベースのアクション¶

アクションドロップダウンでは、表示しているベクターデータベースのバージョンにアクションを適用できます。 詳細については、 バージョニングのドキュメントを参照してください。

ベクターデータベースの詳細¶

ベクターデータベースの展開ビューの詳細セクションには、ドロップダウンまたは右側のパネルから選択したバージョンに関する情報が表示されます。

• ベクターデータベースの基本メタデータ：ID、作成者と作成日、データソースの名前とサイズ。
• チャンキング設定：埋め込み列とチャンキング方法および設定。
• メタデータ列：後で メタデータのフィルターに使用できるデータソースの列の名前。.

このエリアを使用してバージョンをすばやく比較し、設定の変更がチャンキング結果にどのように影響するかを確認します。 たとえば、DataRobotの英語版ドキュメントを使用する親バージョンの間で、チャンクのサイズと数がどのように変化するかに注目してください。

また、日本語ドキュメントを追加した状態で