GenAI機能に関する注意事項¶
DataRobotで生成AI機能を使用する場合は、以下の点に注意してください。 製品の開発が進むにつれ、いくつかの注意事項が変更されることがあります。
トライアルユーザー: サポートされているLLMベースモデルを含む、 DataRobotの無料トライアルに固有の注意事項を参照してください。
可用性¶
The following sections describe support for the various elements (LLMs, embeddings, data types, sharing) that are part of GenAI model creation.
利用可能なLLM¶
次の表に、利用可能なLLMのタイプを示します。
タイプ | 最大コンテキストウィンドウ | 最大出力トークン数 |
---|---|---|
Amazon Titan* | 8,000 | 8,000 |
Anthropic Claude 2.1 | 200,000 | 4,96 |
Anthropic Claude 3 Haiku | 200,000 | 4,096 |
Anthropic Claude 3 Sonnet | 200,000 | 4,096 |
Anthropic Claude 3 Opus† | 200,000 | 4,096 |
Azure OpenAI GPT-4 | 8,192 | 8,192 |
Azure OpenAI GPT-4 32k | 32,768 | 32,768 |
Azure OpenAI GPT-4 Turbo | 128,000 | 4,096 |
Azure OpenAI GPT-4o | 128,000 | 4,096 |
Azure OpenAI GPT-3.5 Turbo* | 4,096 | 4,096 |
Azure OpenAI GPT-3.5 Turbo 16k | 16,384 | 16,384 |
Google Bison* | 4,096 | 2,048 |
Google Gemini 1.5 Flash | 1,048,576 | 8,192 |
Google Gemini 1.5 Pro | 2,097,152 | 8,192 |
* トライアルユーザーが使用可能。
† Due to EU regulations, Claude 3 Opus model access is disabled for Cloud users on the EU platform.
Embeddings availability¶
DataRobot supports the following types of embeddings for encoding data; all are transformer models trained on a mixture of supervised and unsupervised data.
Embedding type | 説明 | 言語 |
---|---|---|
cl-nagoya/sup-simcse-ja-base | 名古屋大学 大学院情報学研究科(「Japanese SimCSE Technical Report」)による中規模言語モデル。 It is a fast model for Japanese RAG.
|
日本語 |
huggingface.co/intfloat/multilingual-e5-base | A medium-sized language model from Microsoft Research ("Weakly-Supervised Contrastive Pre-training on large MultiLingual corpus") used for multilingual RAG performance across multiple languages.
|
100+, see ISO 639 |
huggingface.co/intfloat/multilingual-e5-small | A smaller-sized language model from Microsoft Research ("Weakly-Supervised Contrastive Pre-training on large MultiLingual corpus") used for multilingual RAG performance with faster performance than the MULTILINGUAL_E5_BASE. This embedding model is good for low-latency applications.
|
100+, see ISO 639 |
intfloat/e5-base-v2 | A medium-sized language model from Microsoft Research ("Weakly-Supervised Contrastive Pre-training on large English Corpus") for medium-to-high RAG performance. With fewer parameters and a smaller architecture, it is faster than E5_LARGE_V2.
|
英語 |
intfloat/e5-large-v2 | A large language model from Microsoft Research ("Weakly-Supervised Contrastive Pre-training on large English Corpus") designed for optimal RAG performance. It is classified as slow due to its architecture and size.
|
英語 |
jinaai/jina-embedding-t-en-v1 | Jina AIのLinnaeus-Cleanデータセットを使用してトレーニングされた小さな言語モデル。 It is pre-trained on the English corpus and is the fastest, and default, embedding model offered by DataRobot.
|
英語 |
jinaai/jina-embedding-s-en-v2 | Jina Embeddings v2ファミリーの1つであるこの埋め込みモデルは、長いドキュメントの埋め込みに最適です(最大8192の大きなチャンクサイズ)。
|
英語 |
sentence-transformers/all-MiniLM-L6-v2 | 10億個のセンテンスペアのデータセットでファインチューニングされた小さな言語モデル。 比較的高速で、英語のコーパスで事前トレーニングされています。 It is not recommend for RAG, however, as it was trained on old data.
|
英語 |
* Input Dimension = max_sequence_length
Multilingual language support for E5-base and E5-small, see also ISO 639
対応言語: "アフリカーンス語", "アムハラ語", "アラビア語", "アッサム語", "アゼルバイジャン語", "ベラルーシ語", "ブルガリア語", "ベンガル語", "ブルトン語", "ボスニア語", "カタルーニャ語", "チェコ語", "ウェールズ語", "デンマーク語", "ドイツ人語", "ギリシャ語", "英語", "エスペラント語", "スペイン語", "エストニア語", "バスク語", "ペルシャ語", "フィンランド語", "フランス語", "西フリジア語", "アイルランド語", "スコットランドのゲール語", "ガリシア語", "グジャラート語", "ハウサ語", "ヘブライ語", "ヒンディー語", "クロアチア語", "ハンガリー語", "アルメニア語", "インドネシア語", "アイスランド語", "イタリア語", "日本語", "ジャワ語", "ジョージア語", "カザフ語", "クメール語", "カンナダ語", "韓国語", "クルド語", "キルギス語", "ラテン語", "ラオス語", "リトアニア語", "ラトビア語", "マダガスカル語", "マケドニア語", "マラヤーラム語", "モンゴル語", "マラーティー語", "マレー語", "ビルマ語", "ネパール語", "オランダ語", "ノルウェー語", "オロモ語", "オリヤ語", "パンジャブ語", "ポーランド語", "パシュトゥー語", "ポルトガル語", "ルーマニア語", "ロシア語", "サンスクリット語", "シンド語", "シンハラ語", "スロバキア語", "スロベニア語", "ソマリ語", "アルバニア語", "セルビア語", "スンダ語", "スウェーデン語", "スワヒリ語", "タミル語", "テルグ語", "タイ語", "タガログ語", "トルコ語", "ウイグル語", "ウクライナ語", "ウルドゥー語", "ウズベク語", "ベトナム語", "コサ語", "イディッシュ語", "中国語",
共有と権限¶
以下の表に、GenAIコンポーネント関連のユーザー権限を示します。 すべてのロール(コンシューマー、エディター、オーナー)は、ユースケースにおけるユーザーのロールを示しています。さまざまな機能へのアクセスは、ユースケースの役割に基づきます。 For example, because sharing is handled on the Use Case level, you cannot share only a vector database (vector databases do not define any sharing rules).
GenAI機能に対する権限
機能 | ユースケースのコンシューマー | ユースケースのエディター | ユースケースのオーナー |
---|---|---|---|
ベクターデータベース | |||
ベクターデータベースの作成者 | |||
ベクターデータベースを作成 | ✘ | ✔ | ✔ |
Create vector database version | ✘ | ✔ | ✔ |
ベクターデータベースの情報を編集 | ✘ | ✔ | ✔ |
ベクターデータベースを削除 | ✘ | ✔ | ✔ |
ベクターデータベースの非作成者 | |||
ベクターデータベースの情報を編集 | ✘ | ✘ | ✔ |
ベクターデータベースを削除 | ✘ | ✘ | ✔ |
プレイグラウンド | |||
プレイグラウンドの作成者 | |||
プレイグラウンドの作成 | ✘ | ✔ | ✔ |
プレイグラウンド名の変更 | ✘ | ✔ | ✔ |
プレイグラウンドの説明を編集 | ✘ | ✔ | ✔ |
プレイグラウンドを削除 | ✘ | ✔ | ✔ |
プレイグラウンドの非作成者 | |||
プレイグラウンドの説明を編集 | ✘ | ✘ | ✔ |
プレイグラウンドを削除 | ✘ | ✘ | ✔ |
プレイグラウンド → 評価タブ | |||
評価の設定 | ✘ | ✔ | ✔ |
評価指標を有効/無効にする | ✘ | ✔ | ✔ |
プレイグラウンド → トレースタブ | |||
ログをダウンロード | ✔ | ✔ | ✔ |
AIカタログにアップロード | ✔ | ✔ | ✔ |
他者が作成したLLMブループリント(ユースケースを共有) | |||
設定 | ✘ | ✘ | ✘ |
プロンプトの送信(設定から) | ✘ | ✘ | ✘ |
集計された指標を生成 | ✘ | ✔ | ✔ |
会話の作成(比較から) | ✘ | ✘ | ✘ |
回答に賛成/反対 | ✔ | ✔ | ✔ |
スターを付ける/お気に入り | ✘ | ✘ | ✘ |
新しいLLMブループリントにコピー | ✘ | ✔ | ✔ |
削除 | ✘ | ✘ | ✘ |
登録 | ✘ | ✘ | ✘ |
サポートされているデータセットタイプ¶
When uploading datasets for use in creating a vector database, the supported formats are either .zip
or .csv
. Two columns are mandatory for the files—document
and document_file_path
. Additional metadata columns, up to 50, can be added for use in filtering during prompt queries. Note that for purposes of metadata filtering, document_file_path
is displayed as source
.
For .zip
files, DataRobot processes the file to create a .csv
version that contains text columns (document
) with an associated reference ID (document_file_path
) column. All content in the text column is treated as strings. リファレンスID列は、.zip
がアップロードされると自動的に作成されます。 すべてのファイルは、アーカイブのルート(root)、またはアーカイブ内の単一のフォルダーに配置する必要があります。 フォルダーツリー階層の使用はサポートされていません。
ファイルタイプに関して、DataRobotは以下をサポートします。
-
.txt
ドキュメント -
PDFドキュメント
- テキストベースのPDFがサポートされています。
- 画像ベースのPDFは完全にはサポートされていません。 したがって、画像は一般的に無視されますが、エラーは発生しません。
- 画像とテキストコンテンツが混在するドキュメントがサポートされます。テキストのみが解析されます。
- 画像だけで構成される単一のドキュメントは空のドキュメントになり、無視されます。
- 画像のみのドキュメント(テキストなし)で構成されるデータセットは処理できません。
-
.docx
ドキュメントはサポートされていますが、古い.doc
形式はサポートされていません。 -
.md
ドキュメント(および.markdown
形式)はサポートされています。 -
単一のデータセットでサポートされているすべてのドキュメントタイプを組み合わせることができます。
一般的な注意事項¶
-
多言語データセットが多言語モデルに関連付けられた制限を超える場合、DataRobotはデフォルトで
jinaai/jina-embedding-t-en-v1
埋め込みモデルを使用します。 -
余分な列を含むトレーニングデータが添付されたカスタムモデルから作成されたデプロイは、カスタムモデルで列のフィルターが無効になっていない限り使用できません。
-
BYOのLLMまたはプレイグラウンドからデプロイされたLLMを使用する場合、資格情報に関連付けられたエンドポイントを指すランタイムパラメーターが必要です。ベンダーのモデルバージョンおよびエンドオブライフ(EOL)スケジュールに注意してください。 ベストプラクティスとして、本番環境にデプロイするときには一般的に使用できるエンドポイントのみを使用してください。 (これはプレイグラウンドで提供されているモデルによって管理されます。)
-
UIでプレイグラウンドやベクターデータベースにアクセスすると、
[Internal] DR API Access for GenAI Experimentation
という名前のAPIキーが自動的に作成されます。 -
When using GPUs, BYO embeddings functionality is available for self-managed users only. 多くのユーザーがベクターデータベース作成ジョブを同時に実行する場合、BYO埋め込みを使用すると、ベクターデータベース作成ジョブが完了するまでLLMプレイグラウンド機能が低下する可能性があります。 Using CPUs with a custom model that contains the embeddings model is supported in all environments.
-
一度に実行できる集計指標ジョブは1つだけです。 集計ジョブが現在実行されている場合、 集計の設定ボタンが無効になり、「集計ジョブが進行中です。処理が完了したら、もう一度試してください」というツールチップが表示されます。
プレイグラウンドに関する注意事項¶
-
プレイグラウンドは表示用に共有できます。エディターまたは所有者のアクセス権限を持つユーザーは、共有プレイグラウンド内で追加のアクション(ブループリントの作成など)を実行できます。 作成者以外のユーザーはプレイグラウンドでLLMブループリントのプロンプトを実行することはできませんが、コピーを作成して、そのコピーにプロンプトを送信できます。
-
プロンプトを表示できるのは、自分で作成したLLMブループリントのみです(設定ビューと比較ビューの両方)。 共有ユースケースで他のユーザーのLLMブループリントをプロンプトした結果を確認するには、ブループリントをコピーし、同じ設定を適用してチャットします。
-
各ユーザーは、すべてのLLMに1日あたり5,000件のLLMプロンプトを送信できます。ここでは、削除されたプロンプトとレスポンスもカウントされます。 ただし、成功したプロンプトレスポンスペアのみがカウントされ、持ち込み(BYO)LLMコールはカウントの対象外になります。 トライアルユーザーの制限は、 ここに説明されているように異なります。
ベクターデータベースに関する注意事項¶
以下のセクションでは、 ベクターデータベースに関連する注意事項について説明します。 See also the supported dataset types, below.
GPU usage for Self-Managed users
When working with datasets over 1GB, Self-Managed users who do not have GPU usage configured on their cluster may experience serious delays. Email DataRobot Support, or visit the Support site, for installation guidance.
-
作成:
-
デフォルトでは、DataRobotはFacebook AI Similarity Search (FAISS)ベクターデータベースを使用します。
-
Globally, a 10GB dataset limit is applied during vector database creation and resulting vector database asset size (text after extraction).
-
-
デプロイ:
- When deploying vector databases for 10GB datasets, the vector database custom model may require more RAM than the default of 4GB. The custom model resource allocation settings are configurable by the organization administrator.
-
Token budget:
-
ベクターデータベースから取得するコンテキストの数を決定する際、DataRobotは余ったトークン予算(LLMのコンテキストサイズ)の3/4を取得ドキュメントに割り当て、残りをチャット履歴(該当する場合)に割り当てます。
-
トークン予算は、システムプロンプト、ユーザープロンプト、および最大完了長で構成されます。 _余った_トークン予算というのは、
コンテキストサイズ - (最大完了長 + システムプロンプト + ユーザープロンプト)
です。 -
チャット履歴がない場合、余った予算はすべてドキュメントの取得に使用されます。 同様に、ベクターデータベースがない場合、余った予算は履歴に使用されます。
-
-
チャンキング:
- Vector database creation with semantic chunking can fail when individual documents in the dataset contain very large texts. The exact limits are not known, but if you experience the error, use recursive chunking instead.
-
-
Metadata filtering only supports exact pattern matching (no partial strings or relative expressions).
-
When multiple strings are entered, DataRobot applies an implicit AND. No other operators are supported.
-
Vector databases created before the introduction of metadata filtering do not support this feature. To use filtering with them, create a version from the original and configure the LLM blueprint to use the new vector database instead.
-
The following are internal column names and should not be used to define metadata column:
chunk_id
,start_index
,page
,similarity_score
,pagebreak_indices
,content
,_doc_vector
, andchunk_size
. -
For purposes of metadata filtering, the
document_file_path
column name is displayed assource
. -
Metadata filtering for BYO vector databases, like all BYO functionality, requires additional configuration. Because the BYO component must be a standalone drop-in replacements for DataRobot internal vector databases, it must implement the complete vector database functionality: handle an input dataframe containing columns for the
query
and search parametersk
,filter
andadd_neighbor_chunks
, and return the matching most similar documents, including potential metadata in an unstructured format.
-
See also supported dataset types.
プレイグラウンドデプロイに関する注意事項¶
プレイグラウンドからLLMを登録およびデプロイする際は、以下の点に注意してください。
-
DataRobot資格情報管理システムを介したAPIキーの設定がサポートされています。 これらの資格情報は、デプロイの環境変数としてアクセスされます。
-
登録とデプロイは、以下に対してサポートされています。
-
プレイグラウンド内のすべてのベースLLM。
-
ベクターデータベースを使用したLLM。
-
-
大規模ベクターデータベース(500 MB以上)に関連付けられたLLMブループリントからカスタムモデルバージョンを作成すると、時間がかかる場合があります。 モデルが作成されている間、モデルワークショップを離れることができます。進捗が失われることはありません。
-
Streaming responses in the chat completion API are only supported by LLM blueprints that use Azure OpenAI LLMs. Configuring evaluation and moderation for the custom model negates the effect of streaming, since guardrails evaluate the complete response of the LLM and return the response text in one chunk.
-
The following OpenAI parameters are not supported in the chat completion API:
functions
,tool
,tool_choice
,logprobs
,top_logprobs
.
LLMの評価とモデレーション¶
The following describes considerations related to LLM evaluation and moderation:
-
You can generate synthetic datasets in both the UI and API. Use GPT-4, if possible, as it best follows the format DataRobot expects for output format. Otherwise, the LLM might not generate question-answer pairs.
-
指標:
-
For NeMo metrics, the
blocked_terms.txt
file is shared between the prompt and response metrics. As a result, modifyingblocked_terms.txt
in the prompt metric will modify it for the response metric and vice versa. -
All metrics can be copied and duplicates can exist, with the following exception: Only two NeMo stay on topic metrics can exist in a custom model, one for input and one for output (NeMo metric prompt and one NeMo response metric).
-
The Faithfulness and Correctness metrics will return 0 if the LLM you chose does not produce the correct output format.
-
When transferring metrics to a production environment, if the guard for a metric is not enabled in the playground it is transferred as a report guard to production.
-
-
モデレーション:
-
The Report moderation method triggers a warning for an evaluation metric when the guard condition is met. The Report and block moderation method triggers a warning and displays a moderation message, defined for each metric. The Replace moderation method is not available in the playground.
-
When a playground evaluation metric and moderation configuration is sent to the model workshop, the evaluation metric is created as a custom metric, including the guard condition (if enabled). Moderation settings do not need to be configured for a playground evaluation metric to create a custom metric and log the base metric scores during the export to the model workshop.
-
When a playground evaluation metric and moderation configuration is sent to the model workshop, the moderation configuration is applied after the first custom model version is created. As a result, any evaluation metric exported from the playground includes a second custom model version containing the moderation configuration. This additional step must be complete, and the second version of the custom model must be available, before the custom model is ready to be used with moderations.
-
-
集約:
-
In the evaluation dataset aggregation table, the Current configuration only toggle compares only those metrics sharing the configuration currently displayed in LLM tab of the Configuration sidebar. Old aggregation records may not contain the LLM blueprint configurations used and will default to the LLM blueprint configuration migration that occurred in September 2024. All new aggregation records moving forward track the LLM blueprint configuration used for computation.
-
If multiple LLM blueprints are part of a request, DataRobot computes aggregation blueprint-by-blueprint, sequentially, to avoid LLM limit issues.
-
トライアルユーザーに関する注意事項¶
以下の注意事項は、DataRobotの無料トライアルユーザーにのみ適用されます。
-
複数のユースケースにわたって計算された最大15のベクターデータベースを作成できます。 削除されたベクターデータベースはこの計算に含まれます。
-
1000件のLLM API呼び出しを行うことができます。ここでは、削除されたプロンプトとレスポンスもカウントされます。 ただし、正常に完了したプロンプトレスポンスペアのみがカウントされます。
利用可能なLLMのセクションも参照してください。