Skip to content
バージョン11.0を実行しているセルフマネージドAIプラットフォームのユーザーは、オンプレミスプラットフォームのドキュメントを参照してください

GenAI機能に関する注意事項

以下のセクションでは、DataRobotで生成AI機能を使用する際の注意事項について説明します。 製品の開発が進むにつれ、いくつかの注意事項が変更されることがあります。 一般的なエラーとその処理の概要については、トラブルシューティングを参照してください。

Considerations for trial users

サポートされているLLMベースモデルなど、DataRobotの無料トライアルに関する注意事項をご覧ください。

LLM Gatewayのレート制限

設定によっては、組織全体におけるチャット補完呼び出しの総数にレート制限が適用される場合があります。 上限に達したというメッセージがアプリケーションから返された場合、制限は24時間後にリセットされます。 リセットまでの時間はエラーメッセージに表示されます。 制限を解除するには、組織の料金プランを管理する管理者またはDataRobotの担当者に連絡してください。

一般的な注意事項

  • 多言語データセットが多言語モデルに関連付けられた制限を超える場合、DataRobotはデフォルトでjinaai/jina-embedding-t-en-v1埋め込みモデルを使用します。

  • 余分な列を含むトレーニングデータが添付されたカスタムモデルから作成されたデプロイは、カスタムモデルで列のフィルターが無効になっていない限り使用できません。

  • When using LLMs that are either BYO or deployed from the playground and require a runtime parameter to point to the endpoint associated with their credentials, be aware of the vendor's model versioning and end-of-life schedules. ベストプラクティスとして、本番環境にデプロイするときには一般的に使用できるエンドポイントのみを使用してください。 （これはプレイグラウンドで提供されているモデルによって管理されます。）

  • UIでプレイグラウンドやベクターデータベースにアクセスすると、[Internal] DR API Access for GenAI Experimentationという名前のAPIキーが自動的に作成されます。

  • GPUを使用する場合、BYO埋め込み機能は、セルフマネージドユーザーのみ使用できます。 多くのユーザーがベクターデータベース作成ジョブを同時に実行する場合、BYO埋め込みを使用すると、ベクターデータベース作成ジョブが完了するまでLLMプレイグラウンド機能が低下する可能性があります。 埋め込みモデルを含むカスタムモデルを備えたCPUの使用は、すべての環境でサポートされています。

  • 一度に実行できる集計指標ジョブは1つだけです。 集計ジョブが現在実行されている場合、 集計の設定ボタンが無効になり、「集計ジョブが進行中です。処理が完了したら、もう一度試してください」というツールチップが表示されます。

ベクターデータベースに関する注意事項

以下のセクションでは、 ベクターデータベースに関連する注意事項について説明します。 以下の サポート対象のデータセットタイプも参照してください。

セルフマネージドAIプラットフォームでのGPUの使用

1GBを超えるデータセットを処理する場合、GPUの使用をクラスターに設定していないセルフマネージド環境では、深刻な遅延が発生する可能性があります。 DataRobotサポートにメールで問い合わせるか、 サポートサイトにアクセスして、インストール方法をご確認ください。

  • 作成：

    • デフォルトでは、DataRobotはFacebook AI Similarity Search (FAISS）ベクターデータベースを使用します。

    • For internal (FAISS) vector databases, a 10GB dataset limit is applied during vector database creation and the resulting vector database asset size (text after extraction).

    • PineconeまたはElasticsearchに接続された（外部）ベクターデータベースには、以下が適用されます。

      • 最大100GBまでサポートします。
      • 接続されているベクターデータベースからバージョン（子）を作成することはできません。
      • 接続されるベクターデータベースを親ベクターデータベースから作成することはできません。
      • 新しいバージョンを作成しなくても、接続されたベクターデータベースに「その場で」データを追加できます。

  • デプロイ：

    • 2025年6月26日（マネージドSaaS）またはバージョン11.1（セルフマネージド）より前に作成されたデプロイ済みベクターデータベースは、プレイグラウンドで新しいベクターデータベースバージョンが作成されても自動的に更新されません。 回避策として、LLMブループリントをカスタムモデルとして手動で再エクスポートし、再デプロイします。 This will enable the ability to create a new deployment with the LLM blueprint and will also enable automatic deployment updates for vector databases going forward.

    • ベクターデータベースを10GBのデータセットに展開する場合、 ベクターデータベースのカスタムモデルにはデフォルトの4GBを超えるRAMが必要となる場合があります。 カスタムモデルのリソース割り当ては、組織管理者によって設定できます。

  • トークン予算：

    • ベクターデータベースから取得するコンテキストの数を決定する際、DataRobotは余ったトークン予算（LLMのコンテキストサイズ）の3/4を取得ドキュメントに割り当て、残りをチャット履歴（該当する場合）に割り当てます。

    • トークン予算は、システムプロンプト、ユーザープロンプト、および最大完了長で構成されます。 _余った_トークン予算というのは、コンテキストサイズ - (最大完了長 + システムプロンプト + ユーザープロンプト)です。

    • チャット履歴がない場合、余った予算はすべてドキュメントの取得に使用されます。 同様に、ベクターデータベースがない場合、余った予算は履歴に使用されます。

  • チャンキング：

    • データセット内の個々の文書が非常に大きなテキストを含んでいる場合、セマンティックチャンキングによるベクターデータベース作成は失敗する可能性があります。 The exact limits are not known, but if you experience this error, use recursive chunking instead.

  • メタデータのフィルター：

    • メタデータのフィルターはRAGプレイグラウンドでのみサポートされています。

    • メタデータのフィルターは、完全一致のパターンマッチングのみをサポートしており、部分文字列や相対式には対応していません。

    • 複数の文字列が入力されると、DataRobotは暗黙のANDを適用します。 他の演算子はサポートしていません。

    • メタデータのフィルターを導入する以前に作成されたベクターデータベースは、この機能をサポートしていません。 それらにフィルターを使用するには、オリジナルからバージョンを作成し、代わりに新しいベクターデータベースを使用するようにLLMブループリントを設定します。

    • chunk_id、start_index、page、similarity_score、pagebreak_indices、content、_doc_vector、およびchunk_sizeは内部列名であり、メタデータ列の定義には使用しないでください。

    • メタデータのフィルターのために、document_file_path列名はsourceとして表示されます。

    • すべてのBYO機能と同様に、BYOベクターデータベースのメタデータフィルターには、追加の設定が必要です。 BYOコンポーネントは、DataRobot内部のベクターデータベースをスタンドアロンでドロップイン置換するものである必要があるため、ベクターデータベースの完全な機能を実装する必要があります。すなわち、queryと検索パラメーターk、filterとadd_neighbor_chunksの列を含む入力データフレームを処理し、構造化されていない形式で潜在的なメタデータを含む、一致する最も類似したドキュメントを返す必要があります。

プレイグラウンドに関する注意事項

  • プレイグラウンドは閲覧用に共有でき、エディターまたはオーナーのアクセス権を持つユーザーは、ブループリントの作成など、共有されたプレイグラウンド内で追加のアクションを実行できます。 作成者以外のユーザーはプレイグラウンドでLLMブループリントのプロンプトを実行することはできませんが、コピーを作成して、そのコピーにプロンプトを送信できます。

  • プロンプトを表示できるのは、自分で作成したLLMブループリントのみです（設定ビューと比較ビューの両方）。 共有ユースケースで他のユーザーのLLMブループリントをプロンプトした結果を確認するには、ブループリントをコピーし、同じ設定を適用してチャットします。

  • Each user can submit 5,000 LLM prompts per day across all LLMs, where deleted prompts and responses are also counted. ただし、成功したプロンプトレスポンスペアのみがカウントされ、持ち込み（BYO）LLMコールはカウントの対象外になります。 トライアルユーザーの制限は、 ここに説明されているように異なります。

プレイグラウンドデプロイに関する注意事項

プレイグラウンドからLLMを登録およびデプロイする際は、以下の点に注意してください。

  • DataRobot資格情報管理システムを介したAPIキーの設定がサポートされています。 これらの資格情報は、デプロイの環境変数としてアクセスされます。

  • 登録とデプロイは、以下に対してサポートされています。

    • プレイグラウンド内のすべてのベースLLM。

    • ベクターデータベースを使用したLLM。

  • 大規模なベクターデータベース（500MB以上）に関連付けられたLLMブループリントからカスタムモデルバージョンを作成すると、時間がかかる場合があります。 You can leave the workshop while the model is being created and will not lose your progress.

ボルトオンのガバナンスAPI

  • デプロイされたLLMブループリントでボルトオンのガバナンスAPIを使用する場合、modelパラメーターの推奨値については利用可能なLLMを参照してください。 あるいは、予約値 model="datarobot-deployed-llm" を指定して、LLMプロバイダーのサービスを呼び出すときに、LLMブループリントが関連するモデルIDを自動的に選択するようにします。 ワークベンチで、chat関数を実装したデプロイ済みLLMを追加する場合、プレイグラウンドは優先通信手段としてボルトオンのガバナンスAPIを使用します。 LLMブループリントに関連付けられたチャットモデルIDを入力して、プレイグラウンドからデプロイされたLLMへのリクエストにmodelパラメーターを設定します。 あるいは、datarobot-deployed-llmを入力して、LLMプロバイダーのサービスを呼び出すときに、LLMブループリントが関連するモデルIDを自動的に選択するようにします。

  • カスタムモデルに評価とモデレーションを設定すると、ガードレールはLLMの回答全体を評価し、回答テキストを1つのチャンクとして返すため、ストリーミングレスポンスの効果が失われます。

  • ボルトオンのガバナンスAPIでは、次のOpenAIパラメーターはサポートされていません：functions、tool、tool_choice、logprobs、top_logprobs。

LLMの評価とモデレーション

LLMの評価とモデレーションに関連する注意事項を以下に示します。

  • UIとAPIの両方で 合成データセットを生成できます。 Use GPT-4, if possible, as it best follows the format DataRobot expects for the output format. それ以外の場合、LLMは質問と答えのペアを生成しない場合があります。

  • 指標：

    • NeMoの指標では、blocked_terms.txtファイルはプロンプト指標と回答指標の間で共有されます。 その結果、プロンプト指標のblocked_terms.txtを変更すると、回答指標のそれも変更されます。その逆も同様です。

    • All metrics can be copied and duplicates can exist, with the following exception: Only two NeMo stay on topic metrics can exist in a custom model, one for input and one for output (one NeMo metric prompt and one NeMo response metric).

    • 選択したLLMが正しい出力形式を生成しない場合、忠実度と正確度の指標は0を返します。

    • When transferring metrics to a production environment, if the guard for a metric is not enabled in the playground, it is transferred as a report guard to production.

  • モデレーション：

    • レポートモデレーションの方法では、ガード条件が満たされたときに評価指標の警告をトリガーします。 レポートとブロックモデレーションの方法では、警告をトリガーし 、 各指標に定義されたモデレーションメッセージを表示します。 置換モデレーションの方法は、プレイグラウンドでは使用できません。

    • プレイグラウンドの評価指標とモデレーション設定がワークショップに送信されると、評価指標はガード条件（有効な場合）を含むカスタム指標として作成されます。 Moderation settings do not need to be configured for a playground evaluation metric to create a custom metric and log the base metric scores during export to the workshop.

    • プレーグラウンドの評価指標とモデレーション設定がワークショップに送信されると、モデレーション設定は、最初のカスタムモデルバージョンが作成された後に適用されます。 その結果、プレイグラウンドからエクスポートされた評価指標には、モデレーション設定を含む2番目のカスタムモデルバージョンが含まれます。 カスタムモデルがモデレーションで使用できるようになるには、この追加ステップが完了し、カスタムモデルの2番目のバージョンが利用可能になっている必要があります。

  • 集約：

    • In the evaluation dataset aggregation table, the Current configuration toggle compares only those metrics sharing the configuration currently displayed in the LLM tab of the Configuration sidebar. 古い集計レコードには、使用されるLLMブループリント設定が含まれていない可能性があり、2024年9月に発生したLLMブループリント設定の移行がデフォルトとなっています。今後移行されるすべての新しい集計レコードは、計算に使用されるLLMブループリント設定を追跡します。

    • 複数のLLMブループリントがリクエストの一部である場合、DataRobotは、LLMの制限問題を回避するため、ブループリントごとに順次集計を計算します。

トライアルユーザーに関する注意事項

以下の注意事項は、DataRobotの無料トライアルユーザーにのみ適用されます。

  • You can create up to 15 DataRobot-hosted and third-party connected vector databases, computed across multiple Use Cases. 削除されたベクターデータベースはこの計算に含まれます。 BYO vector databases are not included in the count.

  • You can make 1,000 LLM API calls, where deleted prompts and responses are also counted. ただし、正常に完了したプロンプトレスポンスペアのみがカウントされます。

  • トライアルユーザーは、NVIDIA NIMやGPUにアクセスすることはできません。