GenAI機能に関する注意事項¶

以下のセクションでは、DataRobotで生成AI機能を使用する際の注意事項について説明します。 製品の開発が進むにつれ、いくつかの注意事項が変更されることがあります。 トラブルシューティングのセクションでは、一般的なエラーとその処理の概要について説明します。

トライアルユーザー： サポートされているLLMベースモデルを含む、 DataRobotの無料トライアルに固有の注意事項を参照してください。

可用性¶

次のセクションでは、GenAIモデル作成の一部であるさまざまな要素（LLM、埋め込み、データ型、共有）のサポートについて説明します。

利用可能なLLM¶

次の表に、利用可能なLLMのタイプを示します。 具体的な日程については、以下の表をご覧ください。

† EUの規制により、EUプラットフォームのクラウドユーザーは、モデルへのアクセスができません。
Δ プレイグラウンドでLLMプロバイダーのサービスを呼び出すために使用されるモデルID。 この値は、デプロイされたLLMブループリントでボルトオンのガバナンスAPIを使用する際のmodelパラメーターの推奨値でもあります。

使用非推奨のLLMとサポートが終了したLLM¶

以下のLLMは現在、またはまもなく使用非推奨になります。

LLMがデプロイされている場合、DataRobotはベースとなるLLMに使用されている資格情報を制御できないため、デプロイは予測を返すことができません。 このような場合は、デプロイ済みのLLMを新しいモデルに置き換えてください。

埋め込みの可用性¶

DataRobotは、データをエンコードするために次のタイプの埋め込みをサポートしています。すべての埋め込みは、教師ありデータと教師なしデータの混合で学習された変換モデルです。

* 入力ディメンション = max_sequence_length

対応言語：

    "アフリカーンス語",
        "アムハラ語",
        "アラビア語",
        "アッサム語",
        "アゼルバイジャン語",
        "ベラルーシ語",
        "ブルガリア語",
        "ベンガル語",
        "ブルトン語",
        "ボスニア語",
        "カタルーニャ語",
        "チェコ語",
        "ウェールズ語",
        "デンマーク語",
        "ドイツ人語",
        "ギリシャ語",
        "英語",
        "エスペラント語",
        "スペイン語",
        "エストニア語",
        "バスク語",
        "ペルシャ語",
        "フィンランド語",
        "フランス語",
        "西フリジア語",
        "アイルランド語",
        "スコットランドのゲール語",
        "ガリシア語",
        "グジャラート語",
        "ハウサ語",
        "ヘブライ語",
        "ヒンディー語",
        "クロアチア語",
        "ハンガリー語",
        "アルメニア語",
        "インドネシア語",
        "アイスランド語",
        "イタリア語",
        "日本語",
        "ジャワ語",
        "ジョージア語",
        "カザフ語",
        "クメール語",
        "カンナダ語",
        "韓国語",
        "クルド語",
        "キルギス語",
        "ラテン語",
        "ラオス語",
        "リトアニア語",
        "ラトビア語",
        "マダガスカル語",
        "マケドニア語",
        "マラヤーラム語",
        "モンゴル語",
        "マラーティー語",
        "マレー語",
        "ビルマ語",
        "ネパール語",
        "オランダ語",
        "ノルウェー語",
        "オロモ語",
        "オリヤ語",
        "パンジャブ語",
        "ポーランド語",
        "パシュトゥー語",
        "ポルトガル語",
        "ルーマニア語",
        "ロシア語",
        "サンスクリット語",
        "シンド語",
        "シンハラ語",
        "スロバキア語",
        "スロベニア語",
        "ソマリ語",
        "アルバニア語",
        "セルビア語",
        "スンダ語",
        "スウェーデン語",
        "スワヒリ語",
        "タミル語",
        "テルグ語",
        "タイ語",
        "タガログ語",
        "トルコ語",
        "ウイグル語",
        "ウクライナ語",
        "ウルドゥー語",
        "ウズベク語",
        "ベトナム語",
        "コサ語",
        "イディッシュ語",
        "中国語",

共有と権限¶

以下の表に、GenAIコンポーネント関連のユーザー権限を示します。 すべてのロール（コンシューマー、エディター、オーナー）は、ユースケースにおけるユーザーのロールを示しています。さまざまな機能へのアクセスは、ユースケースの役割に基づきます。 たとえば、共有はユースケースレベルで処理されるため、ベクターデータベースのみを共有することはできません（ベクターデータベースでは共有ルールは定義されません）。

サポートされているデータセットタイプ¶

ベクターデータベースの作成に使用するデータセットをアップロードする場合、サポートされている形式は.zipまたは.csvです。 ファイルにはdocumentとdocument_file_pathの2つの列が必須です。 最大50のメタデータ列を追加して、プロンプトクエリーの際にフィルターに使用することができます。 メタデータのフィルターでは、document_file_pathがsourceとして表示されます。

.zipファイルの場合、DataRobotはファイルを処理して、関連するリファレンスID（document_file_path）列を持つテキスト列（document）を含む.csvバージョンを作成します。 テキスト列の内容はすべて、文字列として扱われます。 リファレンスID列は、.zipがアップロードされると自動的に作成されます。 すべてのファイルは、アーカイブのルート（root）、またはアーカイブ内の単一のフォルダーに配置する必要があります。 フォルダーツリー階層の使用はサポートされていません。

ファイルタイプに関して、DataRobotは以下をサポートします。

• .txtドキュメント

• PDFドキュメント

  • テキストベースのPDFがサポートされています。
  • 画像ベースのPDFからテキストを抽出するには、Python APIクライアントを使う必要があります。 GUIを使用して画像ベースのPDFからテキストを抽出することは、完全にはサポートされていません。
  • 画像とテキストコンテンツが混在するドキュメントがサポートされます。テキストのみが解析されます。
  • 画像だけで構成される単一のドキュメントは空のドキュメントになり、無視されます。
  • 画像のみのドキュメント（テキストなし）で構成されるデータセットは処理できません。

• .docxドキュメントはサポートされていますが、古い.doc形式はサポートされていません。

• .mdドキュメント（および.markdown形式）はサポートされています。

• 単一のデータセットでサポートされているすべてのドキュメントタイプを組み合わせることができます。

一般的な注意事項¶

• 多言語データセットが多言語モデルに関連付けられた制限を超える場合、DataRobotはデフォルトでjinaai/jina-embedding-t-en-v1埋め込みモデルを使用します。

• 余分な列を含むトレーニングデータが添付されたカスタムモデルから作成されたデプロイは、カスタムモデルで列のフィルターが無効になっていない限り使用できません。

• BYOのLLMまたはプレイグラウンドからデプロイされたLLMを使用する場合、資格情報に関連付けられたエンドポイントを指すランタイムパラメーターが必要です。ベンダーのモデルバージョンおよびエンドオブライフ（EOL）スケジュールに注意してください。 ベストプラクティスとして、本番環境にデプロイするときには一般的に使用できるエンドポイントのみを使用してください。 （これはプレイグラウンドで提供されているモデルによって管理されます。）

• UIでプレイグラウンドやベクターデータベースにアクセスすると、[Internal] DR API Access for GenAI Experimentationという名前のAPIキーが自動的に作成されます。

• GPUを使用する場合、BYO埋め込み機能は、セルフマネージドユーザーのみ使用できます。 多くのユーザーがベクターデータベース作成ジョブを同時に実行する場合、BYO埋め込みを使用すると、ベクターデータベース作成ジョブが完了するまでLLMプレイグラウンド機能が低下する可能性があります。 埋め込みモデルを含むカスタムモデルを備えたCPUの使用は、すべての環境でサポートされています。

• 一度に実行できる集計指標ジョブは1つだけです。 集計ジョブが現在実行されている場合、 集計の設定ボタンが無効になり、「集計ジョブが進行中です。処理が完了したら、もう一度試してください」というツールチップが表示されます。

プレイグラウンドに関する注意事項¶

• プレイグラウンドは表示用に共有できます。エディターまたは所有者のアクセス権限を持つユーザーは、共有プレイグラウンド内で追加のアクション（ブループリントの作成など）を実行できます。 作成者以外のユーザーはプレイグラウンドでLLMブループリントのプロンプトを実行することはできませんが、コピーを作成して、そのコピーにプロンプトを送信できます。

• プロンプトを表示できるのは、自分で作成したLLMブループリントのみです（設定ビューと比較ビューの両方）。 共有ユースケースで他のユーザーのLLMブループリントをプロンプトした結果を確認するには、ブループリントをコピーし、同じ設定を適用してチャットします。

• 各ユーザーは、すべてのLLMに1日あたり5,000件のLLMプロンプトを送信できます。ここでは、削除されたプロンプトとレスポンスもカウントされます。 ただし、成功したプロンプトレスポンスペアのみがカウントされ、持ち込み（BYO）LLMコールはカウントの対象外になります。 トライアルユーザーの制限は、 ここに説明されているように異なります。

ベクターデータベースに関する注意事項¶

以下のセクションでは、 ベクターデータベースに関連する注意事項について説明します。 以下の サポート対象のデータセットタイプも参照してください。

• 作成：

  • デフォルトでは、DataRobotはFacebook AI Similarity Search (FAISS）ベクターデータベースを使用します。

  • ベクターデータベースの作成時および生成されるベクターデータベースアセットサイズ（抽出後のテキスト）には、10GBのデータセット制限がグローバルに適用されます。

• デプロイ：

  • ベクターデータベースを10GBのデータセットに展開する場合、 ベクターデータベースのカスタムモデルにはデフォルトの4GBを超えるRAMが必要となる場合があります。 カスタムモデルのリソース割り当ては、組織管理者によって設定できます。

• トークン予算：

  • ベクターデータベースから取得するコンテキストの数を決定する際、DataRobotは余ったトークン予算（LLMのコンテキストサイズ）の3/4を取得ドキュメントに割り当て、残りをチャット履歴（該当する場合）に割り当てます。

  • トークン予算は、システムプロンプト、ユーザープロンプト、および最大完了長で構成されます。 _余った_トークン予算というのは、コンテキストサイズ - (最大完了長 + システムプロンプト + ユーザープロンプト)です。

  • チャット履歴がない場合、余った予算はすべてドキュメントの取得に使用されます。 同様に、ベクターデータベースがない場合、余った予算は履歴に使用されます。

• チャンキング：

  • データセット内の個々の文書が非常に大きなテキストを含んでいる場合、セマンティックチャンキングによるベクターデータベース作成は失敗する可能性があります。 正確な限界は不明ですが、エラーが発生した場合は、代わりに再帰的チャンキングを使用してください。

• メタデータのフィルター：

  • メタデータのフィルターは、完全一致のパターンマッチングのみをサポートしており、部分文字列や相対式には対応していません。

  • 複数の文字列が入力されると、DataRobotは暗黙のANDを適用します。 他の演算子はサポートしていません。

  • メタデータのフィルターを導入する以前に作成されたベクターデータベースは、この機能をサポートしていません。 それらにフィルターを使用するには、オリジナルからバージョンを作成し、代わりに新しいベクターデータベースを使用するようにLLMブループリントを設定します。

  • chunk_id、start_index、page、similarity_score、pagebreak_indices、content、_doc_vector、およびchunk_sizeは内部列名であり、メタデータ列の定義には使用しないでください。

  • メタデータのフィルターのために、document_file_path列名はsourceとして表示されます。

  • すべてのBYO機能と同様に、BYOベクターデータベースのメタデータフィルターには、追加の設定が必要です。 BYOコンポーネントは、DataRobot内部のベクターデータベースをスタンドアロンでドロップイン置換するものである必要があるため、ベクターデータベースの完全な機能を実装する必要があります。すなわち、queryと検索パラメーターk、filterとadd_neighbor_chunksの列を含む入力データフレームを処理し、構造化されていない形式で潜在的なメタデータを含む、一致する最も類似したドキュメントを返す必要があります。

サポートされているデータ型も参照してください。

プレイグラウンドデプロイに関する注意事項¶

プレイグラウンドからLLMを登録およびデプロイする際は、以下の点に注意してください。

• DataRobot資格情報管理システムを介したAPIキーの設定がサポートされています。 これらの資格情報は、デプロイの環境変数としてアクセスされます。

• 登録とデプロイは、以下に対してサポートされています。

  • プレイグラウンド内のすべてのベースLLM。

  • ベクターデータベースを使用したLLM。

• 大規模なベクターデータベース（500MB以上）に関連付けられたLLMブループリントからカスタムモデルバージョンを作成すると、時間がかかる場合があります。 モデルの作成中にワークショップを離れることができ、進行状況が失われることはありません。

ボルトオンのガバナンスAPI¶

• デプロイされたLLMブループリントでボルトオンのガバナンスAPIを使用する場合、modelパラメーターの推奨値については利用可能なLLMを参照してください。 あるいは、予約値 model="datarobot-deployed-llm" を指定して、LLMプロバイダーのサービスを呼び出すときに、LLMブループリントが関連するモデルIDを自動的に選択するようにします。 ワークベンチで、chat関数を実装したデプロイ済みLLMを追加する場合、プレイグラウンドは優先通信手段としてボルトオンのガバナンスAPIを使用します。 LLMブループリントに関連付けられたチャットモデルIDを入力して、プレイグラウンドからデプロイされたLLMへのリクエストにmodelパラメーターを設定します。 あるいは、datarobot-deployed-llmを入力して、LLMプロバイダーのサービスを呼び出すときに、LLMブループリントが関連するモデルIDを自動的に選択するようにします。

• カスタムモデルに評価とモデレーションを設定すると、ガードレールはLLMの回答全体を評価し、回答テキストを1つのチャンクとして返すため、ストリーミングレスポンスの効果が失われます。

• ボルトオンのガバナンスAPIでは、次のOpenAIパラメーターはサポートされていません：functions、tool、tool_choice、logprobs、top_logprobs。

LLMの評価とモデレーション¶

LLMの評価とモデレーションに関連する注意事項を以下に示します。

• UIとAPIの両方で 合成データセットを生成できます。 可能であれば、DataRobotが出力形式として期待する形式に最も従っているため、GPT-4を使用してください。 それ以外の場合、LLMは質問と答えのペアを生成しない場合があります。

• 指標：

  • NeMoの指標では、blocked_terms.txtファイルはプロンプト指標と回答指標の間で共有されます。 その結果、プロンプト指標のblocked_terms.txtを変更すると、回答指標のそれも変更されます。その逆も同様です。

  • すべての指標はコピーでき、重複して存在することができます。ただし、例外があります。カスタムモデルに存在できるNeMoの トピック維持 指標は2つだけです。1つは入力用、もう1つは出力用です（NeMoの指標プロンプトとNeMoの回答指標1つ）。

  • 選択したLLMが正しい出力形式を生成しない場合、忠実度と正確度の指標は0を返します。

  • 指標を本番環境に転送する際、プレイグラウンドで指標のガードが有効になっていない場合、レポートガードとして本番環境に転送されます。

• モデレーション：

  • レポートモデレーションの方法では、ガード条件が満たされたときに評価指標の警告をトリガーします。 レポートとブロックモデレーションの方法では、警告をトリガーし 、 各指標に定義されたモデレーションメッセージを表示します。 置換モデレーションの方法は、プレイグラウンドでは使用できません。

  • プレイグラウンドの評価指標とモデレーション設定がワークショップに送信されると、評価指標はガード条件（有効な場合）を含むカスタム指標として作成されます。 カスタム指標を作成し、ワークショップへのエクスポート中に基本指標スコアをログに記録するために、プレイグラウンドの評価指標に対してモデレーション設定を行う必要はありません。

  • プレーグラウンドの評価指標とモデレーション設定がワークショップに送信されると、モデレーション設定は、最初のカスタムモデルバージョンが作成された後に適用されます。 その結果、プレイグラウンドからエクスポートされた評価指標には、モデレーション設定を含む2番目のカスタムモデルバージョンが含まれます。 カスタムモデルがモデレーションで使用できるようになるには、この追加ステップが完了し、カスタムモデルの2番目のバージョンが利用可能になっている必要があります。

• 集約：

  • 評価データセット集計テーブルでは、現在の設定のみのトグルは、設定サイドバーのLLMタブに現在表示されている設定を共有する指標のみを比較します。 古い集計レコードには、使用されるLLMブループリント設定が含まれていない可能性があり、2024年9月に発生したLLMブループリント設定の移行がデフォルトとなっています。今後移行されるすべての新しい集計レコードは、計算に使用されるLLMブループリント設定を追跡します。

  • 複数のLLMブループリントがリクエストの一部である場合、DataRobotは、LLMの制限問題を回避するため、ブループリントごとに順次集計を計算します。

トライアルユーザーに関する注意事項¶

以下の注意事項は、DataRobotの無料トライアルユーザーにのみ適用されます。

• 複数のユースケースにわたって計算された最大15のベクターデータベースを作成できます。 削除されたベクターデータベースはこの計算に含まれます。

• 1000件のLLM API呼び出しを行うことができます。ここでは、削除されたプロンプトとレスポンスもカウントされます。 ただし、正常に完了したプロンプトレスポンスペアのみがカウントされます。

トラブルシューティング¶

DataRobotでGenAIを操作する場合、機能を構成する特徴量の作成、管理、使用中にエラーが発生する可能性があります。 以下のセクションでは、一般的なエラーとその処理の概要を説明します。 エラーが発生した場合は、エラーメッセージを確認し、外部ベクターデータベースの再検定、重複するLLMブループリントの作成、カスタムモデルの問題に対処するなどの適切なアクションを実行します。

ベクターデータベースのエラー処理¶

ベクターデータベースには、以下の問題が適用されます。

作成の失敗¶

データ処理やモデルトレーニングの問題など、ベクターデータベースの作成中にエラーが発生する可能性があります。 この場合、実行ステータスはErrorとして保存され、エラーコードとメッセージが表示され、問題の特定と解決に役立ちます。

空のベクターデータベース¶

データセット内のドキュメントにテキストが含まれていない場合、またはPDFファイル内の画像だけが含まれる場合、ベクターデータベースは空になることがあります。 問題の通知がシステムにより送信されます。 詳細情報については、 サポートされるデータセットタイプのリストを参照してください。

取得に失敗¶

カスタムモデルのネットワークエラーや内部エラーなど、ベクターデータベースからドキュメントを取得中にエラーが発生する可能性があります。 この問題が発生した場合は、エラーメッセージのガイダンスに従って問題を診断し、解決してください。

LLMブループリントのエラー処理¶

以下の問題がブループリントとプレイグラウンドに適用されます。

リンクが解除されたベクターデータベース¶

ベクターデータベースとの接続が切断された場合、それを使用するLLMブループリントはUnlinkedとしてマークされます。 外部ベクターデータベース接続を再検定／復元するか、LLMブループリントの複製を作成して、設定で新しいデータベースを選択します。

削除されたベクターデータベース¶

ベクターデータベースが削除されると、それを使用するLLMブループリントは無効になります。 続行するには、LLMブループリントの複製を作成し、新しいデータベースを選択します。

デプロイが失敗する¶

ベクターデータベースを含むLLMブループリントをワークショップにエクスポートする際、デプロイが失敗する場合は、リソースバンドル/メモリーを増やしてみてください。

カスタムモデルエラー¶

LLMブループリントで使用されるカスタムモデルでモデルの置換、削除、アクセス削除などのエラーが発生した場合、LLMブループリントには適切なエラーステータスがマークされます。 続行するには、アプリ内のガイダンスに従ってください。

ボルトオンのガバナンスAPIをサポートするデプロイ済みLLMを追加する場合、プレイグラウンドは優先通信手段としてボルトオンのガバナンスAPIを使用します。 プレイグラウンドからデプロイ済みLLMへのリクエストでは、チャットモデルIDフィールドに入力された値がmodelパラメーターとして指定されます。 ボルトオンのガバナンスAPIを無効にして、代わりに予測APIを使うには、カスタムモデルからchat関数を削除して再デプロイします。