利用可能なLLM¶

以下のセクションでは、GenAIモデルの作成に含まれるさまざまな要素のサポートについて説明します。

• 利用可能なLLM。使用非推奨やサポート終了に関する情報も含まれます。
• 利用可能な埋め込み。多言語サポートも含まれます。
• 共有と権限。
• サポートされているデータセットタイプ。

ご参考までに、利用可能な各LLMの概要説明もご覧ください。

LLMおよびLLM Gatewayを使用する際には、以下の点に注意してください。

LLM availability by provider¶

以下の各表には、プロバイダーごとのLLMのサポート状況と、各LLMが導入されたセルフマネージド版が記載されています。 マネージドSaaS環境のユーザーは、管理者によって制限されていない限り、リストされているすべてのモデルを利用できます。

• Amazon Bedrock
• Azure OpenAI
• Google Gemini Enterprise Agent Platform（以前のVertex AI）
• Anthropic
• Cerebras
• TogetherAI

以下の各表には、プロバイダーごとのLLMのサポート状況と、各LLMが導入されたセルフマネージド版が記載されています。 Managed AI Platform users have access to all listed models unless limited by their administrator. 以下の点に注意してください。

Amazon Bedrock¶

Azure OpenAI¶

Google Gemini Enterprise Agent Platform（以前のVertex AI）¶

Anthropic¶

Cerebras¶

TogetherAI¶

GPAI information by LLM provider¶

Amazon Bedrock¶

Azure OpenAI¶

Google Gemini Enterprise Agent Platform（以前のVertex AI）¶

Anthropic¶

Cerebras¶

TogetherAI¶

LLMのサポート終了に関するお知らせ¶

急速に進化するエージェント型AIの状況において、LLMは常に改善されており、古いモデルは新しいバージョンで置き換えられています。 これに対処するため、DataRobotのLLM使用非推奨プロセスでは、LLMとLLMブループリントにバッジを付けて、今後の変更を示しています。 なお、サポート終了日はプロバイダーが定めるものであり、変更される場合があります。

以下のLLMは現在、またはまもなく使用非推奨になります。

プロバイダーのサポートが予期せず終了する事態からエクスペリメントやデプロイを保護するため、使用非推奨のLLMを示すバッジがLLMブループリント作成パネルに表示されます。

あるいは、作成済みの場合、影響を受けるLLMブループリントには警告や通知が示され、カーソルを合わせると日付が表示されます。

• LLMが使用非推奨プロセスにある場合、そのLLMのサポートは90日以内に終了します。 バッジと警告が表示されますが、機能は制限されません。

• サポートが終了すると、そのモデルから作成されたアセットは引き続き表示できますが、新しいアセットは作成できません。 サポートが終了したLLMは、単一のプロンプトや比較プロンプトでは使用できません。

一部の評価指標、たとえば忠実度や正確性などは、その設定でLLMを使用します。 それらの場合、指標の表示または設定時、およびプロンプトの回答にメッセージが表示されます。

LLMがデプロイされている場合、DataRobotはベースとなるLLMに使用されている資格情報を制御できないため、デプロイは予測を返すことができません。 このような場合は、デプロイ済みのLLMを新しいモデルに置き換えてください。

利用可能な埋め込み¶

DataRobotは、データをエンコードするために次のタイプの埋め込みをサポートしています。すべての埋め込みは、教師ありデータと教師なしデータの混合で学習された変換モデルです。

* 入力ディメンション = max_sequence_length

 対応言語：

      "アフリカーンス語",
        "アムハラ語",
        "アラビア語",
        "アッサム語",
        "アゼルバイジャン語",
        "ベラルーシ語",
        "ブルガリア語",
        "ベンガル語",
        "ブルトン語",
        "ボスニア語",
        "カタルーニャ語",
        "チェコ語",
        "ウェールズ語",
        "デンマーク語",
        "ドイツ人語",
        "ギリシャ語",
        "英語",
        "エスペラント語",
        "スペイン語",
        "エストニア語",
        "バスク語",
        "ペルシャ語",
        "フィンランド語",
        "フランス語",
        "西フリジア語",
        "アイルランド語",
        "スコットランドのゲール語",
        "ガリシア語",
        "グジャラート語",
        "ハウサ語",
        "ヘブライ語",
        "ヒンディー語",
        "クロアチア語",
        "ハンガリー語",
        "アルメニア語",
        "インドネシア語",
        "アイスランド語",
        "イタリア語",
        "日本語",
        "ジャワ語",
        "ジョージア語",
        "カザフ語",
        "クメール語",
        "カンナダ語",
        "韓国語",
        "クルド語",
        "キルギス語",
        "ラテン語",
        "ラオス語",
        "リトアニア語",
        "ラトビア語",
        "マダガスカル語",
        "マケドニア語",
        "マラヤーラム語",
        "モンゴル語",
        "マラーティー語",
        "マレー語",
        "ビルマ語",
        "ネパール語",
        "オランダ語",
        "ノルウェー語",
        "オロモ語",
        "オリヤ語",
        "パンジャブ語",
        "ポーランド語",
        "パシュトゥー語",
        "ポルトガル語",
        "ルーマニア語",
        "ロシア語",
        "サンスクリット語",
        "シンド語",
        "シンハラ語",
        "スロバキア語",
        "スロベニア語",
        "ソマリ語",
        "アルバニア語",
        "セルビア語",
        "スンダ語",
        "スウェーデン語",
        "スワヒリ語",
        "タミル語",
        "テルグ語",
        "タイ語",
        "タガログ語",
        "トルコ語",
        "ウイグル語",
        "ウクライナ語",
        "ウルドゥー語",
        "ウズベク語",
        "ベトナム語",
        "コサ語",
        "イディッシュ語",
        "中国語",

共有と権限¶

以下の表に、GenAIコンポーネント関連のユーザー権限を示します。 すべてのロール（コンシューマー、エディター、オーナー）は、ユースケースにおけるユーザーのロールを示しています。さまざまな機能へのアクセスは、ユースケースの役割に基づきます。 たとえば、共有はユースケースレベルで処理されるため、ベクターデータベースのみを共有することはできません（ベクターデータベースでは共有ルールは定義されません）。

サポートされているデータセットタイプ¶

以下に、ベクターデータベースおよび評価データセットの要件について説明します。

ベクターデータベースの形式¶

ベクターデータベースの作成に使用するデータセットをアップロードする場合、サポートされている形式は.zipまたは.csvです。 ファイルにはdocumentとdocument_file_pathの2つの列が必須です。 最大50のメタデータ列を追加して、プロンプトクエリーの際にフィルターに使用することができます。 メタデータのフィルターでは、document_file_pathがsourceとして表示されます。

.zipファイルの場合、DataRobotはファイルを処理して、関連するリファレンスID（document_file_path）列を持つテキスト列（document）を含む.csvバージョンを作成します。 テキスト列の内容はすべて、文字列として扱われます。 リファレンスID列は、.zipがアップロードされると自動的に作成されます。 すべてのファイルは、アーカイブのルート（root）、またはアーカイブ内の単一のフォルダーに配置する必要があります。 フォルダーツリー階層の使用はサポートされていません。

ファイルタイプに関して、DataRobotは以下をサポートします。

• .txtドキュメント

• PDFドキュメント

  • テキストベースのPDFがサポートされています。
  • 画像ベースのPDFからテキストを抽出するには、Python APIクライアントを使う必要があります。 GUIを使用して画像ベースのPDFからテキストを抽出することは、完全にはサポートされていません。
  • 画像とテキストコンテンツが混在するドキュメントがサポートされます。テキストのみが解析されます。
  • 画像だけで構成される単一のドキュメントは空のドキュメントになり、無視されます。
  • 画像のみのドキュメント（テキストなし）で構成されるデータセットは処理できません。

• .docxドキュメントはサポートされていますが、古い.doc形式はサポートされていません。

• .mdドキュメント（および.markdown形式）はサポートされています。

• 単一のデータセットでサポートされているすべてのドキュメントタイプを組み合わせることができます。

評価データセット¶

評価データセットは、評価指標および集計指標の参照データとして機能します。 評価データセットは、以下の条件を満たす必要があります。

• CSVファイルであること。
• データレジストリに登録されていること。
• テキスト型またはカテゴリー型の列が少なくとも1つ含まれていること。