データセット要件¶

このセクションでは、データセットの要件について説明します。

• 一般的な条件
• 許容されるファイルサイズの確認
• AutoMLのファイルサイズ
• 時系列（AutoTS）ファイルインポートサイズ
• 特徴量探索のファイルインポートサイズ
• ファイルの形式
• エンコーディングと文字セット
• 特殊な列の検出
• 列の長さと名前の変換
• ファイルダウンロードサイズ

一般的な条件¶

AutoML、時系列、Visual Artificial Intelligence (AI)の各プロジェクトでは、次のデータセット要件を考慮します。Visual Artificial Intelligence (AI)については、データセットの準備に関する追加情報も参照してください。

許容されるファイルインポートサイズの確認¶

データセットを取込む場合、実際のディスク上のサイズはDataRobot内では異なる場合があります。

• 元のデータセットソースがCSVの場合、DataRobotによってデータの前処理が行われるので、サイズも元のサイズと少し異なる場合があります。

• 元のデータセットソースがCSVではない場合（SAS7BDAT、JDBC、XLSX、GEOJSON、Shapefileなど）、ディスク上のサイズは、CSVに変換されたときのデータセットのサイズになります。たとえば、SAS7BDATは、さまざまなエンコーディングタイプをサポートするバイナリ形式です。そのため、CSVに変換する際、SAS7BDATファイルとしての入力サイズだけではデータのサイズを推定することが困難です。

• 元のデータセットソースがアーカイブまたは圧縮CSV（.gzip、.bzip2、.zip、.tar、.tgzなど）の場合、実際のディスク上のサイズは、前処理が実行された後の非圧縮CSVのサイズになります。

ファイルサイズを考慮する際、以下のことに留意してください。

• 適用される前処理のステップには、データセットエンコーディングのUTF-8への変換、フィールドデータの引用符の追加、欠損値表現の正規化、地理空間フィールドの変換、列名のサニタイズなどがあります。

• イメージアーカイブまたは他の同様の形式の場合、追加の前処理が行われ、画像ファイルの内容が結果のCSVに追加されます。これにより、最終的なCSVのサイズは、アップロードされた元のファイルと大幅に異なる場合があります。

• ファイルをCSVに変換するとファイルサイズ制限が適用されます。ZIPファイルをDataRobotにアップロードした場合、DataRobotでファイルを抽出するときのファイルはファイルサイズLess Than制限である必要があります。

• 区切りCSVデータセット（CSV、TSVなど）のサイズが取込み前にアップロード制限に近くなる場合は、DataRobotの外部で変換を行うことをお勧めします。ファイルのインポートが制限を超えないようにすることができます。コンマ区切り以外のファイルのサイズがサイズ制限に近い場合も、DataRobotの外部でコンマ区切りのCSVに変換することをお勧めします。

• DataRobotの外部でCSVに変換する際は、アップロードされたファイルサイズとDataRobotのMaximum（最大）ファイルサイズ制限に関してカウントされるサイズの不一致を回避するために、コンマを区切り文字、改行をレコード区切り、およびUTF-8をエンコーディングタイプとして使用してください。

• 場合によっては、オプション機能フラグの有効化/無効化を検討してください。

  • Disable Early Limit Checking: 選択すると、推定ベースの早期制限チェッカーが無効になり、代わりに正確な制限チェッカーが使用されます。これによって、推定がわずかに外れた場合に、制限値に近いファイルを取り込むことができます。ただし、制限を超え_ている_場合、プロジェクトは取込みプロセス中に失敗することに備考してください。
  • 最小限のCSVクォーティングを有効にする: 変換されたCSVの引用時の変換プロセスがより保守的になり、CSVが小さくなります。ただし、これを行うと、プロジェクトが再現不可能になる場合があります。この設定を有効にしてデータセットを取り込んだ場合とそうでない場合では、EDAサンプルやパーティショニングが異なり、プロジェクトに微妙な違いが生じる可能性があるためです。（それに対して、同じデータセットを同じ設定で取り込めば、再現可能なプロジェクトになります。)

AutoMLのファイルサイズ¶

このセクションでは、デプロイタイプに基づくファイルインポートサイズの要件について説明します。

DataRobot Cloud¶

* AutoMLプロジェクトでは最大10GBです。

オンプレミス（非Hadoop）¶

オンプレミス（Hadoop）¶

OTV要件¶

時間外検定（OTV）モデリングについては、データセットのMaximum（最大）サイズはLess Than 5GBとします。

OTVバックテストでは、各検定およびホールドアウト分割に少なくとも20行が必要で、各トレーニング分割に少なくとも100行が必要です。その条件を満たさない結果が生じるバックテストを設定した場合、DataRobotでは、最小限の条件を満たすバックテストだけが実行されます（該当するバックテストにはアスタリスクが表示されます）。例:

• バックテスト1回、ホールドアウトなしの場合、トレーニング用にMinimum（最小）100行、検定用に20行以上（合計120行以上）
• バックテスト1回、ホールドアウトありの場合、トレーニング用にMinimum（最小）100行、検定用に20行以上、ホールドアウト用に20行以上（合計140行以上）

時系列ファイルインポートサイズ¶

時系列を使用する場合、データセットは以下のサイズ要件を満たす必要があります。

時系列の特定の特徴量：

リリース4.3、4.4、および4.5では、データセットはLess Than 500MBである必要があります。リリース4.0および4.2では、時系列のデータセットはLess Than 10MB、OTVのデータセットはLess Than 500MBである必要があります。それ以前のリリースでは、日付/時刻パーティションを使用するプロジェクトの場合、データセットはLess Than 5MBである必要があります。

特徴量探索のファイルインポートサイズ¶

特徴量探索を使用する場合、以下の要件が適用されます。

• セカンダリーデータセットは、アップロードされたファイルか、AIカタログに登録されたJDBCソースである必要があります。

• プロジェクトごとにMaximum（最大）30個のデータセットを設定できます。

• すべてのデータセットのサイズ（プライマリーとセカンダリーの両方）の合計が100GBを超えることはできず、個別のデータセットサイズが11GBを超えることはできません。下記のダウンロード制限を参照してください。

データ形式¶

DataRobotのデータ取込みでは、以下の形式と型がサポートされています。サポートされているデータ型も参照してください。

ファイルの形式¶

• .csv、.dsv、または.tsv（推奨）
• データベーステーブル
• .xls/.xlsx
• .sas7bdat
• .parquet⁺
• .avro⁺

Location AIのファイル形式¶

これらのファイルタイプは、組織内のユーザーに対して有効になっている場合にのみサポートされます。

• ESRIシェープファイル
• GeoJSON
• ESRIファイルジオデータベース
• Well Known Text（テーブルの列に埋め込み）
• PostGISデータベース（ファイルはカンマ区切り、タブ区切り、セミコロン区切り、またはパイプ区切りの形式で、各データ列に見出しが必要です。各行のフィールド（列）数は同じでなければなりませんが、一部を空白にすることができます。）

圧縮形式¶

• .gz
• .bz2

アーカイブ形式¶

• .tar

圧縮およびアーカイブ形式¶

• .zip
• .tar.gz/.tgz
• .tar.bz2

圧縮とアーカイブの両方に対応しています。ただし、アーカイブを使用すると、DataRobotは圧縮されていないデータのサイズを知ることができ、データの取り込みが効率的になります。

小数点記号¶

小数点記号としてはピリオド（.）文字のみがサポートされています。DataRobotでは、コンマ（,）などのロケールに固有の小数点記号はサポートされていません。つまり、1.000の値はEqual To 1、1000を表すために使用することはできません。別の文字が小数点記号として使用されている場合、その値はカテゴリー型として扱われます。

数値 特徴量は、正、負、またはゼロであり、次のいずれかの条件を満たす必要があります。

• ピリオドおよびコンマを含まない
• 単一のピリオドを含む（複数のピリオドを含む値はカテゴリー型として扱われます）

次の表に、サンプル値と対応する variable type（特徴量の型）を示します。

エンコーディングと文字セット¶

データセットは下記のエンコーディング要件を満たす必要があります。

• データファイルは、不要なキャラクターまたはエスケープシーケンス（URLから）を持つことができません。

• エンコーディングは、データセット全体で一貫している必要があります。たとえば、最初の100MBがUTF-8でエンコーディングされているデータファイルで、後続の部分に文字がUTF-8でない文字がある場合、最初の100MBで誤って検出されて失敗する可能性があります。

データには、下記のエンコーディングを必ず使用してください。

• ascii
• cp1252
• utf-8
• utf-8-sig
• utf-16
• utf-16-le
• utf-16-be
• utf-32
• utf-32-le
• utf-32-be
• Shift-JIS
• ISO-2022-JP
• EUC-JP
• CP932
• ISO-8859-1
• ISO-8859-2
• ISO-8859-5
• ISO-8859-6
• ISO-8859-7
• ISO-8859-8
• ISO-8859-9
• windows-1251
• windows-1256
• KOI8-R
• GB18030
• Big5
• ISO-2022-KR
• IBM424
• windows-1252

特殊な列の検出¶

以下に説明する基準を満たしている場合は、これらの特殊な列が検出されることに備考してください。currency、length、percent、およびdateはプロジェクトのターゲットとして選択することはできません。しかしながら、パーティション特徴量としてdateを選択できます。

日付と時刻の形式¶

列の形式が以下のリストに含まれる日付を含むいずれかの形式と同じ場合、その列は日付フィールドとして認識されます。厳密に時刻形式の列（%H:%M:%Sなど）は時刻として認識されます。指示の説明は、Python定義表を参照してください。以下の表では、1999年1月25日1:01 p.mの日付と時刻 （正確には午後1時1分59秒000001マイクロ秒)の例を示します。

パーセンテージ¶

“%”で終わる数値がある列は、パーセントとして扱われます。

通貨¶

以下の通貨記号のある値がある列は、通貨として扱われます。

• $
• EUR、USD、GBP
• £
• ￡
• €
• ¥
• ￥

また、通貨の解釈については、以下の点に備考してください。

• 通貨記号はテキストの前（$1）または後（1EUR）に配置できますが、特徴量全体で一貫性を維持する必要があります。
• コンマ（,）とピリオド（.）は両方とも千の単位やセントの区切り文字として使用できますが、特徴量全体で統一する必要があります（たとえば、1000ドル1セントは、1,000.01または1.000,01のどちらでも表現できます）。
• -および+の記号を値の前に配置できます。

列の長さ¶

<フィート>’ <インチ>”の記述規則に一致する値を含む列は、variable type（特徴量の型）lengthとしてデータページに表示されます。DataRobotは長さがインチに変換され、その後に値がブループリントの数値として扱われます。データセットにその他の長さ値（12㎝など）がある場合、特徴量はカテゴリーとして取り扱われます。様々な種類の単位（5m、72インチ、12㎝など）が特徴量に含まれる場合、アップロードする前にデータセットをクリーニングおよび正規化することを推奨します。

列名の変換¶

データの取込み中に、-、$、.、{、}、"、\n、\rの文字はDataRobotはアンダースコア（_）に変換されます。

ファイルダウンロードサイズ¶

データセットをダウンロードする際、以下の点に注意してください。

• 10GBのファイルサイズ制限があります。
• データセットはCSVファイルとしてダウンロードされます。
• DataRobotは上記の変換を適用するため、ダウンロードしたデータセットは最初にインポートされたものとは異なる場合があります。