データセットの要件¶

このセクションでは、データセット要件に関する情報について説明します。

• 一般的な条件
• 許容されるファイルサイズの確認
• AutoMLのファイルインポートサイズ
• 時系列（AutoTS）ファイルインポートサイズ
• 特徴量探索のファイルインポートサイズ
• パイプラインデータ要件
• ファイル形式
• エンコーディングと文字セット
• 特殊な列の検出
• 長さと名前変換
• ファイルダウンロードサイズ

その他の重要情報については、関連する注意事項を参照してください。

一般的な条件¶

AutoML、時系列、およびVisual Artificial Intelligence (AI)プロジェクトの場合は、次のデータセット要件を考慮してください。 Visual Artificial Intelligence (AI)用のデータセットの準備に関する追加情報を参照してください。

許容されるファイルインポートサイズの確認¶

データセットを取込む場合、実際のディスク上のサイズはDataRobot内では異なる場合があります。

• 元のデータセットソースがCSVの場合、DataRobotによってデータの前処理が行われるので、サイズも元のサイズと少し異なる場合があります。

• 元のデータセットソースがCSVではない場合（SAS7BDAT、JDBC、XLSX、GEOJSON、Shapefileなど）、ディスク上のサイズは、CSVに変換されたときのデータセットのサイズになります。 たとえば、SAS7BDATは、さまざまなエンコードタイプをサポートするバイナリ形式です。 そのため、CSVに変換する際、SAS7BDATファイルとしての入力サイズだけではデータのサイズを推定することが困難です。

• XLSXは、その構造上、1つのドキュメント全体として読み込まれるため、解析しようとするとメモリ不足の問題が発生する可能性があります。 それに対してCSVは、メモリ使用量を減らし、エラーを防ぐために、チャンク単位で読み込まれます。 ベストプラクティスでは、XLSXファイルの場合、150MBを超えないことを推奨します。

• 元のデータセットソースがアーカイブまたは圧縮されたCSVの場合（たとえば、.gzip、bzip2、.zip、.tar、.tgz）の場合、実際のディスク上のサイズは、前処理が実行された後の非圧縮CSVのサイズになります。

ファイルサイズを考慮する際、以下のことに留意してください。

• 適用される前処理のステップには、データセットエンコーディングのUTF-8への変換、フィールドデータの引用符の追加、欠損値表現の正規化、地理空間フィールドの変換、列名のサニタイズなどがあります。

• 画像アーカイブまたは他の同様の形式の場合、追加の前処理が行われ、画像ファイルの内容が結果のCSVに追加されます。 これにより、最終的なCSVのサイズは、アップロードされた元のファイルと大幅に異なる場合があります。

• ファイルをCSVに変換するとファイルサイズ制限が適応されます。 ZIPファイルをDataRobotにアップロードした場合、DataRobotでファイルを抽出するときのファイルはファイルサイズ制限以下である必要があります。

• 区切りCSVデータセット（CSV、TSVなど）のサイズが取込み前にアップロード制限に近くなる場合は、DataRobotの外部で変換を行うことをお勧めします。 ファイルのインポートが制限を超えないようにすることができます。 コンマ区切り以外のファイルのサイズがサイズ制限に近い場合も、コンマ区切りのCSVにDataRobotの外部で変換することをお勧めします。

• DataRobotの外部でCSVを変換する際は、アップロードされたファイルサイズとDataRobotの最大ファイルサイズ制限に関してカウントされるサイズの不一致を回避するために、コンマを区切り文字、改行をレコード区切り、およびUTF-8をエンコードタイプとして使用してください。

• 場合によっては、ダウンロードに含める特徴量フラグの変更を検討してください。

  • 早期制限チェックを無効にする：選択すると、推定ベースの早期制限チェッカーが無効になり、代わりに正確な制限チェッカーが使用されます。 これによって、推定が若干ずれている場合に制限に近いファイルを取り込める場合があります。 ただし、制限を超えている場合、プロジェクトは取込みプロセス中に失敗することに備考してください。
  • 最小限のCSVクォーティングを有効にする：変換されたCSVの引用時の変換プロセスがより保守的になり、CSVが小さくなります。 ただし、これを行うと、プロジェクトが再現不可能になる場合があります。 この設定が有効な場合と無効な場合では、データセット取込み時のEDAサンプルやパーティショニングが異なる場合があり、それによってプロジェクトにわずかな差異が生じる可能性があるためです。 （一方、同じ設定で同じデータセットを取り込むとプロジェクトが再現不可能になります。）

AutoMLのファイルインポートサイズ¶

以下のセクションでは、サポートされているファイルのインポートサイズについて説明します。

10GBを超える取込み（SaaSのみ）¶

最大20GBのトレーニングデータセットの取込みによって、大規模なモデリングが可能になります。 有効にすると、ファイル取込みの上限が10GBから20GBに増加します。

20GBでトレーニングする場合、以下の点に注意してください。

• 二値分類および連続値プロジェクトでのみ使用できます。
• Visual Artificial Intelligence (AI)および Location AIプロジェクトではサポートされません。
• 取込みは、外部ソース（データ接続またはURL）からのみ可能です。トレーニングデータは、AIカタログに登録する必要があります（20GBのデータセットは、ローカルコンピューターから直接アップロードできません）。
• スライスされたインサイトは無効です。
• 特徴量探索は無効です。
• デフォルトでは、 特徴量ごとの作用により、上位500の特徴量（特徴量のインパクトでランク付け）のインサイトが生成されます。 10GBを超えるプロジェクトでは、実行時のパフォーマンスを考慮して、特徴量ごとの作用では、上位100の特徴量のインサイトが生成されます。

OTV要件¶

時間外検定（OTV）モデリングの場合、データセットのMaximum（最大）サイズ：5GB未満。

OTVバックテストでは、各検定およびホールドアウト分割に少なくとも20行が必要で、各トレーニング分割に少なくとも100行が必要です。 その条件を満たさない結果が生じるバックテストを設定した場合、DataRobotでは、最小限の条件を満たすバックテストだけが実行されます（該当するバックテストにはアスタリスクが表示されます）。 例：

• バックテスト1回、ホールドアウトなしの場合、トレーニング用にMinimum（最小）100行、検定用に20行以上（合計120行以上）。
• バックテスト1回、ホールドアウトありの場合、トレーニング用にMinimum（最小）100行、検定用に20行以上、ホールドアウト用に20行以上（合計140行以上）。

予測ファイルインポートサイズ¶

Time series file requirements¶

When using time series, datasets must be CSV format and meet the following size requirements:

その条件を満たさない結果が生じるバックテストを設定した場合、DataRobotでは、最小限の条件を満たすバックテストだけが実行されます（該当するバックテストにはアスタリスクが表示されます）。 時系列の特定の特徴量：

\* セルフマネージドAIプラットフォームのバージョン5.0以降は、100,000系列に制限されています。バージョン5.3以降は、1,000,000系列に制限されています。

リリース4.3、4.4、および4.5では、データセットは500MB未満である必要があります。 リリース4.0および4.2では、時系列のデータセットは10MB未満、OTVのデータセットは500MB未満である必要があります。 それ以前のリリースでは、日付/時刻パーティションを使用するプロジェクトの場合、データセットは5MB未満である必要があります。

特徴量探索のファイルインポートサイズ¶

特徴量探索を使用する場合、以下の要件が適用されます。

• セカンダリーデータセットに、AIカタログで登録されたアップロードファイルまたはJDBCソースである必要があります。

• プロジェクトごとにMaximum（最大）30個のデータセットを設定できます。

• すべてのデータセットのサイズ（プライマリーとセカンダリーの両方）の合計が100GBを超えることはできず、個別のデータセットサイズが11GBを超えることはできません。 下記のダウンロード制限を参照してください。

データ形式¶

DataRobotのデータ取込みでは以下の形式と型がサポートされています。 サポートされているデータ型も参照してください。

ファイル形式¶

• .csv、.dsv、または.tsv*（推奨形式）
• データベーステーブル
• .xls/.xlsx
• PDF**
• .sas7bdat
• .parquet
• .avro**

*ファイルはカンマ、タブ、セミコロン、またはパイプ区切りのファイルで、各データ列にヘッダーが必要です。 各行には同数のフィールドがなければならず、そのうちのいくつかは空白になっている場合もあります。

**これらのファイルタイプはプレビューです。 詳細については、DataRobotの担当者にお問い合わせください。

ロケーションAIのファイル形式¶

次のLocation AIのファイルタイプは、組織内のユーザーに対して有効になっている場合にのみサポートされます。

• ESRIシェープファイル
• GeoJSON
• ESRIファイルジオデータベース
• Well Known Text（テーブルの列に埋め込み）
• PostGISデータベース（ファイルはカンマ区切り、タブ区切り、セミコロン区切り、またはパイプ区切りの形式で、各データ列にヘッダーが必要です。 各行には同じ数のフィールド（列）が必要で、空白の場合があります。）

圧縮形式¶

• .gz
• .bz2

アーカイブ形式¶

• .tar

圧縮およびアーカイブ形式¶

• .zip
• .tar.gz/.tgz
• .tar.bz2

圧縮とアーカイブの両方に対応しています。 ただし、アーカイブを使用すると、DataRobotは圧縮されていないデータのサイズを知ることができ、データの取り込みが効率的になります。

小数点記号¶

小数点記号としてはピリオド（.）文字のみがサポートされており、コンマ（,）などのロケールに固有の小数点記号はサポートされていません。 つまり、値1.000は1に等しく、1000を表すために使用することはできません。 別の文字が区切り文字として使用されている場合、その値はカテゴリー型として扱われます。

数値特微量は、正、負、またはゼロのいずれかであり、次のいずれかの基準を満たす必要があります。

• ピリオドおよびコンマを含みません。
• 単一のピリオドを含む（複数のピリオドを含む値はカテゴリー型として扱われます）。

次の表に、サンプル値と対応する特徴量の型を示します。

エンコーディングと文字セット¶

データセットは下記のエンコーディング要件を満たす必要があります。

• データファイルは、不要なキャラクターまたはエスケープシーケンス（URLから）を持つことができません。

• エンコーディングは、データセット全体で一貫していなければなりません。 たとえば、最初の100 MBがUTF-8でエンコーディングされているデータファイルで、後続の部分に文字がutf-8でない文字がある場合、最初の100 MBで誤って検出されて失敗する可能性があります。

データには、下記のエンコーディングを必ず使用してください。

• ascii
• cp1252
• utf-8
• utf-8-sig
• utf-16
• utf-16-le
• utf-16-be
• utf-32
• utf-32-le
• utf-32-be
• Shift-JIS
• ISO-2022-JP
• EUC-JP
• CP932
• ISO-8859-1
• ISO-8859-2
• ISO-8859-5
• ISO-8859-6
• ISO-8859-7
• ISO-8859-8
• ISO-8859-9
• windows-1251
• windows-1256
• KOI8-R
• GB18030
• Big5
• ISO-2022-KR
• IBM424
• windows-1252

特殊な列の検出¶

以下に説明する基準を満たしている場合は、これらの特殊な列が検出されることに注意してください。currency、length、percent、およびdateはプロジェクトのターゲットとして選択することはできません。 しかしながら、パーティション特徴量としてdateを選択できます。

日付と時刻の形式¶

列の形式が以下のリストに含まれる日付を含むいずれかの形式と同じ場合、その列は日付フィールドとして認識されます。 厳密に時刻形式の列（%H:%M:%Sなど）は時刻として認識されます。 指示の説明は、Python定義表を参照してください。 以下の表では、1999年1月25日1:01 p.mの日付と時刻 （正確には午後1時1分59秒000001マイクロ秒)の例を示します。

パーセンテージ¶

%で終わる数値がある列は、パーセントとして扱われます。

通貨¶

以下の通貨記号のある値がある列は、通貨として扱われます。

• $
• EUR、USD、GBP
• £
• ￡ (fullwidth)
• €
• ¥
• ￥ (fullwidth)

また、通貨の解釈については、以下の点に注意してください。

• 通貨記号はテキストの前（$1）または後（1EUR）に配置できますが、特徴量全体で一貫性を維持する必要があります。
• コンマ（,）とピリオド（.）は両方とも千の単位やセントの区切り文字として使用できますが、特徴量全体で統一する必要があります（たとえば、1000ドル1セントは、1,000.01または1.000,01のどちらでも表現できます）。
• +および-の記号を値の前に配置できます。

Length¶

<feet>’<inches>”の変換に一致する値を含む列は、特徴量の型としてlengthデータページに表示されます。 長さがインチに変換され、その後に値がブループリントの数値として扱われます。 データセットにその他の長さ値（12㎝など）がある場合、特徴量はカテゴリーとして取り扱われます。 測定値を示す単位混在値（5m、72インチ、12㎝など）が特徴量に含まれる場合、アップロードする前にデータセットをクリーニングおよび正規化することを推奨します。

列名の変換¶

データの取込み中に、DataRobotは次の文字をアンダースコア（_）に変換します：-、$、. {、}、"、\n、および\r。

ファイルダウンロードサイズ¶

データセットをダウンロードする際、以下の点に注意してください。

• 10GBのファイルサイズ制限があります。
• データセットはCSVファイルとしてダウンロードされます。
• DataRobotは上記の変換を適用するため、ダウンロードしたデータセットは最初にインポートされたものとは異なる場合があります。