Data Prepプラットフォームのサポート2021.1¶
すべてのインストール¶
- インタラクティブパイプライン：Apache Spark 2.4.5スタンドアロン
- 静的バッチパイプライン：Apache Spark 2.4.5スタンドアロン
- Mongo：バージョン3.6、4.0、および4.2
- OS：RHEL 8.0+（<9.x)
- Java: OpenJDK 8 アップデート 181+; Oracle JDK 8 アップデート 162+
- ブラウザー：Firefox ESRとGoogle Chromeの最新バージョン
AWS¶
- データライブラリ：S3
- 動的バッチパイプライン: EMR 5.30.0 on YARN
Azure¶
- データライブラリ：Azure Blob
- データライブラリ：Azure Data Lake Storage Gen 2
Googleクラウドプラットフォーム¶
- データライブラリ：Google Cloud Storage
プライベートクラウド¶
| データ ライブラリ | Sparkバージョンおよびデプロイ - モードインタラクティブ | Sparkバージョンおよびデプロイ - モードバッチ | バッチタイプ |
|---|---|---|---|
| S3 | オープンソースSpark（スタンドアロン） - EC2上で実行 | EC2上で動作するオープンソースSpark（スタンドアロン） | 静的 |
| S3 | オープンソースSpark（スタンドアロン） - EC2上で実行 | EMR Spark 5.30 | 動的 |
| Azure Blob | オープンソースSpark（スタンドアロン） - Azure VM上で実行 | オープンソースSpark（スタンドアロン） | 静的 |
| Azure Data Lake Storage Gen 2 | オープンソースSpark（スタンドアロン） - Azure VM上で実行 | オープンソースSpark（スタンドアロン） | 静的 |
| Google Cloud Storage | GCS VM上で実行するオープンソースSpark（スタンドアロン） | オープンソースSpark（スタンドアロン） | 静的 |
クラウデラCDH¶
| データライブラリに対応したストレージ | パイプライン用のSparkバージョン | スタンドアロン | YARN |
|---|---|---|---|
| Cloudera | CDH 6.1.0 – CDH 6.3.3 | CDH 6.1.0 Spark – CDH 6.3.3 Spark | - |
| Cloudera CDH 6.1.0 – CDH 6.3.3 | Apache Spark 2.4.0 | はい | - |
更新しました September 29, 2022
このページは役に立ちましたか？
ありがとうございます。どのような点が役に立ちましたか？
より良いコンテンツを提供するには、どうすればよいでしょうか？
アンケートにご協力いただき、ありがとうございました。