Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

Data Prep用のCloudera CDH6 Hiveコネクター

ユーザーペルソナ:Data Prep管理者、データソース管理者、またはIT/DevOps



本機能の提供について

このコネクターは、Data Prep SaaS のお客様はご利用いただけません。



備考

この文書は、コネクターの設定中に利用できるすべての構成フィールドについて論じています。一部のフィールドは、設定の以前の手順で管理者によってすでに入力されている場合があり、表示されない場合があります。Data Prepのコネクターフレームワークの詳細については、Data Prepコネクターのセットアップを参照してください。また、管理者がデータソースのリストでこのコネクターに別の名前を付けている場合もあります。

Data Prepの設定

このコネクターを使用すると、Hiveデータベースに接続して、インポートとエクスポートを行うことができます。ここで設定する必要があるフィールドは、選択した認証方法 (シンプル、Kerberos、またはハイブリッド)によって異なります。選択した認証の種類は、コネクター設定に基づいて作成するすべてのデータソースに適用されます。

備考

このコネクターを設定するには、Data Prepサーバー上のファイルシステムへのアクセスと、Hadoopクラスター設定のcore-site.xmlが必要です。この手順については、カスタマーサクセス担当者にお問い合わせください。

一般

  • 名前:UIでユーザーに表示されるデータソースの名前。
  • 説明:UIでユーザーに表示されるデータソースの説明。

ヒント

Data Prepは複数のHiveデータベースに接続できます。わかりやすい名前を使用すると、ユーザーが適切なデータソースを識別する上で非常に役立ちます。

Hadoop クラスター

  • 認証方法: シンプル認証、Kerberos認証、またはハイブリット認証を選択します。選択した認証の種類は、コネクター設定に基づいて作成するすべてのデータソースに適用されます。
  • クラスター コア サイト XML のパス: Web サーバー上の core-site.xml の完全修飾パスです。例: /path/to/core-site.xml
  • クラスター HDFS サイト XML のパス: Web サーバー上の hdfs-site.xml の完全修飾パスです。例: /path/to/hdfs-site.xml
  • Native Hadoop ライブラリのパス: Web サーバー上のネイティブ Hadoop ライブラリの完全修飾パスです。例: /path/to/libraries
  • HDFS ユーザー: HDFS クラスター上のユーザー名。Hive にエクスポートするためにファイルに書き込む際に使用されます。

Hive の構成

  • JDBC URL: この URL を Hive へのアクセスに使用して、インポートおよび外部テーブルの登録を行います。Kerberos認証を使用する場合は、次の文字列をURLに追加する必要があります:";auth=kerberos;hive.server2.proxy.user=${user.name}"

  • プロキシユーザーが使用されている場合、文字列${user.name}をプロキシのユーザー名に置き換える必要があります

  • Hive ファイルの場所: 外部テーブルの Hive ファイルを格納する Hadoop クラスター上の場所を指します。

Kerberos認証の構成

Kerberosおよびハイブリッド認証には次のパラメーターが必要です。

  • プリンシパル: Kerberos認証のプリンシパルです。
  • レルム: Kerberos認証のレルムです。
  • KDC ホスト名:Kerberos認証のキー配布センターのホスト名です。
  • Kerberos認証の構成ファイル: Web サーバー上のKerberos認証の構成ファイルの完全修飾パスです。
  • キータブ ファイル: Web サーバー上のKerberos認証のキータブ ファイルの完全修飾パスです。
  • アプリケーション ユーザーの使用: ログイン中のアプリケーション ユーザーで読み取りまたは書き込みを行う場合は、このチェックボックスをオンにし、プロキシ ユーザーを使用する場合は、このチェックボックスをオフにします。
  • プロキシユーザー:クラスターでの認証に使用されるプロキシ。${user.name}はプロキシユーザーとして入力できます。${user.name}は[アプリケーションユーザーの使用]の選択と同様に機能しますが、より柔軟性があります。例:

  • ユーザーの認証情報にドメインを追加するには、[プロキシユーザー]フィールドに\domainname\${user.name}と入力します。Data Prepではユーザー名とドメインが渡されます。

    • 例:\Accounts${user.name}はAccountsJoeになります(Joeがユーザー名であると仮定)。
  • ユーザー名にテキスト修飾子を適用するには、キー${user.name}に.modifierを追加します。使用できる修飾子は ToLower、ToUpper、ToLowerCase、ToUpperCase、Trim です。
    • たとえば、${user.name.toLowerCase}はJoeをjoeに変換します(Joeがユーザー名であると仮定)。

資格情報

  • Hive ユーザー: シンプル認証で Hive へのアクセスに使用するユーザー名です。
  • Hiveパスワード:シンプル認証とハイブリッド認証用にHiveへのアクセスに使用されるパスワードです。

可視性の設定

インポート中にユーザーがデータ ソースを参照する際に表示されるデータベース、スキーマ、およびテーブルを制御できます。スキーマとテーブルに対しては次の設定を選択できます。

  • [表示のみ]ここで指定したスキーマまたはテーブルだけが返されます。
  • [非表示]ここで指定したスキーマおよびテーブルが非表示になります。
  • [すべて表示]:データソース内のすべてを表示するデフォルト設定です。

[表示のみ]または[非表示]オプションを選択すると、オプションを適用するスキーマまたはテーブルを指定するフィールドが表示されます。

備考

これらの設定は、ユーザーがデータソースに対してクエリーを実行する場合は適用されません。クエリー結果は、一致の完全なリストを返します。たとえば、特定のスキーマを "非表示" と設定しても、クエリの結果には、そのスキーマ内の全テーブルのデータが含まれて返されます。しかし、ユーザーがそのデータ ソースを参照する際には、そのスキーマはユーザーに表示されません。

インポート設定

  • クエリの プリフェッチ サイズ: バッチあたりの行数です。
  • 行最大サイズ: インポートおよびエクスポートする値に対して許容する Unicode 形式の最大文字数です。このサイズを超過した値は null に置き換えられます。
  • インポー ト前のSQL: インポートプロセス前に実行する SQL ステートメントです。このSQLは(プレビューとインポートのために)複数回実行される可能性があり、改行で区切られた複数のSQLステートメントになることがあります。
  • インポート後のSQL:インポート処理後に実行されるSQLです。このSQLは(プレビューとインポートのために)複数回実行される可能性があり、改行で区切られた複数のSQLステートメントになることがあります。

備考

インポート前およびインポート後のSQLはインポートプロセス全体で複数回実行される可能性があります。インポートが実行されるたびにこの設定に基づくSQLが実行されるため、これらの値をコネクタ/データソース設定で指定するときは注意が必要です。*

エクスポート設定

  • エクスポート前のSQL:エクスポートプロセスの前に実行されるSQL。このSQLは1回実行され、改行で区切られた複数のSQLステートメントになる場合があります。
  • エクスポート後のSQL:エクスポート完了後に実行する SQL ステートメントです。このSQLは1回実行され、改行で区切られた複数のSQLステートメントになる場合があります。

データのインポートとエクスポートに関する情報

ブラウジング経由

テーブルを参照し、インポートするテーブルを「選択」します。

SQLクエリー経由

SQL選択クエリの使用


更新しました March 25, 2022
Back to top