Data Prep用のSFTPコネクター¶

ユーザーペルソナ：Data Prepユーザー、Data Prep管理者、データソース管理者、またはIT/DevOps

Data Prepの設定¶

このコネクタを使用すると、ライブラリのインポートとエクスポートのためにSSHファイル転送プロトコル（SFTP）サーバーに接続できます。次のフィールドを使用して、接続パラメーターを定義します。

一般¶

• 名前： UIでユーザーに表示されるデータソースの名前。
• 説明：UIでユーザーに表示されるデータソースの説明。

SFTP ホスト¶

[ソースの追加]、または [ソースの編集] フォームに [SFTP ホスト] セクションが表示されている場合は、SFTP ホストを探して接続するときに使用された情報を指定します。

• SFTP ホスト名：SFTP サーバーの完全修飾ホスト名（ドメイン名を含む）または IP アドレスを使用できます。
• SFTPポート：SFTPサーバーのソケットポートです。プロトコルは、ポート22をデフォルトとして指定します。

• 自動ホストキー検証：SFTP サーバーからホストキーを自動的に受け入れます。

• 選択済み：このオプションを使用すると、SFTPサーバーへの接続を自動的に信頼できるようになります。これは、SSHでStrictHostKeyChecking=noを設定するのと同じです。

• 選択解除（デフォルト設定）：このオプションを使用すると、SFTPホスト名への自動信頼設定を無効にします。これは、より高いセキュリティ設定を表すため、デフォルトのオプションとして選択されています。

• キープアライブ：タイムアウトを避けるためのセッションアクティビティを有効化/無効化します。

  • 選択済み（デフォルト設定）：SFTPコネクターとSFTPサーバー間の定期的なバックグラウンド通信を有効にして、ブラウジング、インポート、およびエクスポート中にサーバーによって接続が閉じられないようにします。
  • 選択解除：接続の持続期間は、SFTPサーバー構成によって管理されます。アイドル状態の接続は、サーバーによって終了される場合があります。この構成では、データをインポート/エクスポートするために参照するときに、非アクティブ状態が続くのを避けるのが最善です。

• データ圧縮：転送中のデータ圧縮を有効にします。

• 選択済み（デフォルト設定）：SFTPサーバーとData Prep間の転送中にデータのZLIB圧縮を有効にし、ほとんどのデータセットの転送速度を向上させます。Data Prepとサーバー間でZLIB圧縮をネゴシエートできない場合、接続は自動的に非圧縮転送に後退します。

• 選択解除：SFTPサーバーとData Prep間の転送中のデータのZLIB圧縮を無効にします。

• ソケットタイムアウトの秒数: SFTP コマンド（ディレクトリのリスト、ディレクトリの作成、ログアウトなど）の実行を待機する秒数です。デフォルト値は30秒です。待機時間を長くするには、この値を増やします。

• このオプションは、SFTPサーバーディレクトリにデータファイルの非常に大きなリストが含まれている場合に使用される可能性が最も高くなります。

設定¶

• ルートディレクトリ：インポートおよびエクスポートのためにData Prepのブラウズインターフェイスに表示される最上位ディレクトリを定義します。ユーザーは、参照インターフェイスでこのディレクトリ内のファイルとディレクトリを表示できます。

認証¶

SFTPコネクターは、パスワード認証またはSSHキー(パスフレーズの有無にかかわらず)を使用して認証できます。オプションは次のとおりです。

• ユーザー資格情報：これはユーザー名とパスワードの組み合わせです。

  • ユーザー名：SFTPサーバーでの認証用のユーザー名です。
  • パスワード：指定されるユーザー名に関連付けられたパスワードです。

• パスフレーズなしのSSHキー：このオプションでは、SSHキーを貼り付けるだけで済みます。

  • ユーザー名：SFTPサーバーでの認証用のユーザー名です。
  • SSHプライベートキー：ユーザー名に関連付けられているSSH秘密キーの内容です。

• パスフレーズ付きのSSHキー：SSHキーを貼り付け、パスフレーズを入力します。

  • ユーザー名：SFTPサーバーでの認証用のユーザー名です。
  • SSHプライベートキー：ユーザー名に関連付けられているSSH秘密キーの内容です。
  • パスフレーズ：秘密キーの暗号化パスフレーズです。

データのインポート／エクスポート情報¶

ブラウジング経由¶

• コネクターは、ROOT DIRECTORYフィールドで定義されたロケーションから始まるブラウズ可能なディレクトリ階層を表示します。
• コネクターはワイルドカードとグロブのインポートもサポートしているため、ユーザーは複数のSFTPデータファイルを単一のデータセットとしてData Prepにインポートできます。

SQLクエリー経由¶

• SFTPはファイルストアであるため、このデータソースではSQLクエリはサポートされていません。

技術的な仕様¶

• OpenSSHの設定されていない標準のLinux実装に対してこのコネクターをテストします。

FAQ／トラブルシューティング／一般的な問題¶

SFTPはストレージの一種であると同時にプロトコルであることに注意してください。「SFTPサーバー」を使用している場合、実際に使用できるのは、SSHファイル転送プロトコルを使用してWebとインターフェイスするストレージロケーションです。これは重要な違いです。何でも（Webサービス、SFTPサービスプロバイダーなど）このプロトコルを使用してデータをWebに公開できるからです。これらのサービスは、SFTPの異なる実装を使用している場合や、従来のSFTPサーバーが実行しないことをバックグラウンドで実行している場合があります。これはすべて、SFTPサーバーがデータの接続またはインポートのいずれかで課題となるカスタム動作を行う可能性があることを意味します。

標準SFTPからのこのタイプの分散が、いくつかの問題を引き起こした例があります。顧客はSFTPコネクターを使用してベンダーの1社からデータを取得していました。ベンダーは、SFTPを介してデータを公開するサービスを使用していましたが、読み取られた後に各データファイルを削除していました。Data Prepがインポート時にデータのプレビューを提供する場合、これは、存在するデータの小さなチャンクについてデータソースにクエリを実行することによって行われます。これにより、システムはファイルを完全にインポートする前にファイルを削除しました。