Databricks¶
Connecting to Databricks is currently certified through Azure and AWS.
パブリックプレビュー
Support for Databricks is on by default.
機能フラグ：
- Databricksドライバーを有効にする：Databricksに接続して、スナップショットデータを追加できます。
- Databricksのラングリングを有効にする：ワークベンチでDatabricksデータセットのデータラングリングを実行できます。
- ワークベンチでDatabricksのソース内マテリアライズを有効にする：データレジストリだけでなくDatabricksで、ラングリングされたデータセットをマテリアライズできます。
- ワークベンチで動的データセットを有効にする：Databricksの動的なデータをユースケースに追加できます。これにより、ライブサンプルの表示、データラングリングの実行、ソース内マテリアライズの開始が可能になります。
サポート対象の認証¶
- パーソナルアクセストークン
前提条件¶
DataRobotでDatabricksに接続するには、以下が必要です。
- Azure Portalアプリの Databricksワークスペース
- Azure Databricksデータベースに保存されたデータ
- A Databricks workspace in AWS
- AWS Databricksデータベースに保存されたデータ
パーソナルアクセストークンの生成¶
Azure Portalアプリで、Databricksワークスペースのパーソナルアクセストークンを生成します。 このトークンは、DataRobotのDatabricksへの接続の認証に使用されます。
詳細については、Azure Databricksドキュメントを参照してください。
In AWS, generate a personal access token for your Databricks workspace. このトークンは、DataRobotのDatabricksへの接続の認証に使用されます。
See the Databricks on AWS documentation.
DataRobotでの接続の設定¶
To connect to Databricks in DataRobot (note that this example uses Azure):
- ワークベンチを開き、ユースケースを選択します。
- データソースに接続する手順に従ってください。
-
前のセクションで取得した情報を使用して、 必要な設定パラメーターを入力します。
-
認証で、新しい資格情報をクリックします。 次に、アクセストークンと一意の表示名を入力します。 このデータソースへの資格情報をすでに追加している場合は、保存済みの資格情報から資格情報を選択できます。
-
保存をクリックします。
必須パラメーター¶
以下の表は、Databricksとの接続を確立するために最低限必要なフィールドの一覧です。
| 必須フィールド | 説明 | ドキュメンテーション |
|---|---|---|
| サーバーのホスト名 | 接続先のサーバーのアドレス。 | Azure Databricksドキュメント |
| HTTP Path | リソースを計算URL | Azure Databricksドキュメント |
| 必須フィールド | 説明 | ドキュメンテーション |
|---|---|---|
| サーバーのホスト名 | 接続先のサーバーのアドレス。 | Databricks on AWS documentation |
| HTTP Path | リソースを計算URL | Databricks on AWS documentation |
SQL warehouses are dedicated to execute SQL, and as a result, have less overhead than clusters and often provide better performance. 可能な場合は、SQLウェアハウスを使用することをお勧めします。
備考
接続設定でcatalogパラメーターが指定されている場合、ワークベンチにはそのカタログのスキーマのリストのみが表示されます。 このパラメーターを指定しないと、アクセスできるすべてのカタログがワークベンチに一覧表示されます。
トラブルシューティング¶
| 問題 | 解決方法 | 説明 |
|---|---|---|
| DataRobotで操作を実行しようとすると、ファイアウォールが毎回IPアドレスをクリアするよう要求します。 | DataRobotのホワイトリストに登録されたすべてのIPを追加します。 | ホワイトリストの送信元IPアドレスを参照してください。 ホワイトリストに登録されたIPをすでに追加している場合は、既存のIPが完全であることを確認してください。 |