Spark SQLでのデータの変換¶
Data Prepは、Spark SQLを使用したデータ変換を可能にするツールを提供します。Spark SQLは、データの準備、クリーンアップ、変換のための関数のライブラリを提供します。
備考
Data Prepの管理者は、アプリケーションでこの特微量を有効にする必要があります。
次のセクションでは、Data PrepでのSpark SQLツールの使用方法を説明しています。サポートされているSQLステートメントについては、Data Prep Spark SQLガイドラインを参照してください。
ヒント
AIカタログを使用してデータを選択し、変換することもできます。AIカタログでSpark SQLを使用したデータ準備を参照してください。
Spark SQLの操作¶
Spark SQLツールにアクセスするには、プロジェクトのツールバーでspark sqlをクリックします。
Spark SQLステートメントの追加¶
-
ツールバーから、spark sqlをクリックします。Spark SQLステートメントペインが表示されます。
-
Spark SQLステートメントを入力します。使用方法の詳細についてはData Prep Spark SQLガイドラインを参照してください。
-
Spark SQLステートメントペインの右下にあるクエリーを実行をクリックして、クエリーを検証します。クエリーが正常に完了した場合、結果が下に表示されます。結果を見て、クエリーが想定通りに機能していることを確認します。
クエリーが失敗した場合、クエリーの下にエラーメッセージが表示されます。
-
保存をクリックすると、クエリーが保存されます。エラーが発生したクエリーを保存し、後で戻ってそのエラーを解決できます。
SQLクエリーにエラーが含まれている場合、ステップツールのSpark SQLのステップにエラーアイコン（
）が表示されます。アイコンをクリックするとエラーメッセージが表示されます。
備考
ステップツールでSpark SQLステップを保存した後、前のステップに変更を加えたり、Spark SQLステップの前に新しいステップを追加する必要がある場合があります。この場合、Spark SQLステップをクリックして編集してから、クエリーを実行をクリックし、クエリーを再度保存します。