パイプラインの実行¶
パイプラインにモジュールを追加して設定すると、DataRobotはモジュールをコンパイルします。モジュールが正常にコンパイルされている場合は、実行することができます。そうでない場合は、コンソールタブにコンパイルエラーが表示されます。
コンパイルエラーは、十分なポートがないとか、接続されていないポートがあるといった単純なエラーの場合もあります。この場合は、接続されていないポートのエラーです。
備考
コンパイルや実行時に発生するエラーや警告については、モジュールのステータスを参照してください。
選択したところまで実行コマンドを使用して、モジュールを明示的に実行できます。また、下位モジュールに選択したところまで実行を適用するなどして、パイプラインパスの一部としてモジュールを実行することもできます。
以下のタブを選択すると、パイプラインの実行方法がわかります。
-
ワークスペースエディターで、パイプラインを実行するモジュールを選択し、パイプラインの上にある選択したところまで実行ボタンをクリックします。
-
結果タブにモジュール実行の出力を表示します。
以下は、成功した実行結果です。
実行に失敗した場合、コンソールタブにエラーが表示されます。
選択したモジュールまでパイプラインを実行してエラーが発生した場合、モジュールがまだ選択されていれば、ワークスペースの下のコンソールタブに移動して、その詳細を表示します。ランタイムエラーは、無効なSQL文や無効なファイルパスなどの問題によって発生する可能性があります。ステータスの種類については、モジュールのステータスを参照してください。
パイプライン全体を実行するには、ワークスペースエディターを閉じて、ワークスペースの右上にある実行をクリックします。
実行ボタンをクリックすると、情報、パイプライン、実行スケジュールと履歴、コメントのいずれのタブが表示されているかが示されます。
結果を確認するには、ワークスペースの実行スケジュールと履歴タブを選択します。
ヒント
パイプラインを一定の間隔で実行するようにスケジュールすることもできます。
プレビューのダウンロード¶
選択したモジュールまで実行すると、パイプラインのその時点での結果のプレビューが表示されます。プレビューは結果タブに表示されます。
プレビューをダウンロードをクリックすると、結果のプレビューをダウンロードできます。
モジュールのステータス¶
各モジュールの横には、コンパイル済み、実行中、実行成功など、そのモジュールの現在の状態を示すステータスアイコンが表示されます。
この例では、CSV Readerモジュールはコンパイルされますが、Spark SQLモジュールはコンパイルされません。コンソールタブにエラーが表示されます。
各ステータスの説明は次の表のとおりです。
ステータスアイコン | 説明 |
---|---|
![]() |
モジュールがパイプラインに追加されましたが、まだコンパイルされていません。 |
![]() |
モジュールは正常にコンパイルされました。 |
![]() |
モジュールのコンパイルに失敗しました。エラーの詳細については、コンソールタブを確認します。 |
![]() |
モジュールは実行中か、依存関係が実行を終了するまで待っています。ステータスアイコンが回転し、モジュールが実行中であることを示します。 |
![]() |
モジュールはキューに加えられ、リソースが使用可能になった時点で実行されます。 |
![]() |
モジュールは正常に実行されました。詳細については、結果タブを確認してください。このモジュールを再実行しようとしても、キャッシュされた結果がインテリジェントに使用されるため、再実行されません。モジュールの再実行を強制するには、モジュールのアクションメニューから強制実行を使用します。 |
![]() |
モジュールの実行に失敗しました。失敗したモジュールを選択し、エラーの詳細についてコンソールタブを確認してください。モジュールの設定を変更したり、仕様を編集して、モジュールを再実行することができます。 |
パイプラインの実行をスケジュールする¶
DataRobotパイプラインの強力な機能は、パイプラインを設定して定期的に実行できることです。これにより、データの更新を自動化できます。パイプラインの実行をスケジュールするには、次の手順を実行します。
-
ワークスペースに移動し、スケジュールの実行と履歴タブを選択して、スケジュールの設定をクリックします。
-
ワークスペースパイプラインを実行する頻度と時間を設定します。
ヒント
より細かい時間を設定するには、高度なスケジューラーを使用をクリックします。高度なスケジューラーでは、特定の分、時間、日、月、曜日の実行をスケジュールできます。
-
今すぐスケジュールを有効にする場合は、保存後にスケジュールを有効にするチェックボックスを選択します。後でスケジュールを有効にする場合は、チェックを外してください。
-
保存をクリックします。
スケジュールが設定されます。
スケジュールを無効にするには、一時停止(
)をクリックします。後でスケジュールを有効にすることができます。
一時停止したスケジュールの有効化¶
スケジュールを作成しても、すぐに有効にしない場合や、スケジュールを無効にした場合は、「一時停止」として表示されます。
後でスケジュールを有効にするには、再生()をクリックします。
保存したスケジュールの編集¶
保存したスケジュールを編集するには、次のいずれかを実行します:
- 一時停止(
)をクリックして、スケジュールを一時的に無効にします。後でスケジュールを有効にすることができます。
- 鉛筆アイコン(
)をクリックして、スケジュール設定を更新します。
- 削除(
)をクリックして、スケジュールを削除します。
実行履歴の表示¶
パイプラインが実行されると、実行履歴を表示できます:
実行されたパイプラインをクリックすると、ログファイルとpipeline.ymlのコードが表示されます。