Skip to content

DataRobotエクスペリメントプラグイン

The DataRobot experimentation plugin (dr xp) exposes a local dashboard during agentic application development. The dashboard runs on port 8090 by default and organizes observability into tabs. 左側のサイドバーにあるアシスト、エンティティ、トレース、およびログタブは、デフォルトでオンになっています。 評価などの追加タブは、dr xpコマンドラインフラグを使用して有効にできます。また、プロジェクトにオプションのコンポーネントが必要なタブもあります。それらについては、パスの選択に一覧が掲載されています。

ランディングページは、エンティティの設定によって異なります。 エンティティが設定されていない場合は、ダッシュボードがアシストタブで開きます。エンティティが設定されている場合は、トレースタブで開きます。 アシストタブが無効になっている場合(アシストタブを参照)、エンティティを設定せずに開始すると、代わりにエンティティタブが開きます。 エンティティなしで開始するを参照してください。

The plugin uses the same OpenTelemetry standard that carries telemetry across the rest of the stack. Local traces follow the same tracing model as deployed agents on the DataRobot platform, so local inspection reflects what the agent actually did during development without deploying to the platform or switching to a separate UI tab.

Access the dashboard

Complete these steps to open the local experimentation dashboard:

  1. Install the CLI—curl https://cli.datarobot.com/install | sh; verify with dr self version. See Install the CLI and authenticate.
  2. Authenticate—dr auth login.
  3. Install the plugin—dr plugin install xp; verify with dr plugin list. See Install the experimentation plugin.
  4. Create or open a project—dr start from an Agentic Starter template; confirm DATAROBOT_USE_CASE_ID in pulumi_config.json. See Set up the App Framework project.
  5. Start the agent and dashboard—Run dr run dev from the project root. ダッシュボードを個別に起動するには、あるターミナルでtask agent:devを実行してエージェントを起動し、別のターミナルでdr xpを実行してください。ダッシュボードは、pulumi_config.jsonが存在する場合、そこからユースケースIDを読み取ります。 See Start the experimentation dashboard.
  6. Open the GUI—browse to http://localhost:8090. See Open the GUI in a browser.
  7. トレースを確認します。エージェントにテストメッセージを送信し、トレースタブを更新してください。 See Confirm end-to-end behavior.

For batch evaluation workflows, also install the evaluation component and set DR_EXPERIMENT_ENABLE_EVALUATION=true in .env. See Batch agent evaluation.

Choose your path

タブ 用途 可用性
支援 エージェントプロジェクトについて、埋め込みのコーディングアシスタントとチャットします。 デフォルトでオンになっています。エンティティが設定されていない場合のランディングページとなります。 dr opencodeプラグインが必要です(自動的にインストールされます)。
エンティティ 作業対象となるユースケース、デプロイ、カスタムアプリケーション、またはワークロードを選択します。 デフォルトでオンになっています。
トレース ローカル開発中にエージェントのトレースを調査します。 デフォルトでオンになっています。エンティティが設定されている場合のランディングページとなります。 実行中のエージェントが必要です。
ログ エージェントのログレコードを確認します。 デフォルトでオンになっています。
評価 固定のベンチマークデータセットに対して、エージェントの回答をスコアリングします。 プレビュー版です。 --enable-evaluationを指定してdr xpを起動し、評価コンポーネントをインストールします。
トレースの分析(トレースページのコントロール) 記録されたLLM呼び出しからエージェントの誤りを特定し、修正します。 プレビュー版です。 --enable-trace-analysisを指定してdr xpを起動し、Tensileを使用してエージェントを計装します。

プレビュー機能は開発中は利用可能ですが、リリースごとに変更される場合があります。各ページには現在の制限事項が記載されています。

どの方法でも、設定手順は同じです。CLIをインストールして、xpプラグインをインストールし、App Frameworkプロジェクトを設定して、GUIを開きます。

アシストタブ

アシストタブには、DataRobot LLM Gatewayと連携したOpenCodeコーディングアシスタントが埋め込まれています。 このアシスタントは、dr xpが起動されたディレクトリをスコープとしているため、エンティティが選択される前は、エージェントプロジェクトに関する質問に回答します。

このタブはデフォルトでオンになっており、dr opencodeプラグインが必要です。 プラグインが見つからない場合、dr xpは起動時にそれをインストールします。自動インストールをスキップするには、DR_EXPERIMENT_ASSIST_NO_INSTALL=1を設定してください。 アシスタントがLLM Gatewayに接続するには、DATAROBOT_API_TOKENおよびDATAROBOT_ENDPOINTが必要です。dr auth loginを実行すると、両方が設定されます。

このタブを無効にするには、--enable-assist=falseを渡すか、DR_EXPERIMENT_ENABLE_ASSIST=0を設定します。

備考

埋め込みアシスタントを起動できなかった場合、dr xpは警告をログに記録し、引き続き実行を継続します。 その際、アシストタブにはサーバーに接続できない旨のメッセージが表示されますが、他のタブには影響はありません。

エンティティなしで開始する

--entity-idはオプションです。 エンティティが設定されていない場合、dr xpはアシストタブで開かれ、エンティティタブには、選択可能なユースケース、デプロイ、カスタムアプリケーション、およびワークロードが一覧表示されます。 トレースなど、エンティティをスコープとしたタブは、エンティティを選択するまで無効のままとなります。

エンティティIDは、--entity-idフラグ、DR_EXPERIMENT_ENTITY_ID環境変数、.dr-xp.yaml設定ファイル、pulumi_config.json内のDATAROBOT_USE_CASE_ID、DATAROBOT_DEFAULT_USE_CASEの順に解決されます。 これらのいずれかのソースを通じてエンティティが設定された場合、ダッシュボードは代わりにトレースタブで開かれます。

エンティティタブはデフォルトでオンになっています。 これを無効にするには、--enable-entities=falseを渡すか、DR_EXPERIMENT_ENABLE_ENTITIES=0を設定します。その場合、--entity-idは必須です。

Local development stack

Agentic Starter templates run several services during local development. The commands and ports referenced throughout this page assume this stack:

ポート サービス
8090 Experimentation dashboard (dr xp GUI).
8842 Local agent OpenAI-compatible endpoint.
5173 Frontend dev server.
8080 FastAPI backend.

Ports 8090, 8080, and 5173 are fixed in Agentic Starter templates. The agent port (8842) is set during the dr start wizard.

クイックスタート

<USE_CASE_ID> below is your App Framework project's use case ID—see Prerequisites. これはオプションです。単にdr xpと入力するだけでアシストタブが開き、エンティティタブには選択可能なエンティティが一覧表示されます。

# Install the plugin
dr plugin install xp

# Show available options
dr xp --help

# Start without an entity; pick one later from the Entities tab
dr xp

# Start with a use case (opens on the Tracing tab)
dr xp --entity-id <USE_CASE_ID>

# Enable batch evaluation workflows in the GUI
dr xp --enable-evaluation --entity-id <USE_CASE_ID>

# Enable trace analysis (trace analysis controls on the **Tracing** page)
dr xp --enable-trace-analysis --entity-id <USE_CASE_ID>

# Start with a deployment on a custom port
dr xp --entity-type deployment --entity-id <DEPLOYMENT_ID> --port 8091 

重要

Batch evaluation workflows in the GUI are off by default. Pass --enable-evaluation (or set DR_EXPERIMENT_ENABLE_EVALUATION=true) when starting dr xp to expose the Evaluation tab and evaluation API routes. Traces work without this flag. See Enable batch evaluation workflows.

When dr run dev runs from an Agentic Starter project, the local tracing dashboard starts automatically on port 8090. The bundled dashboard starts with traces only unless DR_EXPERIMENT_ENABLE_EVALUATION=true is set in .env.

Access the GUI

The experimentation plugin serves a web UI from a local HTTP server. The CLI installs and launches the plugin; the browser connects to the server URL after startup completes. エンティティが設定されていない場合は、GUIがアシストタブで開きます。エンティティが設定されている場合は、トレースタブで開きます。

The experimentation dashboard opening on the Assist tab, with the Assist, Entities, Tracing, and Logs tabs in the sidebar

前提条件

Before starting the dashboard, confirm the following:

要件 備考
DataRobot CLI Install with the getting started guide; verify with dr self version.
CLI authentication Run dr auth login or configure credentials in ~/.config/datarobot/drconfig.yaml.
Experimentation plugin Install with dr plugin install xp; verify with dr plugin list.
App Framework project エージェントとデフォルトのエンティティコンテキストを提供します。dr startで作成するか、Agentic Starterテンプレートのクローンを作成してください。
ユースケースID (オプション) Stored in pulumi_config.json as DATAROBOT_USE_CASE_ID, or pass --entity-id explicitly. 指定がない場合、ダッシュボードはアシストタブで開きます。エンティティタブからエンティティを選択してください。

After confirming the prerequisites, complete the following sections in order (or jump straight to a step using the links in Access the dashboard above).

Install the CLI and authenticate

  1. Install the DataRobot CLI:
curl https://cli.datarobot.com/install | sh 
  1. Verify the installation:
dr self version 
  1. Authenticate with DataRobot:
dr auth login 

The plugin requires authentication. The CLI passes DATAROBOT_ENDPOINT and DATAROBOT_API_TOKEN to the plugin process at launch.

Install the experimentation plugin

Install the xp plugin once per machine:

dr plugin install xp 

Verify discovery:

dr plugin list 

Confirm the list includes xp with a path under ~/.config/datarobot/plugins/xp/ (Linux and macOS) or the equivalent Windows config directory.

Set up the App Framework project

  1. Create or open an Agentic Starter project:

    dr start 
    
  2. Confirm pulumi_config.json at the project root contains a use case ID:

    "DATAROBOT_USE_CASE_ID": "<USE_CASE_ID>" 
    
  3. (Optional)

    dr component add https://github.com/datarobot-community/af-component-evaluation . 
    
  4. From the evaluation component directory (for example evaluations/), install dependencies:

    task install 
    

See Batch agent evaluation for prerequisites and setup details.

Configure the dashboard

Set options with flags, environment variables, or a project-level .dr-xp.yaml file. Flag values take precedence over environment variables, then config files, then pulumi_config.json.

The following table summarizes the most common settings:

設定 Flag 環境変数 デフォルト
ポート --port DR_EXPERIMENT_PORT 8090
エンティティタイプ --entity-type DR_EXPERIMENT_ENTITY_TYPE experiment_container (use case)
エンティティID --entity-id DR_EXPERIMENT_ENTITY_ID pulumi_config.jsonからDATAROBOT_USE_CASE_ID、次にDATAROBOT_DEFAULT_USE_CASE。 オプション。指定がない場合は、エンティティタブからエンティティを選択してください。
アシストタブ --enable-assist DR_EXPERIMENT_ENABLE_ASSIST オン。無効にするには--enable-assist=falseを渡します。
エンティティタブ --enable-entities DR_EXPERIMENT_ENABLE_ENTITIES オン。無効にするには--enable-entities=falseを渡します。 タブが無効になっている場合、--entity-idは必須です。
Evaluation workflows --enable-evaluation DR_EXPERIMENT_ENABLE_EVALUATION=true Off; pass the flag to enable batch evaluation workflows.
トレース分析 --enable-trace-analysis DR_EXPERIMENT_ENABLE_TRACE_ANALYSIS=true オフ。このフラグを指定すると、トレースページにトレース分析コントロールが追加されます。
Plain terminal output --plain-output — Off (TUI panel shown by default).

Example project-level config file:

# .dr-xp.yaml (project root)
entity_type: experiment_container
port: 8090
# enable_evaluation: true   # or set DR_EXPERIMENT_ENABLE_EVALUATION=true in .env 

For Agentic Starter projects, add evaluation support to .env:

# .env (project root) — enables Evaluation tab with dr run dev / task infra:dev
DR_EXPERIMENT_ENABLE_EVALUATION=true
# Optional: Trace analysis controls on the Tracing page (preview)
DR_EXPERIMENT_ENABLE_TRACE_ANALYSIS=true 

For judge-based evaluations, also set credentials in .env:

DATAROBOT_API_TOKEN=<API_TOKEN>
DATAROBOT_ENDPOINT=https://app.datarobot.com/api/v2 

Judge-free benchmarks run without judge credentials. See Batch agent evaluation.

Start the local agent

The dashboard visualizes traces from agent activity. Batch evaluations require a running agent endpoint.

Start the full development stack from the project root:

dr run dev 

This typically starts the agent on http://localhost:8842/v1 and may also launch the dashboard on port 8090. See Quick start for the flag/env var that enables the Evaluation tab.

To start services individually:

task agent:dev      # Agent on port 8842.
task infra:dev      # Dashboard on port 8090. 

When task dev runs, dr xp may start from both agent:dev and infra:dev. The message Already running at http://127.0.0.1:8090 is expected.

Start the experimentation dashboard

Choose one of the following options.

Standalone start

From the App Framework project root:

dr xp 

ダッシュボードは、ユースケースIDをpulumi_config.jsonから読み取ります(存在する場合)。 別のエンティティを指定するには、--entity-id <USE_CASE_ID>を渡すか、起動後にエンティティタブから選択してください。 Add --enable-evaluation when the Evaluation tab is needed. See Enable batch evaluation workflows.

Infra task (Agentic Starter projects)

task infra:dev 

This runs dr xp --plain-output without --enable-evaluation. To enable batch evaluation workflows, set DR_EXPERIMENT_ENABLE_EVALUATION=true in the project .env.

Bundled with full dev

dr run dev 

Expected startup output:

Starting server...
Local Experimentation running on http://127.0.0.1:8090 for experiment_container:<USE_CASE_ID> 

If a server is already listening on the port, the CLI prints:

Already running at http://127.0.0.1:8090 — no new server started. 

The server runs in the foreground. Stop it with Ctrl+C.

Verify the server (optional)

Confirm the dashboard responds:

curl -s http://127.0.0.1:8090/api/info 

Example response with evaluation enabled:

{"entity_type":"experiment_container","entity_id":"<USE_CASE_ID>","features":["traces","evaluation"]} 

When evaluation is disabled, features contains "traces" only and evaluation API routes return 404.

Open the GUI in a browser

Open one of the following URLs:

環境 URL
Local machine http://localhost:8090 or http://127.0.0.1:8090.
DataRobot codespace or notebook Exposed-port URL for port 8090 (shown when dr run dev or task dev completes).

The page title is Experimentation UI. Available tabs depend on enabled features:

タブ Doc 要件
支援 アシストタブ デフォルトでオンになっています。
エンティティ エンティティなしで開始する デフォルトでオンになっています。
トレース Local tracing Plugin installed and agent running.
評価 Batch agent evaluation --enable-evaluation (or DR_EXPERIMENT_ENABLE_EVALUATION=true) and the evaluation component installed.
トレース > トレースを分析 トレース分析 --enable-trace-analysis(またはDR_EXPERIMENT_ENABLE_TRACE_ANALYSIS=true)およびTensileを用いて計装されたエージェント。

Confirm end-to-end behavior

  1. Send a test message to the agent (for example at http://localhost:5173).
  2. Refresh the dashboard. トレースタブに新しいトレースが表示されます。 See Local tracing.
  3. (Optional) See Batch agent evaluation.

GUI access troubleshooting

症状 Fix
dr: command not found Reinstall the CLI or add the binary directory to PATH; see Getting started.
Plugin not found Run dr plugin install xp.
エンティティが選択されていない エンティティタブからユースケース、デプロイ、カスタムアプリケーション、またはワークロードを選択するか、--entity-id <USE_CASE_ID>を渡します。 エンティティIDは、--enable-entities=falseによってエンティティタブが無効になっている場合にのみ必要です。
Port 8090 already in use List the process with lsof -i :8090 (macOS/Linux), note the PID, and run kill <PID>. On Windows, run netstat -ano | findstr :8090, then taskkill /PID <pid> /F. Alternatively, start on another port with --port 8091.
No Evaluation tab See Evaluation troubleshooting.
No traces in the dashboard See Tracing troubleshooting.
Evaluation APIs return 404 The running instance was started without --enable-evaluation; restart with the flag enabled.
トレースページにトレース分析コントロールがない トレース分析のトラブルシューティングを参照してください。

Configuration reference

Use these options when non-default entity types, ports, or environment-based configuration is required.

Command options

dr xp --entity-type [TYPE] --entity-id [ID] --port [PORT] [--enable-evaluation] [--enable-trace-analysis] [--plain-output] 

The server runs in the foreground and logs to the terminal. Stop it with Ctrl+C. For a step-by-step walkthrough, see Access the GUI.

  • --entity-idはオプションです。 指定がない場合、値はpulumi_config.json内のDATAROBOT_USE_CASE_IDに、次いでDATAROBOT_DEFAULT_USE_CASEにフォールバックします。 どのソースもエンティティを設定していない場合、ダッシュボードはアシストタブで開きます。エンティティタブからエンティティを選択してください。 エンティティなしで開始するを参照してください。
  • --entity-type defaults to experiment_container (use case). Also accepts the alias use_case.
  • --enable-assistはアシストタブを制御します(デフォルトでオンになっています)。 --enable-assist=falseで無効にします。 アシストタブを参照してください。
  • --enable-entitiesはエンティティタブを制御します(デフォルトでオンになっています)。 --enable-entities=falseで無効にします。--entity-idが必要になります。
  • --enable-evaluation enables batch evaluation workflows in the GUI when the evaluation component is present in the project. このフラグがない場合、評価タブは使用できません。
  • --enable-trace-analysisを指定すると、Tensileを用いて計装されたエージェントによって記録されたトレースについて、トレースページにトレース分析コントロールが追加されます(プレビュー版)。 エージェントプロジェクトのディレクトリからdr xpを実行します。 トレース分析を参照してください。
  • --plain-output streams logs directly without the persistent TUI panel (used by task infra:dev).
  • 値の優先順位:フラグ > 環境変数 > 設定ファイル(.dr-xp.yaml) > pulumi_config.json > DATAROBOT_DEFAULT_USE_CASE > デフォルト。

フラグの詳細なリストを表示するには、dr xp --helpを実行します。

環境変数

必要に応じて、これらの変数を.envファイルに追加します。

  • DR_EXPERIMENT_ENTITY_TYPE (default: experiment_container)
  • DR_EXPERIMENT_ENTITY_ID
  • DATAROBOT_DEFAULT_USE_CASE(他のソースでエンティティIDが設定されていない場合に、エンティティIDとして使用されます)
  • DR_EXPERIMENT_PORT(デフォルト:8090)
  • DR_EXPERIMENT_ENABLE_ASSIST(デフォルト:true。アシストタブを無効にするには0に設定します)
  • DR_EXPERIMENT_ENABLE_ENTITIES(デフォルト:true。エンティティタブを無効にするには0に設定します)
  • DR_EXPERIMENT_ASSIST_PORT(デフォルト:4099)
  • DR_EXPERIMENT_ASSIST_NO_INSTALL(dr opencodeプラグインの自動インストールをスキップするにはtrueに設定します)
  • DR_EXPERIMENT_ENABLE_EVALUATION (set to true for evaluation workflows)
  • DR_EXPERIMENT_ENABLE_TRACE_ANALYSIS(トレース分析の場合はtrueに設定)
  • DR_EXPERIMENT_TENSILE_NO_INSTALL(トレースを初めて分析する際にdr xpがtensileをインストールしないようにするにはtrueに設定)

サポートされているエンティティタイプ

エンティティタイプ 説明
experiment_container(エイリアス:use_case) ユースケースエクスペリメントコンテナ(デフォルト)。
deployment モデルデプロイ。
custom_application カスタムアプリケーション。
workload ワークロード。

See also