# モデル選択のためのカスタム指標

> モデル選択のためのカスタム指標 -
> このAIアクセラレーターは、DataRobotのPythonクライアントを活用して予測を抽出し、カスタム指標を計算し、それに応じてDataRobotモデルを並べ替える方法を示しています。

This Markdown file sits beside the HTML page at the same path (with a `.md` suffix). It summarizes the topic and lists links for tools and LLM context.

Companion generated at `2026-07-27T18:44:30.231604+00:00` (UTC).

## Primary page

- [モデル選択のためのカスタム指標](https://docs.datarobot.com/ja/docs/api/dev-learning/accelerators/model-eval-metrics/ai-custom-metrics.html.md): Full documentation for this topic (Markdown sidecar).

## Documentation content

[GitHubでこのAIアクセラレーターにアクセス](https://github.com/datarobot-community/ai-accelerators/blob/main/advanced_ml_and_api_approaches/custom_leaderboard_metrics/custom_metrics.ipynb)

モデルパフォーマンスの評価をする際に、DataRobotは、 [リーダーボード](https://docs.datarobot.com/ja/docs/reference/pred-ai-ref/opt-metric.html.md) 上または [モデルインサイト](https://docs.datarobot.com/ja/docs/reference/pred-ai-ref/leaderboard-ref.html.md) の一部として、 [事前定義済み](https://docs.datarobot.com/ja/docs/classic-ui/modeling/analyze-models/index.html.md) の多くの標準的な指標を利用可能です。

ただし、業界によっては、DataRobotでネイティブにサポートされていない特定の指標でDataRobotリーダーボードを並べ替える必要がある場合があります。 このAIアクセラレーターは、DataRobotのPythonクライアントを活用して予測を抽出し、カスタム指標を計算し、それに応じてDataRobotモデルを並べ替える方法を示しています。 取り上げるトピックは以下の通りです。

- セットアップ：ライブラリのインポートとDataRobotへの接続
- オートパイロットを使用したモデルの構築
- 予測値と実測値を取得する
- Brier Skill Score（BSS）によるモデルをソート
- Rate@Top1%によるモデルをソート
- 投資収益率（ROI）によるモデルのソート

さらに、困難な場合もありますが、機械学習を利用した場合のROIを割り当てることは、ユースケースの採用とモデルの実装に不可欠です。 ペイオフマトリックスの作成では、機械学習の指標ではなく、ドル換算された数値が使われます。