多ラベル：ラベルごとの指標¶
本機能の提供について
多ラベルモデリングが利用できるかどうかは、お使いのDataRobotパッケージによって異なります。 組織内で有効になっていない場合は、DataRobotの担当者に詳細をお問い合わせください。
| タブ | 説明 |
|---|---|
| パフォーマンス | 予測しきい値の1つ、複数、またはゼロのさまざまなラベル値でのパフォーマンスを集計します。 |
多ラベル > ラベルごとの指標は、多ラベルモデル用に特別に設計された可視化です。 予測しきい値（ページから設定可能）のさまざまな値について、ラベル全体のパフォーマンスを集計するという点でモデルの評価に役立ちます。 Configure multilabel modeling during experiment setup.
このインサイトに加えて、多ラベル固有のモデリングインサイトを以下のリーダーボードタブから入手できます。
選択したラベルのインサイトを生成するには、ラベルドロップダウンを使用します。
概要¶
ラベルごとの指標チャートには、二値のパフォーマンス指標が示され、各ラベルは二値特徴量として扱われます。 以下に具体例を示します。
-
選択可能な指標について、予測しきい値に基づいて、平均およびラベルごとのモデルパフォーマンスを表示します。
-
パフォーマンスの良いラベルとパフォーマンスの悪いラベルの数を評価するのに役立ちます。
以下の表では、多ラベル：ラベルごとの指標チャートの各領域について説明します。 See also detailed descriptions of the ROC Curve metrics and graph interpretation.
| コンポーネント | 説明 | |
|---|---|---|
| 1 | 指標値テーブル | |
| 2 | しきい値セレクター | |
| 3 | Metric value chart and metric selector | |
| 4 | 平均パフォーマンスレポート | |
| 5 | ラベルとデータセレクター |
詳細：指標の説明
以下の表では、ROC曲線のドキュメントで説明されている分類ユースケースを例に挙げながら、各統計を簡単に説明しています。
| 統計 | 説明 | Sample (from use cases) | 計算方法 |
|---|---|---|---|
| F1スコア | モデルの精度を測るスケールで、陽性的中率とリコールに基づき計算されます。 | N/A |  |
| True Positive Rate (TPR) | モデルが糖尿病患者を正しく糖尿病と認識した率は？ |  |
|
| False Positive Rate（FPR） | モデルが健康な患者を誤って糖尿病と認識した率は？ |  |
|
| True Negative Rate (TNR) | モデルが健康な患者を正しく健康だと予測した率は？ |  |
|
| Positive Predictive Value (PPV) | モデルのうち糖尿病だと予測された患者の中で実際に糖尿病だった率は？ |  |
|
| Negative Predictive Value (NPV) | すべての陰性（Negative）の予測に関してモデルが正しかった割合。 | モデルのうち健康だと予測された患者の中で実際に健康だった率は？ |  |
| 正解率 | 正しく分類されたインスタンスの割合。 | モデルが正しい予測をする総合的な的中率は？ |  |
| マシューズ相関係数 | サイズが大きく異なる（バランスが悪い）分類クラスのモデル品質の測定。 | N/A | formula |
| 平均収益 | 患者の再入院には、どんなビジネス影響がありますか？ | 式 | |
| 合計収益 | 患者の再入院には、どんなビジネス影響がありますか？ | 式 |
指標値テーブル¶
指標値テーブルは、各ターゲットラベル（二値特徴量とみなす）に対するモデルのパフォーマンスを報告します。 The metrics in the table correspond to the Display threshold; change the threshold value to view label metrics at different threshold values.
エクスペリメントで各ラベルの指標値を確認するには、指標値テーブルをすべてのラベルに設定します。 テーブルの下部にあるコントロールを使って、表示をスクロールし、すべてのラベルを確認します。 さらに、テーブルビューを以下のように変更します。
| アクション | |
|---|---|
| 1 | 検索フィールドを使用して、検索条件に一致するラベルのみを表示するようにテーブルを変更します。 |
| 2 | 列ヘッダーをクリックして、テーブル内のラベルの並べ替え順序を変更します。 |
| 3 | |
| 4 | Click the pin to include (or remove) the selected label from the chart display to the left. |
ID列（＃）は静的であり、並び替えとともに使用して、対象の指標が特定の値より上または下にあるラベルを評価できます。
しきい値セレクター¶
しきい値セクションは、表示しきい値と予測しきい値の両方を入力するためのポイントを提供します。
| 使用 | 終了 |
|---|---|
| 表示しきい値 | |
| 予測しきい値 | 予測を行う際に適用される、モデルの予測しきい値を設定します。 |
| 矢印 | 現在の表示しきい値と予測しきい値を入れ替えます。 |
ユースケースのオーナーだけが予測しきい値を更新できることに注意してください。
指標値チャート¶
チャートは、グラフ化された結果と指標セレクターで構成されています。
図中のX軸は、予測しきい値のさまざまな値を表します。 Y軸は、選択した指標の値をプロットします。 全体として、この図は、選択された指標に基づく平均的なモデルのパフォーマンス曲線を示しています。 表示しきい値で設定されたしきい値は、線上の丸い塗りつぶされていない点で示されます。 しきい値や指標を変更すると、グラフが更新されます。
ラベル指標の表示¶
デフォルトでは、指標値チャートには、選択した指標のすべてのラベルの平均値が白い線で表示されます。 1つ以上のラベルをハイライトして、その指標値を平均値と比較することができます。 ラベル名の色は、チャートのラインエントリに合わせて変更されます。
表示オプション¶
ラベルの横にある 表示を選択すると、そのラベルの個々の結果がチャートに追加されます。
たとえば、ラベルが100個あるプロジェクトを考えてみましょう。 0.7を超える精度で測定する場合、精度でソートし、最後の精度値が0.7を超える行インデックスを確認します。その精度以上のラベルの割合は、総行数に対する行インデックスから求めることができます。
ラベルを固定すると、表示が自動的に有効になります。 ラベルを削除するには、 目をもう一度クリックします。
ラベルの固定¶
チャートに表示する特定のラベルを選択するには、 固定オプションを使用します。 ラベルを固定すると、そのラベルの表示オプションが自動的に有効になり、その指標値がチャートに追加されます。 ラベルを固定した後、固定されたラベルタブを使って、選択したラベルのみを表示できます。
すべてのラベルに戻すと、チャート上のラベルのエントリーが保持されます。