多ラベル:ラベルごとの指標¶
本機能の提供について
多ラベルモデリングが利用できるかどうかは、お使いのDataRobotパッケージによって異なります。 組織内で有効になっていない場合は、DataRobotの担当者に詳細をお問い合わせください。
タブ | 説明 |
---|---|
パフォーマンス | 予測しきい値の1つ、複数、またはゼロのさまざまなラベル値でのパフォーマンスを集計します。 |
多ラベル > ラベルごとの指標は、多ラベルモデル用に特別に設計された可視化です。 予測しきい値(ページから設定可能)のさまざまな値について、ラベル全体のパフォーマンスを集計するという点でモデルの評価に役立ちます。 エクスペリメントの設定時に多ラベルモデリングを設定します。
このインサイトに加えて、多ラベル固有のモデリングインサイトを以下のリーダーボードタブから入手できます。
選択したラベルのインサイトを生成するには、ラベルドロップダウンを使用します。
概要¶
ラベルごとの指標チャートには、二値のパフォーマンス指標が示され、各ラベルは二値特徴量として扱われます。 以下に具体例を示します。
-
選択可能な指標について、予測しきい値に基づいて、平均およびラベルごとのモデルパフォーマンスを表示します。
-
パフォーマンスの良いラベルとパフォーマンスの悪いラベルの数を評価するのに役立ちます。
以下の表では、多ラベル:ラベルごとの指標チャートの各領域について説明します。 ROC曲線の指標とグラフの解釈の詳細な説明も参照してください。
コンポーネント | 説明 | |
---|---|---|
1 | 指標値テーブル | 各ターゲットラベルのモデルパフォーマンスを表示します。 表示または予測しきい値を変更すると、テーブルが更新されます。 |
2 | しきい値セレクター | 表示または予測しきい値の値を表示するかどうかを設定します。 どちらかの値を変更すると、指標値のテーブルとチャートが更新されます。 |
3 | 指標値チャートおよび指標セレクター | 設定された表示しきい値に基づいてグラフ化された結果を表示します。 ドロップダウンを使用して、チャートに表示するパフォーマンス指標を選択します。 |
4 | 平均パフォーマンスレポート | 各指標における、すべてのラベルを対象としたマクロ平均モデルパフォーマンス。 指標は以下の詳細で定義されています。 |
5 | ラベルとデータセレクター | ラベルごとの値を報告するデータパーティション(検定、交差検定、またはホールドアウト(ロック解除されている場合))を設定します。 すべてのラベル、または 固定された(選択した)ラベルのみを表示します。 |
詳細:指標の説明
以下の表では、ROC曲線のドキュメントで説明されている分類ユースケースを例に挙げながら、各統計を簡単に説明しています。
統計 | 説明 | サンプル(ユースケースから) | 計算方法 |
---|---|---|---|
F1スコア | モデルの精度を測るスケールで、陽性的中率とリコールに基づき計算されます。 | N/A | ![]() |
True Positive Rate (TPR) | 真陽性率またはリコール。 実測されたすべての陽性の中で、True Positives(陽性だと正しく予測された場合)が占める比率。 | モデルが糖尿病患者を正しく糖尿病と認識した率は? | ![]() |
False Positive Rate(FPR) | 偽陽性率。 実測されたすべての陰性の中で、False Positives が占める比率。 | モデルが健康な患者を誤って糖尿病と認識した率は? | ![]() |
True Negative Rate (TNR) | 真陰性率。 実測されたすべての陰性の中で、True Negatives(陰性だと正しく予測された場合)が占める比率。 | モデルが健康な患者を正しく健康だと予測した率は? | ![]() |
Positive Predictive Value (PPV) | 陽性的中率。 すべての陽性(Positive)の予測に関してモデルが正しかったパーセンテージ。 | モデルのうち糖尿病だと予測された患者の中で実際に糖尿病だった率は? | ![]() |
Negative Predictive Value (NPV) | すべての陰性(Negative)の予測に関してモデルが正しかった割合。 | モデルのうち健康だと予測された患者の中で実際に健康だった率は? | ![]() |
正解率 | 正しく分類されたインスタンスの割合。 | モデルが正しい予測をする総合的な的中率は? | ![]() |
マシューズ相関係数 | サイズが大きく異なる(バランスが悪い)分類クラスのモデル品質の測定。 | N/A | 式 |
平均収益 | モデルのビジネスインパクトを推定します。 現在の表示しきい値でのペイオフ行列に基づく平均収益を表示します。 ペイオフ行列が選択されていない場合は、N/Aを表示します。 | 患者の再入院には、どんなビジネス影響がありますか? | 式 |
合計収益 | モデルのビジネスインパクトを推定します。 現在の表示しきい値でのペイオフ行列に基づく総利益を表示します。 ペイオフ行列が選択されていない場合は、N/Aを表示します。 | 患者の再入院には、どんなビジネス影響がありますか? | 式 |
指標値テーブル¶
指標値テーブルは、各ターゲットラベル(二値特徴量とみなす)に対するモデルのパフォーマンスを報告します。 テーブル内の指標は、表示しきい値に対応します。しきい値を変更すると、異なるしきい値のラベル指標が表示されます。
エクスペリメントで各ラベルの指標値を確認するには、指標値テーブルをすべてのラベルに設定します。 テーブルの下部にあるコントロールを使って、表示をスクロールし、すべてのラベルを確認します。 さらに、テーブルビューを以下のように変更します。
アクション | |
---|---|
1 | 検索フィールドを使用して、検索条件に一致するラベルのみを表示するようにテーブルを変更します。 |
2 | 列ヘッダーをクリックして、テーブル内のラベルの並べ替え順序を変更します。 |
3 | 表示オプションをクリックして、指標値チャートに特定のラベルの結果を含めます(または削除します)。 このオプションは、すべてのラベルを表示している場合でも、固定ラベルだけを表示している場合でも使用できます。 |
4 | 固定をクリックして、左側のチャート表示に選択したラベルを含めます(または削除します)。 |
ID列(#)は静的であり、並び替えとともに使用して、対象の指標が特定の値より上または下にあるラベルを評価できます。
しきい値セレクター¶
しきい値セクションは、表示しきい値と予測しきい値の両方を入力するためのポイントを提供します。
使用 | 終了 |
---|---|
表示しきい値 | しきい値レベルを設定します 値を変更すると、表示と右側の指標値テーブルの両方が更新され、モデルの平均的なパフォーマンスが示されます。 |
予測しきい値 | 予測を行う際に適用される、モデルの予測しきい値を設定します。 |
矢印 | 現在の表示しきい値と予測しきい値を入れ替えます。 |
ユースケースのオーナーだけが予測しきい値を更新できることに注意してください。
指標値チャート¶
チャートは、グラフ化された結果と指標セレクターで構成されています。
図中のX軸は、予測しきい値のさまざまな値を表します。 Y軸は、選択した指標の値をプロットします。 全体として、この図は、選択された指標に基づく平均的なモデルのパフォーマンス曲線を示しています。 表示しきい値で設定されたしきい値は、線上の丸い塗りつぶされていない点で示されます。 しきい値や指標を変更すると、グラフが更新されます。
ラベル指標の表示¶
デフォルトでは、指標値チャートには、選択した指標のすべてのラベルの平均値が白い線で表示されます。 1つ以上のラベルをハイライトして、その指標値を平均値と比較することができます。 ラベル名の色は、チャートのラインエントリに合わせて変更されます。
表示オプション¶
ラベルの横にある 表示を選択すると、そのラベルの個々の結果がチャートに追加されます。
たとえば、ラベルが100個あるプロジェクトを考えてみましょう。 0.7を超える精度で測定する場合、精度でソートし、最後の精度値が0.7を超える行インデックスを確認します。その精度以上のラベルの割合は、総行数に対する行インデックスから求めることができます。
ラベルを固定すると、表示が自動的に有効になります。 ラベルを削除するには、 目をもう一度クリックします。
ラベルの固定¶
チャートに表示する特定のラベルを選択するには、 固定オプションを使用します。 ラベルを固定すると、そのラベルの表示オプションが自動的に有効になり、その指標値がチャートに追加されます。 ラベルを固定した後、固定されたラベルタブを使って、選択したラベルのみを表示できます。
すべてのラベルに戻すと、チャート上のラベルのエントリーが保持されます。