誤差指標ガイダンス¶

多くの問題タイプで機能する一般的な誤差指標が多く存在します。 通常、このような一般的な誤差指標の1つから始めることが推奨されます。 このセクションではさまざまなタイプの問題に適した誤差指標を示します。

数値および時系列モデル¶

平均絶対誤差¶

• 平均絶対誤差は優れた汎用誤差指標ですが、平方残差誤差ではなく絶対残差誤差を最小化することにより、平均平方誤差やR^2適合度誤差に比べて外れ値に対する許容度が高くなります。 この指標は、データの外れ値がノイズに起因する場合は、少数の大きい誤差を回避することよりも全体的なトレンドを把握することが重要な場合に適切な選択です。 平均絶対誤差は、「平均して、予測はその量によって相殺される」と解釈することもできます。

平均絶対パーセント誤差¶

• 平均絶対パーセント誤差は時系列予測の一般的な誤差指標です。 この指標は、予測値が実測値から逸脱する平均絶対パーセントとして解釈できます。 この指標は、相対誤差が絶対誤差値よりも重要な場合に適切な選択です。 データセットに非常に小さい実測値がある場合、これらの行の小さい誤差によって指標計算が左右されるので、平均絶対パーセント誤差は適切な指標でない可能性があります。実測値が0の行は誤差指標の計算で除外されます。

R^2適合度誤差（R^2）¶

• R^2はモデル適合度の標準指標です。 この指標は、「説明される分散のパーセント」と解釈できます。 パーセントとして、スケールはデータのスケールに依存しないので、R^2は複数のモデルおよびデータセット間で比較できます。

平均平方誤差¶

• 平均平方誤差は一般的な誤差指標です。 平均平方誤差への最適化はR^2への最適化と同等ですが、平均平方誤差の値はデータのスケールに依存します。 この2つの指標は平方誤差に依存するので、平均平方誤差とR^2の両方は外れ値に対して敏感になる傾向があり、個々の大きい誤差を回避する必要がある場合に適切な指標です。

分類モデル¶

分類の平均平方誤差¶

• 分類の平均平方誤差は、Eureqaの分類問題のデフォルトの誤差指標です。 この指標は平均平方誤差を最適化しますが、分類問題の内部最適化が行われます。 平均平方誤差に最適化されたロジスティックモデルの出力値は、1の確率として解釈できます。 PositiveケースとNegativeケースの分離ではなく全体的な誤差の最小化が意図されるので、まれに発生するイベントを分類する場合は平均平方誤差は最適な誤差指標ではないことがあります。

ROC曲線下の面積（AUC）誤差¶

• AUCは分類における一般的な誤差指標で、1と0を分離するモデルのパフォーマンスを最適化することによって機能します。 AUCはターゲット特徴量内の0と1の相対的な数には敏感ではないので、偏ったクラスの場合に適した指標です。 AUCに最適化した場合、予測値は1になる可能性が最も高いものから最も低いものに効果的にソートされます。しかし、予測確率として解釈することはできません。

誤差指標とノイズ¶

誤差指標を選択する際は、データ内のノイズの量に注意する必要があります。 それぞれの誤差指標では、観測された出力に含まれるノイズの分布に関する仮定が異なります。 たとえば、ノイズの多い体系の場合、大きい誤差はモデルの適合度ではなく入力データに含まれるノイズに起因するものであるという前提の下、いくつかの大きい誤差に比較的軽い加重を加える誤差指標（平均絶対誤差、IQR誤差、中央誤差など）が選択されることがあります。 逆に、入力データに含まれるノイズが少ない場合、大きい誤差に重いペナルティを科す誤差指標（R^2や最大誤差など）が選択されます。

ノイズの多いシステム¶

平均対数平方誤差¶

• 平均対数平方誤差は、対数関数を使用して誤差値を処理し、大きい誤差の影響を削減します。

四分位平均絶対誤差（IQME）¶

• 誤差値の最小の25%と最大の75%を無視することにより、外れ値の数が多い場合でもIQMEには影響せず、「平均」パフォーマンスに最も関心がある場合に適切に機能します。

中央絶対誤差¶

• 中央値を除くすべての残差値が無視されるので、中央絶対誤差は外れ値に対して最も寛容です。

ノイズの少ないシステム¶

最大絶対誤差¶

• 最大誤差値を除くすべての誤差値が無視されるので、最大絶対誤差は、完全な適合性（またはほぼ完全な適合性）が予期させる場合に適切に機能します（シンボリックな単純化にEureqaモデルを使用する場合など）。

分類の誤差指標¶

上記の一般的な分類誤差指標に加えて、このセクションではその他の分類誤差指標について説明します。

分類の追加の誤差指標¶

LogLoss誤差¶

• LogLoss誤差は分類問題の一般的な指標です。 誤差の対数変換では、間違った予測の高い信頼度に高いペナルティが科せられます。

最大分類精度¶

• 最大分類精度では、正しい0または1の予測を行うモデルの全体的な性能が最適化されます。 偏ったクラス（データの1%だけが「1」である場合など）では最も高い予測精度はすべてのときで0が予測された結果であることがあるので、この指標は適切に機能しないことがあります。

ヒンジロス誤差¶

• ヒンジロス誤差は、0または1の予測に使用される分類モデルの最適化に使用されます。 ヒンジロス誤差は不均衡な指標で、間違った予測の信頼度が高くなるにしたがってペナルティが高くなりますが、真の予測も最小しきい値に達した後は同様に処理されます。 ヒンジロス誤差を最適化する場合、 この指標では予測スコアの値の範囲が大きいことが予期されるので、ターゲット式でlogistic()（building_block__logistic_function）を使用しないでください。

ケース固有の誤差指標の使用¶

順位の予測¶

順位相関は、特定の値を予測する能力ではなく、観測値に順位を付ける能力に基づいてモデルが測定されます。 この指標は、相対的な順位（レースの順位など）を予測するモデルを探す場合に有用です。