ハイパーパラメーターのチューニングによるカスタムモデル指標の最適化¶
このアクセラレーターでは、カスタム損失関数と高度なハイパーパラメーターチューニングを使用して、DataRobotモデルを改善する方法を紹介します。
実際のビジネス上の問題の多くにおいて、RMSEや精度といった標準的な指標では、真のビジネスコストを完全に表すことはできません。 たとえば、顧客生涯価値（CLV）予測において、損失を生む顧客を過大に予測したり、高価値顧客を過小に予測したりすることは、収益や顧客維持戦略に直接的な影響を及ぼす可能性があります。 同様に、分類モデルでは、特定のしきい値でのリコールを最大化したり、偽陰性を最小化したりするなどのカスタム目標が必要になることがよくあります。
カスタム指標を作成し、その指標を使用してモデルをチューニングすることで、モデルを単なる統計上のパフォーマンスではなく、ビジネス価値に合わせて最適化できます。 このアプローチが不可欠なのは、以下のような場合です。
- 事業コストが非対称である（過大予測と過小予測では影響が異なる）
- 偽陰性と偽陽性ではリスクレベルが異なる
- 収益重視の指標が標準的な機械学習スコアよりも重要である
- ドメインルールを最適化に組み込む必要がある