EDAによるデータ品質の評価¶

DataRobotでの探索的データ解析（EDA）の実行方法と、EDA（EDA1およびEDA2）の各段階でデータの品質を評価する方法を紹介します。

データの準備は反復プロセスです。 DataRobotにアップロードする前にトレーニングデータをクリーンアップして準備しても、EDA中に特徴量を評価することで品質を向上させることができます。

このページに表示されるサンプルデータセットには、患者データが含まれています。 その目的は、患者の再入院の可能性を予測することです。 ターゲット特徴量はreadmittedです。

EDAの段階¶

EDAの間、DataRobotはデータ品質評価を実行します。 評価は、実行中のモデル構築段階に関連するデータ品質問題についての情報を提供します。 次のタブのいずれかをクリックして、2つのEDAステージについてご覧ください。

データセットをロードして表示する¶

データセットをロードし、新規プロジェクトを作成し、初期EDAを実行し、データのサンプルに基づいてサマリー統計を生成します。 右側のワーカーキューで進捗を表示します。

データをインポートしたら、データを参照をクリックするか下にスクロールして、データセット内の特徴量を表示します。

特徴量が表示され、サマリー情報と統計が提供されます。

EDA1後のデータ品質の評価¶

EDA1は、モデリング開始前にデータの問題を把握するのに役立ちます。

1. 特徴量セットの上と右側にある、情報を表示をクリックします。

   データ品質評価ドロップダウンメニューが表示されます。

   

   ヒント

   データ品質評価では、以下の問題ステータスフラグが表示されます。

   • 警告: 注意またはアクションが必要です。
   • 情報：必要なアクションはありません。
   • 問題なし。

2. (Optional) Click Filter affected features by type of issue detected and select particular issues to search for.

   

3. 下にスクロールして、問題のある特徴量を見つけます。

   特徴量に問題がある場合、問題ステータスフラグがデータ品質列に表示されます。 フラグにカーソルを合わせると、問題のタイプが表示されます。

   

4. 問題ステータスフラグが表示されている特徴量をクリックしてから、ヒストグラム、頻出値、特徴量の関連性などのツールを使用して、さらに探索します。

EDA2後のデータ品質の評価¶

ターゲットを設定し、モデリングプロセスを開始すると、EDA2が開始されます。

1. 何を予測しますか？で、ターゲット特徴量を入力します。

   モデリングモード

   モードをデフォルトのクイックオートパイロットに設定したままにすることも、別の モデリングモードを選択することもできます。 モデリング設定をカスタマイズすることもできます。

2. 開始をクリックします。

   DataRobotは、多くの処理ステップを実行します。 ワーカーキューのステップを監視します。

   

   DataRobotで特徴量の分析が終了すると、特徴量の有用性を確認できます。 DataRobotは、ブループリントの生成を継続します。

特徴量の有用性の調査¶

有用性バーは、特徴量がターゲットと相関している度合いを示します。 有用性は、変数の情報内容を測定するアルゴリズムを使用して計算されます。 この計算は、データセット内の各特徴量に対して個別に行われます。

特徴量の有用性を調査して、精度の高いモデルを構築するのに最も有用な特徴量はどれか、トレーニングデータから削除できる特徴量はどれか判断します。

1. データタブで、特徴量セットまで下にスクロールします。

2. 有用性列を見てください。

   緑色のバーは、特徴量がターゲットとどの程度密接に関連しているかを示しています。

   

   ターゲットに無関係な特徴量を削除したい場合があります。

関連資料¶

このページで説明されているトピックの詳細については、以下を参照してください。

• DataRobotが探索的データ解析（EDA）の各ステージを実行する方法。
• データ品質評価において、一般的なデータ品質の問題を検出し、表面化させる方法。
• DataRobotが潜在的なデータ品質の問題について実行するチェックについて説明します。