データ品質チェック¶

このセクションでは、潜在的なデータ品質の問題についてDataRobotが実行するチェックについて詳しく説明します。 データ品質チェックロジックに、この情報のサマリーがあります。

データ品質チェックロジックのサマリー¶

次の表は、各データ品質チェックの背後にあるロジックのサマリーを示します。

外れ値¶

サンプル平均の一番端にある観測ポイントである外れ値は、データの変動性の結果であることがあります。 DataRobotは、外れ値を処理するブループリントを自動的に作成します。 各ブループリントでは、使用されているモデリングアルゴリズムに応じて、外れ値の処理に適切な方法が適用されます。 線形モデルの場合、DataRobotはブループリントの中にバイナリ列を追加し、外れ値のある行にフラグを立てます。 ツリーモデルは外れ値を自動的に処理します。

多カテゴリー形式エラー¶

多ラベルモデリングは、各行に任意の数のラベルを含めることができる分類タスクです。 多ラベルモデリングに使用できるトレーニングデータセットを作成するには、多カテゴリー特徴量の要件に従う必要があります。

インライア¶

インライアとは、ある特徴量の一般的な値の範囲を超えておらず、下回ってもいないが、付近の値と比べて異常に頻度が高い値を指します（たとえば、本当の郵便番号を公開したくない人が郵便番号の値として入力した55555）。 これを処理しないと、モデルのパフォーマンスに悪影響が生じる可能性があります。

過剰なゼロ¶

列で繰り返されるゼロは通常の値である可能性がありますが、欠損値を表すこともあります。 たとえば、項目の需要がないため、または在庫がないために、特定のアイテムの売り上げがゼロになることがあります。 0を使用して欠損値を補完することは最適ではないことが多く、モデルの精度が低下する可能性があります。

偽装欠損値¶

「偽装欠損値」は、値（-999など）を挿入して、本来なら欠損値となるものをエンコードする状況を表す用語です。 機械学習アルゴリズムでは偽装欠損値が自動的に処理されないので、これらの値を処理しないと、モデルのパフォーマンスに悪影響が生じる可能性があります。

ターゲットリーケージ¶

予測モデリングの目的は、トレーニングの際に未知の新しいデータを正確に予測するモデルを開発することです。 手元にないデータ上でモデルを評価することはできないので、DataRobotでは、評価に使用する履歴データセットの部分を除外することによって未知のデータ上のモデルパフォーマンスが評価されます。

しかし、データセットがイベントが発生するまで知られていない情報を使用してターゲットリーケージを引き起こす場合、問題が発生する可能性があります。 ターゲットリーケージとは、予測時に値を知ることができない特徴量を指します（たとえば、トレーニングデータセットの「解約理由」の値を使用して顧客が解約するかどうかを予測するなど）。 モデルの特徴量セットの特徴量を含めると、予測に不適切な影響が生じ、過度に楽観的なモデルが生成されることがあります。

リーケージが検出されて有用な特徴量からリーケージを除外が作成された後、高度なオプション（「ターゲットリーケージを削除した特徴量セットでオートパイロットを実行する」設定）に従った処理が行われます。 有効な場合（デフォルト）：

• クイック、フル、または包括的なオートパイロット：ユーザー作成のセットを指定した場合を除き、新しく作成された特徴量セットが実行されます。 その他のデフォルトセットの1つで実行するには、初回の構築の後、選択したリストでモデルを再構築します。
• 手動モード：セットが使用可能になり、ユーザーの判断でリポジトリからセットを適用できます。
• 初回ビルドの後にモデルを追加すると、ターゲットリーケージのリストが使用可能になります。

無効化されている場合、DataRobotは上記を（潜在的なターゲットリーケージが残っている）有用な特徴量または指定したユーザー作成リストに適用します。

補完リーケージ¶

時系列データ準備ツールは、元のデータセットで欠損している日付のターゲットと特徴量値を補完できます。 データ品質チェックが、補完された特徴量が補完されたターゲットをリークしないように確認します。 これは、事前に既知（KA）の特徴量に対してのみ潜在的な問題となります。特徴量値はDataRobotが予測しているターゲット値との平行性があるからです。

事前に派生したラグ特徴量¶

時系列プロジェクトが開始されると、ラグやローリング統計などの日付/時刻関連の複数の機能が自動的に作成されます。 しかし、時間ベースの特徴量の自動作成が望ましくない場合もあります（独自の時間志向の特徴量を抽出しており、その特徴量は追加の派生処理が不要な場合など）。 この場合、これらの特徴量に派生から除外または事前に既知としてフラグを設定する必要があります。 「ラグ特徴量」チェックは、フラグを設定すべき特徴量にフラグが必要なかったかどうか（列の重複につながります）を検出するのに役立ちます。

不規則なタイムステップ¶

「一貫性のないギャップ」チェックは、時系列モデルに不規則な時間ステップが含まれる場合にフラグが設定されます。 これらのギャップは不正確なローリング統計の原因になります。 次にいくつかの例を示します。

• 時系列プロジェクトの取引データは集計されず、元の取引データが使用されます。

• 取引データは日次売上データセットに集約され、売上ゼロの日付はデータセットに追加されません。

先行または後続ゼロ¶

過剰なゼロと同様に、このチェックは、欠損値を埋めるために使用されるゼロを検出するために機能します。 このチェックでは、シリーズの最初または最後の欠損値を埋めるために0を使用して、他よりも後に開始または終了した特別なケースで機能します。

まれな負の値¶

ターゲットに過剰なゼロがあるデータは、ゼロ過剰ケースの特別な2ステージのモデルでモデル化できます。 このモデルは、ターゲットの最小値が0の場合にのみ使用できます（1つでも負の値がある場合は使用できません）。 たとえば、これは、売上データで売上とともに返品が記録された場合に発生する可能性があります。 ゼロ過剰モデリングおよびその他の追加のブループリントを有効にすることが目的である場合、このデータ品質チェックは、2段階モデルが適切な場合に負の値を特定し、ターゲットを修正するよう求める警告を提供します。

検定の新しい系列¶

プロジェクト設定（トレーニングと検定のパーティションサイズ）によっては、新しい系列がデータセットの最後に導入され、トレーニングデータの一部にならないように複数系列プロジェクトが構成されている場合があります。 たとえば、これは新しい店舗を開くときに発生する可能性があります。 このチェックでは、新しい系列がトレーニングデータ内にないことを示す情報メッセージを返します。

欠損画像¶

画像データセットを使用してVisual Artificial Intelligence（AI）プロジェクトを構築する場合、CSVには、提供されたZIPアーカイブに含まれる画像のパスが含まれます。 これらのパスは、欠損している場合、存在しない画像を参照している場合、または無効な画像を参照している場合があります。 行に可変数の画像が含まれている場合や、その行と列の画像がない場合があるので、欠損パスは必ずしも問題ではありません。 ログをプレビューをクリックすると、より詳細なビューが表示されます。

この例では、行1は、アップロードされたファイル（1）に存在しない参照されたファイル名をレポートします。 行2は、行に画像パスがないことをレポートします（2）。 ログには、問題の性質と問題が発生した行の両方が含まれます。 ログには最大100行のプレビューが表示されます。ダウンロードを選択すると、ログファイルがエクスポートされ、追加の行を表示できます。

すべての欠損画像（自動修正されても解決できないパス）および無効な画像がログに記録され、表示可能になります。