機械学習のための欠落データ - ダミー

簡単な機械学習アルゴリズムと複雑な機械学習アルゴリズムの両方を学習するための十分な例がある場合でも、欠落しているデータ不完全な例があると、フィーチャ内およびフィーチャ間のすべての信号が不可能になります。欠損値はまた、アルゴリズムがトレーニング中に学習することを困難にする。欠落しているデータについて何かしなければなりません。

<！ - 1 - >

ほとんどの場合、不足している値を無視したり、置き換えられる可能性のある値を推測して修復したりすることができます。しかし、失われた値が多すぎると、不足している情報が可能な数字を隠す可能性があるため、より不確実な予測が行われます。その結果、フィーチャの欠損値が多くなればなるほど、予測値は変動し、不正確になります。

最初のステップとして、各変数の欠損症例の数を数えます。変数に欠落しているケースが多すぎる場合は、トレーニングとテストのデータセットから削除する必要があります。経験則の中で、インスタンスの90％以上が欠落している場合は、変数を削除することをお勧めします。

<！いくつかの学習アルゴリズムでは、学習段階とテスト段階の両方で欠損値を処理してエラーを報告する方法はわかりませんが、他のモデルではそれらをゼロ値として扱い、予測値や確率を過小評価しますこれは、数式の一部が正しく機能していない場合と同じです）。そのため、データ行列の欠損値を機械学習に適した値に置き換えて、正しく実行する必要があります。

<！ - 3 - >

欠落したデータには多くの理由がありますが、重要な点は、データがランダムに欠落しているか特定の順序で欠落しているかです。ランダムな欠損データは理想的です。なぜなら、単純な平均値、中央値、または他の機械学習アルゴリズムを使用してその値を推測することができるからです。いくつかのケースには、特定の種類の例に強いバイアスが含まれています。

たとえば、人口の収入を調べる場合を考えてみましょう。裕福な人（税務上の理由から、おそらく）彼らはあなたが知らないことを報告することによって彼らの本当の収入を隠す傾向があります。一方、貧しい人々は、否定的な判断を恐れて収入を報告したくないと言うかもしれません。人口の特定の地層からの情報を見逃した場合、欠落しているデータを修復することは困難であり、誤解を招く可能性があります。

代わりに、彼らはかなり異なっています。したがって、単純に平均値を使用して欠損値を置き換えることはできません。複雑なアプローチを使用して慎重に調整する必要があります。さらに、欠損値がデータセット内の他の変数とどのように関連しているかをより詳細に検査する必要があるため、データを無作為に欠損していないケースを特定することは困難です。

データがランダムに欠落している場合、空の値は他の変数からヒントを得るため簡単に修復できます。データがランダムに欠落していない場合、欠落しているケースとのデータの関連を理解していない限り、他の利用可能な情報からヒントを得ることはできません。

したがって、データが失われている所得を把握し、その人が裕福であるため失われている場合は、欠損値を単純平均で置き換えることはできません。代わりに、裕福な人の所得の平均を代わりに使うべきです。

データがランダムに欠落していない場合、欠損しているグループを追跡するのに役立つため、値が欠落していることが有益です。変数の値が欠落していることを報告する新しいバイナリ機能を構築することによって、マシン学習アルゴリズムに欠けている理由を探すのが楽しいものではありません。その結果、機械学習アルゴリズムは、それ自身の代わりに使用する最良の値を把握します。