あなたのデータの価値 - ダミー

対処する最も頻繁で最もメージャーなデータ問題の1つは、データが欠落していることです。レコードが破棄されたか、ストレージデバイスがいっぱいになったため、ファイルが不完全になる可能性があります。特定のデータフィールドには、一部のレコードのデータが含まれていない場合もあります。これらの問題の第1は、ファイルのレコード数を確認するだけで診断できます。第2の問題は、対処がより困難です。

簡単な言葉で言えば、欠損値を含むフィールドを見つけたら、2つの選択肢があります：

<！ - 1 - >

• 無視してください。

• フィールドに何かを貼ってください。

問題を無視する

場合によっては、欠損値の多い単一のフィールドを見つけることができます。もしそうなら、最も簡単なことはフィールドを無視することです。分析には含めないでください。

問題を無視する別の方法は、レコードを無視することです。不足しているデータを含むレコードを削除するだけです。不正なレコードがわずかしかない場合、これは意味をなさないかもしれません。しかし、欠落値の数が多い複数のデータフィールドがある場合、この方法はレコード数を許容できないレベルに縮小する可能性があります。

<！単純にレコードを削除する前に注意すべき点は、パターンの兆候です。たとえば、全国のクレジットカード残高に関連するデータセットを分析しているとします。 $ 0を示すレコードがたくさんあるかもしれません。 00の残高（レコードの半分程度）これはデータそのものを示すものではありません。しかし、例えばCaliforniaからのすべてのレコードに$ 0が表示されているとします。 00の残高は、潜在的な欠損値の問題を示しています。そして、それは国の最大の州からすべての記録を削除することによって有効に解決されるものではありません。この場合、おそらくシステムの問題であり、新しいファイルを作成する必要があることを示します。

<！一般的に、レコードを削除するのは簡単ではありますが、理想的ではありません。価値のない問題を解決する方法です。問題が比較的小さく、省略されたパターンが見つからない場合は、問題のレコードを投棄して移動しても構いません。しかし、しばしばもっと高収入のアプローチが必要です。

不足しているデータを記入する

不足しているデータを記入すると、そのフィールドに何があったのかを知ることができます。これを行うには良い方法と悪い方法があります。 1つの単純な（しかし悪い）アプローチは、欠損値を欠損値の平均で置き換えることです。非数値フィールドでは、欠落しているレコードに他のレコード（モード）の最も一般的な値を設定したくなるかもしれません。残念ながら、これらのアプローチは、一部のビジネスアプリケーションでは依然として頻繁に使用されています。しかし、彼らは統計学者によって悪い考えとして広く認識されています。 1つは、統計分析を行う全体的なポイントは、ある結果を別の結果と区別するデータを見つけることです。不足しているレコードをすべて同じ値に置き換えることで、何も区別できませんでした。

ハイローブアプローチは、値が欠落している各レコードにどのような値を書き込むべきかを意味のある方法で予測する方法を見つけることを試みることです。これは、完全なレコードを見て、失われた価値が何であるかの手がかりを見つけようとすることを含む。

人口統計ファイルを分析して、あなたの製品の購入者を予測すると仮定します。そのファイルには、婚姻状況、子供の数、自動車の数などの情報があります。何らかの理由で、レコードの3分の1にオートフィールドの数がありません。

他の2つの分野 - 婚姻状況と子供の数 - を分析することによって、いくつかのパターンを発見することができます。独身の人は車を1台持っている傾向があります。子供がいない既婚者は2台の車を持っている傾向があります。 1人以上の子供を持つ既婚者は、3台の車を持つ傾向があります。このようにして、レコードを実際に区別する方法で欠損値を推測できます。来るこのアプローチの詳細。

疑わしいデータを参照する統計とデータ処理には一般的な用語があります。

ノイズの多い

という用語は、信頼性が低く、破損していたり​​、元の状態よりも低いデータを記述するために使用されています。欠落しているデータは、これの一例です。ノイズの多いデータを一般的にクリーンアップする技術の詳細な説明は、この本の範囲を超えています。実際、これは統計理論の研究の活発な分野です。すべてのノイズが欠損値と同じくらい容易に現れないという事実は、扱いが面倒です。