データ準備のベストプラクティス - ダミー

統計ソフトウェアパッケージは最近非常に強力ですが、品質の低いデータを克服することはできません。以下は、統計モデルを構築する前に行う必要のあるチェックリストです。

データ形式のチェック

分析は常に生データファイルから始まります。生データファイルは、さまざまな形とサイズで提供されます。メインフレームデータはPCデータとは異なり、スプレッドシートデータはウェブデータとは異なる形式になります。大きなデータの時代には、さまざまなソースからのデータに確実に直面します。あなたのデータを分析するための最初のステップは、あなたが与えられたファイルを読むことができるようにすることです。

<！ - 1 - >

実際に各フィールドの内容を調べる必要があります。たとえば、フィールドが文字フィールドとしてリストされているため、実際に文字データが含まれているという理由だけで信頼するのは賢明ではありません。

データ型の確認

すべてのデータは、適切に適用できる統計の種類に影響を与える4つのカテゴリのいずれかに分類されます。

名目上のデータは基本的に単なる名前または識別子です。
<！ - 2 - >
序数データは、レコードを最低から最高の順に並べます。
間隔データは、それらの差異が匹敵する値を表す。
比率データは間隔データに似ていますが、0の値も可能です。

統計ソフトウェアにデータを入力する前にデータがどのカテゴリに分類されているかを理解することが重要です。そうしないと、完璧に合理的な見知らぬ人で終わる危険性があります。

<！ - 3 - >

データをグラフ化する

データの分散方法を理解することが重要です。あなたは顔が青くなるまで統計的な手順を実行することができますが、それらのどれもがあなたのデータが単純なグラフのように見えるかどうかについての多くの洞察を与えるものではありません。

データの正確性を確認する

データが必要な形式に整形されていれば、それが正確であり、意味があることを確認する必要があります。このステップでは、作業しているサブジェクトエリアに関する知識が必要です。

実際にデータの正確性を確認するための切り抜けのアプローチはありません。基本的な考え方は、データが示すべきいくつかのプロパティを定式化し、それらのプロパティが保持するかどうかを調べるためにデータをテストすることです。株価は常にプラスですか？すべてのプロダクトコードが有効なリストと一致していますか？本質的に、データが実際にあなたが言っているものかどうかを調べようとしています。

異常値の特定

異常値は、他のデータと比較して激しいデータポイントです。これらは、データセットの他の部分と比較して非常に大きい値または非常に小さな値です。異常値は、統計および統計的手続きを著しく損なう可能性があるため、問題が多い。単一の外れ値は平均値に大きな影響を与えることができます。平均はデータの中心を表すはずであるため、ある意味では、この外れ値は意味を無用にします。

外れ値に直面するとき、最も一般的な戦略はそれらを削除することです。しかし場合によっては、それらを考慮に入れたいかもしれません。このような場合には、外れ値が含まれている場合と外れ値が除外された場合の2回、分析を2回行うのが通常は望ましいことです。これにより、どのメソッドがより有用な結果をもたらすかを評価することができます。

欠損値の処理

欠損値は、遭遇する最も一般的な（厄介な）データ問題の1つです。あなたの最初の衝動は、あなたの分析から欠けている値を持つレコードを削除することかもしれません。この問題は、欠損値が頻繁にわずかなデータの不具合ではないということです。

データの配布方法についての前提を確認する

多くの統計的手順は、データが一定の方法で配布されていることを前提としています。その仮定が当てはまらない場合、予測の正確さが損なわれます。

本書で説明するモデリング手法の最も一般的な前提は、データが正規分布していることです。

そうではありません。必要に応じてデータが配信されない場合、すべてが必ず失われるわけではありません。データを変換して必要な図形に変換するには、さまざまな方法があります。

統計モデルの精度を検証する最良の方法の1つは、構築したデータに対して実際にテストすることです。これを行う1つの方法は、データセットをランダムに2つのファイルに分割することです。これらのファイルは、それぞれAnalysisとTestと呼ぶことができます。

データをランダムに分割して有効にする必要があります。たとえば、データセットを上半分と下半分に分割するだけでは、できません。ほぼすべてのデータファイルは何らかの形でソートされます。これは、ファイルの異なる部分に異なる統計的特性を与える系統的パターンを導入する。ランダムにファイルを分割すると、各レコードにどちらのファイルにも等しい確率が与えられます。比喩的に、各レコードのコインを裏返して、どのファイルに入るかを決めています。ランダム性は、両方のファイルに元のデータと同じ統計的特性を与えます。

データセットを分割したら、テストファイルを保存します。次に、Analysisファイルを使用して予測モデルを構築します。モデルが構築されたら、それをTestファイルに適用し、それがどのように動作するかを確認します。

このようなテストモデルは、

over-fitting と呼ばれる現象を防ぐのに役立ちます。本質的には、変数間の有意義な関係を発見するのではなく、データファイルを覚える統計的手順が可能です。オーバーフィットが発生した場合、モデルはテストファイルに対して非常によくテストされません。あなたがしていることすべてをバックアップして文書化します。

統計ソフトウェアは使い方が簡単になってきているので、データファイルだけでなく、レポートやグラフの作成を開始するのは難しいことです。プロシージャは、ボタンを押すだけで文字通り実行できます。あなたは数分で異なるデータ変換に基づいて数十のグラフを生成することができます。それはあなたがしたこと、そしてなぜそれを追跡するのをかなり簡単にします。

あなたが行っていることを書面で記録しておくことが重要です。グラフには、作成に使用したデータの名前（およびバージョン）のラベルを付ける必要があります。構築する統計的手続きは、保存して文書化する必要があります。

データファイルをバックアップすることも重要です。分析の過程で、変数のさまざまな修正と変換を反映したデータのいくつかのバージョンを作成する可能性が高くなります。これらのバージョンを作成した手順は保存する必要があります。また、どのような変容が起こったのか、その理由を記述する方法で文書化する必要があります。

ドキュメンテーションは誰のお気に入りの仕事でもありませんが、私たちは、あなたの分析プロジェクトに関してあなたの記憶に頼らないことを強く勧めたときに、経験から発言します。

上記の手順を実行することで、統計モデルの信頼性を最大化できます。多くの場合、準備作業は実際のモデル構築よりも実際には時間がかかります。しかしそれは必要です。あなたはそれを体系的に処理することに最後に感謝します。