予測分析のための派生データの生成とその次元性の削減方法 -

この予測分析の段階では、データの詳細な知識を得ることができます。分析する関連変数の選択に役立ちます。この理解は、モデルの結果を評価するのにも役立ちます。しかし、まず、分析のためにデータを特定してクリーニングする必要があります。

派生データの生成方法

派生属性 は、1つ以上の既存の属性から構築されたまったく新しいレコードです。例としては、ブックフェアでベストセラーである書籍を特定するレコードを作成することです。生データはそのようなレコードを捕捉することはできませんが、モデリングの目的で、それらの派生レコードが重要になります。財務アプリケーションで頻繁に使用される派生データの2つの例として、収益対効果と200日移動平均があります。

<！ - 1 - >

派生属性は、生年月日から年齢を導出するなどの簡単な計算から取得できます。派生属性は、複数のレコードの情報を要約することによっても計算できます。

たとえば、顧客のテーブルと購入した書籍をテーブルに変換することで、リコメンダシステム、ターゲットマーケティング、ブックフェアで販売された書籍の数を追跡することができます。それらの本を買った。

<！このような追加の属性を生成することで、分析に追加の予測力がもたらされます。実際、潜在的な予測力を調査するために、多くのそのような属性が作成されています。一部の予測モデルでは、元の状態の属性よりも派生した属性を多く使用することがあります。派生した属性の中には特に予測性があり、その能力が適切であることが証明されている場合、それらを生成するプロセスを自動化することが理にかなっています。

<！ - 3 - >

派生レコードは、新しい情報をもたらし、生データを表示する新しい方法を提供する新しいレコードです。彼らは予測モデリングに非常に大きな価値があります。

データの次元を減らす方法

予測モデルで使用されるデータは、通常、複数のソースからプールされます。分析は、複数のデータ形式、ファイル、およびデータベースに分散しているデータ、または同じデータベース内の複数のテーブルから抽出できます。データを一緒にプールし、それをデータモデラーが使用するための統合フォーマットに組み合わせることが不可欠です。

データに階層コンテンツが含まれている場合は、

平坦化 する必要があります。一部のデータには、親子関係などの階層的な特性や、他のレコードで構成されたレコードがあります。例えば、自動車のような製品は、複数のメーカーを有することができる。この場合のデータのフラット化とは、分析しているレコードの追加機能として各メーカを含めることを意味します。 データを平坦化することは、関連する複数のレコードから統合してより良い画像を形成する際に不可欠です。例えば、いくつかの会社によって作られたいくつかの薬物の有害事象を分析するには、その物質レベルでデータを平らにする必要があります。そうすることで、繰り返す複数の物質エントリを繰り返すことによってデータの重複を引き起こす可能性がある

1対多の関係

（この場合、1つの製品の多くのメーカーと多くの物質）各エントリーでの製品とメーカーの情報。平坦化は、記録または観察が有する特徴の数によって表されるデータの 次元を減少させる 。

たとえば、顧客は、名前、年齢、住所、購入した品目などの機能を持つことができます。分析を開始すると、多くの機能を持つレコードを評価することができますが、そのうちのいくつかだけが分析にとって重要です。したがって、特定のプロジェクトで最も予測力のある機能を除いて、すべてを排除する必要があります。関心のある属性を表すために複数の列を使用する単一のテーブルにすべてのデータを入れることによって、データの次元を小さくすることができます。分析の始めにはもちろん、分析では多数の列を評価する必要がありますが、分析が進むにつれてその数を絞り込むことができます。このプロセスは、フィールドを再構成することによって補助することができる。例えば、類似の特性を有するカテゴリのデータをグループ化することによって、このプロセスを支援することができる。 得られたデータセット - 清掃されたデータセット - は通常、アナリストが使用するために別のデータベースに格納されます。モデリングプロセスでは、このデータに簡単にアクセスし、管理し、最新の状態に保つ必要があります。