生データを予測分析行列に変換する方法 - ダミー

予測分析プロジェクトのデータセットから類似のデータ項目のグループを抽出する前に、データを表形式で表現する必要がありますデータ行列 として知られている。これは、データクラスタリングの前にある前処理ステップです。 文書中の用語の予測分析マトリックスを作成する方法

解析しようとしているデータセットが一連のMicrosoft Word文書に含まれているとします。最初に行う必要があるのは、ドキュメントセットをデータマトリックスに変換することです。いくつかの商用ツールとオープンソースツールがこのタスクを処理し、各行がデータセット内のドキュメントに対応する行列を生成することができます。これらのツールの例には、RapidMinerとRテキストマイニングパッケージがあります。

<！ - 1 - >

A 文書 は、本質的に言葉の集合です。用語「999」は、1つまたは複数の単語の集合である。 文書が含むすべての用語は、同じ文書で1回または複数回言及される。文書中で用語が言及される回数は、用語の頻度 （TF）、数値によって表すことができる。 文書中の用語の行列を以下のように構成する。

すべての文書に現れる用語が一番上の行に表示される。 <！ - 2 - > ドキュメントのタイトルが左端の列に表示されます。

マトリックスセル内に表示される数字は、各用語の頻度に対応します。例えば、ドキュメントAは、数字（5,16,0,19,0,0）のセットとして表される。ここで、5は、用語

• 予測分析

  が繰り返される回数に対応し、16

• コンピュータサイエンス

• が繰り返される回数などに対応します。これは、ドキュメントのセットを行列に変換する最も簡単な方法です。

<！予測分析 コンピュータサイエンス 学習 クラスタリング 人類学

文書A 599 <文献C 9999 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9999文献D 999 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 999 【表9】【表11】【表12】【表12】【表12】【表12】【表12】【表12】【表12】【表12】【表12】【表12】【表12】【表12】予測分析用語選択の基本テキスト文書をクラスタリングする際の1つの課題は、コレクション内のすべての文書を表すために最良の用語を選択する方法を決定することである。ある文書の集合における用語の重要性は、さまざまな方法で計算できます。

たとえば、ある用語が文書内で繰り返された回数を数え、それをコレクション全体で繰り返す頻度と比較すると、他の用語と比較してその用語の重要度を知ることができます。	コレクションの頻度に関する用語の相対的重要性をベースにして、	重み付け	と呼ばれることがよくあります。割り当てられる重みは、2つの原則に基づくことができます。	文書内で複数回出現する用語は、一度だけ出現する用語に優先します。	比較的少数の文書で使用されている用語は、すべての文書で言及されている用語よりも優先されます。
あなたのデータセット内のすべてのドキュメントに（例えば）	という用語が記述されている場合、マトリックスに独自の列を持つには十分な重みを割り当てることは考慮しない場合があります。	同様に、オンラインソーシャルネットワークのユーザーのデータセットを扱っている場合、そのデータセットを簡単にマトリックスに変換できます。ユーザーIDまたは名前が行を占有します。それらのユーザーを最もよく表す機能が列に表示されます。