テキスト非構造化大データ - ダミーの解析

大規模データイニシアチブのための非構造化データの分析方法は数多くあります。歴史的に、これらのテクニックは、自然言語処理（NLP）、知識発見、データマイニング、情報検索、統計などの技術分野から生じました。 テキスト分析は、構造化されていないテキストを分析し、関連する情報を抽出し、構造化された情報に変換してさまざまな方法で活用できるプロセスです。 <！分析と抽出のプロセスは、計算言語学、統計、および他のコンピュータサイエンスの分野で生まれた技術を利用しています。

複雑なトピックを説明するのに役立つ例があります。あなたが無線電話会社のマーケティング部門で働いているとします。プランAとプランBの2つの新しいコールプランを立ち上げたばかりで、プランAで取り入れたいことは得られません。なぜコールセンターノートの構造化されていないテキストが、これが起こったのかについてのいくつかの洞察を与えるかもしれません。

<！ - 2 - >

下線を引いた言葉は、プランAが急速に採用されていない理由を理解するために必要な情報を提供します。たとえば、エンティティ計画Aがコールセンターノートに表示され、レポートに計画が示されていることが示されます。

ロールオーバー数、4GBデータ、データプラン、

、および

高価 という用語は、ロールオーバ分、データプラン、および価格に問題があることの証拠です。 ばかげた や ばかげた のような言葉は、このケースでは否定的な発呼者の感情についての洞察を提供する。 <！ - 3 - > テキスト分析プロセスでは、文構造の理解、構造化されていないテキストの分析、情報の抽出、構造化データへの変換など、さまざまなアルゴリズムを使用します。構造化されていないテキストから抽出された構造化データを表13-1に示します。 識別子

エンティティ

発行

感情	CUST XYZ	計画A	ロールオーバー分
中立	CUST ABC	計画A	ロールオーバー分
否定	XXXX	計画A	高価
中立	XXXX	計画A	データ計画
中立	顧客XYT >プランA	データプラン	ネガティブ
これを見て、「しかし、コールセンターの記録を見ればわかるかもしれません。しかし、これらは数千のコールセンターエージェントによって記録される情報の一部です。個々の代理店は、各プランが提供している問題に関して幅広い傾向を感じることはできません。	エージェントは、プランAについて同様の電話番号を取得している可能性がある他のすべてのコールセンターエージェント間でこの情報を共有する時間または要件を持っていません。ただし、この情報をテキスト分析アルゴリズムを使用して集計して処理した後、この非構造化データから出現する可能性があります。それがテキスト解析を非常に強力にする理由です。	検索は、エンドユーザーが探していることに基づいてドキュメントを取得することです。テキスト分析は情報を発見することです。テキスト分析は検索とは異なりますが、検索技術を強化することができます。たとえば、検索と組み合わせたテキスト分析を使用して、文書の分類や分類を改善し、抄録や文書の要約を作成することができます。	クエリー、データマイニング、検索、テキスト分析の4つのテクノロジーがあります。テーブルの左側には、クエリと検索があります。どちらも検索に関するものです。たとえば、エンドユーザーはデータベースにクエリを送信して、過去1か月間に会社のサービスを使用して停止した顧客の数を確認できます。

クエリは単一の数値を返します。より多くの異なるクエリを要求することによってのみ、エンドユーザーは顧客が離れる理由を判断するために必要な情報を得ることができます。同様に、キーワード検索を使用すると、エンドユーザーは企業の競合他社の名前を含む文書を見つけることができます。検索によって一連の文書が返されます。文書を読むことによってのみ、エンドユーザーは関連する回答を提示します。

構造化

構造化

クエリ：データを返す

データマイニング：構造化データからの洞察

非構造化	検索：ドキュメントを返します
テキスト分析： 左のテクノロジーは、情報の一部を返し、その情報を合成して分析するために人間の相互作用を必要とします。右のデータマイニングとテキスト分析は、より迅速な洞察を提供します。うまくいけば、組織へのテキスト分析の価値が明確になっていることを望みます。