グラフ処理Hadoopのダミー

新しくNoSQLテクノロジーが登場するのは、グラフデータの保存と処理です。コンピュータ科学者は何十年にもわたってグラフ解析技術を開発してきたので、この声明は古いニュースだと考えるかもしれません。あなたが言うことはうまくいくかもしれませんが、新しいことは、Hadoopを使うことによって、大規模なグラフ分析を行うことができるということです。

グラフデータとは何ですか？データ用語の

グラフ は、個々のエンティティおよびそれらの関係の単なる表現である。グラフのエンティティは ノード （または 頂点 ）と呼ばれ、グラフ内のエンティティ間の関係は エッジ （または 接続 >）。従来の行や列ではなく、グラフ内のデータセットを表すことで、オブジェクト間の関係を明確にする方法でデータを処理する方がはるかに簡単です。典型的なグラフの計算は、グラフ内の複数のノード間の最短パス距離、または単純に特定のノードと特定のタイプの接続を持つノードの数によって表されます。 <！グラフ分析のためのアプリケーション グラフデータベースの最もよく知られたアプリケーションは、既知のすべてのWebページ間のリンク関係を計算するGoogleのPageRankアルゴリズムです。 GoogleはWebを巨大なグラフとして表し、Webページはノードであり、あるページから別のページへのリンクはエッジとして表されます。 （Googleはグラフ分析プロジェクトを記述した論文（2010年にはPregel-backと書かれている）を公開し、富を共有しました。Googleが関心を持っていたグラフ処理には、各Webページのインバウンド接続の数が含まれていました。

<！ Facebookは、HDFSに保存されたグラフを処理するために設計されたグラフ処理エンジンであるApache Giraph（Pregel紙に基づく）を使用していると発表したとき、2013年に大きな飛躍を遂げました。これはFacebookのユーザー（10億以上）とその友人（10億以上）のグラフを示し、Gipertの力を示しました。このスケールは驚異的です。あなたがFacebookで友人の推奨事項などの計算が必要な場合、グラフ処理エンジンよりも優れたツールは何ですか？ Twitter、LinkedIn、OkCupid、Pinterestなど、注目すべきソーシャルメディアサイトの中心に分散グラフデータベースがあることは驚くことではありません。

<！ - 3 - >

グラフ処理エンジンは、ソーシャルメディアサイトの多くの実用的な質問に簡単に答えることができます。 2つの例は、LinkedInがあなたと別のユーザーとの間の分離度が最短パス計算であることを示す方法です（2つのノード間で最も近い接続は何ですか？）、OkCupidが共通の関心を持つユーザーをどのように示すかは、協調フィルタリングの計算（特定のノードのセットに対する最も一般的な接続は何ですか？）です。

Hadoopでのグラフ分析

2014年春、Hadoopのグラフ分析は初期段階にとどまります。 Hadoop 2のYARNの登場により、Hadoopではグラフ解析やその他の特殊な処理技術が普及するようになります。この記事で言及されているソーシャルサイトの多くは、独自のグラフデータベースと処理エンジンを使用していますが、FacebookはGiraphの著名ユーザーです。 Facebookの（暗示された）承認の封印のため、GiraphはHadoopのグラフ分析に一般的な選択となっていますが、いくつかの制限があります。これは、データをグラフとしてクラスタのメモリにロードし、バッチ指向のクエリに最適化されているため、処理エンジンだけです。

もう1つのグラフ処理ソリューションは、Hadoop用のオープンソースのグラフ分析ツールセットをリリースしたAurelius社が提供しています。その提供の中心には、対話型クエリに最適化された持続層としてのHBaseを使用するグラフデータベースであるTitanと、TitanのグラフのスナップショットをHDFSに保存し、MapReduceジョブを実行するグ​​ラフ処理エンジンFaunus 。インタラクティブ（Titan）アプリケーションとバッチ（Faunus）アプリケーションの両方で、AureliusにはGremlinという共通のグラフトラバーサルAPIがあります。

最後に、Apache Sparkプロジェクトには、グラフデータの生成を可能にし、処理するSparkフレームワーク内のGraphXがあります。