個人財務 Google DremelとHadoop - ダミー

Google DremelとHadoop - ダミー

ビデオ: Google I/O 2012 - Crunching Big Data with BigQuery 2025

ビデオ: Google I/O 2012 - Crunching Big Data with BigQuery 2025
Anonim

ほとんどの人にとって、 Dremel という用語は、家の周りのいろいろな職場でうまく機能する便利な高速、低トルクのツールに気づいています。しかし、GoogleがDremelを作成したことはご存知ですか?しかし、 別のハンドヘルド機械ツールを製作するのではなく、Googleは、大きなデータをインタラクティブに分析するための高速ソフトウェアツールを選択しました。 MapReduce、Google File System(HDFS)、BigTable(HBase参照)など、Hadoopエコシステムの一部にインスパイアされた他のGoogleテクノロジーと同様に、Googleは内部で使用するためにDremelを開発し、目的とデザイン技術の(言い換えれば、DremelはあなたのHadoopクラスタでダウンロードして使用できるものではありません。)

<! Googleは、ウェブクロールされた文書の分析、電子メールスパムの検出、アプリケーションクラッシュレポートの処理など、さまざまな業務にDremelを使用しています。 GoogleのBigQueryサービスは実際にDremelを使用します。

Googleは大量のデータをバッチ処理するためのMapReduce技術を設計しました。彼らのニーズが進展するにつれて、技術も向上しました。Googleは、大きなデータセットに対する対話型クエリのパフォーマンスを向上させるためにDremelを作成することに決めました。

<! MapReduceのアプローチはスケーラビリティとクエリフォールトトレランスを提供しますが、基本的にはバッチベースのシステムなので、小さなクエリ(データセット全体のうちのほんの一部のみを含むクエリ)の応答時間は、ユーザが期待するものではないことが多い。

Googleはインタラクティブクエリ用に設計されたクエリ実行テクノロジを開発しました。これはGoogleファイルシステム(GFS)上の中間サーバーで実行されます。 (GFSは、HadoopのファイルシステムであるApache HDFSのインスピレーションでした。)

<! - 3 - >

Hiveと同様に、DremelはSQLライクな言語(ほとんどのプログラマーにはよく知られています)を使用し、円柱データレイアウトを採用しています。 Dremelは、Apache Hiveにあるスケーラビリティとフォールト・トレランスを維持しながら、高速でインタラクティブなクエリ応答を提供します。 Dremelのホワイトペーパーでは、1兆行を超えるテーブルに対して数秒で集計クエリを実行する方法について説明しています。

Googleには内部で使用されているDremel技術がありますが、Dremel(「Drakkar Noir」にインスパイアされたすべての香水のようなもの)に触発されたすべての技術があります。

Google DremelとHadoop - ダミー

エディタの選択

あなたのEOS 80D写真のためのキヤノンソフトウェアをインストールする> ダミー

あなたのEOS 80D写真のためのキヤノンソフトウェアをインストールする> ダミー

キヤノンは、これらはCanonのウェブサイトからダウンロードできます。あなたの国を選択して、次のページのモデル名プロンプトにEOS 80Dと入力してください。 [Drivers&Downloads]リンクをクリックして、システムにインストールするソフトウェアを見つけます。現在、Canonはお勧めします...

キヤノンEOS Rebel T6 / 1300Dの輝度ヒストグラムを解釈する - ダミー

キヤノンEOS Rebel T6 / 1300Dの輝度ヒストグラムを解釈する - ダミー

Rebel T6 / 1300Dのヒストグラムは、音域を示すのに役立ちます。写真編集プログラムで訂正するのが最も困難な問題の1つは、吹き飛ばされたハイライトまたはクリッピングされたハイライトとして知られています。両方の用語は、画像の最も明るい領域が露出オーバーになり、さまざまな領域が含まれることを意味します。

キヤノンEOS 60Dのライブモードオートフォーカス設定 - ダミー

キヤノンEOS 60Dのライブモードオートフォーカス設定 - ダミー

キヤノン60Dのライブモードオートフォーカスが最適です風景、肖像画、静物などの静止被写体を撮影するのに適しています。あなたがどこを走っているのかを撮影しているなら、あなたはライブモードを使って良いショットを集めることができないでしょう。セット...

エディタの選択

BlogHerが出版ネットワーク - ダミーの

BlogHerが出版ネットワーク - ダミーの

BlogHerが出版ネットワークは、お母さんに集中する最初の広告ネットワークの一つであった、と最初はママのブロガーに焦点を当てる。 BlogHerが、今はお母さんと女性の両方のはるかに大きい聴衆で動作し、まだママブロガーが自分の仕事からの収入を得る手助けする取り組みをリードするパイオニアです。 ...

あなたのママブログのカスタム広告キャンペーンのスポンサーをターゲットにする - ダミー

あなたのママブログのカスタム広告キャンペーンのスポンサーをターゲットにする - ダミー

あなたのママブログのための広告キャンペーン、あなたはキャンペーンの一部であることから多くの利益を受ける特定のスポンサーの後に行きたいかもしれません。あなたが同じことをどうやってできるかについてのいくつかの考えがあります:あなたが何を提供しなければならないかを知る。あなたができることを列挙してください。

オンラインコミュニティマネージャーとしてのあなたの役割を定義するダミー

オンラインコミュニティマネージャーとしてのあなたの役割を定義するダミー

あなたが非常に多くの異なることをするので、難しいです。一方では、お客様のために提唱しています。一方、あなたの忠誠心はあなたのブランドにあります。あなたは多くの異なる人や部門に答えて、さまざまな作業を行います。幸いなことに、オンラインコミュニティのほとんどは...

エディタの選択

従来のHTMLタグをHTML5と統合する方法 - ダミー

従来のHTMLタグをHTML5と統合する方法 - ダミー

圧倒的に新しいHTML5要素は、 HTMLの範囲と範囲つまり、古いタグ(ほとんどの場合)を置き換えません。たとえば、従来のHTMLの6つの見出しタグ、段落タグ、およびリンクは、HTML5ではすべて以前のバージョンのHTMLと同じように使用されます。 If ...

特定の機能のCSS3の検索方法 - ダミー

特定の機能のCSS3の検索方法 - ダミー

Dynamic DriveサイトのjQueryとjQuery UI CSS3で動作します。これらは、これらの2つのAPIをより効率的に使用するのに役立つ並べ替えの拡張です。 jQueryおよびjQuery UI CSSの場所は変更されません。スクリプトの中には、ダウンロードする必要のあるカスタムCSSファイルを提供するものもあります。