個人財務 HadoopのMapReduceアプリケーションフローのフェーズを減らす - ダミー

HadoopのMapReduceアプリケーションフローのフェーズを減らす - ダミー

Anonim

Reduceフェーズでは、キーとそれらの個々の値リストを使用して、通常はクライアントアプリケーションに返されるものがキーと値のペアのセットとなるようにします。これまでのところ、大規模なデータセットは 入力スプリットと呼ばれる小さな部分に分割されており、マッパータスクの個々のインスタンスがそれぞれを処理しました。 場合によっては、この単一の処理フェーズは、必要なアプリケーション出力を生成するために必要なすべてです。たとえば、すべてのテキストを大文字に変換するなど、データの基本的な変換操作を実行している場合や、ビデオファイルからキーフレームを抽出している場合は、孤独な段階が必要です。 (これは、地図上の

ジョブとして知られています。) <! - 1 - > しかし、他の多くのケースでは、マッパータスクが出力を書いたときに仕事は半分しか行われません。残りの作業は、すべての中間結果を単一の統一された回答に煮沸しています。

各レコードを1つずつ処理するマッパータスクと同様に、レデューサーは各キーを個別に処理します。通常、レデューサーは処理するすべてのキーに対して単一のキーと値のペアを返します。ただし、これらのキーと値のペアは、必要に応じて膨大なものや小さなものにすることができます。

<! - 2 - >

レデューサータスクが終了すると、それぞれが結果ファイルを返し、HDFS(Hadoop Distributed File System)に保存します。ここに示すように、HDFSシステムはこれらの結果を自動的に複製します。

リソースマネージャー(またはHadoop 1を使用している場合はJobTracker)は、入力分割がローカルで処理されるようにリソースをマッパータスクに割り当てることを最善に試みますが、減速タスクの戦略はありません。マッパータスク結果セットは、減速タスクによって処理されるネットワークを介して転送される必要があると仮定される。

<!これは合理的な実装である。なぜなら、数百または数千のマッパータスクでは、減速タスクが同じローカリティの優先順位付けを行うための実用的な方法がないからである。

HadoopのMapReduceアプリケーションフローのフェーズを減らす - ダミー

エディタの選択

自転車の点検チェックリスト - ダミー

自転車の点検チェックリスト - ダミー

すぐに自転車の点検をするために数分。あなたの自転車を一時的に与えることは、あなたの次の乗り心地の安全性、快適性、そして楽しさを高めることができます。乗車準備の一環として、次の手順に従ってください:車輪のクイックリリースレバーを開閉して、確認します。

必須サイクリング用具 - ダミー

必須サイクリング用具 - ダミー

あなたはバイクの乗り心地をさらに楽しくするために何百万ものものを買うことができます。自転車用に必要なアクセサリーをいくつかご紹介します。ヘルメット:ヘルメットを着用することはオーストラリアとニュージーランドの法律です。

自転車の範囲を閲覧可能 - ダミー

自転車の範囲を閲覧可能 - ダミー

あなたはサイクリングをすることに決めましたが、その重要なキットを欠いている - バイク!あなたが望む自転車のタイプを正確に知っていない限り、良いアドバイスは、あなたの時間を費やして、自転車で何をするのか、どこに乗るのかを本当に考えてみることです。

エディタの選択

アプリとプライバシー - ダミーを特定する

アプリとプライバシー - ダミーを特定する

Spotifyアプリケーションに登録すると、あなたの個人的な詳細の一部にアクセスする。たとえば、Top10アプリを使用してプレイリストを公開するには、既存のFacebookアカウントにリンクする必要があります。このプロセス中、Facebookはあなたに特定の種類の共有を許可するかどうか尋ねます。

モバイル対応携帯電話を識別する - ダミー

モバイル対応携帯電話を識別する - ダミー

SpotifyモバイルはiPhoneで最も人気がありますが、優れたAndroidバージョン(basks Androidマーケットの5つ星評価のうち5つの評価では5位に入っています)が急速に追いついています。

特集 - ダミー

特集 - ダミー

スポットメイキングは、モバイルでも、あらゆる音楽への普遍的な即時アクセスを可能にしますデバイスまたはデスクトップコンピュータ。 Facebookは人々が古い友達と再会して新しい友達を作るのを助け、Spotifyの助けを借りて青春の歌を再発見し、友人や検索を通じて新鮮な音楽を発見しました。

エディタの選択

IOSアプリケーションでオブジェクト指向設計を使用する方法 - ダミー

IOSアプリケーションでオブジェクト指向設計を使用する方法 - ダミー

IOSは、動作がオブジェクトに関連付けられているプログラムを設計するさまざまな方法です。説明するために、紅茶とスープの作り方を検討することを検討してください。しかし、即座に代わりに活動に飛び込んではいけません。探偵が犯罪現場に入るように行動してください。

IOSアプリケーションでハイレベル抽象化を使用してビデオを再生する方法 - ダミー

IOSアプリケーションでハイレベル抽象化を使用してビデオを再生する方法 - ダミー

このセクションでは、MPMoviePlayerViewControllerクラスの高レベル抽象化を使用してiOSアプリケーションでビデオを再生する方法を説明します。 - (IBAction)playVideo:(id)sender {MPMoviePlayerViewController * moviePlayer = [[MPMoviePlayerViewController alloc] initWithContentURL:movieURL];このコードは、ビデオビューコントローラ内のTTTVideoViewControllerファイルからです。 [self presentMoviePlayerViewControllerAnimated:moviePlayer];}シンプルさ自体!必要なのはURLです。

IOSアプリケーションでJavaスクリプトオブジェクト表記を使用する方法 - ダミー

IOSアプリケーションでJavaスクリプトオブジェクト表記を使用する方法 - ダミー

JavaScript Object Notation (JSON)はiOSアプリのデータを表現する上で事実上の標準になっています。 JSONを使用して、Web上でデータを転送したり、長期保存データを保存および取得するためのフォーマットとして使用することができます。 JSONは、人間が読める形式であり、マシンが理解しやすい形式です。 JSONのデータは1つにまとめることができます...