個人財務 HadoopのMapReduceアプリケーションフローのフェーズを減らす - ダミー

HadoopのMapReduceアプリケーションフローのフェーズを減らす - ダミー

Anonim

Reduceフェーズでは、キーとそれらの個々の値リストを使用して、通常はクライアントアプリケーションに返されるものがキーと値のペアのセットとなるようにします。これまでのところ、大規模なデータセットは 入力スプリットと呼ばれる小さな部分に分割されており、マッパータスクの個々のインスタンスがそれぞれを処理しました。 場合によっては、この単一の処理フェーズは、必要なアプリケーション出力を生成するために必要なすべてです。たとえば、すべてのテキストを大文字に変換するなど、データの基本的な変換操作を実行している場合や、ビデオファイルからキーフレームを抽出している場合は、孤独な段階が必要です。 (これは、地図上の

ジョブとして知られています。) <! - 1 - > しかし、他の多くのケースでは、マッパータスクが出力を書いたときに仕事は半分しか行われません。残りの作業は、すべての中間結果を単一の統一された回答に煮沸しています。

各レコードを1つずつ処理するマッパータスクと同様に、レデューサーは各キーを個別に処理します。通常、レデューサーは処理するすべてのキーに対して単一のキーと値のペアを返します。ただし、これらのキーと値のペアは、必要に応じて膨大なものや小さなものにすることができます。

<! - 2 - >

レデューサータスクが終了すると、それぞれが結果ファイルを返し、HDFS(Hadoop Distributed File System)に保存します。ここに示すように、HDFSシステムはこれらの結果を自動的に複製します。

リソースマネージャー(またはHadoop 1を使用している場合はJobTracker)は、入力分割がローカルで処理されるようにリソースをマッパータスクに割り当てることを最善に試みますが、減速タスクの戦略はありません。マッパータスク結果セットは、減速タスクによって処理されるネットワークを介して転送される必要があると仮定される。

<!これは合理的な実装である。なぜなら、数百または数千のマッパータスクでは、減速タスクが同じローカリティの優先順位付けを行うための実用的な方法がないからである。

HadoopのMapReduceアプリケーションフローのフェーズを減らす - ダミー

エディタの選択

Facebook上の人、アプリケーション、招待をブロックする方法 - ダミー

Facebook上の人、アプリケーション、招待をブロックする方法 - ダミー

設定は、Facebookで快適に過ごせるようにするための予防措置です。ブロックリストは通常​​、より反応的です。誰かがあなたのことを気にするFacebook上の何かをした場合、彼をブロックしたり、あなたが影響を及ぼす特定の行動をブロックすることを選ぶかもしれません。制限付きリスト、ユーザーブロック、ブロック...

Facebookのタイムラインカバーを変更する方法写真ダミー

Facebookのタイムラインカバーを変更する方法写真ダミー

Facebook、あなたのタイムラインはあなたの友人のものと比べて少し空白に見えるかもしれません。カバー写真が必要です。まもなくタイムラインがいっぱいになります。しかし、まず、人々があなたを見つけてあなたについて知ることができるように、基礎を記入したいと思っています。人々が最初にすることは...

正しいFacebookページタイプを選択する方法 - ダミー

正しいFacebookページタイプを選択する方法 - ダミー

サービス、またはビジネスを利用するには、Facebookのページオプションの賛否両論に気づく必要があります。あなたの6つの主要なオプションを見てみましょう:ローカルビジネスまたはプレースカンパニー組織または機関ブランドまたはプロダクトアーティストバンドまたは公共図エンターテインメント原因またはコミュニティ次の...

エディタの選択

他のKloutインフルエンサーを推薦する方法 - ダミー

他のKloutインフルエンサーを推薦する方法 - ダミー

インフルエンサーリストを使用してKloutが+ Kを与えると説明するアクションです。あなたのKloutスコアの一部は、他人から受け取った裏書の数に由来します。

あなたのソーシャルメディアメトリクスの目標を微調整する方法 - ダミー

あなたのソーシャルメディアメトリクスの目標を微調整する方法 - ダミー

ソーシャルメディア指標の目標を微調整するための販売漏れデータあなたの目標を微調整することの一部は、希望から​​マイルストーンに移行するまで、それらを磨くことです。人々がゴールを間違えていることのいくつかの例を以下に示します。これは希望、夢、偉大なものです。

Klout特典の電子メール通知を取得する方法 - ダミー

Klout特典の電子メール通知を取得する方法 - ダミー

Ifあなたは定期的にKloutを訪れる習慣ではないので、あなたはPerksの電子メールアラートを作成することができます。あなたがソーシャルメディアの世界でやっていることすべてを把握するのは難しいかもしれません。これはあなたのソーシャルメディア管理を簡素化するのに役立ちます。あなたがパルクの資格を得て、そして...

エディタの選択

Outlook 2002でパブリックフォルダで公開する - Microsoft ExchangeネットワークでOutlook 2002を使用する場合はダミー

Outlook 2002でパブリックフォルダで公開する - Microsoft ExchangeネットワークでOutlook 2002を使用する場合はダミー

パブリックフォルダを使用できます。パブリックフォルダは、グループ全体が見てアイテムを追加できる場所です。タスクや連絡先用のパブリックフォルダを持つことができます。

Outlookの迷惑メールフィルタを設定する方法 - ダミー

Outlookの迷惑メールフィルタを設定する方法 - ダミー

Outlookのオプション。非常に積極的に設定すると、迷惑メールが少なくなりますが、正当なメッセージを迷惑メールとマークすることがあります。それほど攻撃的ではないように設定すると、受信トレイにもっと迷惑をかけることになります。 Outlookに付属しています...

Outlook 2013で連絡先グループを作成する方法 - ダミー

Outlook 2013で連絡先グループを作成する方法 - ダミー

Outlook 2013で連絡先グループを作成する方法あなたのリストの名前を作り、あなたのシステムに保存した名前のコレクションから選ぶという単純な問題です。連絡先グループは電話番号とメールアドレス、電子メールアドレスだけを追跡しません。 ...