ビデオ: Combiners - Intro to Hadoop and MapReduce 2024
HDFSが設定されたやり方で、非常に大きなファイルを大きなブロック（例えば、128MBのサイズ）に分割します。これは、YARNでMapReduceジョブが開始されると、
YARNでは、MapReduceジョブが開始されると、Resource Manager（クラスタリソース管理およびジョブスケジューリング機能）が実行され、クラスタの別のノードにこれらのブロックの3つのコピーが格納されます。 ）は、ジョブのライフサイクルを調べるためのApplication Masterデーモンを作成します（Hadoop 1ではJobTrackerが個々のジョブを監視し、ジョブスケジューリングとクラスタリソース管理を処理します）。
<！ - 1 - > >アプリケーションマスターが最初に行うことの1つは、処理に必要なファイルブロックを決定することです。アプリケーションマスターは、必要なデータブロックのレプリカが格納されているNameNodeから詳細を要求します。アプリケーションマスタはリソースへの要求を行いますマップ・タスクを持つマネージャは、格納されているスレーブ・ノード上の特定のブロックを処理します。<！ MapReduceの効率的な処理の鍵は、可能であれば、データが格納されているスレーブノード上でローカルに処理されることです。 - 999
データブロックの処理方法を見る前に、Hadoopのデータ格納方法を詳しく見ていく必要があります。 Hadoopでは、ファイルは個々のレコードで構成され、最終的にマッパータスクによって1つずつ処理されます。たとえば、サンプルデータセットには、1987年から2008年の間の米国内の完了便に関する情報が含まれています。 <！ - 3 - > サンプルデータセットをダウンロードするには、VMブラウザからFirefoxブラウザを開き、dataexpoページに移動します。
あなたは毎年大きなファイルを1つ持っています。すべてのファイル内で、それぞれの行は1つのフライトを表します。つまり、1行は1レコードを表します。ここで、Hadoopクラスタのブロックサイズは64MBであることに注意してください。これは、ライトデータファイルが正確に64MBのチャンクに分割されていることを意味します。
問題が見えますか？各マップタスクが特定のデータブロック内のすべてのレコードを処理する場合、ブロック境界にまたがるレコードはどうなりますか？ファイルブロックは正確に64MB（またはブロックサイズを設定するもの）であり、HDFSはファイルブロック内の内容を把握していないため、レコードが別のブロックにこぼれる可能性はありません。
この問題を解決するために、Hadoopは入力分割
と呼ばれるファイルブロックに格納されたデータの論理表現を使用します。 MapReduceジョブクライアントが入力分割を計算すると、ブロック内の最初の全体レコードの開始位置とブロック内の最後のレコードの終了位置がわかります。ブロックの最後のレコードが不完全な場合、入力スプリットは、次のブロックの位置情報と、レコードを完成させるのに必要なデータのバイトオフセットとを含む。
この図は、データブロックと入力分割とのこの関係を示しています。
ジョブマスターの代わりにアプリケーションマスターデーモン（またはHadoop 1の場合はJobTracker）を設定して、多数のデータブロックを処理するジョブの方が速い入力スプリットを計算することができます。 MapReduceのデータ処理は、この入力分割の概念によって駆動されます。特定のアプリケーションに対して計算される入力分割の数によって、マッパータスクの数が決まります。これらのマッパータスクは、可能であれば入力分割が格納されているスレーブノードに割り当てられます。 Resource Manager（またはHadoop 1の場合はJobTracker）は、入力分割がローカルで処理されるように最善を尽くします。
