Hadoop分散ファイルシステム（HDFS）連合 - ダミー

Hadoopクラスタを無期限に拡張するソリューションは、NameNodeを連合させることです（999）。 Hadoop 2がそのシーンに入る前に、Hadoopクラスタは、NameNodeが拡張できる程度に制限を設けていたという事実に基づいて生きていなければなりませんでした。 3、000または4,000ノードを超える規模のクラスタはほとんどありません。 クラスタに格納されたすべてのデータブロックのレコードを維持するNameNodeの必要性は、クラスタの拡大を制限する最も重要な要因であることが判明しました。ブロック数が多すぎると、HadoopクラスタがスケールアウトするときにNameNodeがスケールアップすることがますます困難になります。 <！ - 1 - >

具体的には、HDFSを設定して、専用のマスターノードで複数のNameNodeインスタンスを実行し、各NameNodeを独自の名前空間内のファイルブロックのみにするように設定する必要があります。

図は、HDFSのデータブロックの複製パターンを示しています。 1つのクラスタに対応する2つのNameNodeを持つHadoopクラスタを見ることができます。すべてのスレーブノードには、両方の名前空間のブロックが含まれています。