Hadoop分散ファイルシステム（HDFS）高可用性 - ダミー

Hadoopの初期段階では、NameNodeの単一障害点の表現を中心に多くの議論が行われました。全体としてHadoopは、この重要な領域を除き、常に堅牢で耐障害性の高いアーキテクチャを採用しています。 NameNodeがなければ、Hadoopクラスタはありません。

Hadoop 2を使用すると、Active NameNodeとスタンバイNameNodeが存在するようにHDFSを設定できます。スタンバイNameNodeは、アクティブNameNodeによって使用されるマスタノードと同じように設定された専用マスターノード上にある必要があります。

<！ - 1 - >

スタンバイNameNodeは、NameNodeがすべてのブロックアドレス要求を処理している間、空しく座っていません。メモリ内のブロック位置およびブロックメタデータの状態を保持するタスクを担当するスタンバイNameNodeは、HDFSチェックポイントの責任を処理します。

Active NameNodeは、マスタノード上で実行される多数のJournalNodeサービスに対するファイル変更に関するジャーナルエントリを書き込みます。 （ 注： HDFS高可用性ソリューションには、少なくとも3つのマスターノードが必要です。さらに多くのノードが存在する場合は、奇数でなければなりません）。障害が発生した場合、スタンバイノードはまず、完了したすべてのジャーナルエントリ（ジャーナルノードの大部分にエントリがある場合）を読み込み、新しいアクティブネームノードが完全に一致することを確認しますクラスターの状態

Zookeeperは、Active NameNodeを監視し、Active NameNodeが使用できなくなった場合にフェールオーバーのロジスティクスを処理するために使用されます。アクティブネームノードとスタンバイネームノードには、監視タスクとフェールオーバータスクを実行する専用Zookeeper Failover Controller（ZFC）があります。障害が発生した場合、ZFCはクラスタ上のZookeeperインスタンスに通知し、新しいActive NameNodeを選択します。

<！ - 3 - >

Apache Zookeeperは、分散システムの調整と構成サービスを提供するので、Hadoopのあらゆる場所で使用されていることは間違いありません。