ビデオ: Jenkins Tutorial For Beginners 17 - Launch agent via Java Web Start (Windows Slave) 2024
Hadoopユニバースでは、スレーブノードはHadoopデータが格納され、データ処理が行われる場所です。スレーブノードは、スレーブノードがデータを格納して処理できるようにします。
-
NodeManager： 個々のスレーブノードのリソースを調整し、リソースマネージャに報告します。
-
ApplicationMaster： 特定のアプリケーションのHadoopクラスタで実行されているすべてのタスクの進行状況を追跡します。各クライアントアプリケーションについて、リソースマネージャは、スレーブノード上のコンテナ内にApplicationMasterサービスのインスタンスをデプロイします。 （NodeManagerサービスを実行しているノードはすべて、Resource Managerに表示されます）
<！ - 1 - > -
コンテナ： アプリケーションの個々のタスクを実行するために必要なすべてのリソースの集合。アプリケーションがクラスタで実行されている場合、リソースマネージャは、アプリケーションがクラスタのスレーブノード上でコンテナサービスとして実行するタスクをスケジュールします。
-
TaskTracker： 個々のマップを管理し、Hadoop 1クラスタのスレーブノードで実行されているタスクを削減します。 Hadoop 2では、このサービスは廃止され、YARNサービスに置き換えられました。
<！ - 2 - > -
DataNode： NameNodeがスレーブノードにブロックを格納できるようにするHDFSサービス。
-
RegionServer： HBaseシステムのデータを格納します。 Hadoop 2では、HBaseはHoyaを使用して、RegionServerインスタンスをコンテナ内で実行できるようにします。
ここで、各スレーブノードは、DataNodeインスタンス（HDFSがスレーブノード上のデータブロックを格納および取得できるようにする）およびNodeManagerインスタンス（リソースマネージャが処理のためにスレーブノードにアプリケーションタスクを割り当てることを可能にする） 。コンテナプロセスは、クラスタ上で実行されているアプリケーションの個別のタスクです。
<！ - 3 - >実行中の各アプリケーションには専用のApplicationMasterタスクがあり、これもコンテナ内で実行され、アプリケーションが終了するまでクラスタ上で実行されているすべてのタスクの実行を追跡します。
Hadoop 2のHBaseを使用すると、コンテナモデルは引き続き確認できます。
Hadoop 2のHBaseは、Hoya Application Masterによって開始されます。 （冗長性のために複数のHMasterサービスが必要です。）Hoya Application Masterは、同様に特別なコンテナで動作するRegionServersのリソースも要求します。
次の図は、Hadoop 1スレーブノードにデプロイされているサービスを示しています。
Hadoop1の場合、各スレーブノードは常にDataNodeインスタンス（HDFSがスレーブノードにデータブロックを格納および取得できるようにする）とTaskTrackerインスタンスを実行しています（JobTrackerがスレーブノードにマップを割り当て、処理のために）。
スレーブノードは固定数のマップスロットを有し、マップおよび縮小タスクの実行のためにスロットを縮小する。クラスタがHBaseを実行している場合、多くのスレーブノードがRegionServerサービスを実行する必要があります。 HBaseに格納するデータが多くなるほど、必要なRegionServerインスタンスが多くなります。
スレーブノードのハードウェア基準は、マスタノードのハードウェア基準とはかなり異なります。実際、データサーバーの従来のハードウェア参照アーキテクチャで見られるものと一致しません。 Hadoopを取り巻く多くの話題は、Hadoopクラスタの設計基準でコモディティハードウェアを使用しているためですが、 コモディティ ハードウェアはコンシューマーグレードのハードウェアを参照していないことに注意してください。
Hadoopスレーブノードはエンタープライズクラスのハードウェアを必要としますが、コストスペクトラムの下限、特にストレージのために必要です。
