ビデオ: hadoop yarn architecture 2024
Yet Another Resource Negotiator(YARN)の各スレーブノードにはノードマネージャデーモンがあり、これはリソースマネージャのスレーブとして機能します。 TaskTrackerの場合と同様に、各スレーブノードには、Hadoopを分散システムにするための処理サービス(ノードマネージャ)とストレージサービス(DataNode)を結ぶサービスがあります。
各ノードマネージャは、スレーブノード上で利用可能なデータ処理リソースを追跡し、定期的なレポートをリソースマネージャに送信する。
<! - 1 - >Hadoopクラスタ内の処理リソースは、コンテナと呼ばれる一口サイズで消費されます。 コンテナ は、アプリケーションを実行するために必要なすべてのリソース(CPUコア、メモリ、ネットワーク帯域幅、ディスク容量)の集合です。デプロイされたコンテナは、Hadoopクラスタ内のスレーブノード上で個々のプロセスとして実行されます。
コンテナのコンセプトは、JobTrackerとTaskTrackerで使用される スロット、 処理単位を思い出させるかもしれませんが、いくつかの大きな違いがあります。最も重要なことに、コンテナは一般的なものであり、マップを実行したりタスクを減らすために特別に定義されたスロットとは異なり、与えられたアプリケーションロジックを実行することができます。また、スロットはすべて均一ですが、カスタムリソースの量でコンテナを要求できます。
<!リクエストされた金額がコンテナに許容されるものの最小限度と最大限度の範囲内にある限り(要求されたメモリ量が最小額の倍数である限り)、リソースマネージャーそのコンテナを許可してスケジュールします。スレーブノードで動作しているすべてのコンテナプロセスは、最初にそのスレーブノードのノードマネージャデーモンによってプロビジョニングされ、監視され、追跡されます。