ビデオ: Apache Spark Full Course - Learn Apache Spark in 8 Hours | Apache Spark Tutorial | Edureka 2024
YARN(Yet Another Resource Negotiator)のコアコンポーネントはリソースマネージャーであり、 Hadoopクラスターで簡単に言えば、リソースマネージャは、要求するアプリケーションにリソースを割り当てる専用スケジューラです。その唯一のタスクは、クラスタ内のすべてのリソースのグローバルビューを維持し、リソース要求を処理し、要求をスケジューリングし、次に要求するアプリケーションにリソースを割り当てることです。
<! - 1 - >Hadoopクラスタの重要なコンポーネントであるリソースマネージャは、専用マスターノード上で実行する必要があります。
リソースマネージャは基本的に純粋なスケジューラであるが、実際のスケジューリングロジックのためにスケジューラモジュールに依存する。 Hadoop 1で利用可能だったのと同じスケジューラから選択できます。これらはすべてYARN:FIFO(先入れ先出し)、Capacity、またはFair Shareで動作するように更新されています。
<! - 2 - >リソースマネージャーは、アプリケーションとフレームワークの両方に関して完全に無関係です。つまり、特定の狩りには犬がいません。それは、マップまたは削減タスクの概念を持っていない、それはジョブや個々のタスクの進捗状況を追跡しないし、フェイルオーバーを処理しません。
要するに、Resource Managerは、Hadoop 1環境用のJobTrackerデーモンから完全に離れています。リソースマネージャが行うことは、ワークロードをスケジュールすることであり、そのジョブをうまく実行します。
<!他のすべてを無視しながら、1つの側面に集中しているこの高度の分離義務は、YARNを非常にスケーラブルにして、アプリケーションのための汎用プラットフォームを提供することができ、 >マルチテナントHadoopクラスタ - 異なる事業部門が同じHadoopクラスタを共有できるため、マルチテナントです。