ビデオ: What is Hadoop Yarn? | Hadoop Yarn Tutorial | Hadoop Yarn Architecture | COSO IT 2024
YARNを提供することを目的としています。この特定のパーティーに到着したばかりのYARNは、他のデータ処理フレームワークをHadoop上で実行できるツールであるYet Another Resource Negotiatorを表します。 YARNの栄光は、Hadoopに数々の長年にわたる挑戦への洗練されたソリューションを提供することです。
YARNは、より効果的で柔軟なワークロードスケジューリングとリソース管理機能を提供することを目的としています。両方ともHadoopが最終的にMapReduceジョブ以上のものを実行できるようにします。
<!この図は、YARNがHadoopにどのように適合しているかを示しており、Hadoopがどのようにデータ処理のための真の汎用プラットフォームになるのかを明確にしています。次のリストは、メロディの歌詞を示しています。分散ストレージ:
-
MapReduceからYARNへの移行では何も変わっていません。HDFSはまだHadoopのストレージレイヤーです。 <!リソース管理:
Hadoop 1からYARNに移行する際の基本的な概念は、リソース管理をデータ処理から切り離すことです。これにより、YARNはMapReduceを含むHadoop向けの処理フレームワークにリソースを提供することができます。 -
処理フレームワーク: YARNは汎用リソース管理機能であるため、Hadoop向けに作成されたデータ処理フレームワークにクラスタリソースを割り当てることができます。処理フレームワークは、アプリケーション実行時の問題を処理します。
-
<! - 3 - > Hadoop 1用に開発されたすべてのコードの互換性を維持するため、MapReduceはYARNで使用できる最初のフレームワークとして機能します。この記事の執筆時点では、Apache Tezプロジェクトは、PigおよびHiveアプリケーションの実行のための代替フレームワークとして開発中のインキュベータープロジェクトでした。 Tezは標準のHadoop設定として登場する可能性が高いです。
アプリケーションプログラミングインタフェース(API):追加の処理フレームワークのサポートにより、追加のAPIのサポートが実現します。この記事の執筆時点では、Hoya(YARN上でHBaseを実行するため)、Apache Giraph(グラフ処理用)、Open MPI(並列システムでのメッセージ転送用)、Apache Storm(データストリーム処理用)などが積極的に開発されています。
-