ビデオ: Hadoop Processing Frameworks 2024
「シンプル」とは、そのような建築図面の場合、しばしば「エレガント」を意味しますあなたがHadoopを実装した後にお金が流れ始めるときに計画している新しいシリコンバレーの邸宅です。ソフトウェアアーキテクチャにも同じ原則が適用されます。
-
言語そのもの： プログラマーがユーモア感を持っているという証拠として、Pigのプログラミング言語はPig Latinとして知られています.Pig Latinは、データ処理と分析プログラムを書くことができます。
<！ - 1 - > -
Pig Latinコンパイラ： Pig Latinコンパイラは、Pig Latinコードを実行可能コードに変換します。実行可能コードは、MapReduceジョブの形式であるか、単一ノード上でPigコードを実行するために仮想Hadoopインスタンスが作成されるプロセスを生成することができます。 MapReduceプログラムのシーケンスにより、Pigプログラムは、Hadoop MapReduceとHDFSを活用して、データ処理と解析を並行して行うことができます。仮想HadoopインスタンスでPigジョブを実行することは、Pigスクリプトをテストするための便利な方法です。
<！ - 2 - >
この図は、PheとHadoopの生態系がどのように関連しているかを示しています。
Pigプログラムは、クラスタがどのモードを実行しているかにかかわらず、MapReduce v1またはMapReduce v2でコードを変更することなく実行できます。しかし、Pigスクリプトは、代わりにTez APIを使用して実行することもできます。 Apache Tezは、MapReduceよりも効率的な実行フレームワークを提供します。 YARNは、MapReduce（Tezなど）以外のアプリケーションフレームワークをHadoop上で実行できるようにします。 Hiveは、Tezフレームワークに対して実行することもできます。
