ビデオ: Hadoop Tutorial For Beginners | Hadoop Ecosystem Explained in 20 min! - Frank Kane 2025
HadoopはMapReduceとHDFS(Hadoop Distributed File System)以上のもので、分散コンピューティングや大規模なプロジェクトに関連するプロジェクト(エコシステム)情報処理。これらのプロジェクトのほとんど(ただしすべてではありません)は、Apache Software Foundationによってホストされています。表には、これらのプロジェクトの一部がリストされています。
プロジェクト名 | 説明 |
---|---|
Ambari | Hadoopクラスタのインストール、監視、および保守のためのHadoop管理ツールの統合セット。スレーブノードを追加または削除するツールも含まれています。
Avro コンパクトバイナリフォーマットへのデータの効率的なシリアル化(一種の |
変換)のフレームワーク | Flume
大量のログ |
>データをHadoopに変換します。 | HBase
HDSを基にしたストレージにHDFSを使用する分散型カラム型データベースです。 HBaseを使用すると、可変カラム構造を持つ大規模なテーブルにデータを格納できます。 |
HCatalog | 表データの標準的なアプローチを含む
Hadoopに格納されたデータの関係ビューを提供するサービス Hive |
HDFSに格納されたデータの分散データウェアハウス。 | は、SQL
(HiveQL) |
Hue | をベースにしたクエリ言語を提供します。ファイルの閲覧、HiveおよびPigクエリの発行、およびOozie < ワークフロー
Mahout MapReduceで実装され、Hadoopでネイティブに実行できる機械学習統計アルゴリズムのライブラリ |
Oozie | スケジューリングを処理できるワークフロー管理ツールと
> Hadoopアプリケーションの連鎖 Pig |
HDFS上で | 実行される非常に大きなデータセットを分析するためのプラットフォームと、MapReduceプログラムのシーケンスを生成するコンパイラ |
リレーショナルデータベースとHDFS間で大量のデータを効率的に移動するためのツール | ZooKeeper
集中化されたデータベースへの簡単なインターフェイスサービスの調整 |
(命名、設定、同期など) | 分散アプリケーション
<! - 1 - > Hadoopエコシステムとその商用ディストリビューションは、常に新しく改良された技術とツールが登場して進化し続けています。 図は、さまざまなHadoopの生態系プロジェクトと、それらが互いに関連していることを示しています。 |