Apache BigtopでHadoop環境を設定する - 仮想マシンとLinuxの操作に慣れている人は

VMとLinuxでの作業に慣れているなら、お勧めのものとは異なるVMにBigtopをインストールしてください。あなたが本当に大胆でハー​​ドウェアを持っているならば、完全分散モードのマシンにBigtopをインストールしてみてください！

ステップ1：VMをダウンロードする

Hadoopは普及しているすべてのLinuxディストリビューションで動作しますので、Linux VMが必要です。自由に利用可能な（そして合法的な）CentOS 6画像があります。

<！ - 1 - >

このVMを実行するには、ラップトップに64ビットのオペレーティングシステムが必要です。 Hadoopには64ビット環境が必要です。

VMをダウンロードしたら、ダウンロードしたZipファイルからVMを展開先ディレクトリに展開します。 Hadoopとして約50GBの空き容量があることを確認し、サンプルデータで必要となる容量を確保してください。

まだVMプレーヤーをお持ちでない場合は、無料でダウンロードできます。

VMプレイヤーを設定したら、プレーヤーを開き、ファイル→開くを選択し、Linux VMの解凍先のディレクトリに移動します。呼び出されたファイルを探して選択します。プロセッサの数と使用するメモリの量に関する情報が表示されます。お使いのコンピュータに搭載されているメモリ容量を調べ、使用するVMの半分を割り当てます。 Hadoopは多くのメモリを必要とします。

<！ - 2 - >

準備ができたら、再生ボタンをクリックすると、Linuxインスタンスが起動します。 Linuxが起動しているときに、たくさんのメッセージが飛び、ログイン画面が表示されます。ユーザー名はすでに "Tom"に設定されています。パスワードを「tomtom」と指定してログインします。

ステップ2：Bigtopのダウンロード

Linux VM内で画面を右クリックし、表示されるコンテキストメニューから「ターミナルで開く」を選択します。これにより、コマンドを実行できるLinux端末が開きます。ターミナルの内部をクリックすると、カーソルが点滅するのを確認し、次のコマンドを入力します。su -

<！ - 3 - >

パスワードを尋ねられるので、以前と同じように「tomtom」と入力してください。このコマンドは、ユーザーをLinuxコンピュータのマスターアカウントであるrootに切り替えます.Hadoopをインストールするには、これが必要です。

あなたのrootアクセス権で（電源を切らないでください）、次のコマンドを実行してください：

wget -O / etc / yum。レポ。 d / bigtop。 repo 

http：// www。 apache。 org / dist / bigtop / bigtop- 
0。 7. 0 / repos / centos6 / bigtop。 repo

このコマンドは本質的にWebリクエストで、URLにある特定のファイルを要求し、特定のパス（この場合は/）に書き込みます。

ステップ3：Bigtopのインストール

Linuxの背後にいる天才たちは、Hadoopのような大きなソフトウェアパッケージをインストールする必要がある人にとって、かなり簡単に人生を進めました。最後のステップでダウンロードしたものは、Bigtopパッケージ全体とそのすべての依存関係ではありませんでした。これはインストーラプログラムにBigtopインストールに必要なソフトウェアパッケージを伝える リポジトリファイル （拡張子付）です。

大きなソフトウェア製品と同様に、Hadoopには多くの前提条件がありますが、心配する必要はありません。うまく設計されたファイルは、依存関係を指し示します。インストーラは、コンピュータに不足しているかどうかを確認し、ダウンロードしてインストールするのに十分なほどスマートです。

yum install hadoop * mahout * oozie * hbase * hive * hue * pig * zookeeper *

ここで使用しているインストーラはyumと呼ばれています。インストールするHadoopコンポーネントを選択して選択します。 Bigtopには他にも多数のコンポーネントがありますが、ここではこれらのコンポーネントだけを使用しています。 VMは新しいLinuxインストールであるため、多くの依存関係が必要になるため、少し待つ必要があります。

yumインストーラは非常に冗長なので、ダウンロードしてインストールされているものを正確に見て、その時間を過ぎることができます。インストールプロセスが完了すると、「Complete！」というメッセージが表示されます。 "

ステップ4：Hadoopを起動する

Hadoopでアプリケーションを実行する前に、いくつかの基本的な設定と設定が必要です。ここで彼らは順調です：

Javaをダウンロードしてインストールしてください：

1. yum install java-1。 7. 0-openjdk-devel。 x86_64

   NameNodeをフォーマットします：
   

2. sudo / etc / init。 d / hadoop-hdfs-namenode init

   あなたの疑似分散クラスタのHadoopサービスを開始します。hadoop-hdfs-namenode hadoop-hdfs-datanodeのiに対して
   

3. ; sudoサービス$ i startを実行します。 done

   HDFSにサブディレクトリ構造を作成します：
   

4. sudo / usr / lib / hadoop / libexec / init-hdfs。 sh

   YARNデーモンを起動します。
   

5. sudo service hadoop-yarn-resourcemanager startsudo service hadoop-yarn-nodemanager start

そして、これで完了です。おめでとう！ Hadoopのデプロイメントをインストールしました！

ステップ5：サンプルデータセットのダウンロード

サンプルデータセットをダウンロードするには、VMブラウザからFirefoxブラウザを開き、dataexpoページに移動します。

データセット全体は必要ありませんので、1987年に開始してください。ダウンロードしようとしているときは、「アーカイブマネージャーで開く」オプションを選択してください。

ファイルがダウンロードされたら、ファイルを簡単に見つけられるホームディレクトリに展開します。 Extractボタンをクリックし、デスクトップディレクトリを選択します。

ステップ6：サンプルデータセットのHDFSへのコピー

Hadoopプログラムは、HDFSに保存されたデータのみで動作することを覚えておいてください。ですから、あなたは今、1987年の飛行データファイルをHDFSにコピーします。次のコマンドを入力します。

hdfs dfs -copyFromLocal 1987. csv / user / root