Hadoop管理コマンド - ダミー

Hadoop for Dummiesチートシート

Hadoopの管理者は、クラスの管理に必要な包括的なコマンドセットをマスターする必要があります。以下のリストは、最も重要なコマンドをまとめたもので、コマンドが何をするのか、構文と例を示しています。それらを知っていれば、あなたはHadoopの知恵への道のりを遠くに進むでしょう。

バランサ： クラスタバランシングユーティリティを実行します。指定されたしきい値（ディスク容量のパーセンテージを表す）は、デフォルトのしきい値（10％）を上書きするために使用されます。再調整プロセスを停止するには、Ctrl + Cを押します。
<！ - hadoop balancer -threshold 20
daemonlog ：

ログレベルを取得または設定します。それぞれのデーモン（サービスとも呼ばれます）ごとに表示されます。 http：// host：port / logLevelに接続しますか？ log = nameを指定し、host：portで実行しているデーモンのログレベルを表示または設定します。 Hadoopデーモンは、システム上で何が起きているのかを判断するのに役立つログファイルを生成し、システムをデバッグしているときにdaemonlogコマンドを使ってHadoopコンポーネントのログレベルを一時的に変更することができます。この変更はデーモンの再起動時に有効になります。 <！ - 2 - >
構文： hadoop daemonlog -getlevel; hadoop daemonlog -setlevel 例：
hadoop daemonlog -getlevel 10. 250. 1. 15：50030 org。 apache。ハープ。マップされた。 JobTracker; hadoop daemonlog -setlevel 10. 250. 1. 15：50030 org。 apache。ハープ。マップされた。 JobTracker DEBUG
datanode ：

各スレーブノードのストレージを調整するHDFS DataNodeサービスを実行します。 -rollbackを指定すると、DataNodeは前のバージョンにロールバックされます。このオプションを使用する前に、DataNodeを停止し、前のバージョンのHadoopを配布してください。 <！ hadoop datanode -rollback
dfsadmin ： Hadoop分散ファイルの数を実行します。システム（HDFS）管理操作。サポートされているすべてのオプションのリストを表示するには、-helpオプションを使用します。一般的なオプションは、いくつかのコマンドでサポートされる共通のオプションセットです。
構文：
hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | |取得|待機] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgressの状態|詳細| MapReduceの管理をいくつか実行します。[-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]] mradmin

：オペレーション。サポートされているすべてのオプションのリストを表示するには、-helpオプションを使用します。繰り返しになりますが、一般的なオプションはいくつかのコマンドでサポートされる共通のオプションセットです。 -refreshServiceAclを指定すると、サービスレベルの認可ポリシーファイルがリロードされます（JobTrackerは認可ポリシーファイルをリロードします）。 -refreshQueuesは、キューのアクセス制御リスト（ACL）および状態を再ロードします（JobTrackerはマップされたキュー.xmlファイルをリロードします）。 -refreshNodesはJobTrackerのホスト情報をリフレッシュします。 -refreshUserToGroupsMappingsは、ユーザーからグループへのマッピングをリフレッシュします。 -refreshSuperUserGroupsConfigurationは、スーパーユーザープロキシグループのマッピングをリフレッシュします。 -help [cmd]は、指定されたコマンドまたは指定されていない場合はすべてのコマンドのヘルプを表示します。
<！ - 構文： hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]] 例：

hadoop mradmin -help -refreshNodes jobtracker
： Hadoopのデータ処理システムを調整するMapReduce JobTrackerノードを実行します。 -dumpConfigurationを指定すると、JSON形式のJobTrackerとキュー設定で使用される設定が標準出力に書き出されます。 <！ hadoop jobtracker -dumpConfiguration
namenode
： NameNodeを実行します.NameNodeは、 Hadoopクラスタ全体のストレージ-formatを指定すると、NameNodeが開始され、フォーマットされてから停止します。 -upgradeを使用すると、新しいHadoopバージョンが配布された後、NameNodeがupgradeオプションで始まります。 -rollbackを使用すると、NameNodeは以前のバージョンにロールバックされます（このオプションを使用する前に、クラスタを停止し、以前のHadoopバージョンを配布することを忘れないでください）。 -finalizeを指定すると、ファイルシステムの以前の状態は削除され、最新のアップグレードは永続的になり、ロールバックは使用できなくなり、NameNodeは停止します。最後に、-importCheckpointを使用して、イメージがチェックポイントディレクトリ（fs。checkpoint。dirプロパティで指定）からロードされ、カレントディレクトリに保存されます。

<！ - 3 - > 構文：
hadoop namenode [-format] | [-upgrade] | [- ロールバック] | | - ファイナル[-importCheckpoint] 例： hadoop namenode -finalize
セカンダリnamenode
：セカンダリNameNodeを実行します。 -checkpointを指定すると、EditLog（ファイルシステムメタデータに対して発生するすべての変更を記録するトランザクションログ）のサイズがfs以上である場合、セカンダリNameNodeのチェックポイントが実行されます。チェックポイント。サイズ; -forceを指定し、チェックポイントはEditLogのサイズに関係なく実行されます。 -geteditsizeを指定すると、EditLogのサイズが出力されます。

構文： hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
例： hadoop secondarynamenode -geteditsize tasktracker
：
MapReduce TaskTrackerノードを実行します。構文：

hadoop tasktracker 例：
hadoop tasktracker