啟動 Hadoop Cluster

Hadoop 2 已經將 HDFS 和 YARN 分開管理，這樣分開管理，可以使 HDFS 更方便地進行 HA 或Federation，實現 HDFS 的線性擴展（Scale out），從而保證 HDFS cluster的高可用性。從另一個方面們來說，HDFS可以作為一個通用的分佈式存儲系統，而為第三方的分佈式計算框架提供方便，就像類似YARN的計算框架，其他的如，Spark等等。YARN 就是 MapReduce V2，將原來Hadoop 1.x 中的JobTracker 拆分為兩部分：一部分是負責資源的管理（Resource Manager），另一部分負責任務的調度（Scheduler）

Hadoop 安裝完成後，Hadoop官網文件以及一些網路的教學都建議執行 start-dfs.sh 以及 start-yarn.sh 來啟動 Hadoop system。在Hadoop 2.4.0的安裝目錄 $HADOOP_INSTALL/sbin 提供了一些shell scripts:

• start-all.sh : Starts all Hadoop daemons, the namenode, datanodes, the jobtracker and tasktrackers. Deprecated; usestart-dfs.sh then start-yarn.sh
• start-dfs.sh : Starts the Hadoop DFS daemons, the namenode and datanodes. Use this before start-yarn.sh
• start-yarn.sh : Start all yarn daemons, the resourcemanager and nodemanager. Run this on master node
• start-balancer.sh : Run for HDFS Balancer.
• start-secure-dns.sh : Run as root to start secure datanodes in a security-enabled cluster.

執行 start-dfs.sh 將啟動 namenode, secondarynamenode 及 datanodes。

• NameNode daemon - Only one daemon runs for entire hadoop cluster.
• Secondary NameNode daemon – Only one daemon runs for entire hadoop cluster.
• DataNode daemon – One datanode daemon per each datanode in hadoop cluster

用 jps命令檢視實行的結果。

hduser@HDSingle:/usr/local/hadoop/sbin$ jps
2750 DataNode
2932 SecondaryNameNode
4218 Jps
2619 NameNode

也可以分別啟動。

$ hadoop-daemon.sh shart namenode
$ hadoop-daemon.sh shart secondarynamenode
$ hadoop-daemon.sh shart datanode

start-yarn.sh 將啟動 YARN 的 daemon processes：

• ResourceManager - Master daemon process
• NodeManager – One Slave daemon process per node in a cluster.

用 jps命令檢視實行的結果：

hduser@HDSingle:/usr/local/hadoop/sbin$ jps
2750 DataNode
2932 SecondaryNameNode
4581 NodeManager
4789 Jps
2619 NameNode
4441 ResourceManager

停止daemons的scripts有：

• stop-all.sh
• stop-balancer.sh
• stop-dfs.sh
• stop-secure-dns.sh
• stop-yarn.sh

先執行 stop-yarn.sh 再停 stop-dfs.sh，最後記得用 jps 命令確認 daemons 是否全部都結束。



Reference:

http://yanbohappy.sinaapp.com/?p=130

http://docs.oracle.com/javase/8/docs/technotes/tools/unix/jps.html

http://hadooptutorial.info

http://blog.csdn.net/suileisl/article/details/11717537