centos 下安装Hadoop1.2.1

关闭防火墙

(1)切换到root用户下，执行

setenforce 0

(2)修改SELINUX

vi /etc/selinux/config

修改SELINUX为

(3)关闭命令行、图形化界面的防火墙

执行chkconfig - -list，查看iptables 3和5，没有关闭

执行chkconfig - -level 35 iptables off，关闭3和5

reboot 重启

jdk安装

tar -xzvf jdk-8u65-linux-x64.gz 解压

解压下载好的jdk到/usr/local/目录下，eg：mv jdk-8u65-linux-x64 /usr/local/jdk 并改名为jdk

配置Java环境

root用户下

执行 vi /etc/profile

在末尾添加

JAVA_HOME=”/usr/local/jdk”

PATH=”.:PATH:JAVA_HOME/bin”

export JAVA_HOME PATH

执行source /etc/profile或者重启，并检查jps是否可用

创建hadoop用户并配置/etc/hosts文件及修改主机名

adduser hadoop

配置/etc/hosts

修改主机名

vi /etc/sysconfig/network(所有节点都需修改)

4. 免秘钥登录

在hadoop用户下进入隐藏文件夹.ssh

执行ssh-keygen –t rsa(执行之后一直点回车)生成私钥和公钥

执行cp id_rsa.pub authorized_keys生成authorized_keys文件

每个节点下都执行ssh-keygen –t rsa生成公钥

执行scp authorized_keys hadoop@datanode1:/home/hadoop/.ssh 将authorized_keys拷贝到datanode1节点的hadoop/.ssh目录下

执行cat id_rsa.pub >> authorized_keys,将id_rsa.pub文件内容追加到authorized_keys

执行scp authorized_keys hadoop@datanode2:/home/hadoop/.ssh 将authorized_keys拷贝到datanode2节点的hadoop/.ssh目录下

执行cat id_rsa.pub >> authorized_keys,将id_rsa.pub文件内容追加到authorized_keys

更新namenode和datanode1下的authorized_keys文件

执行scp authorized_key. hadoop@namenode:/home/hadoop/.ssh 将authorized_keys拷贝到namenode节点的hadoop/.ssh目录下

执行scp authorized_keys hadoop@datanode1:/home/hadoop/.ssh 将authorized_keys拷贝到datanode1节点的hadoop/.ssh目录下

到此免秘钥登录完成

将下载好的hadoop压缩包拷贝到namenode节点的opt目录下，

Eg：tar –xzvf hadoop-1.2.1.tar.gz

执行 mv hadoop-1.2.1 /home/hadoop/ 将解压后的Hadoop移动到/home/hadoop/并改名为hadoop

在namenode上配置hadoop环境

按照和伪分布模式相同的方法修改core-site.xml，hdfs-site.xml，mapred-site.xml等配置文件

修改hadoop-env.sh文件

修改masters和slaves文件，记录集群中各个节点

向各节点分发hadoop

格式化namenode

在namenode上启动守护进程，系统会自动到各个节点启动相应的进程

进入hadoop/conf文件夹

修改core-site.xml

修改hdfs-site.xml

1 数据节点复制的份数

修改mapred-site.xml

修改hadoop-env.sh 添加jdk路径

修改masters和slaves文件，记录集群中各个节点

向各节点分发hadoop

scp hadoop. hadoop@datanode1:/home/hadoop/

scp hadoop. hadoop@datanode2:/home/hadoop/

格式化namenode

在namenode节点下进行

cd Hadoop/bin/

./hadoop namenode –format

在namenode上启动守护进程，系统会自动到各个节点启动相应的进程

./start-all.sh

停止所有进程

./stop-all.sh

到此Hadoop安装完成