关闭防火墙
(1)切换到root用户下,执行
setenforce 0
(2)修改SELINUX
vi /etc/selinux/config
修改SELINUX为
(3)关闭命令行、图形化界面的防火墙
执行chkconfig - -list,查看iptables 3和5,没有关闭
执行chkconfig - -level 35 iptables off,关闭3和5
reboot 重启
jdk安装
tar -xzvf jdk-8u65-linux-x64.gz 解压
解压下载好的jdk到/usr/local/目录下,eg:mv jdk-8u65-linux-x64 /usr/local/jdk 并改名为jdk
配置Java环境
root用户下
执行 vi /etc/profile
在末尾添加
JAVA_HOME=”/usr/local/jdk”
PATH=”.:PATH:JAVA_HOME/bin”
export JAVA_HOME PATH
执行source /etc/profile或者重启,并检查jps是否可用
创建hadoop用户并配置/etc/hosts文件及修改主机名
adduser hadoop
配置/etc/hosts
修改主机名
vi /etc/sysconfig/network(所有节点都需修改)
4. 免秘钥登录
在hadoop用户下进入隐藏文件夹.ssh
执行ssh-keygen –t rsa(执行之后一直点回车)生成私钥和公钥
执行cp id_rsa.pub authorized_keys生成authorized_keys文件
每个节点下都执行ssh-keygen –t rsa生成公钥
执行scp authorized_keys hadoop@datanode1:/home/hadoop/.ssh 将authorized_keys拷贝到datanode1节点的hadoop/.ssh目录下
执行cat id_rsa.pub >> authorized_keys,将id_rsa.pub文件内容追加到authorized_keys
执行scp authorized_keys hadoop@datanode2:/home/hadoop/.ssh 将authorized_keys拷贝到datanode2节点的hadoop/.ssh目录下
执行cat id_rsa.pub >> authorized_keys,将id_rsa.pub文件内容追加到authorized_keys
更新namenode和datanode1下的authorized_keys文件
执行scp authorized_key. hadoop@namenode:/home/hadoop/.ssh 将authorized_keys拷贝到namenode节点的hadoop/.ssh目录下
执行scp authorized_keys hadoop@datanode1:/home/hadoop/.ssh 将authorized_keys拷贝到datanode1节点的hadoop/.ssh目录下
到此免秘钥登录完成
将下载好的hadoop压缩包拷贝到namenode节点的opt目录下,
Eg:tar –xzvf hadoop-1.2.1.tar.gz
执行 mv hadoop-1.2.1 /home/hadoop/ 将解压后的Hadoop移动到/home/hadoop/并改名为hadoop
在namenode上配置hadoop环境
按照和伪分布模式相同的方法修改core-site.xml,hdfs-site.xml,mapred-site.xml等配置文件
修改hadoop-env.sh文件
修改masters和slaves文件,记录集群中各个节点
向各节点分发hadoop
格式化namenode
在namenode上启动守护进程,系统会自动到各个节点启动相应的进程
进入hadoop/conf文件夹
修改core-site.xml
修改hdfs-site.xml
1 数据节点复制的份数
修改mapred-site.xml
修改hadoop-env.sh 添加jdk路径
修改masters和slaves文件,记录集群中各个节点
向各节点分发hadoop
scp hadoop. hadoop@datanode1:/home/hadoop/
scp hadoop. hadoop@datanode2:/home/hadoop/
格式化namenode
在namenode节点下进行
cd Hadoop/bin/
./hadoop namenode –format
在namenode上启动守护进程,系统会自动到各个节点启动相应的进程
./start-all.sh
停止所有进程
./stop-all.sh
到此Hadoop安装完成