在root用户下:vi /etc/sysconfig/network
或者如何配置了hadoop账户的sudo权限,则在hadoop登陆情况下使用命令sudo vi/etc/sysconfig/network
修改里面的HOSTNAME=hadoop02保存退出
在root用户下vi/etc/inittab改默认启动级别为3
在root用户下输入vi/etc/sudoers
查看防火墙状态service iptables status
关闭防火墙service iptables stop
开启防火墙 service iptables start
重启防火墙 service iptables restart
关闭防火墙开机启动chkconfig iptables off
开启防火墙开机启动 chkconfig iptables on
关闭Selinuxvim /etc/selinux/config配置文件中的SELINUX=disabled
vi /etc/hosts
格式为
192.168.123.102 hadoop02
192.168.123.103 hadoop03
192.168.123.104 hadoop04
192.168.123.105 hadoop05
先查看系统自带的jdk
rpm -qa |grep jdk
再卸载系统自带jdk
rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
上传jdk-8u73-linux-x64.tar.gz(使用SecureCRT软件,Alt+P,拖拽文件进行上传)
tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local
配置环境变量vi /etc/profile
在最后两行加入
export JAVA_HOME=/usr/local/jdk1.8.0_73
export PATH=$PATH:$JAVA_HOME/bin
保存退出
刷新环境变量source /etc/profile
检查是否安装成功java -version
ntpdate 202.120.2.101
打开SecureCRT软件如图所示进行配置
右键调出该模式
先使用ssh-keygen生成秘钥
此时会在/home/hadoop/.ssh 目录下生成了公钥文件
使用 下图命令
ssh-copy-id hadoop02
ssh-copy-id hadoop03
ssh-copy-id hadoop04
ssh-copy-id hadoop05
mkdir/home/hadoop/apps
tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C ~/apps/
cd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop
修改JAVA_HOME
把 export JAVA_HOME=${JAVA_HOME}
改成export JAVA_HOME=/usr/local/java/jdk1.8.0_73
2.8修改mapred-site.xml文件(把mapred-site.xml.template改名为mapred-site.xml)
先使用mvmapred-site.xml.templatemapred-site.xml进行改名
hadoop02
hadoop03
hadoop04
hadoop05
重点强调: 每台服务器中的hadoop安装包的目录必须一致, 安装包的配置信息还必须保持一致!!!
scp -r hadoop-2.7.5/ hadoop@hadoop03:~/apps/
scp -r hadoop-2.7.5/ hadoop@hadoop04:~/apps/
scp -r hadoop-2.7.5/ hadoop@hadoop05:~/apps/
如果你使用root用户进行安装。 vi /etc/profile 即可 系统变量
如果你使用hadoop用户进行安装。 vi ~/.bashrc 用户变量
刷新环境变量source .bashrc
只能在HDFS的主节点进行
hadoop namenode -format
启动HDFS : 不管在集群中的那个节点都可以
start-dfs.sh
启动YARN : 只能在YARN主节点中进行启动
start-yarn.sh
jps命令 查看 对应的守护进行是否都启动成功
HDFS : http://hadoop02:50070
YARN : http://hadoop05:8088
HDFS :
上传文件:~/apps/hadoop-2.7.5/bin/hadoop fs -put zookeeper.out /
下载文件:~/apps/hadoop-2.7.5/bin/hadoop fs -get /zookeeper.out
YARN :
假如现在有一个文件: /wc/input/words.txt
hello huangbo
hello xuzheng
hello wangbaoqiang
~/apps/hadoop-2.7.5/bin/hadoop fs -mkdir -p /wc/input
运行一个mapreduce的例子程序: wordcount
命令:
~/apps/hadoop-2.7.5/bin/hadoop jar ~/apps/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /wc/input /wc/output
查看最终结果:
~/apps/hadoop-2.7.5/bin/hadoop fs -cat /wc/output/part-r-00000