hadoop基础集群的安装教程

1.基础集群环境准备

1.1修改主机名

在root用户下：vi /etc/sysconfig/network

或者如何配置了hadoop账户的sudo权限，则在hadoop登陆情况下使用命令sudo vi/etc/sysconfig/network

修改里面的HOSTNAME=hadoop02保存退出

1.2设置系统默认启动级别

在root用户下vi/etc/inittab改默认启动级别为3

1.3配置hadoop用户sudoer权限

在root用户下输入vi/etc/sudoers

1.4配置IP地址

1.5关闭防火墙和Selinux

查看防火墙状态service iptables status

关闭防火墙service iptables stop

开启防火墙 service iptables start

重启防火墙 service iptables restart

关闭防火墙开机启动chkconfig iptables off

开启防火墙开机启动 chkconfig iptables on

关闭Selinuxvim /etc/selinux/config配置文件中的SELINUX=disabled

1.6添加内网域名映射

vi /etc/hosts

格式为

192.168.123.102 hadoop02

192.168.123.103 hadoop03

192.168.123.104 hadoop04

192.168.123.105 hadoop05

1.7安装JDK

先查看系统自带的jdk

rpm -qa |grep jdk

再卸载系统自带jdk

rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

上传jdk-8u73-linux-x64.tar.gz(使用SecureCRT软件，Alt+P，拖拽文件进行上传)

tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local

配置环境变量vi /etc/profile

在最后两行加入

export JAVA_HOME=/usr/local/jdk1.8.0_73

export PATH=$PATH:$JAVA_HOME/bin

保存退出

刷新环境变量source /etc/profile

检查是否安装成功java -version

1.8同步服务器时间

ntpdate 202.120.2.101

1.9配置免密登陆

打开SecureCRT软件如图所示进行配置

右键调出该模式

先使用ssh-keygen生成秘钥

此时会在/home/hadoop/.ssh 目录下生成了公钥文件

使用 下图命令

ssh-copy-id hadoop02

ssh-copy-id hadoop03

ssh-copy-id hadoop04

ssh-copy-id hadoop05

2.Hadoop集群环境安装

2.1创建apps文件夹便于管理

mkdir/home/hadoop/apps

2.2上传hadoop安装包（本文以hadoop-2.7.5-centos-6.7.tar.gz为例）

2.3解压缩hadoop安装包

tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C ~/apps/

2.4进入配置文件所在目录

cd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop

2.5修改 hadoop-env.sh 文件

修改JAVA_HOME

把 export JAVA_HOME=${JAVA_HOME}

改成export JAVA_HOME=/usr/local/java/jdk1.8.0_73

2.6 修改core-site.xml 文件

fs.defaultFS

hdfs://hadoop02:9000

hadoop.tmp.dir

/home/hadoop/data/hadoopdata

2.7修改hdfs-site.xml

dfs.namenode.name.dir

/home/hadoop/data/hadoopdata/name

为了保证元数据的安全一般配置多个不同目录

dfs.datanode.data.dir

/home/hadoop/data/hadoopdata/data

datanode 的数据存储目录

dfs.replication

2

HDFS 的数据块的副本存储个数, 默认是3

dfs.secondary.http.address

hadoop03:50090

secondarynamenode 运行节点的信息，和 namenode 不同节点

2.8修改mapred-site.xml文件（把mapred-site.xml.template改名为mapred-site.xml）

先使用mvmapred-site.xml.templatemapred-site.xml进行改名

mapreduce.framework.name

yarn

2.9修改yarn-site.xml 文件

yarn.resourcemanager.hostname

hadoop05

yarn.nodemanager.aux-services

mapreduce_shuffle

YARN 集群为 MapReduce 程序提供的 shuffle 服务

2.10修改slaves 文件（非必须项）

hadoop02

hadoop03

hadoop04

hadoop05

2.11 分发hadoop文件

重点强调： 每台服务器中的hadoop安装包的目录必须一致， 安装包的配置信息还必须保持一致！！！

scp -r hadoop-2.7.5/ hadoop@hadoop03:~/apps/

scp -r hadoop-2.7.5/ hadoop@hadoop04:~/apps/

scp -r hadoop-2.7.5/ hadoop@hadoop05:~/apps/

2.12 配置环境变量

如果你使用root用户进行安装。 vi /etc/profile 即可 系统变量

如果你使用hadoop用户进行安装。 vi ~/.bashrc 用户变量

刷新环境变量source .bashrc

2.13 初始化hadoop

只能在HDFS的主节点进行

hadoop namenode -format

2.14 启动

启动HDFS : 不管在集群中的那个节点都可以

start-dfs.sh

启动YARN ： 只能在YARN主节点中进行启动

start-yarn.sh

2.15检测 或者 验证是否成功

jps命令 查看 对应的守护进行是否都启动成功

HDFS : http://hadoop02:50070

YARN ： http://hadoop05:8088

2.16简单实用

HDFS :

上传文件：~/apps/hadoop-2.7.5/bin/hadoop fs -put zookeeper.out /

下载文件：~/apps/hadoop-2.7.5/bin/hadoop fs -get /zookeeper.out

YARN :

假如现在有一个文件： /wc/input/words.txt

hello huangbo

hello xuzheng

hello wangbaoqiang

~/apps/hadoop-2.7.5/bin/hadoop fs -mkdir -p /wc/input

运行一个mapreduce的例子程序： wordcount

命令：

~/apps/hadoop-2.7.5/bin/hadoop jar ~/apps/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /wc/input /wc/output

查看最终结果：

~/apps/hadoop-2.7.5/bin/hadoop fs -cat /wc/output/part-r-00000