频道栏目
首页 > 网络 > 云计算 > 正文

Centos7+Hadoop3.0伪分布式环境安装部署

2016-10-21 09:58:17           
收藏   我要投稿

一:安装准备

1,VMware +CentOS-7-x86_64-Everything-1511.iso(下载地址:http://mirrors.cn99.com/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1511.iso)

2,hadoop-3.0.0-alpha1.tar.gz(下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha1/)

3,jdk8

二:安装部署

1,安装VMware(过程忽略),创建linux虚拟机,配置虚拟机网络(可以百度一下,网上有很多详细的资料过程,后续自己也会总结一下配置过程)

关闭防火墙,root用户执行: systemctl stop firewalld.service

失效防火墙,root用户执行: systemctl disable firewalld.service

 

2,linux为hadoop创建用户执行命令 useradd hadoop

 

\

 

修改hadoop密码: passwd 123456789

 

\

 

3,切换root用户为创建的hadoop用户,创建hadoop相关软件的安装目录

注:在需要root用户权限修改系统文件或参数的时候,最好使用sudo

为hadoop用户增加sudo权限,切换到root用户,修改 vi/etc/sudoers.d

 

 

\

 

 

4,修改主机名,sudo vi /etc/hostname

 

\

 

我将主机名修改为 xingxp-hadoop-133 ,之后在配置hadoop配置文件的时候需要。

 

增加主机名映射 : sudo vi /etc/hosts

 

\

 

5,配置java环境变量

 

解压 jdk : tar -zxvf jdk-8u91-linux-x64.gz -C app/

 

\

 

修改环境变量:sudo vi /etc/profile

 

\

 

在末尾增加内容:

 

\

 

执行 source /etc/profile 是文件生效。

 

\

 

6,安装配置hadoop

 

解压hadoop-3.0.0-alpha1.tar.gz,执行:tar -zxvf /tmp/hadoop-3.0.0-alpha1.tar.gz -C /home/hadoop/app/

 

\

 

配置hadoop环境变量:sudo vi /etc/profile

 

\

 

文件末尾增加内容

\

 

修改相关hadoop目录/home/hadoop/app/hadoop-3.0.0/etc/hadoop下相关hadoop配置文件(标记为必须修改文件):

 

\

 

 

1)hadoop-env.sh hadoop环境变量文件

增加java环境变量,防止不能直接读取系统环境变量

 

\

 

2)core-site.xml hadoop核心配置文件,修改如下:

 

在hadoop安装目录下创建目录:tmp-data ,用与存放namenode,datanode数据,执行:mkdir/home/hadoop/app/hadoop-3.0.0/tmp-data

 

\

 

3)hdfs-site.xml 文件系统配置文件,修改如下:

 

\

 

4)yarn-site.xml 资源调度配置文件,修改如下:

 

\

 

5)mapred-site.xml mapreduce配置,修改如下:

 

\

 

7,配置ssh免登陆,否则在启动hadoop的时候报错

 

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ chmod 0600 ~/.ssh/authorized_keys

 

8,初始化hadoop

 

执行:hadoop namenode -format 进行初始化

 

 

 

9,启动dfs

 

执行:start-dfs.sh 启动dfs

 

 

查看dfs启动情况 ,执行 :jps

 

\

 

如果是集群,多个datanode的话,需要修改配置文件workers,来指定有哪些datanode

 

\

 

这里我就配置了一个,如果有多个,可以一次添加(注:使用机器名,之后在hosts文件中做映射)

 

10,启动yarn

 

执行:start-yarn.sh ,启动yarn

 

 

三:测试hdfs

1,通过web服务查看(jetty)

 

默认地址为:http://xingxp-hadoop-133:9870/

 

 

2,上传文件,执行:hdfs fs -get hdfs://xingxp-hadoop-133:9000/jdk-8u91-linux-x64.gz,web页面可以查看到,也可以通过web页面下载。

 

 

3,下载文件,执行:hadoop fs -get hdfs://xingxp-hadoop-133:9000/jdk-8u91-linux-x64.gz

上一篇:《KVM虚拟化技术实战和原理解析》读书笔记(一)
下一篇:mapreduce原理--伪分布式hadoop的配置
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站