频道栏目
首页 > 网络 > 云计算 > 正文

CentOS下配置完全分布Hadoop-2.6.0-cdh5.6.0(2)

2017-06-16 16:56:54           
收藏   我要投稿
关于SecureCRT的使用

主机名为IP地址,我们之前配置的静态IP就是为了使用这个软件来进行Hadoop的远程操作

(假如你是使用root用户来配置hadoop)用户名为root 登陆会要求输入密码。

 

 

准备Java环境

下载好JDK,使用SecureCRT传入虚拟机,之后,使用解压命令解压到公共文件夹(新建一个usr/local/app)

使用命令mkdir /usr/local/app tar -zxvf 文件名 -C 想解压的目录

解压成功之后

配置环境变量

vi /etc/profile

添加JAVA_HOME跟PATH环境

export JAVA_HOME=/usr/local/app/jdk1.7.0_79

export PATH=$PATH:$JAVA_HOME/bin

之后保存退出,再source /etc/profile

可以echo $JAVA_HOME 查看一下环境变量

到这里JAVA环境就搭配好了。

安装hadoop

先在官网下下载hadoop,记得下载稳定版本

之后使用CRT传入虚拟机,运行解压文件,解压到/usr/local/app

解压完成之后 进去hadoop目录下的etc目录修改hadoop-env.sh这个配置文件

vi /etc/hadoop-env.sh

修改JAVA_HOME为JDK目录,保存退出

之后修改core-site.xml

fs.defaultFS(默认用哪一个作为我们hadoop的文件系统,用自己自带的hdfs,用URI表示,写主节点(也就是主机名))

hdfs://hadoop-server-00:9000/

 

hadoop.tmp.dir(hadoop运行时的暂时存放路径,存放一些数据或者文件)

/usr/local/app/hadoop-2.6.0-cdh5.6.0/tmp/

 

保存退出之后,再修改hdfs相关配置

hdfs.site.xml修改如下

dfs.replication

1

 

表示hdfs使用时默认的备份文件数量,我们为开发测试环境不需要很大,所以1够了

接下来配置MapReduce相关文件

首先mv mapred-site.xml.template mapred-site.xml

之后vi mapred-site.xml

mapreduce.framework.name

yarn (yarn是执行服务的平台 ,配置一下)

 

之后再去配置yarn文件(服务组件)

yarn-stie.xml

yarn.resourcemanager.hostname

(用哪一台机器作用yarn的主节点(也就是进程))

hadoop-server-00

 

yarn.nodemanager.aux-services

mapreduce_shuffle

 

到目前为止基本上配置好了 现在要去配置一些小文件

vi slaves 修改localhost为hadoop-server-00

好了 hadoop的配置到此就结束了 接下来尝试启动hadoop

上一篇:机器学习实战_04-贝叶斯
下一篇:MongoDB常用操作(二)
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站