频道栏目
首页 > 网络 > 云计算 > 正文

Hadoop-MapReduce配置YARN环境

2018-05-16 14:17:13      个评论    来源:心雨先生  
收藏   我要投稿

MapReduce是一个计算框架,可分为5个阶段split-------Map------sort(洗牌)------reduce-----------数据输出1,把需要分析的数据切割成片段,每个数据片段不能超过一个Block块2,Map任务阶段,把切割好的数据片段读进来进行分析,有多少个片段就有多少任务,平行进行3,洗牌阶段,把Map输出的数据进行排序,分组,分区等,不改变数据结构4,reduce阶段,自己写处理代码,默认启动一个5,输出阶段,决定reduce执行结果放哪,默认输出到HDFS某个节点

配置YARN环境(/hadoop-2.5.2/etc/hadoop/):mapred-site.xml:复制模版创建 mapreduce.framework.name yarn

yarn-site.xml: yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.ha.enabled trueyarn.resourcemanager.cluster-id cluster1 yarn.resourcemanager.ha.rm-ids rm1,rm2yarn.resourcemanager.hostname.rm1 //定义resourcemanager服务器 node1 //自动定义datanode为NodeManager yarn.resourcemanager.hostname.rm2 //定义resourcemanager服务器 node2 yarn.resourcemanager.zk-address node2:4180,node3:4180,node4:4180 //注意zookeeper的端口号

修改完成,scp到其他几个服务器/hadoop-2.5.2/sbin下start-yarn.sh 默认启动所有resourcemanager和datamanager节点,当前启动的服务器为resourcemanager./yarn-daemon.sh start resourcemanager 单独启动resourcemanager节点

https://node1:8088/ 访问启动./start-all 需要先启动zookeeper。

上一篇:Scala混合组成的类(CLASSCOMPOSITIONWITHMIXINS)
下一篇:Scala高阶函数(HIGHER-ORDERFUNCTIONS)解析
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站