频道栏目
首页 > 程序开发 > 综合编程 > 其他综合 > 正文
hadoop基础xml配置
2017-07-17 10:52:13      个评论    来源:xuhuanchao1的博客  
收藏   我要投稿

学习中用到的配置进行总结和更新

1. core-site.xml

例子


        
            fs.defaultFS
            hdfs://master:9000
        
        
            hadoop.tmp.dir
            /home/xhc/hadoopdata
        

说明:

fs.defaultFS :文件系统的URI地址,使用hdfs://地址:端口号

hadoop.tmp.dir :临时文件的根目录

2. hdfs-site.xml


	
		dfs.replication
		1
	

说明:

dfs.replication :DataNode的block数量

3. mapred-site.xml


	
		mapreduce.framework.name
		yarn
	
说明:

mapreduce.framework.name : 指定运行mapreduce的环境

4. yarn-site.xml




    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
    
    
        yarn.resourcemanager.address
        master:18040
    
    
    
    
        yarn.resourcemanager.scheduler.address
        master:18030
    
    
    
    
        yarn.resourcemanager.resource-tracker.address
        master:18025
    
    
    
    
        yarn.resourcemanager.admin.address
        master:18141
    
    
    
    
        yarn.resourcemanager.webapp.address
        master:18088
    

说明:

yarn.nodemanager.aux-services:NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MapReduce程序

yarn.resourcemanager.address :ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等

yarn.resourcemanager.scheduler.address :ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。

yarn.resourcemanager.resource-tracker.address :ResourceManager 对NodeManager暴露的地址。NodeManager通过该地址向RM汇报心跳,领取任务等

yarn.resourcemanager.admin.address :ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等

yarn.resourcemanager.webapp.address :ResourceManager对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息

点击复制链接 与好友分享!回本站首页
上一篇:FAST特征点检测算法
下一篇:指定jre运行jar程序
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训

版权所有: 红黑联盟--致力于做实用的IT技术学习网站