频道栏目
首页 > 系统 > win7激活工具 > 正文
win7下使用myeclipse连接hadoop2.6.0集群并运行wordCount的实例教程
2018-06-04 16:45:14      个评论    来源:jikuibu  
收藏   我要投稿

1: 设置eclipse

选择"Window"菜单下的"Preference","HadoopMap/Reduce"选项,选择Hadoop的安装目录(即hadoop在win7下的安装或者叫解压目录),如:D:\programes\hadoop-2.6.0

2:切换"Map/Reduce"工作视图,java开发者都会的。

3:建立与Hadoop集群的连接,在Eclipse软件下面的"Map/Reduce Locations"进行右击,弹出一个选项,选择"New Hadoop Location",然后弹出一个窗体。

\

注意上面三个红框所示:

1) Map/Reduce(V2)Master

对应mapred-site.xml配置中的mapreduce.jobtracker.http.address的参数,如下:

mapreduce.jobtracker.http.address

master:50030

2)DFSMaster

对应core-site.xml配置中的:

fs.defaultFS

hdfs://master:9000

3) User name

如果hdfs-site.xml配置中的:

dfs.permissions

false

如上所示为false时,这个用户名随便设,否则就要改成在linux中搭建hadoop平台使用的linux帐号。

4) 临时目录

接着点击"Advanced parameters"从中找见"hadoop.tmp.dir",修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是"/opt/hadoop-2.6.0/tmp",这个参数在"core-site.xml"进行了配置。

2: 查看HDFS文件系统,并尝试建立文件夹和上传文件。点击Eclipse软件左侧的"DFS Locations"下面的"myHadoop",就会展示出HDFS上的文件结构。

\

1) user目录是可以在上面的Advanced parameters设置的,这个默认就是user。

2)可以在这里浏览hdfs上的文件,如同在linux下查看hdfs文件系统一样,同样,这里也可以上传与删除。

3)在hadoop目录下新建input目录,这个动作熟悉否?可还记得搭建hadoop平台完毕后,测试wordcount样例中有这个步骤?

点击复制链接 与好友分享!回本站首页
上一篇:windows与linux实现文件互传讲解
下一篇:win10系统安装.net framework 3.5时提示错误代码:0x80070002的解决办法
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站