频道栏目
首页 > 资讯 > 云计算 > 正文

Hadoop伪分布式配置

17-01-11        来源:[db:作者]  
收藏   我要投稿

Hadoop伪分布式配置。Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件core-site.xml和hdfs-site.xml。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现

1,修改配置文件 core-site.xml:gedit ./etc/hadoop/core-site.xml

将其中的 修改为

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

Abase for other temporary directories.

fs.defaultFS

hdfs://localhost:9000

2,修改配置文件 hdfs-site.xml:

dfs.replication

1

dfs.namenode.name.dir

file:/usr/local/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop/tmp/dfs/data

3, 配置文件说明:

Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。

此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

4,配置完成后,格式化namenode:./bin/hdfs namenode -format

5,开启namenode和datanode守护进程:./sbin/start-dfs.sh

启动完成后可通过jps命令来检查是否启动成功

6,启动成功后,可通过localhost:50070来查看namenode和datanode的信息,还可以在线查看hdfs的文件


相关TAG标签
上一篇:Java学习
下一篇:WindowPowerShell学习系列----DSC的资源(Resource)以及配置和格式(Configuration&&Sytax)
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站