频道栏目
首页 > 程序开发 > 综合编程 > 其他综合 > 正文
[Nutch]Hadoop单机伪分布模式的配置
2016-05-23 09:22:55         来源:Kandy Ye的专栏  
收藏   我要投稿

在之前的博文中,我们一直在使用Nutch的local模式,那么Nutch的Deploy模式该怎么使用呢?首先我们来配置hadoop,为使用Nutch的deploy模式做准备。

1. 下载hadoop

在workspace目录使用如下命令下载hadoop 1.2.1:

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

下载之后进行解压:

tar -zxvf hadoop-1.2.1.tar.gz 

2. 设置Hadoop运行环境

将hadoop的路径加入到当前用户的配置文件(.bashrc)里面:
用vim打开配置文件

vim ~/.bashrc

将doop的路径加入到PATH里面:

export PATH=/home/kandy/workspace/hadoop-1.2.1/bin:$PATH

如下:
这里写图片描述

重新登陆当前账号即可生效:<喎"/kf/ware/vc/" target="_blank" class="keylink">vcD4NCjxwcmUgY2xhc3M9"brush:java;"> ssh localhost

查看hadoop的路径:

which hadoop

结果如下:
这里写图片描述

3. 配置hadoop运行参数

进入hadoop的根目录:

cd hadoop-1.2.1

3.1 配置core-site.xml文件

使用vim打开conf目录下的core-site.xml文件:

vim conf/core-site.xml

在文件里面加入如下内容:


fs.default.name
hdfs://localhost:9000


hadoop.tmp.dir
/home/kandy/workspace/tmp

如下:
这里写图片描述

3.2 配置hdfs-site.xml

使用vim打开conf目录下面的hdfs-site.xml文件:

vim conf/hdfs-site.xml

在文件里面加入如下内容:


  dfs.name.dir
  /home/kandy/workspace/dfs/filesystem/name


  dfs.data.dir
  /home/kandy/workspace/dfs/filesystem/data


  dfs.replication
  1

如下:
这里写图片描述

3.3 配置mapred-site.xml

用vim打开conf目录下面的mapred-site.xml文件:

vim conf/mapred-site.xml

在文件里面加入如下内容:


  mapred.job.tracker
  localhost:9001

 
  mapred.tasktracker.map.tasks.maximum
  2
 
 
  mapred.tasktracker.reduce.tasks.maximum
  2


  mapred.system.dir
  /home/kandy/workspace/mapreduce/system


  mapred.local.dir
  /home/kandy/workspace/mapreduce/local

如下:
这里写图片描述

3.4 配置hadoop-env.sh文件

使用vim打开conf目录下面的hadoop-env.sh文件:

vim conf/hadoop-env.sh

在里面配置JAVA_HOME,加入如下内容:

export JAVA_HOME=/usr/lib/jvm/java-8-oracle

如图:
这里写图片描述

4. 格式化名称节点并启动集群

使用如下命令:

hadoop namenode -format

如下图:
这里写图片描述
从上图就可以看到相关信息。

5. 启动集群并查看WEB管理界面

5.1 启动集群

使用如下命令启动集群:

start-all.sh

如图:
这里写图片描述

使用JPS命令就可以看到多了几个进程:
这里写图片描述
有这样几个进程就表示启动成功。

5.2 查看web管理页面

访问 http://192.168.238.130:50030 可以查看 JobTracker 的运行状态:
这里写图片描述

访问 http://192.168.238.130:50060 可以查看 TaskTracker 的运行状态:
这里写图片描述

访问 http://192.168.238.130:50070 可以查看 NameNode 以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及 log 等:
这里写图片描述

点击复制链接 与好友分享!回本站首页
相关TAG标签 单机 模式
上一篇:百度面试经验总结
下一篇:[Nutch]Hadoop单机伪分布式模式的使用(deploy)
相关文章
图文推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站