频道栏目
首页 > 网络 > 云计算 > 正文

MAC系统安装Hadoop的教程

2017-12-07 11:56:34      个评论    来源:Enigma  
收藏   我要投稿

一、准备条件

1、JDK

Hadoop 需要 Java 版本在1.6或以上, 运行java -version在你的终端中,它会显示你电脑上安装的Java版本

\

2、SSH

生成SSH keys

首先确保远程登录(Remote Login)是打开的,在系统配置(System Preferences)->分享(Sharing)中可以设置,如果在终端中输入ssh localhost有返回,则你已经配置好了SSH keys,如果没有,可新建:

ssh-keygen -t rsa -P ""

为了避免每次询问你的密码,可以授权你的公钥到本地:

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

现在应该可以使用SSH在你的电脑上了,执行:

ssh localhost

\

二、安装

1、安装homebrew

ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)

2、使用brew 进行安装hadoop

brew install hadoop

\

3、配置hadoop

>①打开目录

cd /usr/local/Cellar/hadoop/XXXXX/libexec/etc/hadoop

②添加下面的行到hadoop-env.sh:

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

③添加下面的行到core-site.xml


 
   hadoop.tmp.dir
   /tmp/hadoop-${user.name}
   A base for other temporary directories.
  

   fs.default.name
   hdfs://localhost:9000
 

④添加下面的行到hdfs-site.xml


  
    dfs.replication
    1
  

⑤添加下面的行到mapred-site.xml


  
    mapred.job.tracker
    localhost:9001
  

⑥我们必须格式化新安装的HDFS在我们启动运行后台程序前,格式并创新空的文件系统通过创建存储目录和初始化元数据。执行:

hadoop namenode -format

三、验证

1、进入hadoop安装目录,初始化namenode

\

2、启动hdfs和yarn

\

四、验证

1、当启动完hdfs以及yarn可以打开浏览器,输入以下地址看是否能进入对应的页面

http://localhost:50070

\

http://localhost:8088

\

上一篇:dpkg:处理xxx(--configure)时报错问题的解决办法
下一篇:redis常见性能问题和解决方案
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站