mac下安装hadoop2.7.1服务器教程

mac下安装hadoop2.7.1服务器教程。

一、配置ssh localhost

因为安装hadoop需要远程登录的功能，所以需要安装ssh工具，但是mac就不需安装了，只需要在 ”系统偏好配置”的 ”共享“ 勾选”远程登录”就可以使用ssh了。
测试 还是需要输入密码。配置免密码登录
在终端中依次输入如下代码配置SSH免密码登陆：
ssh?keygen?tdsa?P”?f/.ssh/iddsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

解释：
第一行：ssh -keygen 代表生成密钥，-t代表指定生成的密钥类型，dsa代表dsa密钥认证的意思（密钥类型）；-P用于提供密语，-f 指定生成的密钥文件
第二行：将公钥加入到用于认证的公钥文件中
测试：
*MacBookPro:~ hanyk$ ssh localhost
Last login: Fri Sep 22 18:15:53 2017*

二 下载hadoop：

首先验证是否已经安装

  hadoop version

如果已经安装在系统上，会得到如下显示

MacBookPro:~ hanyk$ hadoop version
Hadoop 2.6.0
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r e3496499ecb8d220fba99dc5ed4c99c8f9e33bb1
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using /Users/hanyk/Downloads/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar

若不存在进行 下载 hadoop http://mirror.bit.edu.cn/apache/hadoop/common/
解压到指定目录：/Users/hanyk/Downloads/hadoop-2.6.0

三：配置伪分布式

步骤1：设置hadoop

通过 vim ~/.bash_profile
export HADOOP_HOME=/Users/hanyk/Downloads/hadoop-2.6.0 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
source ~/.bash_profile

步骤2：hadoop配置

 cd $HADOOP_HOME/etc/hadoop
core-site.xml

core-site.xml
文件中包含的信息，如使用Hadoop实例分配给文件系统的存储器，用于存储数据的内存限制的端口号，以及读/写缓冲器的大小。
打开core-site.xml文件并在,标签之间添加以下属性。

 
      fs.default.name 
      hdfs://localhost:9000 
   

hdfs-site.xml
hdfs-site.xml 文件中包含的信息，如复制数据的值，名称节点的路径，本地文件系统的数据节点的路径。
我们假定有以下数据。

dfs.replication (data replication value) = 1
(In the following path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打开这个文件，并在此文件中的标签之间添加以下属性。

 
      dfs.replication 
      1 
    
    
      dfs.name.dir 
      file:///home/hadoop/hadoopinfra/hdfs/namenode  
    
    
      dfs.data.dir
      file:///home/hadoop/hadoopinfra/hdfs/datanode  
   

注：在上面的文件，所有的属性值是用户定义的，可以根据自己的Hadoop基础架构进行更改。
yarn-site.xml
此文件用于配置yarn到Hadoop。打开yarn-site.xml文件，并在此文件中的

标签之间添加以下属性。

 
      yarn.nodemanager.aux-services 
      mapreduce_shuffle 
   

mapred-site.xml

此文件用于指定我们正在使用的MapReduce框架。缺省情况下，包含 yarn-site.xml模板。缺省情况下，包含yarn-site.xml模板。首先，需要将文件从mapred-site.xml复制。模板mapred-site.xml文件使用以下命令。
$ cp mapred-site.xml.template mapred-site.xml
打开mapred-site.xml文件，并在在此文件中的标签之间添加以下属性。

 
      mapreduce.framework.name 
      yarn 
   

四 验证Hadoop的安装

下面的步骤被用来验证Hadoop的安装。

步骤1：名称节点设置

使用命令“hdfs namenode -format”设置名称节点如下。

$ cd ~
$ hdfs namenode -format

步骤2：验证hadoop dfs
下面的命令用来启动dfs。执行这个命令将开始启动Hadoop文件系统。

$ start-dfs.sh
期望的输出如下所示：
Starting namenodes on [localhost] 
localhost: starting namenode, logging to /home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-namenode-localhost.out 
localhost: starting datanode, logging to /home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-localhost.out 
Starting secondary namenodes [0.0.0.0]

步骤3：验证Yarn脚本
下面的命令用来启动yarn脚本。执行此命令将启动yarn守护进程。

$ start-yarn.sh
期望的输出如下所示：
starting yarn daemons 
starting resourcemanager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out 
localhost: starting nodemanager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-localhost.out

步骤4:在浏览器访问Hadoop
访问Hadoop的默认端口号为50070.使用以下网址，以获取浏览器Hadoop服务。
http://localhost:50070/

步骤5：验证集群的所有应用程序
访问集群中的所有应用程序的默认端口号为8088。使用以下URL访问该服务。
http://localhost:8088/

到此hadoop已经安装完成。后续工作咱们下次介绍。