频道栏目
首页 > 系统 > Linux > 正文

centos 下安装Hadoop1.2.1

2016-09-23 09:23:07           
收藏   我要投稿

关闭防火墙

(1)切换到root用户下,执行

setenforce 0

 

这里写图片描述

 

(2)修改SELINUX

vi /etc/selinux/config

 

这里写图片描述

 

修改SELINUX为

 

这里写图片描述

 

(3)关闭命令行、图形化界面的防火墙

执行chkconfig - -list,查看iptables 3和5,没有关闭

 

这里写图片描述

 

执行chkconfig - -level 35 iptables off,关闭3和5

reboot 重启

 

这里写图片描述

 

jdk安装

tar -xzvf jdk-8u65-linux-x64.gz 解压

解压下载好的jdk到/usr/local/目录下,eg:mv jdk-8u65-linux-x64 /usr/local/jdk 并改名为jdk

配置Java环境

root用户下

执行 vi /etc/profile

 

这里写图片描述

 

在末尾添加

JAVA_HOME=”/usr/local/jdk”

PATH=”.:PATH:JAVA_HOME/bin”

export JAVA_HOME PATH

 

这里写图片描述

 

执行source /etc/profile或者重启,并检查jps是否可用

创建hadoop用户并配置/etc/hosts文件及修改主机名

adduser hadoop

配置/etc/hosts

 

这里写图片描述

 

修改主机名

vi /etc/sysconfig/network(所有节点都需修改)

 

这里写图片描述

 

4. 免秘钥登录

在hadoop用户下进入隐藏文件夹.ssh

执行ssh-keygen –t rsa(执行之后一直点回车)生成私钥和公钥

 

这里写图片描述

 

 

这里写图片描述

 

执行cp id_rsa.pub authorized_keys生成authorized_keys文件

 

这里写图片描述

 

每个节点下都执行ssh-keygen –t rsa生成公钥

执行scp authorized_keys hadoop@datanode1:/home/hadoop/.ssh 将authorized_keys拷贝到datanode1节点的hadoop/.ssh目录下

执行cat id_rsa.pub >> authorized_keys,将id_rsa.pub文件内容追加到authorized_keys

执行scp authorized_keys hadoop@datanode2:/home/hadoop/.ssh 将authorized_keys拷贝到datanode2节点的hadoop/.ssh目录下

执行cat id_rsa.pub >> authorized_keys,将id_rsa.pub文件内容追加到authorized_keys

更新namenode和datanode1下的authorized_keys文件

执行scp authorized_key. hadoop@namenode:/home/hadoop/.ssh 将authorized_keys拷贝到namenode节点的hadoop/.ssh目录下

执行scp authorized_keys hadoop@datanode1:/home/hadoop/.ssh 将authorized_keys拷贝到datanode1节点的hadoop/.ssh目录下

到此免秘钥登录完成

将下载好的hadoop压缩包拷贝到namenode节点的opt目录下,

Eg:tar –xzvf hadoop-1.2.1.tar.gz

执行 mv hadoop-1.2.1 /home/hadoop/ 将解压后的Hadoop移动到/home/hadoop/并改名为hadoop

在namenode上配置hadoop环境

按照和伪分布模式相同的方法修改core-site.xml,hdfs-site.xml,mapred-site.xml等配置文件

修改hadoop-env.sh文件

修改masters和slaves文件,记录集群中各个节点

向各节点分发hadoop

格式化namenode

在namenode上启动守护进程,系统会自动到各个节点启动相应的进程

进入hadoop/conf文件夹

修改core-site.xml

 

这里写图片描述

 

修改hdfs-site.xml

 

这里写图片描述

 

1 数据节点复制的份数

修改mapred-site.xml

 

这里写图片描述

 

修改hadoop-env.sh 添加jdk路径

 

这里写图片描述

 

修改masters和slaves文件,记录集群中各个节点

 

这里写图片描述

 

 

这里写图片描述

 

向各节点分发hadoop

scp hadoop. hadoop@datanode1:/home/hadoop/

scp hadoop. hadoop@datanode2:/home/hadoop/

格式化namenode

在namenode节点下进行

cd Hadoop/bin/

./hadoop namenode –format

在namenode上启动守护进程,系统会自动到各个节点启动相应的进程

./start-all.sh

停止所有进程

./stop-all.sh

到此Hadoop安装完成

上一篇:Linux(二)服务器运行环境配置
下一篇:Notes: Linux的进程、系统资源管理
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站