Hadoop2.0集群、Hbase集群、Zookeeper集群、Hive工具、Sqoop工具、Flume工具搭建总结
实验开发环境所用软件：
[root@hadoop11 local]# ll
total 320576
-rw-r--r-- 1 root root 52550402 Mar 6 10:34 apache-flume-1.6.0-bin.tar.gz
drwxr-xr-x 7 root root 4096 Jul 15 10:46 flume
drwxr-xr-x. 11 root root 4096 Jul 10 21:04 hadoop
-rw-r--r--. 1 root root 124191203 Jul 2 11:44 hadoop-2.4.1-x64.tar.gz
drwxr-xr-x. 7 root root 4096 Jul 14 10:02 hbase
-rw-r--r--. 1 root root 79367504 Jan 21 20:40 hbase-0.96.2-hadoop2-bin.tar.gz
drwxr-xr-x 9 root root 4096 Jul 15 09:09 hive
-rw-r--r-- 1 root root 30195232 Dec 12 2015 hive-0.9.0.tar.gz
-rw-r--r-- 1 root root 7412135 Jul 14 19:51 MySQL-client-5.1.73-1.glibc23.x86_64.rpm
-rw-r--r--. 1 root root 875336 Jan 21 20:17 mysql-connector-java-5.1.28.jar
-rw-r--r-- 1 root root 16775717 Jul 14 19:50 MySQL-server-5.1.73-1.glibc23.x86_64.rpm
drwxr-xr-x 9 root root 4096 Apr 27 2015 sqoop
-rw-r--r-- 1 root root 16870735 Jul 15 10:23 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
具体配置如下：
Hadoop开发环境集群搭建总结：
(一)hadoop2.4.1集群搭建(非联盟方式)：
hadoop2.4.1 64位
集群环境介绍：
hadoop11 NameNode 、SecondaryNameNode
hadoop22 ResourceManager
hadoop33 DataNode、NodeManager
hadoop44 DataNode、NodeManager
hadoop55 DataNode、NodeManager
hadoop66 DataNode、NodeManager
前期准备：
①>关闭防火墙
②>设置静态IP地址
③>修改主机名
④>IP地址与主机名绑定
⑤>设置SSH免密码登录
⑥>安装JDK并配置环境变量
安装hadoop2.4.1
1>解压缩
2>修改配置文件
-----------hadoop-env.sh------------------
JAVA_HOME=/usr/local/jdk
-------core-site.xml----------------------
fs.defaultFS
hdfs://hadoop11:9000
hadoop.tmp.dir
/usr/local/hadoop/tmp
-------hdfs-site.xml----------------------
dfs.replication
3
dfs.permissions
false
-------mapred-site.xml--------------------
mapreduce.framework.name
yarn
-------yarn-site.xml----------------------
yarn.resourcemanager.hostname
hadoop22
yarn.nodemanager.aux-services
mapreduce_shuffle
------------slaves------------------------
hadoop33
hadoop44
hadoop55
hadoop66
------------------------------------------
hdfs namenode -format 格式化
3>启动HDFS与YARN集群
start-dfs.sh
start-yarn.sh
显示进程：
4334 SecondaryNameNode
4781 Jps
4614 NodeManager
4188 DataNode
4074 NameNode
4474 ResourceManager
(二)Zookeeper集群搭建：(QuorumPeerMain)
Zookeeper集群对应服务器：hadoop33、hadoop44、hadoop55
2.1 zk服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。
2.2 在hadoop33的/usr/local目录下，解压缩zk....tar.gz，设置环境变量
2.3 在conf目录下，修改文件 vi zoo_sample.cfg zoo.cfg
2.4 编辑该文件，执行vi zoo.cfg
修改dataDir=/usr/local/zk/data
新增
server.0=hadoop33:2888:3888
server.1=hadoop44:2888:3888
server.2=hadoop55:2888:3888
2.5 创建文件夹mkdir /usr/local/zk/data
2.6 在data目录下，创建文件myid，值为0
2.7 把zk目录复制到hadoop44和hadoop55中
2.8 把hadoop44中相应的myid的值改为1
把hadoop55中相应的myid的值改为2
2.9 启动，在三个节点上分别执行命令zkServer.sh start
2.10 检验，在三个节点上分别执行命令zkServer.sh status
检验：
[root@hadoop33 local]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zk/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop44 data]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zk/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop55 data]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zk/bin/../conf/zoo.cfg
Mode: follower
（三）Hbase集群搭建
Hbase集群环境描述：
HMaster hadoop11、hadoop22（active与standby）
HRegionServer hadoop33、hadoop44、hadoop55
安装Hbase
1>解压缩
2>修改配置文件(注意最后一条)
-----------------------hbase-env.sh-------------------------------------
export JAVA_HOME=/usr/local/jdk
export HBASE_MANAGES_ZK=false
-----------------------hbase-site.xml-----------------------------------
hbase.rootdir
hdfs://hadoop11:9000/hbase
hbase.cluster.distributed
true
hbase.zookeeper.quorum
hadoop33:2181,hadoop44:2181,hadoop55:2181
dfs.replication
3
----------------------regionservers-------------------------------------
hadoop33
hadoop44
hadoop55
**********************并没有涉及到Hmaster相关的配置***************
-----------------------因为hbase中的数据在hdfs中存储----------------------
将Hadoop（hdfs）的hdfs-site.xml和core-site.xml 放到hbase/conf下
3、启动hbase
start-hbase.sh
******启动hbase之前，确保hadoop是运行正常的，并且可以写入文件*******
******启动hbase之前，确保zk集群已经启动****************************
******Hmaster的位置在配置文件中并没有进行配置，结果就是在哪个节点启动hbase，哪个节点就是Hmaster*******
******Hbase在启动的时候可以通过hbase-daemon.sh start master启动多个hmaster，多余的是standby状态******
查看启动进程：
------------------------------------------------------------------------
HMaster
HRegionServer
------------------------------------------------------------------------
若使用的是自己的zk实例（true），jps后显示的进程是HQuorumPeer
若使用的不是自己的zk实例（false），jps后显示的进程是QuorumPeerMain
使用浏览器访问http://hadoop11(Hmaster):60010。
（四）Hive工具的搭建使用
注：hive本身就是一个客户端工具，没有分布与伪分布搭建之分
1、解压缩、重命名、设置环境变量
-----------------------------------------------------------------------------------------------------
2、安装mysql---直到可以通过Navicate进行远程连接
(1)执行命令 service mysql status 以及 rpm -qa |grep -i mysql 命令检查是否已经安装了mysql
(2)执行命令 rpm -e xxxxxxx --nodeps 删除已经安装的mysql
(3)执行命令 service mysql status 以及rpm -qa |grep -i mysql 检查是否删除干净
(4)执行命令 rpm -i mysql-server-******** (--nodeps --force) 安装服务端
(5)执行命令 mysqld_safe & 启动mysql 服务端
(6)执行命令 service mysql status 检查mysql服务端是否启动
(7)执行命令 rpm -i mysql-client-******** 安装mysql客户端
(8)执行命令 mysql_secure_installation 设置mysql客户端root登录密码 【3个N 1个Y】
(9)执行命令 mysql -uroot -padmin登录到mysql客户端
(10)执行命令 grant all on *.* to 'root'@'%' identified by 'admin' ; {第一个* 本来是hive的}
flush privileges; 使mysql可以远程连接
(11)把mysql的jdbc驱动放置到hive的lib目录下 *******！！！！！！！！！！！！！！！
-----------------------------------------------------------------------------------------------------
3、修改配置文件
(1)修改hadoop的配置文件hadoop-env.sh，修改内容如下：（hadoop2.0的时候没有配置这一项）
export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
(2)在目录$HIVE_HOME/bin下面，修改文件hive-config.sh，增加以下内容:
export JAVA_HOME=/usr/local/jdk
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop
(3) 在目录$HIVE_HOME/conf/下，
将hive-env.sh.template、hive-default.xml.template、hive-log4j.properties重命名
修改hive_env.sh（1处）
1、添加HADOOP_HOME的安装目录地址
修改hive-log4j.properties （1处）
1、log4j.appender.EventCounter的值修改为org.apache.hadoop.log.metrics.EventCounter
修改配置文件hive-site.xml:（4处）
/******在哪个主机上安装的mysql就写哪台机器的主机名，而不是都写老大的主机名hadoop*******/
javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop11:3306/hive?createDatabaseIfNotExist=true /注意：路径是hive/
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
admin
hive.metastore.warehouse.dir
/hive /***设置hive在hdfs中的工作目录****/
-----------------------------------------------------------------------------------------------------------
4、启动hive工具
hive
检验：在hive中创建一个表table，然后在mysql的（shell+Navicate中）的TBLS表中看是否可以查到元数据信息
（五）Sqoop工具的搭建使用
sqoop仅仅是一个工具，谈不上分布与伪分布的概念
sqoop安装(非常简单)：
1、解压缩
2、重命名
3、配置环境变量
4、source /etc/profile
5、将Mysql的驱动放到sqoop的lib的目录下
OK！
（六）Sqoop工具的搭建使用
Flume的配置没有集群、非集群一说
Flume配置：
1>解压缩
2>重命名
3>修改环境变量，source /etc/profile
4>更改flume-env.sh添加JAVA_HOME
4>****************编写配置文件并添加到conf目录下************
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /usr/local/datainput
a1.sources.r1.fileHeader = true
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp
# Describe the sink
# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop11:9000/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# Use a channel which buffers events in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
5>执行命令 bin/flume-ng agent -n agent1 -c conf -f conf/baby -Dflume.root.logger=DEBUG,console 即可执行。
如有问题，欢迎指正留言！
相关文章
图文推荐
- 文章
- 推荐
- 热门新闻