频道栏目
首页 > 程序开发 > 软件开发 > 其他 > 正文
企业级HBase搭建
2017-01-03 09:38:00         来源:王观前的专栏  
收藏   我要投稿
企业级HBase搭建:三台主机:namenode-a1(master1)、namenode-a2(master2) 、datanode-a(rengionserver)。

一、配置最大打开文件数、进程数

查看:$ ulimit -a使用root用户编辑配置文件:vim /etc/security/limits.conf 写入以下内容:

root softnproc50000

root hard nproc50000

rootsoftnofile 25535

root hard nofile 25535

hadoop soft nproc 50000

hadoop soft nofile 25535

hadoop hard nofile 25535

二、配置系统内核参数

[root@namenode-a1 ~]# vim /etc/sysctl.conf加入以下内容:

net.ipv4.ip_forward = 0

net.ipv4.conf.default.rp_filter = 1

net.ipv4.conf.default.accept_source_route = 0

kernel.core_users_pid = 1

net.ipv4.tcp_syncookies = 1

net.bridge.bridge-nf-call-ip6tables = 0

net.bridge.bridge-nf-call-iptables = 0

net.bridge.bridge-nf-call-arptables = 0

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.

使配置生效:sysctl -p

三、安装hbase

解压到 /opt/ 下,建立软连接,将拥有人给hadoop用户

[root@namenode-a1 opt]# tar zxvf hbase-0.98.23-hadoop2-bin.tar.gz

[root@namenode-a1 opt]# ln -s hbase-0.98.23-hadoop2 hbase

[root@namenode-a1 opt]# chown -R hadoop:hadoop hbase

[root@namenode-a1 opt]# chown -R hadoop:hadoop hbase-0.98.23-hadoop2

编辑 /opt/hbase/conf/hbase-env.sh 文件,添加以下内容:

export JAVA_HOME=/usr/java/jdk1.7.0_79

export HBASE_HEAPSIZE=1024#设置内存大小

export HBASE_MASTER_OPTS="-Xmx512m"

export HBASE_RENGIONSERVER_OPTS="Xmx512m"

export HBASE_LOG_DIR=${HBASE_HOME}/logs

export HBASE_PID_DIR=/opt/hbase/pids

export HBASE_MANAGES_ZK=true #使用独立的zookeeper

编辑 /opt/hbase/conf/hbase-site.xml 文件,配置如下:

hbase.master.distributed.log.splitting

false

hbase.rootdir

#与hadoop中配置一致

hdfs://educluster/hbase

hbase.cluster.distributed

#使用分布式模式

true

hbase.master.port

60000

#设置zookeeper集群列表

hbase.zookeeper.quorum

namenode-a1,namenode-a2,datanode-a

hbase.zookeeper.property.datadir

#与zookeeper中配置一致

/opt/hadoopdata/zookeeperdata

hbase.client.scanner.caching

2000

hbase.hregion.max.filesize

10737418240

hbase.regionserver.regionSplitLimit

2000

hbase.hstore.compactionThreshold

6

hbase.hstore.blockingStoreFiles

14

hbase.hregion.memstore.block.multipliter

20

hbase.server.thread.wakefrequency

500

#zookeeper最大连接数

hbase.zookeeper.property.maxClientCnxns

2000
点击复制链接 与好友分享!回本站首页
上一篇:单例模式
下一篇:composer install or update 报错问题解决
相关文章
图文推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站