频道栏目
首页 > 网络 > 云计算 > 正文

hive整合hbase实际流程

2018-08-08 10:30:21           
收藏   我要投稿

1.首先把hive下的指定jar复制到hbase的lib下

scp $HIVE_HOME/lib/hive-hbase-handler-1.1.0-cdh5.4.0.jar $HBASE_HOME/lib/

2. 把hbase下的所有jar复制到hive的lib下

scp $HBASE_HOME/lib/*.jar $HIVE_HOME/lib/

3.整合代码

在hive的客户端中运行下面的代码进行整合:

create external table hivetable(rowkey string, column1 string,column2 string,column3 string)

stored by'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

with serdeproperties ("hbase.columns.mapping" = ":key,columnfamily1:column1,columnfamily1:column2,columnfamily2:column3") tblproperties ("hbase.table.name"="hbasetable");

上面这个建表语句表示在Hive中建立一个外部表—名字叫做hivetable,与其在Hbase中建立映射关系的表名字为hbasetable,映射关系如下:
hivetable —————————————hbasetable
rowkey<—————>key (Hive中的rowkey字段关联到Hbase中的行健key)
column1<————–>columnfamily1:column1(hivetable中的column1映射到hbasetable中columnfamily1上的column1字段)
column2<————–>columnfamily1:column2(hivetable中的column2映射到hbasetable中columnfamily1上的column2字段)
column3<————–>columnfamily2:column3(hivetable中的column3映射到hbasetable中columnfamily2上的column3字段)
stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’ 的含义是:Hive与Hbase整合功能(互相通信)的实现主要是通过hive_hbase-handler.jar这个工具类来完成的,而语法中的HBaseStorageHandler指的就是这个工具类。

CREATE EXTERNAL TABLE if not exists StocksInfo(

Rowkeystring,

Codestring,

Namestring

)

STORED BY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES('hbase.columns.mapping' =':key,d:Code,d:Name')

TBLPROPERTIES('hbase.table.name' ='StocksInfo');

hbase.columns.mapping: Hive表和HBase表的字段映射关系,分别为:Hive表中第一个字段映射:key(rowkey),d:code (d 指hbase 数据库 stocksInfo 表列族,code 列名)

上一篇:连续属性离散化实现(pandas,sklearn)
下一篇:Ubuntu下安装Thrift步骤详解
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站