频道栏目
首页 > 网络 > 云计算 > 正文
HiveDDL之创建表
2016-12-15 09:24:00         来源:zzShine的专栏  
收藏   我要投稿

HiveDDL之创建表:创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常。

创建表

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
[(col_name data_type [COMMENT col_comment], …)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]
[CLUSTERED BY (col_name, col_name, …) [SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
LIKE existing_table_or_view_name
[LOCATION hdfs_path];

关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。

ROW FORMAT
DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]
[MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
| SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, …)]

用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive通过 SerDe 确定表的具体的列的数据。

STORED AS
SEQUENCEFILE|TEXTFILE|RCFILE
如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。

CLUSTERED BY
对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
把表(或者分区)组织成桶(Bucket)有两个理由:
(1)获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
(2)使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。

LIKE 允许用户复制现有的表结构,但是不复制数据。



创建表
CREATE TABLE IF NOT EXISTS T_PEOPLE(
    id    STRING,
    name  STRING,
    likes ARRAY,
    addr  MAP)
  PARTITIONED BY(dt STRING)
  ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\t'
    COLLECTION ITEMS TERMINATED BY ','
    MAP KEYS TERMINATED BY ':'
  STORED AS TEXTFILE;

查看表相信描述

数据准备

// 数据 2016-1-1
1 zs game,girl,money stuAddr:chengdu,workAddr:beijing 2016-1-1
2 ls game,girl,money stuAddr:changsha,workAddr:shanghai 2016-1-1
// 数据 2016-2-2
3 ww gril,girl,money stuAddr:chengdu,workAddr:beijing 2016-2-2
4 zq play,girl,money stuAddr:zhejiang,workAddr:zhejiang 2016-2-2

// 上传数据到hdfs
[root@master zz]# hdfs dfs -put /home/tmp/people.txt /tmp
[root@master zz]# hdfs dfs -put /home/tmp/people2.txt /tmp

load data

方式①:load 本地数据
[root@master zz]# load data local inpath ‘/home/tmp/people.txt’ into table t_people partition (dt=’2016-1-1’);
[root@master zz]# load data local inpath ‘/home/tmp/people2.txt’ into table t_people partition (dt=’2016-2-2’);

方式②:load hdfs上的数据
[root@master zz]# load data inpath ‘/tmp/people.txt’ into table t_people partition (dt=’2016-1-1’);
[root@master zz]# load data inpath ‘/tmp/people2.txt’ into table t_people partition (dt=’2016-2-2’);

查询数据
查询所有数据
这里写图片描述

查询name=’zs’的stuAddr

显示所有的分区



创建带结构体的表
create table if not exists t_worker(
    id   int,
    info struct)
 row format delimited
   fields terminated by '\t'
   collection items terminated by ',';

--数据准备
1   wangl,28
2   zhaoq,29
3   lifei,27
4   liudr,24

--查询结构体中的数据使用 *.*
select id, info.name, info.age from t_worker;

点击复制链接 与好友分享!回本站首页
上一篇:Vmware上基于Ubuntu的kvm安装和Ubuntu的嵌套安装
下一篇:Apachezookeeper入门学习到ApacheCurator
相关文章
图文推荐
文章
推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站