频道栏目
首页 > 网络 > 云计算 > 正文

云计算中Hive基本语法解析

2018-04-16 11:30:33         来源:ZoeYen_  
收藏   我要投稿

一、DDL操作

HiveQL与关系型数据库的SQL 略有不同,但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。HIVE不适合用于联机(online)事务处理,也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业

(一)创建表

建表规则:

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], …)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]
[CLUSTERED BY (col_name, col_name, …)
[SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]

①CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXIST 选项来忽略这个异常。

②EXTERNAL 关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION)。

③LIKE 允许用户复制现有的表结构,但是不复制数据。

④COMMENT可以为表与字段增加描述

⑤ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]
[MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]

| SERDE serde_name [WITH SERDEPROPERTIES
(property_name=property_value, property_name=property_value, …)]

ROW FORMAT DELIMITED 指定用户创建表加载数据时,支持的列分隔符。

用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive 通过 SerDe 确定表的具体的列的数据。

⑥STORED AS

SEQUENCEFILE

| TEXTFILE

| RCFILE

| INPUTFORMAT input_format_classname
OUTPUTFORMAT output_format_classname

如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCE 。

1.创建一个内部表teacher1

这里写图片描述

2.创建一个外部表teacher2
这里写图片描述
这里写图片描述

3.建分区表
这里写图片描述
这里出现了错误,由于在新建表的时候,并没有创建分区列address,所以只有在存在分区列的表上执行增加分区的操作,才会成功。

先创建分区列字段
这里写图片描述

使用分区
这里写图片描述
4.建Bucket表

Hive 中 table 可以拆分成 Partition table 和 桶(BUCKET),桶操作是通过 Partition 的 CLUSTERED BY 实现的,BUCKET 中的数据可以通过 SORT BY 排序。

BUCKET 主要作用如下。

1)数据 sampling(抽样);
2)提升某些查询操作效率,例如 Map-Side Join。
这里写图片描述
设置环境变量自动控制上一轮 Reduce 的数量从而适配 BUCKET 的个数
这里写图片描述

2.删除表
这里写图片描述

这里写图片描述

3.修改表的结构
这里写图片描述
这里写图片描述
添加一列并增加表注释
这里写图片描述

4.修改表名
这里写图片描述

5.复制相同结构的表
这里写图片描述

6.创建索引

上一篇:Docker下ELK三部曲之一:极速体验
下一篇:Hadoop伪分布式部署之ssh免密钥登陆
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站