Hadoop集群下配置Hive元数据库为PostgreSQL的实例教程

1下载hive

如图：

如图：

点击进入：

apache-hive-2.1.1-bin.tar.gz

2安装

2.1上载和解压缩

将apache-hive-2.3.3-bin.tar.gz拷贝上去

执行进入目录的命令：

cd /home/hadoop/

执行解压缩的命令：

tar -zxvf apache-hive-2.3.3-bin.tar.gz

2.2配置环境变量

编辑./.bash_profile文件，增加hive相关的环境变量配置

如图：

profile文件编辑完成后，执行下面命令，让配置生效，命令是;

source ./.bash_profile

说明：上面的环境变量中只有PG_HOME和HIVE相关，相关的路径必须要和你机器对应，其他JAVA_HOME和HADOOP_HOME在系统变量里边

2.3对hive进行配置

2.3.1hive-site.xml相关的配置

2.3.1.1新建hive-site.xml文件

进入到$HIVE_HOME/conf目录，命令是：

cd $HIVE_HOME/conf

将hive-default.xml.template文件复制一份，并且改名为hive-site.xml，命令是：

cp hive-default.xml.template hive-site.xml

2.3.1.2使用hadoop新建hdfs目录

因为在hive-site.xml中有这样的配置：

hive.metastore.warehouse.dir

/user/hive/warehouse

hive.exec.scratchdir

/tmp/hive

所以要让hadoop新建/user/hive/warehouse目录，执行命令：

$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse

给刚才新建的目录赋予读写权限，执行命令：

$HADOOP_HOME/bin/hadoop fs -chmod 777 /user/hive/warehouse

让hadoop新建/tmp/hive/目录，执行命令：

$HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp/hive/

给刚才新建的目录赋予读写权限，执行命令：

$HADOOP_HOME/bin/hadoop fs -chmod 777 /tmp/hive

2.3.1.3检查hdfs目录是否创建成功

检查/user/hive/warehouse目录是否创建成功，执行命令：

$HADOOP_HOME/bin/hadoop fs -ls /user/hive/

检查/tmp/hive是否创建成功，执行命令：

$HADOOP_HOME/bin/hadoop fs -ls /tmp/

2.3.1.4修改hive-site.xml中的临时目录

将hive-site.xml文件中的${system:java.io.tmpdir}替换为hive的临时目录，例如我替换为/opt/hive/tmp，该目录如果不存在则要自己手工创建，并且赋予读写权限。

被我替换为了

如图：

将${system:user.name}都替换为root

如图：

说明：截图并不完整，只是截取了几处以作举例，你在替换时候要认真仔细的全部替换掉。

2.3.1.5修改hive-site.xml数据库相关的配置

搜索javax.jdo.option.ConnectionURL，将该name对应的value修改为PostgreSQL的地址，例如我修改后是：

javax.jdo.option.ConnectionURL

jdbc:postgresql://192.168.31.50:5432/metastore_db

搜索javax.jdo.option.ConnectionDriverName，将该name对应的value修改为PostgreSQL驱动类路径，例如我的修改后是：

javax.jdo.option.ConnectionDriverName

org.postgresql.Driver

搜索javax.jdo.option.ConnectionUserName，将对应的value修改为PostgreSQL数据库登录名：

javax.jdo.option.ConnectionUserName

hive_user

搜索javax.jdo.option.ConnectionPassword，将对应的value修改为PostgreSQL数据库的登录密码：

javax.jdo.option.ConnectionPassword

hive_user

搜索hive.metastore.schema.verification，将对应的value修改为false：

hive.metastore.schema.verification

false

2.3.1.6将Postgresql驱动包上载到auxlib目录

在HIVE_HOME目录下创建auxlib目录：

mkdir auxlib

此时HIVE_HOME目录中应该有bin，lib，auxlib，conf等目录。

下载PG的JDBC驱动

Wgethttp://jdbc.postgresql.org/download/postgresql-9.0-801.jdbc4.jar

将下载到的postgresql-9.0-801.jdbc4.jar放到auxlib中。

如图：

2.3.2新建hive-env.sh文件并进行修改

进入到$HIVE_HOME/conf目录，命令是：

cd $HIVE_HOME/conf

将hive-env.sh.template文件复制一份，并且改名为hive-env.sh，命令是：

cp hive-env.sh.template hive-env.sh

打开hive-env.sh配置并且添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-2.7.5

export HIVE_CONF_DIR=/home/hadoop/apache-hive-2.3.3-bin/conf

export HIVE_AUX_JARS_PATH=/home/hadoop/apache-hive-2.3.3-bin

3启动和测试

.1对Postgresql数据库进行初始化

进入到hive的bin目录 执行命令：

$ bin/schematool -dbType postgres -initSchema

如图

执行成功后，hive的元数据库里已经有一堆表创建好了

3.1启动hive

进入到hive的bin目录执行命令：

cd $HIVE_HOME/bin

执行hive脚本进行启动，执行命令：

./hive

如图：

3.3测试

3.3.1 执行简单测试命令

执行了3.2的hive脚本，启动成功后，就进入了hive的命令行模式。下面进行一系列简单测试：

执行查看函数的命令：

show functions;

如图：

执行查看sum函数的详细信息的命令：

descfunction sum;

如图：

3.3.2执行新建表以及导入数据的测试

3.3.2.1新建数据库

执行新建数据库的hive命令：

createdatabase db_hive_edu;

如图：

3.2.2.2 创建数据表

在刚才创建的数据库中创建数据表，执行hive命令：

usedb_hive_edu;

create table student(id int,name string) row format delimited fields terminated by '\t';

如图：

3.2.2.3将文件数据写入表中

(1)在/opt/hive目录内新建一个文件

执行Linux命令(最好是重新打开一个终端来执行)：

touch $HIVE_HOME/student.txt

如图：

往文件中添加以下内容：

001 zouhb

002 haha

003 shi

004 dashabi

005 hahaha

如图：

完成上面的步骤后，在磁盘上student.txt文件已经创建成功，文件中也已经有了内容，在hive命令行中执行加载数据的hive命令：

load data local inpath '/home/hadoop/student.txt' into table db_hive_edu.student;

如图：

3.2.2.4查看是否写入成功

执行命令，查看是否把刚才文件中的数据写入成功，hive命令是：

select * from edu.student;

如图：

3.2.2.5在界面上查看刚才写入hdfs的数据

我的hadoop的namenode的IP地址是192.168.31.50，所以我要在浏览器里访问如下地址：

如图：

点击student.txt，会弹出一个框

如图：

3.2.2.6在PostgreSQL的hive数据库中查看

在MySQL数据库中执行select语句，查看hive创建的表，SQL是：

SELECT * FROM "public"."TBLS"

如图：

好啦 到这里

Hive配置元数据库为PostgreSQL结束了，goodluck!

另外可能有的同学忘掉postgresql用户密码，重置密码方法如下

1.Linux环境下

#supostgres

-bash-3.2$psql-Upostgres

postgres=#alteruserpostgreswithpassword'newpassword';

postgres=#\q