hive安装方法

我的集群有三台,此文档选择第三台安装。

Apache下载地址:http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

网盘CDH: 链接:https://pan.baidu.com/s/1VItITawBpgZ0kr_PLDSNSA 提取码:imwm

上传并解压安装包

将hive安装包上传到node03服务器的/export/softwares路径下,然后进行解压

1
2
cd /export/softwares/
tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/

安装MySQL

方式一:使用rpm包安装mysql

  1. 查看系统自带的mysql的rpm包

    1
    2
    $ rpm -qa | grep mysql
    $ rpm -e mysql-libs-5.1.73-8.el6_8.x86_64 --nodeps ## 删除自带包
  2. 安装mysql的rpm包

    1
    $ rpm -ivh *.rpm
  3. 启动mysql的服务

    1
    $ service mysqld start
  4. 查看mysql初始化密码

    1
    $ more /root/.mysql_secret
  5. 使用随机密码登录mysql并更新密码

    1
    2
    $ mysql -uroot -p
    mysql> SET PASSWORD = PASSWORD('123456');
  6. 开启mysql远程连接

    1
    2
    mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
    mysql> flush privileges;
  7. 设置mysql的开机启动

    1
    2
    $ chkconfig --add mysqld
    $ chkconfig mysqld on

方式二:使用yum源安装mysql(推荐)

  1. 在线安装mysql相关的软件包

    1
    $ yum install mysql mysql-server mysql-devel
  1. 启动mysql服务

    1
    $ /etc/init.d/mysqld start
  1. 通过mysql安装自带脚本进行设置

    1
    $ /usr/bin/mysql_secure_installation
  1. 进入mysql的客户端然后进行授权

    1
    2
    mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
    mysql> flush privileges;

修改hive的配置文件

  1. 修改hive-env.sh

    1
    2
    3
    $ cd /hive-1.1.0-cdh5.14.0/conf
    $ cp hive-env.sh.template hive-env.sh
    $ vim hive-env.sh
1
2
3
4
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/export/servers/hive-1.1.0-cdh5.14.0/conf
  1. 修改hive-site.xml

    1
    2
    $ cd /hive-1.1.0-cdh5.14.0/conf
    $ vim hive-site.xml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node03.hadoop.com:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node03.hadoop.com</value>
</property>
<!--
<property>
<name>hive.metastore.uris</name>
<value>thrift://node03.hadoop.com:9083</value>
</property>
-->
</configuration>

添加mysql连接驱动包到hive的lib目录下

hive使用mysql作为元数据存储,必然需要连接mysql数据库,所以我们添加一个mysql的连接驱动包到hive的安装目录下,然后就可以准备启动hive了。

将mysql-connector-java-5.1.38.jar这个jar包上传到export/servers/hive-1.1.0-cdh5.14.0/lib目录下即可。

配置Hive的环境变量

nodee03服务器执行以下命令配置hive的环境变量

1
sudo vim /etc/profile
1
2
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0
export PATH=:$HIVE_HOME/bin:$PATH

Hive的交互方式

方式一:bin/hive

1
2
cd /export/servers/hive-1.1.0-cdh5.14.0/
bin/hive

查看所有数据库

1
show databases;

创建一个数据库

1
create database myhive;

使用该数据库并创建数据库表

1
2
use myhive;
create table test(id int,name string);

完成上述操作之后,确认mysql里面出来一个数据库hive

方式二:使用sql语句或者sql脚本进行交互

不进入hive的客户端直接执行hive的sql语句

1
2
cd /export/servers/hive-1.1.0-cdh5.14.0/
bin/hive -e "create database if not exists mytest;"

或者我们可以将我们的sql语句写成一个sql脚本然后执行。

1
2
cd /export/servers
vim hive.sql
1
2
3
create database if not exists mytest;
use mytest;
create table stu(id int,name string);

通过hive -f 来执行sql脚本

1
bin/hive -f /export/servers/hive.sql

Hive JDBC服务

启动hiveserver2服务

前台启动

1
2
$ cd /hive-1.1.0-cdh5.14.0/
$ bin/hive --service hiveserver2

后台启动

1
2
$ cd /hive-1.1.0-cdh5.14.0/
$ nohup bin/hive --service hiveserver2 &
beeline连接hiveserver2
1
2
$ bin/beeline
beeline> !connect jdbc:hive2://node03.hadoop.com:10000

注意:如果使用beeline方式连接hiveserver2,一定要保证hive在mysql当中的元数据库已经创建成功,不然就会拒绝连接。

-------------本文结束感谢您的阅读-------------

本文标题:hive安装方法

文章作者:Mr.wj

发布时间:2019年12月15日 - 10:51

最后更新:2019年12月15日 - 11:24

原始链接:https://www.wjqixige.cn/2019/12/15/hive安装方法/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

Mr.wj wechat
欢迎您扫一扫上面的微信公众号,订阅我的博客!