16. FlinkSql 集成 hive catalog模式进行读写数据

大数据技能圈 2022-12-09

本案例 flink版本 1.15.2 ；hive 版本 2.3.3 hadoop 版本 2.8.2；jdk版本 1.8。

flink安装包及相关jar包下载：链接：https://pan.baidu.com/s/1L5dOxdrcEdFGIef73-sleQ 提取码：brhl。

一、准备工作

1.保姆级安装CentOS教程文档

2.SSH客户端神器之 MobaXterm

7. CentOS 安装 Hive（集群版）

二、安装步骤

1、上传flink安装包到服务器的某一个目录下，我这里是/opt/download

2、解压flink安装包，我这里的解压到的目录是/opt/software下面

tar -zxvf flink-1.15.2-bin-scala_2.12.tgz -C /opt/software/

3、配置HADOOP_CLASSPATH

export HADOOP_CLASSPATH=`hadoop classpath`

（2）全局生效

可以添加在比如/ect/profile里，这样等于修改全局的环境

记得刷新全局配置

source /etc/profile

4、上传相关jar到flink的lib目录下

antlr-runtime-3.5.2.jar
flink-sql-connector-hive-2.3.6_2.12-1.15.2.jar
hadoop-common-2.8.2.jar
hadoop-mapreduce-client-common-2.8.2.jar
hadoop-mapreduce-client-core-2.8.2.jar
hadoop-mapreduce-client-jobclient-2.8.2.jar
hive-exec-2.3.3.jar

5、启动flink集群

# 启动基于yarn的flink集群，其中-nm 后面的名称是集群名称，可以安装业务需求任意起
bin/yarn-session.sh  -nm flink-sql -d

启动成功后可以查看 JobManager Web Interface 后面的信息来查看flink网页端信息。

停止flink集群

 yarn application -kill application_ID

6、启动hive的元数据服务

nohup bin/hive --service metastore 2>&1 >> var/log.log &

7、启动flink-sql客户端

bin/sql-client.sh

8、创建hive catalog，可以创建多个hive catelog对应hive下面不同的database

# hive-conf-dir 为服务器上的hive安装目录下的hive的配置文件地址
# default-database 可选择hive中需要使用hive链接的hive的库
CREATE CATALOG hive_catalog WITH (
    'type' = 'hive',
    'default-database' = 'caijing01',
    'hive-conf-dir' = '/opt/software/hive/conf'
);