暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

python操作hive和mysql实现大数据分析(上)

Java大数据与数据仓库 2021-07-06
1728

由于hive查询结果是不能直接保存到mysql的,通常用python驱动hiveserver2,也利用python将结果保存到mysql。

需要的包

网上百度,搜到的包不外乎下面3个,这里用第二个。

1、pyhs2,已没有更新维护
https://github.com/BradRuderman/pyhs2

2、pyhive
https://github.com/dropbox/PyHive

3、impyla
https://github.com/cloudera/impyla


我们选择pyhive

安装基本顺利,安装过程如下:

1
2
3
# 这个不装会报错,会有错误提示
pip install thrift
pip install pyhive

你以为安装完了吗,连接hive时报错:

1
ImportError: No module named sasl

提示,需要安装sasl

1
2
3
4
5
pip install sasl

# 我在不同版本安装发现,有的linux系统可能不会报错
# 如果安装sasl报错报错,则执行下面语句
yum install cyrus-sasl-devel saslwrapper

stackoverflow问题及回答地址:https://stackoverflow.com/questions/37452024/install-thrift-sasl-for-python-in-windows

还是报错,错误提示:

1
ImportError: No module named thrift_sasl

需要安装thrift_sasl

1
pip install thrift-sasl

按照错误提示,一步一步,到这里,pyhive就安装好了。

夜深了,用法待更。。。

点击【阅读原文】,有惊喜!

文章转载自Java大数据与数据仓库,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论