前言
大数据时代,越来越多的企业开始寻求可进行实时数据分析的可交互方案,涉及新软件的引入、数据流的改进等场景。Kyligence Cloud 基于上述场景实现了无缝对接阿里云 LogHub,有效整合实时数据与历史数据,为云上准实时大数据分析提供一站式解决方案。
LogHub 是阿里云日志服务下的一个实时数据采集和消费服务。通过ECS、容器、移动端,开源软件,JS等接入实时日志数据(例如Metric、Event、BinLog、TextLog、Click等),以及提供实时消费接口,与实时计算及服务对接。此外还提供包括数据清洗(ETL),流计算(Stream Compute),监控与报警,机器学习与迭代计算的功能。LogHub 对比同类型的Apache Kafka具有使用成本低,稳定性高,安全性强等优势,已经广泛应用于阿里巴巴集团以及很多客户的大数据场景。
Kyligence Cloud 是 Kyligence 公司基于云端的大数据分析服务,以 Apache Kylin 企业版(Kyligence Enterprise)为核心,为大数据分析平滑上云提供托管式解决方案。使用 Kyligence Cloud,您可以在公有云上快速建立大数据分析集群,实现对海量数据的交互式 OLAP 分析和高并发查询应用。

目前,Kyligence Cloud 在支持阿里云平台自动化部署大数据分析集群的基础上,实现了无缝对接 LogHub。在全图形界面下,您可以快速完成数据源绑定、事实表解析、数据采集、数据建模等步骤,实现对 LogHub 日志流数据的近实时处理。
现在只需 4 个步骤,
就可轻松实现云上准实时大数据分析!
前期准备:
1. 申请 Kyligence Cloud 试用并选择阿里云平台,一键申请>>
https://cloud.kyligence.io/#/cloudapply
2. 使用 Kyligence Cloud 上在阿里云上成功部署大数据分析集群,详细步骤请参阅:Kyligence Cloud 用户手册>>
http://docs.kyligence.io/books/cloud/zh-cn/aliyun/
3. 配置对接 LogHub 数据源并进行后续建模分析
绑定数据源
在集群部署成功后,点击 Kyligence Cloud 左侧导航栏中的数据源并选择 LogHub ,填写相关参数后点击测试连接,成功后即可完成数据源连接。
选择 LogHub 数据源
事实表解析
连接 LogHub 数据源后即可开始对 LogHub 构建表结构,LogHub 日志服务大部分都是以 CSV 格式进行记录。在构建表结构时,CSV 格式的流式数据没有所对应的列名、列类型。在 Kyligence Cloud 中构建 LogHub 表结构时以用户熟悉的表结构页面呈现,用户只需在每行列值前补充对应的列名,并选择该列值类型即可完成将 LogHub 日志流定义为事实表。
Kyligence Cloud 解析 LogHub 表结构
建模分析
Kyligence Cloud 大数据分析引擎以 Apache Kylin 企业版为核心,基于成熟的 OLAP 建模理论,结合创新的自动建模技术,实现海量数据分析的高效查询加速,实现高并发的分析应用。您可以基于数据手工进行多维建模,也可以基于业务查询 SQL 让系统自动建模,高效实现大数据分析应用。
Kyligence Enterprise 多维模型截图
总结
通过与阿里云 LogHub 无缝整合,Kyligence Cloud 有效整合实时数据与历史数据处理,将数据分析变成更加实时的可交互方案,同时大大降低了使用和分析门槛,为用户提供准实时大数据分析一站式解决方案。
更多关于 Kyligence Cloud 的信息,
点击阅读原文,进入 Kyligence 官网

点击“阅读原文”




