暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Kyligence Cloud 对接阿里云 LogHub,实现云上准实时大数据分析一站式解决方案

Kyligence 2021-09-07
625

前言

大数据时代,越来越多的企业开始寻求可进行实时数据分析的可交互方案,涉及新软件的引入、数据流的改进等场景。Kyligence Cloud 基于上述场景实现了无缝对接阿里云 LogHub,有效整合实时数据与历史数据,为云上准实时大数据分析提供一站式解决方案。



关于LogHub

LogHub 是阿里云日志服务下的一个实时数据采集和消费服务。通过ECS、容器、移动端,开源软件,JS等接入实时日志数据(例如Metric、Event、BinLog、TextLog、Click等),以及提供实时消费接口,与实时计算及服务对接。此外还提供包括数据清洗(ETL),流计算(Stream Compute),监控与报警,机器学习与迭代计算的功能。LogHub 对比同类型的Apache Kafka具有使用成本低,稳定性高,安全性强等优势,已经广泛应用于阿里巴巴集团以及很多客户的大数据场景


关于 Kyligence Cloud


Kyligence Cloud 是 Kyligence 公司基于云端的大数据分析服务,以 Apache Kylin 企业版(Kyligence Enterprise)为核心,为大数据分析平滑上云提供托管式解决方案。使用 Kyligence Cloud,您可以在公有云上快速建立大数据分析集群,实现对海量数据的交互式 OLAP 分析和高并发查询应用。


目前,Kyligence Cloud 在支持阿里云平台自动化部署大数据分析集群的基础上,实现了无缝对接 LogHub。在全图形界面下,您可以快速完成数据源绑定、事实表解析、数据采集、数据建模等步骤,实现对 LogHub 日志流数据的近实时处理


现在只需 个步骤,

就可轻松实现云上准实时大数据分析!


  • 前期准备:

1.    申请 Kyligence Cloud 试用并选择阿里云平台,一键申请>>

https://cloud.kyligence.io/#/cloudapply

2.    使用 Kyligence Cloud 上在阿里云上成功部署大数据分析集群,详细步骤请参阅:Kyligence Cloud 用户手册>>

http://docs.kyligence.io/books/cloud/zh-cn/aliyun/

3.    配置对接 LogHub 数据源并进行后续建模分析

 

  • 绑定数据源

在集群部署成功后,点击 Kyligence Cloud 左侧导航栏中的数据源并选择 LogHub ,填写相关参数后点击测试连接,成功后即可完成数据源连接。

选择 LogHub 数据源

 

  • 事实表解析

连接 LogHub 数据源后即可开始对 LogHub 构建表结构,LogHub 日志服务大部分都是以 CSV 格式进行记录。在构建表结构时,CSV 格式的流式数据没有所对应的列名、列类型。在 Kyligence Cloud 中构建 LogHub 表结构时以用户熟悉的表结构页面呈现,用户只需在每行列值前补充对应的列名,并选择该列值类型即可完成将 LogHub 日志流定义为事实表。

Kyligence Cloud 解析 LogHub 表结构

 

  • 建模分析

Kyligence Cloud 大数据分析引擎以 Apache Kylin 企业版为核心,基于成熟的 OLAP 建模理论,结合创新的自动建模技术,实现海量数据分析的高效查询加速,实现高并发的分析应用。您可以基于数据手工进行多维建模,也可以基于业务查询 SQL 让系统自动建模,高效实现大数据分析应用。

Kyligence Enterprise 多维模型截图



以下是完整视频


总结

通过与阿里云 LogHub 无缝整合,Kyligence Cloud 有效整合实时数据与历史数据处理,将数据分析变成更加实时的可交互方案,同时大大降低了使用和分析门槛,为用户提供准实时大数据分析一站式解决方案。


更多关于 Kyligence Cloud 的信息,

点击阅读原文,进入 Kyligence 官网



点击“阅读原文”
文章转载自Kyligence,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论