暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片

解决方案│流数据库QFLOW在流计算场景的应用

快立方Qcubic 2021-03-24
3485

点击上方蓝字关注我们

QFLOW是快立方针对物联网应用场景打造的流数据库产品,主要解决5G及物联网应用场景下数据的实时快速响应等流式处理需求。QFLOW可以作为移动边缘计算节点(MEC)、物联网规则引擎和流计算用于在各类场景解决方案。本文重点介绍下QFLOW在流计算场景中的应用。






01

流计算背景


云计算和物联网的兴起推动大数据时代快速到来,通过对大数据的采集分析、价值挖掘可以快速提升企业的洞察力、决策力,将数据价值发挥最大,这就需要匹配大数据特点的计算能力来对数据进行处理分析,流计算成为了大数据最主要的计算模式。 

在流计算业务场景中,数据的实时分析和处理是至为关键的,如果采用传统数据处理方式,将数据库进行统一收集,再存储到数据库中,之后在进行分析,就可能无法满足时效性的要求。通过流处理能实时对数据进行转换、过滤、统计、分析,对数据处理结果迅速做出反应(见下图)。


                             


02

QFLOW基于流计算场景下的数据处理

                                                                                

快立方QFLOW是基于公司成熟的商用高性能内存数据库基础扩展流式处理功能和时序数据处理功能而成,它的核心基础功能继承自内存数据库,保留了内存数据库的优势。

1. QFLOW的核心特性:



2.QFLOW基于流计算的扩展特性:

  • 支持流定义

    像定义一个数据库表一样定义一个数据流,相当于有了一个数据传输的管道,可以将数据输入进该管道;

  • 连续视图

    定义一次查询,语句可以持久生效,只要有新的数据流入,结果自动发生变化,适合进行实时统计分析;

  • 关联分析

    流数据可以和静态库表数据之间进行关联查询,进行规则匹配分析等;

  • 规则触发

    可以使用各种SQL语句、函数、操作符进行规则定义,当数据符合条件的时候执行告警、订阅等响应动作;

  • 滑动窗口

    可以对某个连续时间段的数据进行分析处理,可以定义窗口大小和窗口移动步长;

  •  标准SQL函数、自定义SQL函数

    可以直接使用数百个标准的SQL函数对数据进行处理,功能强大使用方便,没有学习门槛;

  • 各种运算符、正则表达式

    支持各类运算符进行数据计算和比较,支持正则表达式,可以进行复杂的运算;

  •  有向图计算

    一个数据流的分析结果可以当作另外一个数据流的输入,可以对流数据进行持续不断的多步处理;

  • 概率函数

    可以对海量数据进行实时概率估算,比如TOP_K排名,中位数分析等;

  •  全内存化运算

    整个数据处理过程在内存中进行,保证了性能,同时分析结果也可以保存在有持久化功能的内存库库表中不会丢失.



03

价值体现


基于QFLOW对数据实时动态处理、实时决策、实时分析,使业务方可以在更短的时间挖掘数据中的价值,将时间优势转化为竞争优势;同时利用流处理的方式可以降低存储需求,从而节省成本。


END


了解更多请点击

快立方流数据库QFLOW,携手共建联通5G创新应用产业新生态


高性能 更安全 /可信赖

长按二维码添加

来都来了 点个赞再走吧~~~





文章转载自快立方Qcubic,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论