暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

边缘的核心优势:驱动物联网PB级数据的秘密引擎

Vertica 2021-01-26
392

作者:Joey D’Antoni

编辑:Vertica团队

本文来自Micro Focus与ActualTech Media联合发布的信息简报《IoT: From Edge to Core to Cloud》。

 


您的数据有“边缘”的概念吗?


无论是移动设备收集的用户数据,还是生产线上收集的传感器数据,现代计算的大部分都已经转移到了“边缘”。

“边缘”不仅仅是一个计算术语,同时也是实际交易发生的地点——零售点、售楼处、你的家、发电厂、石油钻井平台或飞机,并不像过去那样集中在一个数据中心。


随边缘计算设备的数量逐年呈现指数级增长,专门设计IT架构来捕捉、处理、分析这些数据并从中获得更深层次的洞察,将是未来十年的决定性问题之一


那么,驱动全球数据驱动型企业的强大引擎Vertica又是如何帮助企业在边缘处理海量数据,并从PB级数据中获得深度洞察的呢?

 


点亮边缘智能的3个“C”:

连接(Connect)、计算(Compute)、控制(Control)


互联网能帮助边缘的各种设备将数据传输到中央分析系统。无一例外的是,这些设备都有微处理器以及计算能力,可以访问应用、做出决策和过滤数据,甚至是实现控制——改变设置以管理特定场景或协调行动。这类设备通常与传感器和执行器相连——从家中的智能灯泡到发电厂的涡轮机器——实现对事物的连续控制。



日益发达的边缘计算催生了一类名为Lambda的架构,它通过流和批处理方法来管理大量数据。流处理层用于实时处理数据,迅速识别异常值(如温度超出范围)并采取行动或发出警报。而批处理层存储来自设备的大量数据,并提供驱动分析所需的计算能力;无论是数据科学还是更传统的数据仓库查询,批处理层都能够快速加载并查询海量级数据。

因为边缘允许组织从位于最接近客户和实际运营的来源中获取洞察,数据采集方式随之变化了,更导致数据分析需求急剧上升,相当于从应用端产生了回溯的变革。此时,人们急切需要借助人工智能/机器学习来提升边缘智能和自动化程度



幸运的是,有一个平台可以满足所有的这些挑战,它被称为Vertica。作为可扩展的列式数据仓库,Vertica既可以摄取、存储大量数据,又可以快速服务于大量查询需求,更能通过库内机器学习提供更快的预测分析。

 


Vertica,驱动全球数据驱动型企业的强大引擎


传统数据库(legacy databases)在设计之初并未考虑到现代分析系统所要面临的海量数据,而Vertica显然采取了不同方法,即列式存储。

数据以列的形式存储,而不是传统关系型数据库的混合数据页,这样实现了更高的数据压缩度,大大减少了存储的空间需求,空间的节约使得数据处理速度大大提升。



Vertica的大规模并行引擎(MPP)可以在多台服务器上扩展工作负载,数据以有序方式存储,从而提升频繁查询的运行性能。目前一些公有云平台提供了类似的架构,但以“以平台即服务”(PaaS)模式运行,随着消费增长,服务成本会成倍增长。

 


摄取海量数据,性能依旧强劲:

Vertica让每个人都能做出数据驱动的决策

 



Vertica支持连接各种大数据平台,如MapR、Cloudera和Apache Spark。这使得Vertica可以成为分析中心,实现数据架构现代化。


Vertica提供数据库内的R和Python以及预建的机器学习选项,数据科学得以与数据进程并行,数据移动的复杂性降低,整体系统性能提升。


同时,Vertica还提供了时间序列和地理空间数据工具,帮助用户快速构建高级数据结构报告。



以上这些都意味着Vertica可以快速摄取数据,并预留足够性能让分析师与数据科学家交互式地探索数据,帮助每个人做出数据驱动的实时决策



一些Vertica客户报告说,相比于传统数据库,Vertica性能足足能提升50倍之多——过去需要一个小时的报告现在只需不到两分钟

除此外,Vertica还配备了更深层的分析功能,以支持现代分析日益增长的速度规模和性能要求,从而在边缘创造洞察力并直接推动行动。

最重要的是,Vertica是一个企业级ANSI-SQL分析解决方案,无需高技能的数据科学家团队,企业现有的IT人员就可以轻松部署

 


VERTICA和HADOOP,更好地结合


大数据的工作负载由5个“V”定义:速度、容量、价值、多样性和真实性。速度和容量用以指称边缘的工作负载——大量的数据,并且通常是“当时发生”的数据,在短时间内会“淹没”目标系统。价值是基于特定数据的,因为其与业务相关;而多样性可以指数据类型(如视频、音频、文档类型和电表读数等)或数据的业务功能(如供应链与销售)。

Hadoop是目前应用最广泛的大数据系统,但同时也引发了许多挑战。许多投资Hadoop的组织并不能看到更大的商业利益,对大量的非结构化数据开展分析并非易事,而且Hadoop数据提取方式不同于普通的SQL查询,其数据分析工具对开发人员和分析师而言存在一定难度。


 

巨大的商业价值体现在捕获大量数据、运行快速分析并在边缘获得更深入的洞察这方面,大多数现代工具以数据湖作为应用方法论来捕获原始数据格式。而Vertica通过提供一个能够访问可扩展的ANSI SQL的接口,帮助您加速实现数据价值

将Vertica与Hadoop生态系统相结合,可构建一个完整的集成分析解决方案。直接由Hadoop提供快速的本地SQL,无需多余连接器,且通过Hadoop和Vertica的单一数据集,分析人员可以避免编写MapReduce作业和使用不熟悉的工具,只需编写查询或使用报表工具分析数据即可。

除此外,Vertica还全面支持Tableau、QlikView和Micro Strategy等成熟商业智能解决方案,助您更深入获取物联网数据的商业价值。



【心动福利】

就在本周三,Vertica学院大师级课程邀您品鉴!

点击上图即可报名



Vertica 精彩看点


▼▼▼

关注Vertica,同步数据智能前沿讯息:

猛戳下方阅读原文,获取Vertica免费试用!

文章转载自Vertica,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论