暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

三分钟系列之-Cassandra 在车联网行业的应用

DataStax 2022-03-02
2111

    上期公众号我们分享了电信行业话单记录的分区设计,后面有用户咨询我们能否分享一个车联网的案例,于是今天我们来聊下新能源物联网行业的案例。

    新能源是物联网行业的典型代表,无论是数据规模还是数据价值。一辆新能源汽车车身上有几十个传感器,比如电池电机状态(电池温度,电池饱和度),车上电器状态(如空调,多媒体播放器),车辆行驶状态(速度,定位,胎压),这些传感器每隔一段时间都会上传数据,假设一个车企有100万车在行驶状态,每台20个传感器,则最高峰值可达200万/秒。同时这些数据都极具价值,一方面可以直接监控汽车的状态和趋势,另一方面通过大数据的分析挖掘额外价值,使在现有商业模式上改善客户体验以获得更高的盈利能力/收入,同时利用连接设备获得更细粒度数据,更快地获得更好的洞察力。

    为了成功实现物联网解决方案,基础物联网数据平台满足以下关键技术要求的能力:

  • 持以高吞吐量接收来自连接设备的数据点的能力,这些数据点具有不同的频率和一致的低延迟。

  • 存储和分层海量数的能力(热/温/冷存储)。

  • 提供快速OLTP访问的能力:时间范围切片上的快速(毫秒)事务读取访问、快速全文实时搜索(Solr)和快速关系遍历(图形)。

  • 能够提供独立的OLAP访问:对大量摄取的数据进行分析查询/汇总/聚合,以及完整的扫描影响分析。

  • 能够保护/加密数据:静态和动态。(安全性-身份验证、RBAC、加密)。

  • 随着数据量、速度、多样性/复杂性随着时间的推移而增长,以及工作负载/分析需求的发展,能够简单地线性扩展。(线性和水平缩放)。

  • 能够在单个平台上支持上述所有功能,而不会影响性能,也不会因全球部署的应用程序而停机。(总是在线)。

    Cassandra 的去中心化分布式特性非常吻合物联网需求,不仅具有现代应用所要求的持续可用性(没有宕机时间)、高性能以及线性扩展的特点,其操作也十分简易,而且可以便捷地跨数据中心和跨区域进行数据复制。Cassandra可以支持PB级别的信息处理,也可以负载每秒上数百万条的并发操作。与Spark/图库/Solr/Pulsar/Kafka/Flink的结合可以完美的处理数据的分析/汇总/聚合。
    下面我们来案例,一个车有许多传感器,每个传感器会上传各种监控数据,常见查询场景为,查询一辆车当前整体最新状态信息,查询一辆车某个指标某个时间段的趋势,我们来建个模:
//汽车信息
CREATE TABLE car_info (
  car_serialNumber TEXT,
model TEXT,
description TEXT,
  region TEXT,
  num_sensors INT,
  PRIMARY KEY (car_serialNumber)
);
//一辆车有许多传感器
CREATE TABLE sensors_by_car (
car_serialNumber TEXT,
  sensor TEXT,//传感器名称
  description TEXT,
  last_value FLOAT STATIC, //静态列,用来保存最后一次状态
  PRIMARY KEY (car_serialNumber,sensor)
);


//PRIMARY KEY 按月分区,防止分区过大及热点
CREATE TABLE sensor (
sensor TEXT,
month TEXT,
  timestamp TIMESTAMP,
value FLOAT,
PRIMARY KEY ((sensor,month),timestamp)
) WITH CLUSTERING ORDER BY (timestamp DESC);




你们看是不是很好的满足查询了?
比如我们查询这辆车的状态,取静态列:
select car_serialNumber,sensor,last_value from sensors_by_car where car_serialNumber="zhtslm20150230010007x"
 再比如我们查询这辆车某个传感器的时间范围内的数据:
select timestamp,value from sensor where sensor='temperatures' and month='202111' and timestamp>20211114093723 and timestamp<20211214093723;

    如果要车企实验室或者运营人员需要对这些大数据进行数据分析,那么请关注我们下一期分享,我们将分享如何使用Spark分析存储在Cassandra里面的海量数据。

     我们每周至少发布1篇小窍门,只需要花3分钟即可掌握,欢迎大家关注和转发。

    有哪些话题想了解的,或者需要哪些技巧需要分享的,欢迎在公众号里面回复。我们将优先安排。


最后修改时间:2022-03-02 11:56:46
文章转载自DataStax,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论