暂无图片
大数据量的存储查询方案
我来答
分享
暂无图片 匿名用户
大数据量的存储查询方案

目前羡慕的初始化300条,日增100w,面对这样的数据量的增长如何设计一款软硬件架构来处理这些数据,做到快速查询处理

我来答
添加附件
收藏
分享
问题补充
2条回答
默认
最新
舒悦

根据数据的内容进行处理,举例按照数据的时间轴,或者地域人名进行处理对数据进行分类;同时中间件对于数据的查询做相应的记录,对三个月内数据查询条件做一个排行处理,然后按照排行进行新的nosql进行分类,在数据库层面做这些;

同时在中间件用java或者pythonc进行对数据的查询分类进行处理,用户登录界面有查询条件选择,一个是默认的数据的分类类似上面的时间轴,或者地域人名,或者年龄段都可以;其次的条件就是三个月的查询排行榜的前五或者前三的条件,指向新的数据源nosql

这样应该可以得到快速查询数据库可以采用物联网数据库因为数据量的采集和增长都非常巨大: InfluxDB 和 TimescaleDB 

开源数据库mysql集群pg数据库也可以。

暂无图片 评论
暂无图片 有用 2
雪狼sunny

可以采用处理物联网日增长100万条数据的平台的解决方案:

  1. 数据存储和处理:选择合适的数据库或数据存储方案,例如分布式数据库、时序数据库等,以满足高并发的数据写入和读取需求。

  2. 数据采集和传输:使用稳定可靠的数据采集工具和协议,确保设备数据能够安全、高效地传输到数据存储平台。

  3. 数据处理和分析:设计合适的数据处理流程和数据分析模型,以便从海量数据中提取有用的信息,并支持实时或批处理分析需求。

  4. 可视化和监控:建立数据可视化和监控平台,以便实时监控设备状态、数据趋势和异常情况。

  5. 扩展性和性能:确保平台具备良好的扩展性和性能,能够应对数据量的持续增长,保持系统稳定和高效运行。

  6. 安全和隐私:重视数据安全和隐私保护,采取必要的安全措施来保护设备数据不被未授权访问和篡改。

  7. 故障恢复和备份:建立完善的故障恢复和数据备份机制,以确保数据的完整性和可用性。

以上是类似物联网日增长100万条数据的平台时需要考虑的一些关键方面。针对具体需求,还需要更详细的技术架构设计和实施方案。

目前国内的物联网主要是政府牵头一些大型的有实力的企业协助的方式进行组合,关键问题还是对数据的分片处理,机遇需求的两者结合,方案仅供参考。

暂无图片 评论
暂无图片 有用 1
回答交流
提交
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~
暂无图片墨值悬赏