一种数据处理方法、装置、电子设备和存储介质_CN115297183A_朱志鹏 郑云 黎海育 杨傲_天翼云.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202210902315.X
(22)申请日 2022.07 .29
(71)申请人 天翼云科技有限公司
地址 100007 北京市东城区青龙胡同甲1
号、3号2幢2层205-32室
(72)发明人 朱志鹏 郑云 黎海育 杨傲
(74)专利代理机构 北京同达信恒知识产权代理
有限公司 11291
专利代理师 王娜
(51)Int.Cl.
H04L
69/04
(2022 .01)
H04L
67/02
(2022 .01)
H04L
67/565
(2022 .01)
H04L
67/5651
(2022 .01)
H04B
7/185
(2006 .01)
(54)发明名称
一种数据处理方法、装置、电子设备和存储
介质
(57)摘要
本申请涉及数据库技术领域，尤其涉及一种
数据处理方法、装置、电子设备和存储介质，用以
提高数据处理效率。其中，方法包括：获取多条报
文数据以及各报文数据的标识信息，报文数据的
格式为层级数据格式HDF5；基于各报文数据的标
识信息，将各报文数据划分为多个报文集合；基
于预设映射规则，分别对多个报文集合中的报文
数据进行映射，获得各报文集合的报文记录，并
将各报文记录存储在云原生多模数据库中。由于
本申请通过预先将HDF5报文数据按照发送方和
发送时间划分为多个报文集合，并基于预设映射
规则，将报文集合压缩为一条报文记录，直接存
储在云原生多模数据库即可，能够有效提高数据
处理效率。
权利要求书2页 说明书12页 附图4页
CN 115297183 A
2022.11.04
CN 115297183 A
1 .一种数据处理方法，其特征在于，该方法包括：
获取多条报文数据以及各条所述报文数据的标识信息，所述报文数据的格式为层级数
据格式HDF5，所述标识信息用于标识对应的报文数据的发送方和发送时间；
基于各条所述报文数据的标识信息，将各条所述报文数据划分为多个报文集合，每个
报文集合中包含的报文数据的发送方相同，且发送时间属于同一时间区间；
基于预设映射规则，分别对所述多个报文集合中的报文数据进行映射，获得各个报文
集合各自的报文记录，并将各个所述报文记录存储在云原生多模数据库中。
2.如权利要求1所述的方法，其特征在于，所述基于预设映射规则，分别对所述多个报
文集合中的报文数据进行压缩，获得各个报文集合各自的报文记录，包括：
针对任意一个报文集合，基于所述任意一个报文集合中的各条报文数据的标识信息的
相同字段，对所述各条报文进行合并得到合并报文；
基于预设映射规则对所述合并报文进行映射，获得所述报文集合对应的报文记录。
3 .如权利要求1所述的方法，其特征在于，在所述基于各条报文数据各自的标识信息，
将所述各条报文数据划分为多个报文集合之前，还包括；
分别对多条所述报文数据进行解析，获得各条标准格式的报文数据，所述标准格式为
符合超文本传输协议http的压缩格式。
4 .如权利要求2所述的方法，其特征在于，所述基于预设映射规则对所述合并报文进行
映射，获得所述报文集合对应的报文记录包括：
基于预设映射规则，对所述合并报文包含的字节进行映射，获得所述报文集合对应的
二进制格式的所述报文记录。
5 .如权利要求1所述的方法，其特征在于，所述基于各条所述报文数据的标识信息，将
各条所述报文数据划分为多个报文集合，包括：
基于各条所述报文数据的标识信息，确定各条所述报文数据的发送方，并基于各条所
述报文数据的发送方，将各条所述报文数据划分为多个中间集合，同一中间集合中的报文
数据的发送方相同；
针对任意一个中间集合，基于所述任意一个中间集合中包含的各条报文数据的标识信
息，确定各条所述报文数据的发送时间，并基于各条所述报文数据的发送时间，将各条所述
报文数据划分为多个报文集合，同一报文集合中的报文数据的发送时间属于同一预设时间
区间。
6 .如权利要求1所述的方法，其特征在于，所述报文数据中包含用于表征所述报文数据
的发送方当前的运行状态的信息。
7 .一种数据处理装置，其特征在于，包括：
获取单元，用于获取多条报文数据以及各条所述报文数据的标识信息，所述报文数据
的格式为层级数据格式HDF5，所述标识信息用于标识对应的报文数据的发送方和发送时
间；
划分单元，用于基于各条所述报文数据的标识信息，将各条所述报文数据划分为多个
报文集合，每个报文集合中包含的报文数据的发送方相同，且发送时间属于同一时间区间；
映射单元，用于基于预设映射规则，分别对所述多个报文集合中的报文数据进行映射，
获得各个报文集合各自的报文记录，并将各个所述报文记录存储在云原生多模数据库中。
权 利 要 求 书
1/2 页
2
CN 115297183 A
2
of 19
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论