一种数据提取方法、装置、设备及存储介质_CN202310118319_优特捷.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202310118319.3
(22)申请日 2023 .02 .03
(71)申请人 北京优特捷信息技术有限公司
地址 100102 北京市朝阳区阜通东大街1号
院3号楼22层2单元122611
(72)发明人 张大伟
(74)专利代理机构 北京品源专利代理有限公司
11332
专利代理师 骆文欣
(51)Int.Cl.
G06F
16/2458
(2019 .01)
G06F
16/242
(2019 .01)
(54)发明名称
一种数据提取方法、装置、设备及存储介质
(57)摘要
本发明公开了一种数据提取方法、装置、设
备及存储介质。包括：获取待提取日志数据，并确
定待提取日志数据中各第一指定字段的字段位
置；根据获取的指令配置信息和各字段位置生成
各自定义spl指令，其中，自定义spl指令中包含
字段位置；从自定义spl指令中确定目标spl指
令，基于目标spl指令对待提取日志数据进行切
割以获取目标日志数据。通过确定出待提取日志
数据中各第一指定字段的字段位置以及获取的
指令配置信息生成各自定义spl指令，并从中确
定目标spl指令，通过目标spl指令可以对待提取
日志数据进行切割即可获取目标日志数据，可以
实现多场景的数据提取，进而更好的满足用户的
日常运维分析和业务分析工作需求。
权利要求书2页 说明书9页 附图3页
CN 116431698 A
2023.07.14
CN 116431698 A
1 .一种数据提取方法，其特征在于，包括：
获取待提取日志数据，并确定所述待提取日志数据中各第一指定字段的字段位置；
根据获取的指令配置信息和各所述字段位置生成各自定义spl指令，其中，所述自定义
spl指令中包含所述字段位置；
从所述自定义spl指令中确定目标spl指令，基于所述目标spl指令对所述待提取日志
数据进行切割以获取目标日志数据。
2.根据权利要求1所述的方法，其特征在于，所述获取待提取日志数据，包括：
根据获取的换行规则确定原始日志数据的开始标识和结束标识，并根据所述开始标识
和所述结束标识确定所述原始日志数据中各日志事件的开始位置和结束位置；
将各相邻日志事件中前一原始日志数据的所述结束位置和后一原始日志数据的所述
开始位置作为拼接点；
根据所述拼接点将各所述相邻日志事件包含的日志数据进行合并生成待提取日志数
据。
3 .根据权利要求1所述的方法，其特征在于，所述确定所述待提取日志数据中各第一指
定字段的字段位置，包括：
根据所述第一指定字段对所述待提取日志数据进行筛选以获取与所述第一指定字段
匹配的关联日志数据；
将所述关联日志数据在所述待提取日志数据中的对应位置作为所述字段位置。
4 .根据权利要求1所述的方法，其特征在于，所述根据获取的指令配置信息和各所述字
段位置生成各自定义spl指令，包括：
确定所述指令配置信息中包含的指令类型，其中，所述指令配置信息包括指令名称、程
序名称、资源标签、所属应用、程序参数、分批执行和指令类型；
根据所述指令类型将各所述指令配置信息和所述字段位置与对应的spl模板相结合以
生成各所述自定义spl指令。
5 .根据权利要求1所述的方法，其特征在于，所述基于所述目标spl指令对所述待提取
日志数据进行切割以获取目标日志数据，包括：
根据所述目标spl指令中包含的字段位置确定切割位置；
根据所述切割位置对所述待提取日志数据进行切割获得切割日志数据，并根据所述切
割日志数据生成所述目标日志数据。
6 .根据权利要求5所述的方法，其特征在于，所述根据所述切割日志数据生成所述目标
日志数据，包括：
确定所述切割日志数据中包含的第二指定字段，将各所述第二指定字段进行标准化处
理生成重命名字段；
根据所述重命名字段对所述切割日志数据中对应的所述第二指定字段进行替换以生
成替换后的切割日志数据；
将所述替换后的切割日志数据作为所述目标日志数据。
7 .根据权利要求1所述的方法，其特征在于，在所述基于所述目标spl指令对所述待提
取日志数据进行切割以获取目标日志数据之后，还包括：
根据预设的排列规则将所述目标日志数据进行排列以生成日志数据列表；
权 利 要 求 书
1/2 页
2
CN 116431698 A
2
of 15
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论