一种分布式大数据有序智能分管方法、系统及存储介质_CN202311384832_优特捷.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202311384832 .3
(22)申请日 2023 .10 .25
(71)申请人 北京优特捷信息技术有限公司
地址 100120 北京市朝阳区望京SOHO T1 B
座2601
(72)发明人 王文雅
(74)专利代理机构 北京华夏博通专利事务所
(普通合伙) 11264
专利代理师 张蕾
(51)Int.Cl.
G06F
16/182
(2019 .01)
G06F
16/172
(2019 .01)
G06F
16/16
(2019 .01)
(54)发明名称
一种分布式大数据有序智能分管方法、系统
及存储介质
(57)摘要
本申请涉及一种分布式大数据有序智能分
管方法、系统及存储介质，本申请结合分布式计
算、数据处理和AI分管策略技术，以实现数据的
智能分管和有序处理。利用HDFS对所述大数据进
行批处理并预先储存，再利用AI分管模型基于AI
分管策略对大数据进行有序分管和调取，以此响
应用户对目标数据的调取指令，让用户快速获取
所需的大数据进行处理、应用。因此，利用AI分管
模型可以快速对不同数据属性的文本数据、图像
数据和时间序列数据，实现有序的逻辑管理，快
速实现各种数据类型的任务调度，为不同大数据
处理任务提供适配的数据，高效、有序实现各类
大数据的分管，提高大处理数据的时效性。
权利要求书2页 说明书10页 附图3页
CN 117131001 A
2023.11.28
CN 117131001 A
1 .一种分布式大数据有序智能分管方法，其特征在于，包括如下步骤：
采集大数据并发送至分布式文件系统HDFS；
分布式文件系统HDFS对所述大数据进行批处理，并将批处理的所述大数据进行分布式
储存；
大数据AI分管平台接收用户输入的大数据分管指令，并进行响应，通过大数据AI分管
平台上预设的AI分管模型，基于AI分管策略对所述分布式文件系统HDFS中呈分布式储存的
所述大数据进行有序分管和调取；
将调取的所述大数据缓存在分布式数据存储数据库中指定的Nosql模型中，等待用户
从所述Nosql模型中查看所调取的所述大数据。
2 .根据权利要求1所述的一种分布式大数据有序智能分管方法，其特征在于，分布式文
件系统HDFS对所述大数据进行批处理，并将批处理的所述大数据进行分布式储存，包括：
批量对所述大数据进行预处理和清洗；
对批量处理后的所述大数据，按照数据属性进行数据分类，得到由若干数据m组成的数
据集M：
M={文本数据m1，图像数据m2，时间序列数据m3}；
将所述数据集M中的若干数据m分布式储存于所述分布式文件系统HDFS的各个存储节
点；
将各个所述数据m的数据属性，绑定在对应的所述存储节点的节点身份ID之下，用于分
布式存储管理。
3 .根据权利要求2所述的一种分布式大数据有序智能分管方法，其特征在于，在大数据
AI分管平台接收用户输入的大数据分管指令之前，还包括：
将所述分布式文件系统HDFS的各个存储节点的节点身份ID，发送至所述大数据AI分管
平台；
所述大数据AI分管平台接收各个存储节点的节点身份ID，并对各个存储节点的节点身
份ID进行身份ID登记。
4 .根据权利要求3所述的一种分布式大数据有序智能分管方法，其特征在于，所述AI分
管模型的生成方法，包括：
获取对应各个所述数据m的历史数据，并根据所述历史数据选择对应的AI模型；
使用所述历史数据对所述AI模型进行模型训练，生成识别和分管所述历史数据的所述
AI分管模型，包括：
用于识别并分管所述文本数据m1的第一AI分管模型，以及
用于识别并分管所述图像数据m2的第二AI分管模型，以及
用于识别并分管所述时间序列数据m3的第三AI分管模型；
将所述AI分管模型部署于所述大数据AI分管平台，并进行模型工作参数配置。
5 .根据权利要求4所述的一种分布式大数据有序智能分管方法，其特征在于，所述AI分
管策略的配置方法，包括：
设置优先级排序规则，所述AI分管模型按照所述优先级排序规则，对所述数据m中的各
项数据进行优先级排序，按照优先级排序进行有序分管；
设置节点属性匹配规则，所述AI分管模型按照所述节点属性匹配规则，将所述数据m中
权 利 要 求 书
1/2 页
2
CN 117131001 A
2
of 16
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论