数据处理方法、装置、系统及计算机存储介质_CN113419824A_阿里云.PDF
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202110097003.1
(22)申请日 2021.01 .25
(71)申请人 阿里巴巴集团控股有限公司
地址 英属开曼群岛大开曼资本大厦一座四
层847号邮箱
(72)发明人 张天雨
(74)专利代理机构 北京合智同创知识产权代理
有限公司 11545
代理人 李杰 林鑫
(51)Int.Cl .
G06F
9/48
(2006 .01)
G06F
9/50
(2006 .01)
G06F
16/2458
(2019 .01)
(54)发明名称
数据处理方法、装置、系统及计算机存储介
质
(57)摘要
本申请实施例提供了一种数据处理方法、装
置、系统及计算机存储介质，其中，数据处理方法
包括：获取对于目标对象的请求信息；根据请求
信息生成对应的目标对象的至少两个任务块；将
至少两个任务块加入预先设置的多个预读取队
列中；利用多个独立线程分别处理多个预读取队
列，并行获取目标对象的数据块。因为将任务块
加入了预先设置的多个预读取队列中，在读取对
应的数据块之时，可以根据多个任务块，并行读
取多个目标对象的数据块，提高了读取效率。
权利要求书2页 说明书9页 附图5页
CN 113419824 A
2021.09.21
CN 113419824 A
1 .一种数据处理方法，其包括：
获取对于目标对象的请求信息；
根据所述请求信息生成对应的所述目标对象的至少两个任务块，所述至少两个任务块
用于指示获取所述目标对象的数据块；
将所述至少两个任务块加入预先设置的多个预读取队列中；
利用多个独立线程分别处理所述多个预读取队列，并行获取所述目标对象的数据块，
所述多个预读取队列与所述多个独立线程一一对应。
2.根据权利要求1所述的方法，其中，所述根据所述请求信息生成对应的所述目标对象
的至少两个任务块，包括：
将所述目标对象的请求信息进行分割和合并，得到预设大小的所述至少两个任务块。
3 .根据权利要求2所述的方法，其中，所述目标对象的请求信息包括元数据的描述信
息、索引数据的描述信息以及原始数据的描述信息；
所述将所述目标对象的请求信息进行分割和合并，得到预设大小的所述至少两个任务
块，包括：
对所述元数据的描述信息、所述索引数据的描述信息进行分割得到预设大小的元数据
的任务块以及索引数据的任务块；
对所述原始数据的描述信息进行合并，得到所述预设大小的原始数据的任务块。
4 .根据权利要求3所述的方法，其中，所述预读取队列包括：元数据预读取队列、索引数
据预读取队列以及原始数据预读取队列；
所述将所述至少两个任务块加入预先设置的多个预读取队列中，包括：
将至少一个所述元数据的任务块加入所述元数据预读取队列；将至少一个所述索引数
据的任务块加入所述索引数据预读取队列；将至少一个所述原始数据的任务块加入所述原
始数据预读取队列。
5 .根据权利要求4所述的方法，其中，所述目标对象包括元数据、索引数据以及原始数
据；
所述根据所述预读取队列中预设数量的所述任务块，利用所述多个预读取队列分别对
应的多个独立线程，并行获取目标对象的数据块，包括：
利用所述元数据预读取队列对应的第一线程获取所述任务块对应的元数据的数据块；
利用所述索引数据对应的第二线程获取所述任务块对应的所述索引数据的数据块；利用所
述原始数据对应的第三线程获取所述任务块对应的原始数据的数据块。
6 .根据权利要求1所述的方法，其中，所述根据所述请求信息生成对应的所述目标对象
的至少两个任务块，包括：
根据所述请求信息在缓存中查找所述目标对象；
在所述缓存中没有查找到所述目标对象时，根据所述目标对象的请求信息生成对应的
所述至少两个任务块。
7 .根据权利要求1所述的方法，其中，所述利用多个独立线程分别处理所述多个预读取
队列，并行获取所述目标对象的数据块，包括：
利用所述多个独立线程向多个节点设备分别发送所述多个预读取队列中的所述任务
块；
权 利 要 求 书
1/2 页
2
CN 113419824 A
2
of 17
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论