暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

国家发明专利丨AI驱动的大规模数据生成方法

渊亭科技 2025-07-14
125

近日,由渊亭科技研发的“一种大规模数据的生成方法、装置及设备”获得国家知识产权局颁发的发明专利授权。该发明专利通过结合大语言模型(LLM)与蒙特卡洛搜索树(MCTS),提出了一套能够自我优化、自我迭代的数据生成框架,旨在解决传统方法在生成效率、目标导向性及结果多样性上难以兼顾的痛点。



在人工智能技术飞速发展的今天,高质量、大规模的数据是训练和微调先进模型的“燃料”。然而,传统的数据生成方法正面临诸多挑战。


一方面,直接利用大模型生成内容,往往需要投入大量人力反复调试提示词(Prompt),过程低效且结果质量参差不齐。另一方面,经典的优化算法(如蒙特卡洛搜索树),虽能优化决策,但其计算复杂度高,难以胜任大规模、高时效性的生成任务


在实际的数据生成任务中,数据生成的效率、结果的多样性和对目标的精准导向性是三个关键需求。然现有方法往往顾此失彼,导致生成的数据要么数量庞大但质量低下,要么质量尚可但过程耗时过长,制约了AI技术的应用与发展。



为攻克这一难题,该发明专利构建了一套高效、智能、自动化的数据生成新流程。其核心创新点在于建立了一个由LLM驱动的、能够自我优化的闭环系统。


该方法主要包括四个关键步骤:


01

初始扩展

首先,利用LLM对用户输入的初始文本进行扩展,生成多个并行的、多样化的候选内容,作为探索的起点 。


02

智能评估与建议

接着再次调用LLM,但这一次它的角色转变为“评估师”。它会对每个候选内容进行多维度(如语法、逻辑、专业性)的打分,并生成具体的“优化建议”


03

创建并行搜索树

每个经过评估的候选内容都将成为一个独立的蒙特卡洛搜索子树的根节点,从而实现并行化、多路径的探索


并采用UCB公式计算节点得分,有效平衡了对高奖励路径的“利用”和对新路径的“探索”,避免搜索过程陷入局部最优解。


04

策略优化与迭代

系统会基于评估分数和“优化建议”对每一个搜索子树进行策略优化


具体而言,在下一次扩展节点时,上次LLM生成的“优化建议”将被直接用作新的Prompt 。这相当于为LLM配备了一位“AI教练”,让其在生成过程中不断进行自我反思和修正,形成一个闭环的、持续优化的迭代过程,最终得到高质量、多样化且符合目标的大规模数据 。


此外,该专利还设计了异步并行架构与动态剪枝机制。通过多线程和任务队列,扩展与评估过程被解耦,实现了高效并行处理。同时,系统会实时监控并“剪除”那些价值较低的探索路径,将宝贵的计算资源动态分配给潜力更高的分支,极大地提升了整体效率和资源利用率。




该发明适用于大规模数据生成任务,能够高效生成高质量、具备推理过程的问答数据,因此在AI模型训练、知识库构建、对话系统和内容创作等需要高质量数据支撑的场景中,具有巨大的应用潜力。它将为训练出更智能、更可靠的AI模型提供坚实的数据基础,加速人工智能技术的应用落地。


未来,渊亭科技将继续致力于前沿技术的探索与应用转化,为千行百业的智能化转型提供更坚实的技术支撑。

文章转载自渊亭科技,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论