北京数慧时空卢宇航：以自然资源多模态大模型，赋能多元领域应用

青云QingCloud 2023-11-23

360

青云科技聚焦 AI 算力调度等能力，通过开放生态，联合 AI 硬件及软件供应商、算法模型服务商、各地不同规模的算力服务商以及行业应用服务商等，深度融合算力、算法、行业数据以及场景应用能力，让 AI 真正能释放出业务价值。

因此，青云科技 AI 算力发布会邀请了生态合作伙伴共同分享对于 AI 落地应用的技术与实践。北京数慧时空副总经理卢宇航以《自然资源多模态大模型赋能多元领域应用》为主题发表精彩演讲，分享了“长城”大模型支持自然资源领域多模态数据，打造“前店后厂”运营模式，用于大规模影像处理、农业金融、以地控税等多场景案例。以下为演讲全文，经整理：

一、关于北京数慧时空

北京数慧时空信息技术有限公司（以下简称：数慧时空）是山东土地发展集团旗下的国家级高新技术企业，是北京市“专精特新”和瞪羚企业。公司自 2019 年开始投入 AI 研发，自主研发了自然资源多模态大模型——长城，并以大模型为基础开发了自然资源和空间地理 SaaS 平台——数慧云脑，致力于打造“前店后厂”的运营模式：既具备后厂的数据生产处理能力，也具备前店的产品开发和应用服务能力，业务范围覆盖数字政府、数字经济、数字社会。

数慧时空专注自然资源已有 20 年，无论是调查监测、政务审批，还是监管决策，数慧时空都有深刻的业务理解。调查监测方面，自二调到三调，数慧时空提供的软件和解决方案一直保障着调查成果的数据质量；政务审批方面，数慧时空业务和系统覆盖部省市县四级行政主体的全流程；监管决策方面，能够洞察每个地块、每个项目的全生命周期。

二、自然资源多模态大模型-长城

数慧时空长城大模型的顶层设计分为四层，自下而上分别是模型、技术、场景和行业。

最底层是模型层，其本质是样本、语料和网络模型，它是长城大模型的根本；
往上一层是技术层，涉及数据标注、质检、语义分割、NLP、强化学习等技术；
第三层是场景层，典型的应用场景包括智能问答与推荐、基于图像的变化检测与解译、遥感影像的自动校正与镶嵌、根据文字意图构建应用场景等；
最上层是行业层，长城大模型能服务的行业包括自然资源、农业农村、城市管理和气象预报。

数慧时空长城大模型支持自然资源领域多种模态的数据，包括空间（即矢量数据）、文本、图像（包括影像、视频、图片等）。通过对不同模态数据的标注学习，长城大模型能够理解和互相转换多种模态的数据，例如将空间数据的布局描述成文字。

数据、算力、算法是大数据时代的新型基础设施，数慧时空在与青云科技的合作过程中，数慧提供算法，青云提供算力，加上多种渠道的数据支持，使得基础设施得以完备。在充足算力的保障下，长城大模型的参数已达到亿级。

对于不同模态的数据，长城大模型能做什么呢？

文本语言

我们在 LLaMA-2 大语言模型的基础上，标注训练了大量自然资源行业语料，包括办事指南、政策法规、文献期刊、项目案例等，再经过精心的参数微调，可以做智能问答、能力测评、形势分析、报告编制等。更进一步，我们目前正在尝试做基于文本的数据动态查询，即通过标注数据库中表、视图、字段的业务含义，做到文字与数据的关联，实现由文本生成 SQL 与统计图表。

视频图片

长城大模型可以根据视频、图片中的内容对视频和图片进行分类，还可以做视频行为识别，判断视频中是否存在某种违法行为，例如我们这里识别到了挖土行为。

遥感影像

长城大模型可以做影像的智能解译。影像智能解译是一个非常复杂的过程，数据来源有长光、高分等；成像方式上有光学、雷达和 SAR；数据通道上有三通道、多光谱和高光谱。除此之外，同物在不同时期、不同区域存在着异谱现象；异物在相同时期、相同区域存在着同谱现象。为了提高解译精度，长城大模型使用知识图谱为每个样本关联先验知识，这些先验知识包括地貌、高层、积温、降水、物候期、区域优势物种等信息，从而实现精准解译和变化检测。

对于遥感影像数据，可以做数据的修复。我们基于改进的无监督影像异常检测方法，对原始影像开展质量检查，标注每景影像的可用域和不可用域。对于影像中可逆修复的区域进行自动修复，反之对于不可逆修复的区域，则基于 AI 进行预测生成，以充分利用影像中的可用区域。

矢量几何

长城大模型也可以做矢量数据的修复。这里提到的修复包含两层意思：一是让数据变得更加美观，更适合人阅读。从左图可以看到，蓝色框线表示原始的遥感影像解译结果，形状并不规则，而红色框线表示经过 AI 修复的结果，图形明显变得规则、平滑、连通。二是对违反数据质量规则的数据进行修复，例如数据存在几何错误、拓扑错误、一致性错误，经过 AI 修复可以使其通过数据质量检查。

场景模型

还有一些时候，用户想要的答案可能并不是一键直达，立等可取的，需要经过比较复杂的运算才能得到，这时候往往需要根据需求手动搭建场景模型。而借助大模型，可以让计算机明白用户意图，进而调用相应的算法自动构建出场景模型。同时为了验证这个模型是可信的，大模型会将推理的过程呈现出来，而不是一个黑盒子。上面这张图是系统根据我们的文字提示自主构建小麦面积计算模型的过程。

三、长城大模型应用领域

影像数据的大规模生产和处理领域

借助大模型可以实现影像的自动统筹，即根据用户对范围、时相、监测目标的要求，系统自动选择最合适的影像组合，俗称“挑片”，即上面的第一张图。

接着对挑出的影像做免像控的几何校正，几何误差控制在 1-2 个像素之内，如上面的第二张图，其上半部分是参考影像，下半部分是几何校正后的影像，可以看到吻合情况非常好。

上面的第三张图，是一个自动生成镶嵌线的过程，能够在影像镶嵌过程中自动避让建筑、道路等典型地物，让多景影像拼接后的效果更加自然。

上面的第四张图，借助 AI 算法能实现最佳的匀光匀色效果，使整体的色调色彩更加连续、更加一致。

基于影像的变化检测

长城大模型可以提取出两景影像中产生变化的地方，并且能根据业务场景的需要，自动剔除相应的伪变化。上图左侧是前时相的影像，右侧是后时相的影像，红色和黄色框线代表不同类型的变化，变化检测目前在国土变更调查、卫片执法、耕地保护上应用得特别广泛。

广泛的各类调查

大模型还可以用在广泛存在的各类调查上，例如林草资源调查、水资源调查、自然资源资产清查等。通过地表覆盖的智能解译和地表参数的智能反演，可以得到地表的覆披地类，如草地、水域、建筑；以及地表参数，如植被覆盖度，土壤指数等。

气象预报领域

大模型还可以用在气象预报领域。左侧的图表示短临降水预报，其中上半部分是预测值，下半部分为真实值，可以看出预测值和真实值吻合度非常高；右侧的图表示短临气温预报，上面两张图是使用传统方式进行的数值预报，下面两张图是使用 ForecastNet 模型进行的数值预报，可以看出，与用传统方式预报相比，平均绝对误差有非常明显的改善。

农业金融保险领域

大模型可用于农业金融保险领域。基于多源遥感影像，结合地面校准样方观测资料，可以为保险公司提供其承保区域内小麦、玉米、大蒜和设施农业的种植面积，以及干旱、洪涝、冰雹等灾情监测评估信息，为作物种植面积核保、灾害遥感评估和农业保险理赔测算提供科学依据。

税务管理领域

大模型还可以用在税务管理领域。在城市管理中，存在这样一个现状：建设项目普遍存在扩大用地范围，实际用地与上缴土地使用税不符的情况。基于遥感 +AI 技术，能够持续监测供地地块范围内的开工建设情况，将这些数据与工商数据、税务数据进行比对，进而提取区域内潜在的漏缴、少缴土地使用税的地块和企业，为税收追缴提供依据。

对企业、政府自有的数据进行融合、分析和共享