暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【案例】人与自然可持续发展实践:星环科技携手国家超级计算中心开发海洋价值,保护生物多样性

星环科技 2023-02-17
901

海洋环境观测在海洋探测中起着至关重要的作用。随着信息技术的指数增长及海洋观测手段的日益发展,海洋科学已正式进入大数据时代。海洋观测数据的获取通常建立在多时空尺度、多平台的采集与分析上,具有数据量大、维度广、类型多样、测量持续、利用潜力大的特点,是一种典型的大数据,即海洋环境大数据。

本案例聚焦于某国家超级计算中心(以下简称某超算中心)如何通过构建统一的海洋大数据中心,打破数据孤岛,实现数据互联互通,在保持原有功能持续运作的情况下,如何建立全流程管控的数据中心,如何改变数据质量差、数量少、分散的情况,如何将数据持续转化为对外提供的定制化产品,最终结合大数据开发平台及分析工具支持产、学、研、用各方在线进行协同创新,促进人类和自然可持续发展,保护海洋生物多样性。

案例背景

某超算中心由国家科技部批准成立,是从事智能计算和信息处理技术研究及计算服务的综合性研究中心。为了支持国家海洋强国战略,对海量海洋数据进行及时、准确的质量控制,大数据和人工智能技术的支持必不可少。为此必须构建大数据与人工智能支撑平台,为海洋数据质量控制提供数据获取、融合存储、智能处理及资源管理等支撑能力。在海洋立体感知网、海洋宽带网的基础上,构建“横向到边、纵向到底、联动更新”的海洋大数据中心,建立健全海洋数据资源常态化采集、处理、更新、管理和应用机制,统一海洋数据信息资源分类/描述及目录体系,强化海洋大数据分析挖掘与智能处理手段,规范各级各类海洋数据信息产品,培育海洋数据大产品加工流水线,构建海洋大数据共享服务新业态,不断提高海洋环境开发利用和保护的科学化、智慧化水平。

问题与需求

利用超算中心资源,以海洋领域+大数据+人工智能+物联网,面向海洋研究人员,如海仪所、海洋所、海岸带所等研究机构人员,提供针对海洋业务的一站式数据存储、数据管理、模型构建和应用开发的大数据平台及工具,以实现海洋观测数据的异常检测中心数字化转型所面临的困难如下:

数据成果难以产出价值

在合法合规的前提下,让经过治理的可信的数据、研发的模型、或者有价值的应用,以各种形式进行交易,不仅有利于合理开发海洋资源,也能够为社会创造价值。但因为缺乏完整的生命周期管理业务,数据变现难度高。因此需要强化海洋数据分析挖掘与智能处理手段,规范各级各类海洋数据信息产品,培育海洋数据产品加工流水线,构建海洋大数据共享服务新业态。

海洋资源识别难度高

在对海洋资源尤其以鱼类为代表的生物资源开发探测过程中,必须对各种品种的鱼类进行识别,但鱼类体形各异,大小不一,识别起来较为复杂,而且同一类鱼的不同品种通常具有相似的外形、尺寸以及纹理等特征,很有可能会出现误判而导致严重的经济损失;因此需要搭建AIoT平台,基于海洋生物图像的识别技术,以图形化的操作方式,实现对海洋鱼类进行准确的检测和识别分类,实现对海洋鱼类进行准确的检测和识别分类,服务于海洋生物统计、新物种识别等实际业务场景。

海洋数据质控挑战大

海洋传感器采集海洋研究中最基本和最重要的参数信息。这些参数的测量对于海洋科学研究有着极其重要的价值和深远的意义。但海洋观测数据包括数据不一致性、数据冗余、数据缺失、数据类型混乱等问题,从这些有缺陷的海洋观测数据中进行数据挖掘,提取其中有潜在价值的海洋信息和知识具有很大的挑战。对这些噪声观测数据进行质量控制是进一步打造智慧海洋的前提。

解决方案

对超算中心当前痛点与需求,星环科技充分发挥自身产品优势,基于大数据基础平台TDH的异构数据存储能力,智能分析工具Sophon的机器学习和面向专业领域的分析工具,大数据开发工具TDS的数据处理能力,以及数据云平台TDC的数据云架构为其搭建了海洋大数据平台。

基于星环科技大数据基础平台TDH及大数据开发工具TDS,配合大数据开发工具TDC ,建立海洋AIoT平台、AIoT运维平台、海数梦工厂、超级管理平台、供应商管理五平台协同工作,用户支持中心、交易支持中心、研发支持中心、资产统计中心四中心提供服务的海洋大数据平台。具体架构图如下:

“前店后厂”打造全流程协同处理体系,助推数据商业化

有效分析数据并挖掘有价值的信息,让信息进行有效流转,优化海洋开发效果是海洋大数据领域的热点问题,考虑到这一难点。星环科技借助自身优势,为其定制行业资讯、典型应用和供需对接等能力,打造了商品集市,支持数据产品和模型产品在线交易,实现数据、模型和应用共享的“前店后厂”模式。

建立围绕场景的服务于研究者的AIoT平台,解放生产力

针对数据管控能力弱、数据质量差、数据分析挖掘工具较少和人工工作繁琐的特点,星环科技通过一站式大数据平台TDH和企业级智能分析工具Sophon对平台进行深度融合和定制开发,打造一站式可拖拽的大数据和人工智能开发平台。

针对业务人员进行技术降维,为用户提供数据加工工具和挖掘分析环境,支持用户在平台上对数据进行加工处理,研发海洋领域智慧应用。为研究者的生产力提供保障。通过数据质控、设备智维、图像智识、图谱智建支撑研究者的应用研究。

产品优势

TDC是结合星环公司在大数据平台TDH、云操作系统TCOS、智能分析工具Sophon分别在大数据、容器云平台和人工智能领域的技术优势,研发出的新一代智能大数据云平台,具有以下优势:

三云融合、互联互通:实现了分析云、数据云、应用云的完美融合,为企业提供高效的基础技术平台,实现产品从数据端到产品端全生命周期管理。

资源隔离、安全共享:通过容器等云原生技术,提供多租户的云化大数据服务和应用云服务,不同租户之间数据、资源及应用默认隔离,保证租户的安全性,同时可以通过租户间的共享技术实现数据的共享和交换;

动态调度、弹性扩容:计算和存储服务可独立弹性伸缩,实现在线的动态调度、弹性扩缩容,保证高并发下服务不宕机,低并发下资源让渡。

实施成效

海数梦工厂

按照前店后厂的模式进行建设的海数梦工厂,底层搭建了星环基础产品和服务集群,前店为数据门户,提供资讯查看、典型应用、供需对接和数据定制等功能,打造了商品集市,该门户支持数据产品和模型产品在线交易,实现数据、模型和应用共享;后厂为数据梦工厂,为用户提供数据加工工具和挖掘分析环境,支持用户在平台上对数据进行加工处理,研发海洋领域智慧应用,实现数据加工能力共享。为超算中心深入挖掘数据价值,培育数据产品,加速数据共享、数据流通提供助力。

数据质量控制应用

针对无统一数据中心、数据挖掘分析较少等数据质量问题,星环科技建立的AIoT数据加工厂,借助自研的大数据平台TDH及智能分析工具Sophon,实现了从数据采集、存储,到模型开发、管理、部署及交易的统一数据平台,并对数据进行全流程管控。借助Sophon工具提供的AI实验场、视频分析实验场、知识图谱实验场、边缘计算实验场对原始数据进行分析,并输出可信标准化数据(温度、盐度、叶绿素等),为科学研究提供有价值、可挖掘的数据。

图像智能识别应用

在对海洋资源尤其以鱼类为代表的生物资源开发探测过程中,必须对各种品种的鱼类进行识别,但鱼类体形各异,大小不一,识别起来较为复杂,而且同一类鱼的不同品种通常具有相似的外形、尺寸以及纹理等特征,很有可能会出现误判而导致严重的经济损失。同时,海底环境恶劣、拍摄环境亮度低、场景模糊的实际情况导致海底观测视频品质差,视频中的鱼类识别难的问题以及现有鱼类识别方法存在的鱼类标注数据集过少导致训练的深度模型准确度不高的问题。

AIoT平台图像智识应用的建设,基于星环Sophon AutoCV实现海洋生物图像的识别,通过数据管理、数据标注到模型训练等功能,成功训练了生物多样性识别相关的模型,模型测试效果良好,训练所得的生物多样性识别模型平均精度可达96%以上。在部署使用的过程中Edge平台还支持数据的监测和回传,可通过回传的实际场景下的数据来对模型进行优化,使得模型在不同场景下都能有优秀的识别表现,方便模型的长期迭代,有效降低客户运维成本。

数据感知与挖掘应用

海洋传感器采集海洋研究中最基本和最重要的参数信息,包括盐度、温度、含量等多种观测参数。这些参数的测量对于海洋科学研究、海洋经济与海洋建设、海洋环境监测与保护、海洋生态系统等都有着极其重要的价值和深远的意义。但海洋观测数据包括数据不一致性、数据冗余、数据缺失、数据类型混乱等问题,从这些大量不完全的、模糊的、有噪声的海洋观测数据中进行数据挖掘,提取隐含其中有潜在价值的海洋信息和知识具有很大的挑战。

星环科技凭借大数据和机器学习技术助力超算中心优化模型算法,助力超算中心向人工智能、智慧海洋方向转型,平台实现数据的自动建模、参数调优和模型优化,提升预测精度,并借助可视化模块连接公众用户、决策用户和行业用户,加强了信息的互通共享,支持产、学、研、用各方在线进行协同创新,推动行业领域产业生态可持续高质量发展。

总结

该国家超算中心基于TDHTDC构建“横向到边、纵向到底、联动更新”的海洋大数据中心,健全海洋数据资源常态化采集、处理、更新、管理和应用机制,保证各层级数据中心间的动态联动,以及跨部门、跨行业、跨应用数据共享与交换,解决数据管控较弱、数据分散、信息孤岛等问题,助力各部门掌握海洋数据,持续为海洋生态提供保护。借助Sophon智能分析工具实现对大数据、人工智能、物联网、云计算等前沿技术以及特定行业领域先进科研成果的运用,为中心提供了一体化的大数据与人工智能支撑平台,实现海洋气象观测、水质分析、沉积物分析、生物监测和海洋放射性监测等。基于星环大数据平台的海洋信息技术,能快速有效地对海洋生态监控区的指标参数进行整合与优化。例如,利用遥感与声学数据,对海洋底栖生物的生物群落和物种分布进行监测,为海洋生态保护提供科学参考。利用海洋水色遥感探测如叶绿素、悬浮物、黄色物质、污染物等信息,对海洋水质监测和近岸水体污染预警具有重要意义。

未来,星环科技将持续联合该国家超算中心及其他合作伙伴,进一步健全海洋大数据中心,强化数据分析挖掘与智能处理手段,规范各级各类数据信息产品,培育数据产品加工流水线,构建特色专题数据产品、模型产品和应用产品,研发智慧应用。以海洋大数据产业健康发展和海洋生态多样性为目标,合理有效挖掘海洋大数据蕴含价值,构建海洋大数据共享服务新业态,通过产学研用一体化不断助力人类和自然的可持续发展。


文章转载自星环科技,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论