
2023年8月至2024年5月,国家统计局顺利完成第五次全国经济普查(简称“五经普”)单位清查和普查登记数据采集处理工作。在此期间,全国200多万名普查员通过手持终端设备,依托华为云GaussDB对全国范围内的1亿多普查对象进行普查数据采集与处理,为国家宏观经济决策提供了重要基础数据。
“五经普”是一项重要的国情国力调查,肩负着摸清我国经济家底、推动高质量发展的重要任务。国家统计局历时三年建设的统计云技术平台,作为统计云建设工程的关键支撑,在统计数据的采集、审核、验收及汇总等关键业务场景中,首次在“五经普”实现了大规模的应用。“五经普”在数据采集方式上进行了革新,通过部署在统计云技术平台上的国家统计局数据采集处理系统直接进行数据填报,在业务高并发、海量数据处理和数据实时性、准确性、一致性等方面,对应用系统提出了更高要求。作为支撑统计云业务运行的重要基础设施,选择一款合适的数据库至关重要,也并非易事。经过深度市场调研和分析研究,华为云GaussDB在可用性、性能和迁移等方面,能够较好地满足国家统计局业务工作要求。此外,华为公司与国家统计局有多年合作基础,华为终端、网络、服务器和存储产品已在第三次全国农业普查、第四次全国经济普查、第七次全国人口普查等数据采集处理场景中得到应用。随着GaussDB在统计云工程中的成功应用,更是实现了全局“一朵云”的架构,推动了统计现代化改革发展。“五经普”采集模式的创新与落地,离不开统计云技术平台的强大资源支撑、多样化的功能调用以及丰富的实践经验。其中,华为云GaussDB数据实时汇集与分析能力,更是支撑统计云平台实现了“一网通办,一云统管”。在“五经普”业务保障过程中,GaussDB主要面临两大挑战:“五经普”数据采集处理系统需确保全国200多万普查员、168万“一套表”单位(规模企业)、26万统计机构人员用户能够高效、准确地填报和处理1.2亿普查对象的普查数据。(二)“五经普”业务逻辑要求在同一段时间内完成数据的填报(写入)和审核验收(读取)操作。“五经普”普查登记数据采集时间是2024年1月1日至4月30日,在此期间,各级统计机构用户需要同步开展数据审核、验收和汇总。系统运行时,压力主要集中在上午9点至12点和下午2点至5点。在实现数据的快速读写(业务的增删改查SQL语句量约为每秒百万条)的同时,系统还需具备强大的数据分析能力,能够完成上万条数据的汇总分析任务,以确保数据的实时性、准确性和一致性。作为统计云技术平台的有力基础支撑,GaussDB通过分布式技术架构部署与优化策略,确保了数据采集任务的高效执行与精确完成,为统计云技术平台的稳定运行与高效运作提供强力支持。(一)GaussDB分布式部署,顶住五经普业务高峰压力。一是“五经普”数据采集处理系统采用GaussDB分布式多节点(15节点),单库容量最大支撑达到100TB,前期通过在线扩容,实现对业务的最小化影响。
二是借助GaussDB分布式执行框架,根据业务SQL生成最优执行计划,并利用并行执行等技术,使得每秒事务处理数(TPS)轻松突破10万大关,显著提升分布式执行效率。
三是GaussDB多集群节点、线程池和连接池等技术能力,在高并发场景下,可实现毫秒级查询响应,有效应对业务高峰。同时,针对分布式数据库开展了一系列优化,共包括134类慢SQL,有效地降低数据库的运行压力,保障系统的稳定运行。
(二)DRS数据实时同步,“两”库并行,保障数据高效入库和实时分析。华为云GaussDB采用采集库与汇总库分离策略,由采集库存储采集数据,然后通过数据复制服务(DRS)将采集数据快捷汇聚到汇总库,以便更加高效地执行汇总任务。
在此过程中,DRS支持将其他数据库迁移过来的全量数据,一次性同步至GaussDB中。同时,通过实时解析源库日志,将解析到的增量数据转换为DRS内存存储格式,达到100MB/s的数据处理速度,确保绝大多数情况下的秒级响应时延,从而满足业务对读写分离的需求。GaussDB高可用、高性能、易迁移等技术能力,保障了统计云圆满完成统计业务工作,为上层统计核心业务系统提供合规保障,确保统计业务的连续性。在“五经普”单位清查数据合并场景中,数据处理耗时从原来的18分钟缩短至2分钟。
在“五经普”普查登记数据采集场景中,高峰期单个节点的并发量突破了12000TPS,成功支撑超过30万用户同时在线,每秒处理业务量超过10万笔,峰值查询量达每秒120万次,采集响应时延低于20毫秒。
此外,在完成“五经普”的数据采集任务后,GaussDB还支撑了国家统计局核心业务系统——联网直报系统,为数据的实时上报、高效处理和深度分析提供了坚实的技术支撑。
统计云平台创新成果在中国统计信息化建设史上开创了先河,实现了“多个首次”,全面承载国家统计局的核心业务系统,以数字化转型驱动统计现代化改革。未来,华为云GaussDB将与国家统计局继续携手,共同推动统计高质量发展,以统计现代化更好服务中国式现代化。山东省瞪羚企业
山东省创新型中小企业
山东省专精特新中小企业
省级服务型制造示范平台
拥有24项软件著作知识产权
中小企业数字化转型诊断服务商
中小企业数字化转型试点城市服务商
IS09001质量管理体系认证证书
ISO14001环境管理体系认证证书
ISO/IEC27001信息安全管理体系认证证书
ISO45001职业健康安全管理体系认证证书
ISO/IEC20000信息技术服务管理体系认证证书
华为云总经销商
华为云核心级解决方案提供商
华为云云商店客户服务商
为更好的推进新一代信息技术(包括5G、云计算、大数据、人工智能、物联网、网络安全等)的聚集发展,加快云计算、大数据、人工智能产业生态建设步伐,繁荣高新区新旧动能转换,加快推进济南高新区产业转型升级,由高新区政府与华为及百谷共同创建“华为云联合创新体验中心”(济南高新区)。我们将以此“创新中心”为平台,有序引入华为的先进技术和产业资源,推进创新资源集聚,以新一代信息技术(包括5G、云计算、大数据、人工智能、物联网、网络安全等)发展为重点,加速培育高潜力、高成长性的创新创业企业,引入行业内特色领军企业,将高新区华为云联合创新体验中心打造成为济南新一代产业创新发展的高地。创新中心致力于培养高潜力、高成长性的创新企业平台,对外承担着孵化中心、解决方案展示中心和培训中心三大职能。(来源:华为云)
(主题:国家统计局&华为云GaussDB,开启统计现代化改革新篇章)
(编辑:wcl)
最后修改时间:2025-02-11 17:20:06
文章转载自
百谷云计算,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。