数商崛起!数据要素化是核心;8部数据要素报告;技术型数商要走好这几步!湖仓一体看一数多芯;华为盘古大模型方案；阿里最强开源模型·

11月26日，在2023全球数商大会上，星环科技成功举办了数据要素市场与大模型语料库论坛暨中国大模型语料数据联盟开放日活动，会上，星环科技作为中立的技术提供方加入中国大模型语料数据联盟。

国家数据局局长刘烈宏在2023全球数商大会开幕式上表示，在推进数据要素市场化配置的过程中，特别是在丰富完善数据基础制度、推动数据基础设施建设、促进数据流通和开发利用等方面，数商扮演着重要的角色，发挥着关键的作用，国家数据局非常重视推进数商的发展。技术型数商是数据资源的“开发者”，促进数据聚起来。通过帮助各类经营主体更好地采集、清洗、存储、传输和管理数据，让分散在不同系统、平台的数据，汇聚成标准化、可流通的生产要素，拓展数据来源，提升数据质量。

星环科技作为上海数据交易所首批签约的技术驱动型数商，为数据的集成、存储、治理、建模、分析、挖掘和流通等数据全生命周期中每个环节提供基础软件及服务，同时，针对人工智能等高速发展态势，也将新形态下多模语料、AI模型前、中、后数据也纳入到了“数据”范畴，以数据为中心，关注大模型的前中后期的数据管理。

近日，上海数交所在全球数商大会上发布了8部研究报告及指南，即：

·数据资产入表及估值实践与操作指南

·中国数据交易市场研究分析报告(2023年)

·数据交易PDCA模型

·数据交易安全港白皮书

·数据要素市场发展指数2023

·全国数商产业发展报告2023

·全球数据跨境流动规则全景图。

·数据要素流通典型应用场景案例集

其中《全国数商产业发展报告 (2023)》将数商分为数据商与第三方专业服务机构两大类，并根据业务类型进一步将数商企业分为数据采集、数据治理、数据安全、数据产品开发/资产管理、数据发布、数据中介(数据经纪)、数据交付、数据资产应用、数据合规评估、数据资产审计与评估、数据质量评估、数据风险评估12类。

目前各类数商大多已有数据要素化能力，但商业模式尚未成熟，其主要原因有三：标准难统一、生态不健全、客户难转化。具体来看，数据商已基本具备数据要素化能力，主动延展业务链条，探索数据要素市场业务;第三方专业服务机构则更关注推进数据理论与标准的发展，为其开展业务提供扎实基础。

国家工业信息安全发展研究中心等编写的《中国数据要素市场发展报告(2021-2022)》显示，2021年我国数据要素市场规模达815亿元，数据要素对2021年我国GDP增长的贡献率和贡献度分别为14.7%和0.83个百分点。

那么如何推动数据要素市场的发展，发挥数据的价值呢?国家数据局局长刘烈宏在2023全球数商大会开幕式上表示，在推进数据要素市场化配置的过程中，特别是在丰富完善数据基础制度、推动数据基础设施建设、促进数据流通和开发利用等方面，数商扮演着重要的角色，发挥着关键的作用，国家数据局非常重视推进数商的发展。

对于数商而言，强化数据驱动的生产要素配置能力，实现要素数据化，促进劳动力、资金、技术等要素在产业间、行业间、区域间的合理配置，提升全要素生产率。

近日，星环科技大数据基础平台TDH顺利通过中国信通院云原生湖仓一体大规模一数多芯专项评测，在10000节点X86、ARM混合部署集群下，湖仓数据集成、计算、存储、数据治理以及其他湖仓能力等五大能力域均满足云原生湖仓一体测试要求，成为首个通过该专项评测的数据产品平台，彰显了星环科技在云原生湖仓一体领域技术实力，以及在大规模数据管理和混合部署方面的技术优势。

信通院《云原生湖仓一体数据平台技术要求》标准总体框架

星环科技云原生湖仓集一体平台基于统一平台满足数据湖的实时接入、数据仓库的模型架构以及数据集市的在线分析等多种需求，让业务分析师、数据科学家、数据工程师等都能够访问实时数据、历史数据、贴源数据、加工过的数据。基于高性能存储格式Holodesk，只需一种存储格式即可同时满足湖仓集的数据接入、数仓加工和高性能数据分析，降低数据存储冗余，简化数据加工链路，提升业务时效性。同时，基于多种模型数据统一存储管理(11 种数据模型)、统一计算能力、统一接口，实现了数据跨模型的交互能力，帮助用户快速实现复杂业务，加速业务创新。

Dremio 是一个简单而开放的数据湖仓一体，它正在引入 AI 驱动的数据发现功能，以加速和简化数据上下文化和分析描述，同时改进功能以扩展其针对 Apache Iceberg 的分析引擎。

Dremio 扩展了之前宣布的生成式 AI 文本转 SQL 功能，正在提供新的 GenAI 驱动的数据文档和标记，为分析提供全面的业务上下文，同时减少手动工作。据该公司称，Dremio 的 GenAI 功能使 Dremio 成为所有数据用户最简单的分析平台，从而实现更快、更准确的数据洞察。

Dremio 还扩大了其作为 Apache Iceberg 一流分析引擎的领导地位，为所有数据提供通往 Iceberg 的统一路径。Apache Iceberg 是一种开放的表格格式，得到了 Netflix 和 Apple 等科技巨头的认可。

在此版本中，Dremio 使公司可以通过一键式命令摄取到 Iceberg 表中来轻松采用 Iceberg。Dremio 可以在云中和本地将来自数据湖、关系数据库、数据仓库和 NoSQL 数据库的原始数据(JSON、CSV 和 Parquet 格式)无缝转换为 Apache Iceberg。（dbta.com）

Starburst Data 是基于开源Trino项目的分布式查询引擎的商业开发商，最近宣布了一组新功能，旨在使组织更容易在数据湖之上构建数据密集型应用程序。这些增强功能在单个平台上提供统一的数据接入、数据治理和数据共享。

作为标准更新周期一部分的新功能包括支持通过流式引入进行实时分析。客户可以利用开源 Apache Kafka 或 Confluent Inc. 的 Kafka 商业版本，近乎实时地对数据湖进行水化处理，以确保应用程序拥有最新信息。

到达湖中的新数据以 Apache Iceberg 开源表格式存储。Starburst 还支持 Apache Parquet 和 Databricks Inc. 创建的 Delta Lake 格式，但“我们认为 Iceberg 将赢得这场战斗，”Borgman 说。“我们看到 Iceberg 被一个广泛的生态系统所接受，而我们只看到 Delta 被 Databricks 所接受。”（starburst.io）

基于数据集成的核心痛点和用户诉求，近期腾讯云数据传输服务DTS重磅发布全新数据集成方案，该方案采取全增量数据一起的同步方式，将数据源先同步到Ckafka，再从Ckafka消费数据投递到数据湖仓，可以有效帮助用户解决数据湖仓建设前期数据集成的问题。

使用DTS同步到Kafka的链路形式替代之前使用Canal组件的链路，最终实现高性能传输、高稳定性保障的同时有效降低了运维成本。

·传输性能高：DTS的传输性能与用户实际网络延时、带宽、数据本身的规格配置都有关系，在用户源端和目标端规格都比较高，网络无瓶颈的情况下，项目实测DTS全量阶段的RPS最高可达30万/s，增量阶段最高可达1.5万/s。

·稳定性强：DTS可提供高SLA保证，任务稳定性极强。

·运维成本低：用户之前使用Canal组件时，平均每月大概需要半个人力投入到研发和运维中，改用DTS后，任务配置完成后基本无需运维人员投入，大大减少运维成本。

DTS提供的同步到Kafka数据集成方案具有通用性，目前已成功应用在出行、零售、游戏、互联网、金融等多个行业，并收获了用户的良好口碑。

近日，赛迪顾问云计算与大数据产业研究中心编制了《2023中国数据云市场研究报告》，赛迪顾问在报告中首先对“数据云”的概念和价值进行了定义，其次对数据云市场发展现状、市场规模、竞争格局、重点企业等方面进行了分析，最后研判了数据云市场未来的发展趋势。

数据云具有多方面的能力和价值。一是聚焦数据流通链路;二是实现云数智有效融合;三是加速数据管理和处理技术变革;四是构建新型数字基础设施。

数据云作为新一代数字基础设施，以云计算为基础、以数据为核心，融合了人工智能、区块链、物联网、机器学习、智能决策等数字技术，围绕数据全生命周期构建起数据安全可信流通的新型数据基础设施。

为满足客户愈发复杂的业务场景下的各种数据产品需求，九章数据以“数据+场景+AI”的全新模式，围绕数据存、算、用等核心场景，吸纳30+项目的实际业务需求，从产品功能到多场景需求匹配，九章数据管理平台iDAS3.3进行了一轮全新的能力升级与深化。

iDAS3.3提供对数据采集、开发、治理、分享、可视化等复杂组合场景的应用能力和全生命周期研发能力，持续不断沉淀数据价值，形成了一套更高效可靠的数据资产体系，在业务、数据、资产与服务之间形成良性循环的生态闭环。

升级后的产品大幅提升了数据存储能力、数据计算能力、数据开发能力、数据服务能力，更贴合项目实际使用场景，性能更高、功能更全、使用更便捷，为产业数字化和智能化转型，提供坚实的数字基座。

在 AWS re：Invent 大会上，AWS宣布在其数据库和分析产品组合中推出三项新的无服务器创新，使客户能够更快、更轻松地扩展其数据基础设施，以支持其要求最苛刻的使用案例。

新的 Amazon Aurora 功能可自动扩展到每秒数百万个写入事务，并管理 PB 级数据，同时保持操作单个数据库的简单性。

借助 Amazon ElastiCache 的新无服务器选项，您可以更快、更轻松地创建高度可用的缓存，并立即进行扩展以满足应用程序需求。

新的 Amazon Redshift Serverless 功能使用 AI 来预测工作负载，并自动扩展和优化以满足性价比目标。

Genesys、MIO Partners、Peloton、Quantiphi 和 Tuya Smart 等客户和合作伙伴正在使用这些新的无服务器创新。（press.aboutamazon.com）

炎凰数据平台 2.13.0 重磅发布。本次发布带来了新一代查询引擎，查询性能普遍提升;仪表板等可视化功能持续增强，易用性不断提升;为用户提供了更广泛的硬件选择和性能优势，支持更全面的信创解决方案;DataScale 的功能也在持续改进与完善。期待炎凰数据平台新版本能够为您带来更好的使用体验!

基于瓴羊多年的实践经验，瓴羊Dataphin升级了数据治理新能力，即：一体化、轻量化和布局流通。

瓴羊围绕这三个核心方向，通过Dataphin打造了包括建设、治理、消费一体化，引擎内置的轻量化启动和以流通为导向的数据建设治理，帮助企业实现数据资产的盘点、治理和建设，降低启动和运维成本，Dataphin与瓴羊港的结合还可以实现合规高效的数据流通。

华为云发布了基于盘古大模型打造的三大基础解决方案和华为云AI出海计划。

盘古大模型+搜索解决方案，面向金融、政务、医疗等行业域内知识问答、文档问答等搜索应用的主要场景，通过盘古大模型与行业知识库深度融合，并结合搜索、GaussDB向量数据库、精排等技术，提升搜索在语义理解、泛化能力、准确度等方面的能力，实现实时知识获取、精准问答、结果溯源。以金融行业为例，坐席知识问答场景的服务效率可以提升10%。

盘古大模型+数字人解决方案，专为播报交互、智能客服、办公助手等各种数字人应用场景提供支持。盘古大模型加持的数字人大脑中枢，提供精准意图理解、用户隐私和安全保护、插件中心三大能力。基于该方案的数字人创作效率提升200%，显著提升数字人交互体验。

盘古大模型+RPA(智能流程机器人)解决方案，为政务、金融、法务、财务、零售、人力资源等场景提供全新的智能数字员工能力。

此解决方案充分发挥盘古大模型和RPA产品WeAutomate的核心优势，支持大模型自然语言交互调用RPA，执行误差率低于0.05%，合法合规遵从度100%，大幅降低人工操作的准确性和合规性风险。

华为云始终坚持全球化发展，华为云KooVerse全球一张网已经在全球多个价值高地打造了50ms时延圈的极致体验，成为众多出海企业的首选。华为云AI出海计划将在海外节点陆续上线大模型全栈技术成果，帮助出海企业构筑大模型优势。

IDC发布了《 IDC MarketScape 中国分布式关系型数据库2023厂商评估》，聚焦中国分布式关系型数据库的技术提供商，针对入选厂商的战略、能力进行评估，从而形成IDC MarketScape 综合评分体系。

通过IDC分析师对厂商和最终用户的深入访谈，集中分析并确定各服务商在IDC MarketScape 中的相对位置，并探讨各供应商的优势及战略思路，总结市场发展现状与痛点趋势，为数字内容的提供者与行业终端用户选择分布式关系型数据库技术提供商及伙伴提供参考。星环科技等厂商进入此次报告。

报告认为，头部厂商在分布式关系型数据库市场中重点聚焦金融行业。多数厂商未来的产品战略方向是基于大模型、机器学习等AI技术的智能运维，以提高运维效率，降低运维成本，并为企业提供更加个性化的服务。目前，生态建设是大部分数据库厂商的短板。降本增效在分布式关系型数据库的应用中已初具成效。

IBM宣布与AWS合作，推出Amazon Relational Database Service (Amazon RDS) for Db2，一种完全托管的云产品，旨在使数据库客户能够更轻松地管理混合云环境中人工智能 (AI) 工作负载的数据。

Amazon RDS for Db2客户现在可以选择在本地、AWS上进行现代化改造，或部署混合云架构，以优化AI工作负载。

对于迁移到AWS的客户，Amazon RDS for Db2可以帮助他们将现有的自行管理的 Db2 数据库迁移到云中，从而帮助自动执行耗时的数据库管理任务，例如预置、备份、软件修补和监控。（dbta.com）

Milvus(Zilliz Cloud)为提高数据流处理效率， 先后支持了 Upsert、 Kafka Connector、Airbyte，而这些功能的作用都是简化数据处理和集成流程，为开发人员提供更高效的工具来管理复杂的数据。

其中，Upsert，简化数据更新流程;Kafka Connector：赋能实时数据处理;集成 Airbyte：数据处理更高效。

在AWS re:Invent上，Aurora发布了最新的功能“Aurora Limitless”。这是一个基于水平拆分的分布式数据库，算是最近几年来说Aurora发布另一个非常大的功能点。

Aurora Limitless主要是解决两个问题：一个是写扩展，另一个是容量扩展。这也是国内的分布式数据库(诸如PolarDB-X、TDSQL、OceanBase、TiDB等)所解决的最主要的问题，海外也有诸如YugabyteDB、CockroachDB等产品。现在Aurora也加入了这个战场。

目前，该功能还处于预览阶段，普通用户暂时还无法使用，根据以前Aurora产品的节奏，从预览到正式发布，可能还需要一年左右的时间，待后续再进行更多的测试与验证。

云数据库即服务提供商Couchbase在AWS的公共云平台上为其 Capella 平台推出了一项新的列式服务,使公司能够更轻松地利用实时分析来构建更具适应性的软件应用程序。

Capella的列式服务将列式存储和数据集成到Capella DaaS平台中，从而能够在企业运行许多运营工作负载的同一云平台上对数据进行实时分析。在一个数据平台中融合运营和实时分析功能将有助于减少摩擦并确保卓越的应用程序用户体验。

Couchbase Capella 是 Couchbase NoSQL 数据库的云托管版本，用于支持复杂的业务应用程序。与 Oracle 数据库等传统数据库不同，Capella 可以同时处理结构化和非结构化数据，使其成为某些类型应用程序的更灵活选择。（couchbase.com）

日前，柏睿数据与华鲲振宇、鲲鹏联创共同打造的智算一体机重磅发布。该一体机以RapidsDB数据库、Rapids VectorDB向量数据库为核心，融合了多方核心软硬件产品，集计算、存储、网络、数据库、监控于一体，支持智算多模态混合负载型业务，具有高性能、高可靠性、高性价比、灵活扩展等特点，可满足客户极速增长的智算系统规模和不断变化的AI业务需求。

柏睿智算一体机内置的向量数据库Rapids VectorDB在柏睿分布式全内存数据库RapidsDB的基础上，开发独立向量计算模块，基于分布式架构，支持本地计算和HNSW向量相似度算法，可实现大规模向量数据查询分析秒级响应。

安全运营初创公司ArmorCode宣布，它已经完成了 4000万美元的B轮融资，以推进其帮助公司快速、大规模交付安全软件的使命。

ArmorCode 成立于 2020 年，旨在“增强安全团队”，以便组织能够快速交付安全软件。它通过将 AppSec 转变为可扩展且具有成本效益的流程来实现这一目标，从而确保应用程序的交付安全。

据该公司称，该平台整合了应用程序安全工具，简化了应用程序安全流程，提高了业务敏捷性，提高了开发人员的生产力，以帮助公司负责日益复杂的应用程序安全环境。它包括应用程序安全态势管理，通过提供跨应用程序和基础架构安全的所有安全发现的集中视图来简化AppSec操作。（siliconangle.com）

云安全领导者 Wiz 收购了 Raftt，一个用于开发人员协作的云原生平台。最近，Wiz 扩展了其云原生应用程序保护平台 (CNAPP) 以增强开发人员的能力。而此次收购进一步增强了 Wiz 的安全云开发能力，使开发人员能够在整个软件开发生命周期中安全地构建。

Raftt已经运营了三年，并从各种私人和公共风险投资公司筹集了500万美元。Raftt 专注于保护基于云的应用程序开发管道和框架，拥有大约 20 名员工。（acnnewswire.com）

Neo4j 和亚马逊云科技之间的多年战略合作协议(SCA)将加快企业人工智能开发，同时解决关键的人工智能挑战，包括减少 LLM 幻觉。

Neo4j 是具有矢量搜索的图形数据库，它现在与 Amazon Bedrock 无缝集成，这是使用基础模型构建和扩展 GenAI 应用程序的最简单和最强大的方法之一。

为了为 GenAI 开发人员创造无摩擦、快速启动体验，我们在亚马逊云科技 Marketplace 上提供了完全托管的图形数据库产品 Neo4j AuraDB Pro。

双方的合作为企业提供了根据其特定数据领域定制 GenAI 解决方案所需的工具，同时使人工智能结果更加完整、准确和透明。

12月1日，阿里云举办通义千问发布会，开源通义千问720亿参数模型Qwen-72B。Qwen-72B在10个权威基准测评创下开源模型最优成绩，成为业界最强开源大模型，性能超越开源标杆Llama 2-70B和大部分商用闭源模型。未来，企业级、科研级的高性能应用，也有了开源大模型这一选项。

通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。至此，通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型，以及视觉理解、音频理解两款多模态大模型，实现“全尺寸、全模态”开源。力度之大，业界无出其右。

Qwen-72B填补了国内空白，以高性能、高可控、高性价比的优势，提供不亚于商业闭源大模型的选择。基于Qwen-72B，大中型企业可开发商业应用，高校、科研院所可开展AI for Science等科研工作。（sohu.com）

亚马逊云科技在2023 re:Invent全球大会上，宣布推出五项Amazon SageMaker新功能，帮助客户加速构建、训练和部署大语言模型和其他基础模型。

5项新功能包括：进一步增强了Amazon SageMaker的模型扩展能力并加速了模型的训练;能够通过降低模型部署成本和延迟时间，优化了管理托管的机器学习基础设施;SageMaker Clarify功能，可以让客户在负责任地使用AI的基础上，根据质量参数更轻松地选择正确模型;在Amazon SageMaker Canvas中引入了新的无代码功能，让客户更快、更容易地使用自然语言指令准备数据;Amazon SageMaker Canvas继续推动模型构建和定制的普及，让客户更轻松地使用模型提取洞察、进行预测和使用企业专有数据生成内容。这些创新均基于Amazon SageMaker丰富的功能，帮助客户实现规模化机器学习创新。

MongoDB 的 Atlas Vector Search 与 AWS 的 Amazon Bedrock 集成旨在加速由生成式 AI 提供支持的应用程序的开发。

在 AWS re：Invent 2023 大会上，云原生数据库 MongoDB 宣布计划将 MongoDB Atlas Vector Search 与 Amazon Bedrock 集成，以利用其著名的云基础设施，帮助在 Amazon Web Services (AWS) 上开发 AI 应用程序。

此次合作旨在简化生成式人工智能和语义搜索功能的整合，增强用户体验和参与度。

MongoDB Atlas Vector Search 利用运营数据将生成式 AI 集成到应用程序中，从而提供定制的最终用户体验。与 Amazon Bedrock 的集成有望为开发人员提供支持，简化利用生成式 AI 创建适用于各种使用案例的 AWS 应用程序。

它将使应用程序能够根据MongoDB Atlas Vector Search处理的专有数据提供最新的响应。（今日头条）