大数据市场将翻倍;数据湖自动化技术;FerretDB替代MongoDB？免费PG、MySQL和Redis计划;WPS/钉钉AI·

　　IDC于近日发布了《2023年V1全球大数据支出指南》(IDC Worldwide Big Data and Analytics Spending Guide)。最新预测数据显示，2022年中国大数据市场总体IT投资规模约为170亿美元，并在2026年增至364.9亿美元，规模翻倍。

　　与全球总规模相比，中国市场在五年预测期内占比持续增高，有望在2024年超越亚太(除中日)总和，并在2026年接近全球总规模的8%。

　　中国市场保持强劲增长，随着数字中国、数据要素、大数据等新一轮政策发布和重大工程落地，疫情后企业项目需求的进一步释放，以及各行业领域在完成基础信息化建设后面临数据价值挖掘的需求，我国大数据市场迎来新的爆发阶段。

　　IDC观测到，厂商积极布局底层计算存储、数据中台、大数据分析平台等业务，尤其聚焦金融、政府、能源、制造等行业，客户也正在进行新一轮投入。另外值得注意的是，ChatGPT的爆火带来了数据计算和存储业务领域的更大的资本关注度，将大数据市场带入更大体量、更强计算和更专业化服务的新台阶。

　　在“开源 · 融合 · 数智化 —— 引领数据技术发展，释放数据要素价值”为主题第十二届数据技术嘉年华(DTC 2023) 上，60多场精彩演讲和展示从多元化类型的数据库技术创新、应用实践、发展趋势等维度，展示数据技术的发展趋势。

　　作为国产数据库代表厂商，星环科技携全栈基础软件产品亮相展区，并分享了星环科技国产化替代实践。数据库技术经过不断发展，已经从以Oracle、IBM为代表的集中式数据库，演进到分布式、多模型、云原生的形态，并在很多场景应用落地，带来了真实的业务价值。

　　基于多年积累的分布式技术、多模型统一技术、数据云技术等，星环科技打造了分布式分析型数据库ArgoDB、分布式交易型数据库KunDB、分布式图数据库StellarDB等一系列国产分布式数据库产品，帮助用户实现自主可控的同时，完成旧系统的改造升级。

　　其中，分布式交易型数据库KunDB，平滑替代Oralce实现系统分布式改造。分布式分析型数据库ArgoDB，平滑替代Teradata打造新一代湖仓集一体化平台。分布式图数据库StellarDB，平滑替代Neo4j构建国产一站式知识图谱平台。

　　国家互联网信息办公室发布了《生成式人工智能服务管理办法(征求意见稿)》(以下简称《办法》)，向社会公开征求意见。意见反馈截止时间为2023年5月10日。

　　《办法》指出，生成式人工智能，是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。

　　国家支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数据资源。提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗，符合以下要求：

　　一是利用生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容。

　　二是在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取措施防止出现种族、民族、信仰、国别、地域、性别、年龄、职业等歧视。

　　三是尊重知识产权、商业道德，不得利用算法、数据、平台等优势实施不公平竞争。

　　四是利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。

　　五是尊重他人合法利益，防止伤害他人身心健康，损害肖像权、名誉权和个人隐私，侵犯知识产权。禁止非法获取、披露、利用个人信息和隐私、商业秘密。

　　IBM已经收购了PrestoDB的软件即服务(SaaS)提供商Ahana，收购金额未公开。

　　PrestoDB或Presto是在Facebook(现在的Meta)创建的开源分布式SQL查询引擎，专为针对各种规模数据的临时分析而量身定制。

　　Ahana将Presto定位为“湖屋”的核心元素，“湖屋”是一种用于数据分析的存储库，其中包括了结构化数据和非结构化数据。该软件最初是为运行在Hadoop框架上而构建的，用于存储和处理大型数据集，但后来扩展到各种其他关系和非关系源。

　　Presto采用大规模并行处理方法来管理数据，指定一个协调器节点与多个工作节点同步工作。作为内存查询引擎，它以其在云数据管理场景中的速度和价值而著称。Presto的主要用户包括Twitter、Uber、阿里巴巴和腾讯。

　　IBM表示，收购Ahana符合其投资开源项目和基金会的战略。该公司于2018年收购了红帽，巩固了其开源战略。

　　Kyligence 一站式指标平台 Kyligence Zen 正式推出 GA 版。Kyligence Zen 提供集业务模型、 指标管理、指标加工、数据服务于一体的一站式服务。

　　该产品可以大幅降低技术门槛，实现人人可用。通过提供低代码指标构建，让每个人可以敏捷地利用指标开展工作，灵活响应业务变化;自动化指标计算简化了指标定义到数据计算的流程，降低开发成本;此外，该产品还无缝对接了 Kyligence 成熟的 OLAP 多维数据分析引擎，即使面对 PB 级别的数据量，仍能实现亚秒级的响应速度。总结来看，Kyligence Zen 一站式指标平台的敏捷好用通过以下四点核心能力得到展现：

　　ZenML (Zen Metrics Language)：通过类 YAML 描述性语言构建语义层，让工程师像写代码一样去定义和管理指标，通过将技术语言转换为业务语言，非技术用户也可以轻松获取数据洞察;

　　指标目录：帮助用户进行统一的指标定义和管理，基于一致的基础指标灵活生成复合指标及衍生指标，保障一致的指标口径;

　　模板市场：行业专家打造海量指标模板，支持用户一键导入，省去 80% 以上的调研和搭建时间，加速开展分析工作;

　　Excel/WPS 直连分析：用户无需改变原有习惯，在 Excel/WPS 中即可快速连接 KyligenzeZen 进行指标分析。

　　目前，Kyligence Zen 已支持多家云平台，同时提供云上私有部署版本，并根据实际算力计费。2022年，Kyligence 作为唯一的中国厂商入选 Gartner 《指标平台创新洞察报告》。

　　经过六个 beta 版本的迭代，超融合数据库 YMatrix 5.0.0 GA 版本正式发布。YMatrix 为降低数据生态的复杂性，设计了具有超融合基因的简洁架构，将计算、存储和网络资源整合在一个统一系统中。其基于大规模并行处理(MPP)系统构建，符合微内核架构特点，可灵活、融合适应多个场景，不仅对于物联网时序场景友好，也支持传统分析型数据仓库环境及商业智能(BI)工作。

　　YMatrix 从最开始就选择了关系型数据模型的技术路线，并通过超融合的架构设计，实现时序、OLAP 及 OLTP 的 all in one。目前，YMatrix 在国内率先以一套数据库系统，通过信通院“时序数据库”和“分析型数据库”的全部功能项认证。这充分证明了 YMatrix 功能的丰富性，而更重要的是，这也印证了 “时序与分析”不再割裂的理念得以落地实现。

　　YMatrix 5.0 在写入能力、时序查询能力、单表 OLAP 分析、多表关联 OLAP 分析、Machine Learning 性能以及 OLTP 能力六项关键性能指标事项突破：

　　·在真实生产场景下的写入速度可达 1.52 亿数据点/秒;

　　·对比时序数据库独角兽 TimescaleDB，查询耗时是 YMatrix 的 5.1 倍;

　　·对比知名 OLAP 数据库产品 Clickhouse，YMatrix 在 SSB 基础测试上快 27% (新的 GA 版本将再次刷新，敬请期待最新的测试数据公布);

　　·对比 MPP 数据库主流厂商 Greenplum，YMatrix 在多表关联分析场景上实现了 10 倍的性能提升;

　　·对比全球流行的开源大数据平台 Spark，YMatrix 在机器学习场景上的性能是其 8 倍;

　　·在 Intel 实验室的TPC-B 国际标准测试中，YMatrix主键查询 TPS 高达160万，数十倍于绝大多数产品。

　　Dbta报道，自动化数据移动领域的全球领导者 Fivetran 推出对 Amazon Simple Storage Service (Amazon S3) 和 Apache Iceberg 数据湖格式的支持，以将大容量、经济高效的数据存储与简单的访问和全面的合规性相结合。

　　Amazon S3 是 Amazon Web Services (AWS) 提供的对象存储服务，可提供行业领先的可扩展性、数据可用性、安全性和性能。

　　Apache Iceberg 是一种广泛支持的开源数据格式，可为数据湖提供原子、一致、隔离和持久 (ACID) 事务。

　　Fivetran 是一个自动化的数据移动平台，在清理、规范化和自动将数据加载到湖中的同时，对个人身份信息 (PII) 进行匿名化处理。

　　Techtarget报道，企业数据智能解决方案提供商Alation Inc.正在扩大与湖屋公司Databricks和分析工程提供商dbt Labs的合作伙伴关系，以在现代数据堆栈中扩展知识，协作和信任。

　　共同客户现在可以轻松集成来自Databricks Unity Catalog的丰富元数据，并利用新的连接器为Alation中的dbt Core和dbt Cloud提供支持。因此，用户可以更好地了解他们的数据环境，并可以查看底层数据变化和转换，从而为数据智能提供支持。

　　通过这些的集成，元数据在 Alation 中可见，使用户能够更好地了解正在利用的数据及其历史用途，以确保根据高质量和可信的数据做出业务决策。

　　Alation 是总部位于美国一家数据目录专家，其工具使企业能够组织和访问其数据资产。2022 年 该供应商在 E 轮融资中筹集了1.23 亿美元，使其总资金达到3.15亿美元。

　　星环科技与索为科技正式签约为战略合作伙伴，共同探索数据中台和人工智能领域的应用，达成多行业、多场景的深度合作。本次合作将围绕数据中台生态建设、数据应用场景实践、AI技术落地和应用示范等方面展开合作。

　　此次合作，星环科技将与索为科技共同搭建多个数据应用场景，索为科技借助星环科技在大数据、人工智能、云计算、数据安全领域的领先技术和产品落地能力，共同推动数据驱动的业务创新。星环科技也希望在与索为科技的战略合作中，打造优秀可落地的行业解决方案，共同推动行业数字化转型。

　　亿信华辰全面整合了银监会、人民银行、外管局及其他监管机构的报送制度规范，形成了统一的监管报送架构、统一的数据模型和统一的监管报送平台。经过多年的酝酿和沉淀以及一年的开发，我们迎来了统一监管报送平台eiscpV51新版本，更易用，更强大。

　　新一代的统一监管报送平台，是集数据源集成、数据清洗整合、统一模型集市建设、数据补录、智能校验、多接口报送、全监管报送制度于一体的全能型、一站式监管报送平台，实现了监管统计工作的统一数据管理、统一报送管理、统一合规风险监测、统一监管统计考核的四大目标。

  　云计算基础软件开发商「ZStack」完成数亿人民币C轮融资，国鑫创投、君联资本领投，国方资本、接力资本、七海资本跟投。

　　ZStack是一家云计算基础软件开发商，专注产品化的云计算服务。作为自主创新的开源云引擎，ZStack具备完全自主知识产权，是和VMware、OpenStack等并行的独立云计算路线。公司凭借自研的云平台、超融合一体机、边缘计算一体机、多云管理、容器等多项产品，积极支持“一云、多芯、多OS”的异构信创，并创新提出云计算的4S特性，注重产品化，普惠云计算。

　　为了帮助数据库从业者与企业探索更多可能，CSDN 重磅发布《2022-2023 中国基础软硬件-数据库开发者调查报告》，从工具、技术、应用、趋势等维度剖析数据库使用现状，展望数据库的未来发展路线，同时，我们也特邀腾讯数据库首席架构师李海翔对报告进行深度分析与点评。

　　以下是一些重要发现：

　　▶ 94%的开发者对数据库技术有一定的了解，但是参与数据库内核研发的专业人才仅有 5%。

　　▶ 有独立的理论原创内容才算是数据库实现了创新，支持这一观点的开发者人数最多。

　　▶ MySQL 使用率最高、TiDB 是开发者最熟悉的国产数据库。

　　▶ 68% 的企业计划或者已经应用了云数据库， 但仍有 83% 的开发者对云数据库的数据安全表示担心。

　　▶ 「工程实现难度大，模块之间的耦合度太高」是开发者认为在数据库引擎研发中最大的挑战。

　　▶ ChatGPT 的兴起，必然会对数据库的产品形态带来冲击。51% 的开发者看好 AI 融合数据库的发展，认为智能化、自动化运维数据库会一个很重要的方向。

　　TiDB 7.0 是TiDB 7系列首个DMR 版本，适用于开发、测试和 PoC 等场景，聚焦于帮助用户通过可靠性能和简化数据库操作来快速响应业务需求，满足客户的高期望值，并提升开发人员和 IT 运维人员的生产力。

　　新版本中，TiDB 在可扩展性与性能、稳定性与高可用、SQL 以及可观测性几个领域获得持续提升，累计引入新特性 20 余项，优化功能 50 余项。

　　具体到 7.0 版本，TiDB 初步提供了更好的资源管控能力，让 TiDB 针对SaaS和多平台统一共存等场景有了根本性的解决方案;

　　其次，TiFlash 发布了面向云的存算分离新架构，这使其可以真正做到存算资源解耦，计算资源可以按需启停，且基于 S3 的存储设计也将大幅降低存储成本;

　　而诸如分析引擎支持落盘，自动执行计划缓存等，则是针对企业级场景做出的必要强化;

　　最后，TiDB 7.0 提供了对 MySQL 8.0 的兼容，这将使得相关用户能更方便地迁移到 TiDB。

　　Opensourceforu报道，FerretDB被其创建者描述为“真正的开源MongoDB替代品”，已经作为1.0生产版本出现，具有“能够运行文档数据库工作负载的所有基本功能”。

　　FerretDB在Apache 2.0许可证下提供，是一个开源代理，它将MongoDB 6.0+线协议查询转换为SQL，使用PostgreSQL作为数据库引擎。该技术旨在将MongoDB数据库任务带回“开源根”。

　　FerretDB使PostgreSQL和其他数据库后端能够运行MongoDB工作负载。Tigris 作为后端也得到支持，同时支持SAP HANA和SQLite的工作正在进行中。

　　新推出的FerretDB 1.0允许用户用PostgreSQL替换MongoDB的面向文档的DBMS，而无需对应用程序代码进行任何更改。FerretDB被实现为代理服务器，它将SQL查询中的MongoDB调用转换为PostgreSQL，使用PostgreSQL作为实际存储。

　　Opensourceforu报道，根据开源云数据平台Aiven的说法，开源数据库服务Aiven for PostgreSQL，Aiven for MySQL和Aiven for Redis的免费计划已经启动。任何人都可以从最近开放的社区论坛获得技术援助，获得这些免费计划。

　　由于公司新的免费选项，现在每个人都可以使用Aiven平台，而无需任何义务或额外费用。高级 Aiven 平台功能都包含在免费计划中。其中包括每日备份、与 Terraform 的集成以及专用实例等。Aiven 免费计划一旦启动，就可以根据需要顺利、安全、自动升级到更广泛的付费计划。

　　新的 Aiven 社区论坛与新计划一起首次亮相，为 Aiven 的免费计划提供技术帮助。开发人员可以在 Aiven 社区论坛中使用开源数据技术就他们正在创建的程序和服务进行交流和合作。Aiven 团队，或者我们喜欢称之为 Crabs，以及其他社区成员可供开发人员提出问题、获得支持并分享他们正在开发的内容。

　　谷歌发布免费的 API 服务deps.dev API，用户可免费访问 Go、Maven、PyPI、npm 和 Cargo 仓库中500万份开源包的500多万个版本的安全元数据和依赖信息，从而保护软件供应链安全。另外，谷歌云也推出了针对 Java 和 Python 生态系统的可信开源软件服务。

　　该 API 可通过 Web 以更有限的形式访问，旨在为软件开发人员提供对数百万个代码库、包、模块的安全元数据的访问。

　　通过安全元数据，Google意味着以下内容：库的维护情况，谁维护它，已知其中存在哪些漏洞以及它们是否已修复，它是否进行了代码审查，它是否使用其他依赖项的旧版本或新版本，什么许可证涵盖它，等等。例如，请参阅有关 Go 包 cmdr 和 Rust Cargo 板条箱横梁实用程序的信息。

　　该 API 还提供了至少两个无法通过 Web 界面获得的功能：查询文件内容的哈希(以查找文件的所有包版本)和基于实际安装(而不仅仅是声明)的依赖关系图。

　　近日，翼方健数宣布完成数亿元B++轮融资。本轮融资主要用于持续构建数据和计算互联网(IoDC，Internet of Data and Computing)的技术产品和商业模式。本轮融资后，翼方健数启用集团化运作模式，更好地整合多区域力量，复制成功闭环模式，在区域及行业IoDC建设和运营的基础上加速实现全域IoDC网络建设。

　　翼方健数是一家基于隐私安全计算、大数据、人工智能等全栈技术，构建和运营“数据和计算互联网(IoDC)”的科技公司，作为“数据和计算互联网”的先行者，为进一步完善网络构建，翼方健数推出隐私安全计算护航的AI服务平台“揽睿星舟”平台。

　　霍因科技专注于为企业客户提供数据安全解决方案。服务聚焦于安全合规驱动下的数据治理方案，采用场景化能力复用及机器学习能力，将数据治理与数据安全管理能力融合。

　　霍因科技倡导数据治理与数据安全同步推进，并率先打造了基于AI深度学习、数据自动发现及分类分级功能的海石数据治理安全平台。该平台以(CPI)数据治理安全方法论为核心，帮助企业提升全域全量数据治理的安全能力，建立数据安全体系和数据底座，推进数据要素化落地与发展。

　　霍因科技将人工智能与数据治理融合，通过机器学习的方式，强化数据的分析、清理、连接、识别、语义协调和重组，从而实现从“主动治理”到“自动治理”的过渡，实现“数据资产化”。同时，霍因科技通过完善数据防窃取和防泄露等技术手段，保障数据在要素化的过程中的安全性。

　　Cybernews报道，安全专家发现西门子数字孪生平台Siemens Metaverse正在发生敏感数据泄露。如果攻击者获得了暴露的数据，可能会对该公司和其他使用其服务的大公司造成毁灭性后果，包括勒索软件攻击。

　　安全专家表示：metaverse 的构建方式，意味着它必然具有最新的工厂数据。从这一角度来说，攻击者甚至可以从中提取如制造技术之类的关键商业机密。这是元宇宙技术在可能泄露敏感现实世界数据的情况下使用的首批案例之一，目前尚不清楚威胁参与者将采用何种方法来充分利用此类问题。

　　对此，西门子表示，该问题并不严重，并补充说该问题已得到缓解。

　　据Foxbusiness报道，微软正在开发自己的人工智能芯片。据The Information报道，该芯片代号为“雅典娜”，并援引两名知情人士的话说。雅典娜是希腊神话中的智慧女神。雅典娜将为人工智能聊天机器人之间的技术提供动力，如OpenAI现象级产品ChatGPT。

　　报告称，微软自2019年以来一直在研究该芯片。该信息称，该芯片正在由微软和OpenAI的一小群员工进行测试。雅典娜芯片将用于训练大语种模型。这家科技巨头希望该芯片的性能将优于目前从其他供应商处购买的芯片。

　　亚马逊和谷歌等其他一些大型科技公司也生产自己的内部人工智能芯片，旨在降低成本。

　　据《华尔街日报》报道，埃隆·马斯克创建了一家全新人工智能公司，名为X.AI。业界人士称这是他在AI领域的最新举措，旨在与OpenAI展开世纪大赛。

　　马斯克一直在招募AI顶级研究人员，目前已经聘请了DeepMind首席科学家Igor Babuschkin。在几周前，马斯克公开警告目前GPT-AI技术的研发风险，建议政府对其进行监管。他还共同呼吁暂停先进人工智能技术开发，以便为该领域制定共识的安全标准。

　　也有人推测说马斯克的“缓兵之计”，一边叫停GPT-AI的深度升级，一边自己创建通用AI公司。

　　Pandas 是一个用于操作数据的 Python 库，在 Python 开发人员中非常流行。尤其在数据科学和机器学习领域中，Pandas已经成为不可或缺的基础库。

　　近日，Pandas 2.0正式发布。Pandas2.0是Pandas的一个里程碑式的版本。回顾Pandas的历史，从诞生时到2020年正式发布Pandas 1.0 花了超过十年的时间，标志着Pandas DataFrame API 趋于稳定。时隔3年后，Pandas 2.0推出，在性能和可用性上进行了提升。

　　具体改进包括：

　　·使用 pip extras 安装可选的依赖项

　　·更快的计算速度和更低的内存占用

　　·索引可以保存 NumPy 数字类型

　　·写时复制优化等。

　　亚马逊云科技宣布，实时AI编程助手Amazon CodeWhisperer正式可用，同时推出的还有供所有开发人员免费使用的个人版(CodeWhisperer Individual)。CodeWhisperer 帮助开发者基于注释生成代码，追踪开源参考，扫描查找漏洞，确保了开发人员可以专注于敏捷开发，不会由于搜索示例代码等工作而打断思绪。

　　在创建复杂代码和面对不断变化的开发环境时，开发人员可以在自己喜欢的IDE(集成开发环境)中使用CodeWhisperer，例如Visual Studio Code、IntelliJ IDEA及其他IDE，从而提高工作效率、简化工作任务。

　　CodeWhisperer可以帮助开发者创建代码胜任如下场景，比如常规、耗时的无差别任务，或是在使用不熟悉的API或SDK时构建示例代码，亦或要正确高效地使用亚马逊云科技API操作，还有其他场景比如编写读写文件、处理图像、编写单元测试等代码。

　　一个月前，微软发布了颠覆性的办公应用产品Microsoft 365 Copilot，将大语言模型GPT-4的能力引入了office全家桶，一举推动AIGC竞争走向白热化。

　　4月18日，国内办公软件龙头企业金山办公正式发布了具备大语言模型能力的生成式人工智能应用，暂定代号“WPS AI”。这是国内协同办公赛道首个类ChatGPT式应用。

　　金山办公表示，“WPS AI”的第一站，是搭载在金山办公新一代在线内容协作编辑工具——轻文档(airPage)上。未来将以用户体验为优先级，逐步放开公测，嵌入金山办公全线产品。金山办公今后还将持续向AIGC、阅读理解和问答、人机交互三个方向深耕。

　　你还在羡慕国外的ChatGPT么?阿里不久前发布的“通义千问”大模型，我们可能很快就能在钉钉上用到了。

　　4月18日，钉钉总裁叶军宣布，钉钉正式接入阿里巴巴“通义千问”大模型，钉钉产品将全面启动智能化战略，升级成为智能协同办公平台、智能应用开发平台。

　　目前，钉钉与大模型融合场景正在测试中，在相关安全评估完成后上线。

　　在使用层面，用户只需在钉钉中打出斜杠“/”，即可呼出AI代理，快速建立任务，提升工作效率。发布会现场，叶军和钉钉团队演示了斜杠“/”功能的四个应用场景：群聊、文档、视频会议和低代码应用开发。

春天来了！！

扫码关注

大数据应用

从现在开始