国产大数据平台性能全球登顶;大数据平台国产替代获国际认可;Databricks、MongoDB生成式AI开发工具···

近日，TPC Benchmark Express-BigBench(简称TPCx-BB)更新了最新的世界排名，星环科技大数据基础平台TDH在性能和性价比两个维度上均获得了TPCx-BB SF3000全球排名第一。TDH此次成功打榜并登顶大数据测试基准TPCx-BB，代表着国产大数据平台在全球大数据领域的又一次突破，也意味着星环科技TDH对Hadoop体系大数据平台(CDH为代表)具有高兼容性，能够实现国产化平滑替代，帮助用户打造高性能、低成本、自主可控的数字底座。

星环科技大数据基础平台TDH在2018年成为全球首个通过数据库领域难度最高的基准测试TPC-DS及官方审计的产品，标志着星环科技在分布式数据库领域的技术能力处于世界顶尖水平。

TPCx-BB是衡量基于Hadoop的大数据系统的性能基准测试，以SF3000为例，在过去的记录中打榜的基本都是CDH和HDP等Hadoop发行版产品，星环科技TDH此次跑通TPCx-BB并成为全球第一，表明其对CDH、HDP等具有高度兼容性。TDH基础存储和计算组件兼容CDH/HDP，迁移成本低，同时提供便捷的迁移工具，实现数据一键迁移。目前，TDH已有大量成功替换CDH/HDP案例。

CDH是Cloudera的开源平台发行版，通过将Hadoop与其他十几个开源项目集成，为企业大数据业务提供服务。

那有没有一种架构或者方案，不需要为不同的业务需求单独部署不同的产品，一套平台就可以全部搞定，实现不同模型数据的统一存储管理，同时也不需要根据不同的产品平台学习和使用不同的接口语言，一套语言就可以搞定呢?

答案是，有的。那就是星环科技TDH。基于星环科技的多模型统一技术架构，用户只需用一句SQL就能同时访问这3种存储模型进行联合分析，替代了之前3段代码。一句SQL里，同时对图数据人群关系表，关系型数据消费记录表，全文数据商品评价表，3个表进行了跨模型关联，一次操作完成了之前三次操作才能完成的业务，大大简化了开发复杂度，简化用户操作。同时数据也仍保留在原存储引擎中，也不用对数据进行导入导出或者转换，不会存在数据不一致或数据冗余存储的问题。

目前 TDH 已经在政府、金融、能源、制造业等十多个行业内落地，可以替代Oracle、IBM DB2、Teradata等传统主流数据库在分析型场景中的应用及替代CDH在大数据平台的应用，帮助企业，更全面、更便捷、更智能、更安全地运用数据，加速企业数字化转型。

TDH的存储与计算组件兼容CDH/HDP，可以实现平滑迁移，大大降低企业迁移成本低。专业的迁移工具实现数据一键迁移，高效便捷。此外，星环科技已经有大量的迁移成功案例，经验丰富，保障整个迁移过程安全可靠。

本文将基于某金融机构的数据仓库批处理场景来手把手带领大家“三步”完成 CDH到星环TDH的平滑迁移。

近日，首批可信数据空间应用解决方案供应商名单正式公布，星环科技凭借在可信数据空间领域优秀的产品和解决方案能力，以及推动可信数据空间的实践应用成功入选首批可信数据空间应用解决方案供应商“流通服务平台方向”。

在可信数据空间领域，星环科技基于大数据基础平台TDH、大数据云平台TDC、数据开发工具TDS、智能分析工具Sophon提供可信数据流通整体解决方案，为可信数据流通提供端到端的数据安全防护、数据安全治理、隐私保护与隐私计算技术，以及基于硬件安全防护的可信计算，保障数据可用不可见，助力数据要素安全可信流通。

星环科技可信数据流通主要产品有数据安全管理平台 Defensor、隐私计算平台Sophon P²C、数据商城管理工具Transwarp Foresight、数据审计工具Transwarp Audit、数据要素流通一体机。

用于安全可信数据共享的知识图谱数据库和语义数据管道工具集的提供商Fluree推出最新版本，即新的 JSON-LD 数据库，该数据库现在为公共预览版，具有广泛的云管理支持。

最新版本的Fluree将专注于JSON-LD，以实现可组合的、分散的数据管理，并提供一个具有内置策略、信任和互操作性的知识图谱数据库。

JSON-LD的数据格式只是扩展了JSON以启用链接数据功能，为希望开始使用链接图形数据的开发人员提供了熟悉的途径。

Fluree为开发人员提供了一个开箱即用的图形数据库，专门用于协作和共享具有共享模式和策略的可重用数据产品。JSON-LD提供了几个优势，包括简化跨数据源的集成，并适应机器生成或基于Web的数据不断变化的业务需求。它扩大了JSON在整个链接数据生态系统中的实用性，将其转换为可验证的Web交换格式。（.dbta.com）

亚马逊云科技在2023 re:Invent全球大会上，宣布推出一系列新的集成解决方案，旨在帮助客户迅速而轻松地连接和分析数据，而无需构建和管理复杂的提取、转换和加载(ETL)数据管道。

通过全新的Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon Relational Database Service(Amazon RDS)for MySQL与Amazon Redshift的Zero-ETL集成特性，使得在Amazon Redshift中连接和分析多个关系型和非关系型数据库的数据变得更加容易。

此外，客户现在还可以使用Amazon OpenSearch Service对Amazon DynamoDB数据进行近乎实时的全文和向量搜索。无论数据存储在哪里，这些Zero-ETL集成特性都能简化数据连接和操作流程，使客户灵活地利用亚马逊云科广泛而领先的数据库和分析服务，深入挖掘新洞见的同时更迅速地实现创新并做出更明智的数据驱动决策。

AWS正在发布 Amazon ElastiCache Serverless，一种新的无服务器选项，允许客户在一分钟内创建缓存，并根据应用程序流量模式即时扩展容量。

ElastiCache Serverless与两种流行的开源缓存解决方案兼容：Redis 和 Memcached。

据AWS称，ElastiCache Serverless甚至可以用作要求最苛刻的工作负载的缓存，而无需花时间进行容量规划或需要缓存专业知识。

ElastiCache Serverless 持续监控用户应用程序的内存、CPU 和网络资源利用率，并立即进行扩展以适应其所服务的工作负载访问模式的变化。

据该公司称，用户可以创建一个高度可用的缓存，数据可以跨多个可用区自动复制，并为所有工作负载提供高达 99.99% 的可用性服务水平协议 (SLA)，从而节省时间和金钱。

使用 ElastiCache Serverless，无需任何前期成本，用户只需为使用的资源付费。

Amazon ElastiCache Serverless 现已在所有商业 AWS 区域(包括中国)推出。（dbta.com）

科技行业最大的“独角兽”之一，总部位于纽约的VAST Data宣布完成E轮融资，不仅为其带来额外的1.18亿美元现金，还将其估值几乎提升了两倍，达到91亿美元。

这家公司开发了一种将存储、数据库和计算融合在一起，以支持AI和GPU加速应用的平台。VAST Data正致力于构建适应AI时代的数据平台。与市场上其他一些数据平台(如Snowflake或Databricks)相比，其独特之处在于，在这一理念上保持一致，即可以整合一切，使客户能够轻松进行计算。其产品真正被设计为优化非结构化数据，或者说文件和对象数据，例如视频、图像、声音等，这些数据不符合企业数据仓库或数据库的规范。

Elasticsearch运营方Elastic (ESTC)宣布，公司已完成对Opster的收购，后者是AutoOps和其他工具的创建者，旨在帮助用户从Elastic部署中获得更多收益。

Opster 是 AutoOps 的创建者，AutoOps 是面向 Elasticsearch 和 OpenSearch 用户的强大平台，可提供深入的见解，以预防和解决问题、提高搜索性能并降低硬件成本。该公司总部位于以色列拉，开发了一系列产品，成千上万的DevOps和工程团队每天使用这些产品来负责他们的搜索操作。（nasdaq.com）

近日，IDC发布了《图数据管理分析平台核心能力与市场趋势判断》，并绘制行动路线图V1.0。

IDC绘制的图数据管理分析平台行动路线图V1.0版本，包括底层基础能力、图数据管理分析平台核心能力、平台外部因素、传统应用服务领域和Gen AI带来的新的机会五个方面，梳理技术供应商的前沿技术趋势和市场行动，以期望帮助更多的厂商来制定未来的产品发展计划和行动路线，从更广的维度和更贴合市场需求的视角来重新审视图数据管理分析平台的发展。

在代表厂商推荐部分，IDC共列出星环科技StellarDB、蚂蚁集团TuGraph、杭州悦数图数据库、华为云GES、嬴图Ultipa Graph等5家公司产品，分析了其主要优势、产品能力和未来布局方向。

IDC建议，明确自身产品与Gen AI的融合全部可能性。生成式AI带来的浪潮使得Data与AI界限越来越模糊。整体来看，AI公司融合大数据服务的进度更快，图数据服务厂商仍在点状探索阶段，对Graph+AI理解和布局不明晰，这很可能使厂商失去更大的市场。

作为TiDB 7系列的第二个长期支持版本 (LTS) ，TiDB 7.5着眼于提升规模化场景下关键应用的稳定性。新版本中，TiDB 在可扩展性与性能、稳定性与高可用、SQL 以及可观测性等方面获得了持续的提升。

TiDB 7.5 LTS包含了已发布的7.2.0-DMR、7.3.0-DMR和 7.4.0-DMR版本中的新功能、提升改进和错误修复，累计优化和修复功能70余项。

从TiDB 7.0开始，TiDB在数据库整合的技术方向上持续演进，致力于在多业务融合的场景下同时提升关键业务的稳定性和降低总体成本，7.5 LTS 将资源管控、分布式框架、可观测性理念的组合推升到更为成熟的阶段，可以为当前追求业务连续性同时也希望降低总体成本的客户带来创新的部署和运维方式。

据上交所官网显示，12月7日达梦数据更新了科创板上市动态，其中包括2023年半年度的财务数据更新。

达梦数据成立于2000年，总部位于武汉，是国内领先的数据库产品开发服务商，以及国内数据库基础软件产业发展的关键推动者。2001年，达梦数据在上海张江成立设立全资子公司，并成为达梦数据的核心研发团队。

此前，据上交所App显示，达梦数据已于2022年12月22日上会审议获通过。此次提交材料后，达梦数据距离成功拿下IPO又近了一步。作为国产数据库领域的龙头企业，达梦数据挂牌上市后有望成为A股市场“国产数据库第一股”。

继10月份正式发布Agent操作系统爱霏AIFOR V1.0以来，爱霏粒发布公司面向未来的第二个核心技术组件——面向多模态大小模型的向量数据库AIFOR VSearch V1.0。

同样的，公司清晰的产业链定位与产品战略，决定了AIFOR VSearch V1.0不对外独立销售，与Agent操作系统爱霏AIFOR V1.0等其他核心技术组件一样，被公司自有Agent产品集成来实现用户价值与商业变现。

霏粒AIFOR Vsearch V1.0的特性包括如下几个方面：

·真正开放、兼容主主流Embedding模型厂商的向量数据库

·支持十亿级别的向量搜索，核心算法提供了 异构计算的实现

·把精确解的暴力搜索，变成了近似解的搜索，并且用一定的预处理计算量构建索引，在进行检索前利用索引降低检索范围或者是计算量以此实现加速

·实现快读、低内存开销以及精确检索的主要手段

·检索引擎包含四个关键技术组件：特征提取、距离度量、检索算法、向量存储

·向量距离度量采用多种相似性比较函数：欧式距离、余弦距离、内积距离、海明距离等，不同的度量方式对应不同的场景。

中国信通院发布了《区块链白皮书(2023年)》。白皮书在之前基础上，重点融入了“2023年区块链生态及产业发展情况调研”相关结果分析，并系统梳理了2023年国内外区块链技术、应用创新热点，以及产业生态发展新动态，特别是在全球Web3.0快速推进、数据要素价值加快释放的背景下，展望我国区块链技术应用和产业发展新趋势。

白皮书核心观点包括：

·区块链技术面向高扩展、高性能和高安全持续演进。

·区块链技术与公共服务、实体经济等领域深度融合。

·多国政府积极布局Web3.0产业发展。

·全球加快优化区块链监管治理体系。

“长安链”团队研发的可信隐私计算技术平台已获国家级金融科技产品认证，成为业内迄今唯一通过该认证的集区块链与隐私计算于一体的可信隐私计算解决方案。

金融行业具有强监管、高安全等要求。“长安链”隐私计算研发团队负责人介绍，“长安链隐私计算开放平台”将区块链、隐私计算两大技术深度融合，将区块链去中心化、可信、可追溯的特性与隐私计算的数据“可用不可见”的特点“强强联合”，实现了数据流转全链路可信、端到端可追溯的可信隐私计算产品，即数据来源可信、交易授权可信、计算调度可信、计算过程可信、计算结果可信。不仅在金融领域，在政务服务、医疗科研、安全监管等多行业、多领域具有高应用价值。

近日，长扬科技完成新一轮战略融资!本轮融资由福建大数据私募基金管理有限公司、山东机场资本、北京市四季青农工商总公司和龙鼎投资等联合投资。其中，福建大数据私募基金管理公司为福建大数据集团下属投资机构，福建大数据集团为福建省国资委所属，山东机场资本为山东省国资委所属。

本轮融资国有资本再次强力注入，标志着长扬科技开辟了跨地区产业合作新模式，通过进一步深化与各区域的产业联动，明确构建工业互联网开放安全的产业生态，从而持续推动产业实现数字化转型升级。本轮融资将用于公司进一步夯实业务和产业基础，加强与各方的合作与交流，共同助力产业的发展与创新!

数据隐私初创公司 SayMine Technologies Ltd.(更广为人知的名字是 Mine)宣布完成其 3000 万美元的融资。

这项巨额投资将推动Mine 的使命，即“为全球公司重新定义数据隐私和治理管理，使他们能够更好地控制其数据并简化监管合规流程，从而高枕无忧。

通过这项投资，该公司将“扩展其B2B企业级产品MineOS。MineOS 以其直观、无代码的体验而与众不同，并与先进的 AI 技术无缝集成。（crowdfundinsider.com）

Databricks推出了一个新的产品组合，旨在帮助用户通过检索增强生成，使用自己的数据定制生成式 AI 应用程序。

检索增强生成 (RAG)是一种 AI 功能，它从数据库和其他数据存储存储库中收集数据，以补充已用于通知应用程序的数据并改进应用程序的输出。虽然并不新鲜，但自从 OpenAI 发布其 ChatGPT 生成式 AI 系统以来，RAG 管道在一年中越来越受欢迎。

ChatGPT 和 Google Bard 等 LLM 在公共数据上进行了训练，可用于信息搜索和内容生成。但是，他们没有数据来了解给定企业业务的详细信息，因此它们不能用于帮助为业务决策提供信息。

因此，一些组织正在使用专有数据来增强 OpenAI 和 Hugging Face 等供应商的 LLM，以便 LLM 拥有特定领域的信息来帮助决策过程。与此同时，其他组织正在从头开始开发自己的特定领域语言模型。要做到这一点，开发人员需要构建 RAG 管道来发现、检索和加载所需的数据。（techtarget.com）

MongoDB推出了两个新工具，Atlas Vector Search和Atlas Search Nodes，旨在帮助客户开发生成式AI应用程序。

MongoDB没有在其现有数据库中添加矢量搜索功能，而是使Atlas Vector Search成为一个独立的矢量数据库，与MongoDB的操作数据库集成。据MongoDB称，其目的是为开发人员的生成式AI工作负载提供单一的API，而无需数据复制和同步。

同时，Atlas Search Nodes 提供了一个基础设施，用于管理独立于客户其他数据库基础设施的操作节点的生成式 AI 工作负载。预期结果是在规模上获得更好的性能和成本优化。

Atlas Vector Search 和 Atlas Search Nodes 旨在为开发和运行生成式 AI 工作负载奠定基础。TechTarget Enterprise Strategy Group 的分析师 Stephen Catanzano 表示，为生成式 AI 增加新的基础对 MongoDB 用户来说意义重大。

Atlas Vector Search 旨在使 MongoDB 客户能够将自己的数据与生成式 AI (GenAI) 平台一起使用，以帮助做出决策。Atlas 搜索节点使客户能够在不影响性能的情况下运行大型生成式 AI 工作负载。（techtarget.com）

亚马逊云科技在2023 re:Invent全球大会上，宣布推出五项Amazon SageMaker新功能，帮助客户加速构建、训练和部署大语言模型和其他基础模型。

新功能包括了：进一步增强了Amazon SageMaker的模型扩展能力并加速了模型的训练;

Amazon SageMaker推出的另一项新功能，能够通过降低模型部署成本和延迟时间，优化了管理托管的机器学习基础设施。

还推出了新的SageMaker Clarify功能，可以让客户在负责任地使用AI的基础上，根据质量参数更轻松地选择正确模型。

为了帮助客户在企业范围内应用这些模型，亚马逊云科技还在Amazon SageMaker Canvas中引入了新的无代码功能，让客户更快、更容易地使用自然语言指令准备数据。

同时，Amazon SageMaker Canvas继续推动模型构建和定制的普及，让客户更轻松地使用模型提取洞察、进行预测和使用企业专有数据生成内容。

这些创新均基于Amazon SageMaker丰富的功能，帮助客户实现规模化机器学习创新。

随着模型不断改变各行各业的客户体验，Amazon SageMaker让企业更轻松快速地构建、训练和部署支持各种生成式AI使用场景的机器学习模型。为了成功使用模型，客户需要先进的功能来高效管理模型的开发、使用和性能。这就是Falcon 40B和180B、IDEFICS、Jurassic-2、Stable Diffusion以及StarCoder等大多数业内领先的模型都在Amazon SageMaker上训练的原因。

法国生成式人工智能初创公司Mistral AI宣布，完成了今年的第二轮融资，筹集了3.85亿欧元(约合4.15亿美元)。最新一轮融资将使Mistral AI的价值达到约20亿美元。

与其竞争对手 OpenAI 和 Google 一样，Mistral AI 是大型语言模型的开发商，这是一种为 ChatGPT 和 Gemini 等聊天机器人技术提供动力的 AI。ChatGPT 在去年年底风靡互联网，其类似人类的能力几乎可以与用户就任何主题进行对话。

但 Mistral AI 在方法上有所不同。它坚信生成式人工智能技术应该是开源的，这意味着支撑其LLM的代码可以免费供其他人使用和修改。通过采用这种开源方法，这家初创公司旨在为其他用户提供快速构建自己的定制聊天机器人的工具。（siliconangle.com）

https://news/2023/12/purple-llama-safe-responsible-ai-development/

Meta Platforms公司正在寻求通过一项名为 Purple Llama 的新举措来促进人工智能系统的负责任开发。

Meta启动Purple Llama，发布了一套免费且开放的 LLM 网络安全评估基准，称为 CyberSec Eval。它还宣布推出 Llama Guard，这是一种用于输入/输出过滤的安全分类器，经过优化，易于部署。

网络安全和 LLM 提示安全是生成式 AI 安全中最重要的两个领域，正如其 Llama 2 负责任使用指南所强调的那样。CyberSec Eval 被认为是业界首套针对 LLM 的网络安全评估。Meta 表示，这些基准基于行业标准和指南，是与安全主题专家合作制定的。

它们为开发人员提供了量化 LLM 安全风险的指标，并且旨在解决诸如不安全代码建议的频率等问题。它们还使开发人员能够评估 LLM，使应用程序更难生成可用于帮助网络攻击的恶意代码。

Meta 表示，这些新工具将有助于防止黑客和其他恶意行为者使用 LLM 来促进网络攻击。它早期的研究已经发现了它所说的“有意义的风险”，即生成式人工智能可用于生成不安全的代码并遵守恶意请求。（about.fb.com）