大数据革新：星环TDH、腾讯Meson引数智融合，Onehouse、SingleStore强化湖仓性能，SurrealDB颠覆·

星环科技新发布的TDH9.4在资源隔离、端到端性能、统一运维管理等方面升级，帮助用户构建真一体化、高性能、易运维的湖仓集一体化平台。

资源隔离新架构，在同一份数据上跑批查询混合负载互不影响。一套集群一份数据，基于Raft协议保障分布式一致性，在CPU、内存、IO、网络资源方面完全隔离，结合基于容器化的动态资源调整能力，保障不同的批量业务与查询业务性能需求。存储方面，针对湖仓集多种混合负载业务，支持分区级多级冷热数据存储，最大化利用存储资源，降低总体存储成本。

端到端性能10倍提升，全面降低TCO。相比于Hudi+Clickhouse+Hbase的混合架构，TDH湖仓集同一份数据，ETL时间节约95%，存储空间节省3/4，批量入库性能提升3倍，实时入库性能提升5倍，批量加工和多表关联分析性能提升5-10倍，统计性能提升3倍，带小量聚合的查询业务性能提升1.5倍。

湖仓集统一运维管理，大幅降低运维管理成本。湖仓集统一的监控导向UI，提供更细粒度的集群运行、资源使用、组件指标等监测，提供界面化补丁管理、磁盘管理等。此外，TDH支持X86和ARM混合集群部署和统一管理，首个在10000节点X86/ARM混部集群下，通过信通院云原生湖仓一体专项评测。

支持 Python 生态，高效支撑大模型应用。基于统一的分布式计算引擎，提供分布式Python引擎，来帮助用户更方便地用Python进行分布式数据处理。并提供POSIX接口，挂载分布式文件系统TDFS到本体磁盘，让用户可以像处理本地数据一样处理海量AI训练数据，高效支撑数智融合时代下大模型应用和各类数据智能场景。

6 月 28 日，腾讯云发布了行业首个大数据高性能计算引擎—— Meson ，通过多层级、通用化、智能化等优化理念和技术,为大数据通用计算性能带来体系化的提升。

目前， Meson 已登陆腾讯云数据湖、检索分析服务、云数据仓库三大业务线，为企业在湖仓一体分析、向量检索、海量数据离线计算等业务场景带来卓越的性能表现。

在腾讯云 EMR 以及 DLC 两个数据湖产品中，基于 Meson 腾讯云已经实现了完全兼容 Spark 的向量化计算能力。

在搜索分析领域，腾讯云 Elasticsearch 在 Meson 的助力下，成功实现了基于腾讯自研紫霄GPU 的向量检索加速。这意味着用户在面对庞大的文本数据时，能够享受到更快速的检索体验。

作为企业级托管型云原生数据仓库产品，TCHouse 在 Meson 的支持下，实现了计算加速的最佳实践。无论是离线批处理还是实时流处理，TCHouse 都能借助 Meson 的高效计算能力，为用户提供高效、稳定的数据处理服务。

开源多模数据库初创公司 SurrealDB 将其数据库整合到一个多模型平台中。本周，这家初创公司获得了2000万美元的资金投资，以资助其颠覆大数据行业的雄心壮志。

SurrealDB的核心重点是建立在其多模型数据库的基础上，该数据库将各种类型的数据库整合到一个平台中。这种简化的方法使开发人员能够快速适应不同的数据需求，从而消除了对多个数据库系统的需求。

SurrealDB 完全基于 Rust 构建，可处理 AI 工作流的访问权限、高级安全性和索引。借助 SurrealDB，开发人员可以使用多种技术来存储和建模数据。

Google近期发布《Google Cloud 2024年数据和AI趋势报告》。5大趋势是：

·生成式AI加速数据洞见的组织内交付。数据洞见将实现民主化，生成式AI将帮助组织更快地获取数据洞见。

·数据和AI的角色将变得模糊：各种数据角色之间的界限开始变得模糊，数据和AI的团队需要更紧密地合作。

·强有力的数据治理机制是实现AI创新的关键：内部至少一半的数据都是暗数据，构成了重大的风险，强调了数据治理的重要性。

·运营数据将激发生成式AI在企业应用方面的潜力：组织计划使用与生成式AI功能集成的数据库，显示了运营数据与AI集成的重要性。

·2024年将是数据平台现代化改造突飞猛进的一年：只有1%的组织对其旧数据库的AI支持状况非常满意，预示着数据平台现代化改造的需求。

随着国家金融监督管理总局“一表通”试点工作的持续推进，星环科技携手东华软件推出了基于星环科技分布式分析型数据库ArgoDB和大数据基础平台TDH的一表通报送联合解决方案，并已在多地实施落地中得到充分验证。

该方案提供从分布式数据底座、机构端报送应用产品、成熟可信区产品，到报送规则解析咨询、数据质量整改方案制定，再到数据开发实施落地的一整套“一表通”2.0全流程解决方案，帮助金融机构在监管要求的紧迫时间内，完成高质量的监管报送和接口对接，帮助金融机构快速实现一表通报送以及可信区标准化落地。

Onehouse已获得3500万美元B轮融资，迄今为止的总融资额达到6800万美元。Onehouse 提供业界开放、可互操作的湖仓一体，支持三种领先的表格式，即Apache Hudi、Apache Iceberg 和Delta Lake，并在主要云数据仓库和湖查询引擎之间实现多目录同步。Onehouse允许用户以分钟级大规模摄取数据，以增量方式转换数据，并保持表自动优化性能。Onehouse 作为完全托管的云服务提供，允许每个组织以最少的工程工作部署湖仓一体。

通过这笔融资，Onehouse将推出两款新产品，旨在提高湖仓一体的性能，并将云存储和处理成本降低一个数量级。两个新的解决方案是：

Onehouse LakeView：一项免费的云服务，提供监控和见解，帮助数据工程师管理和操作数据湖仓一体表。Onehouse LakeView包括：湖仓一体功能的可观测性，例如表统计信息和趋势、时间线历史记录、分区倾斜、文件大小分布和压缩性能;警报，用于主动识别表管理中的问题和低效率;定期更新数据湖仓一体中的趋势、新表和潜在问题的报告。

Onehouse Table Optimizer：一种托管云服务，可优化现有表，以加速数据摄取和 ETL，以实现最新的新鲜度，并将查询性能提高多达 10 倍。Onehouse Table Optimizer 包括：智能增量集群，提高数据查询效率;异步压缩小文件，提高写入效率;高级清理功能，通过删除已提交到表中的旧数据以及超出时间旅行保留策略来降低存储成本。（datanami.com）

SingleStore宣布与 Apache Iceberg 进行双向集成，为在数据湖仓一体上构建智能应用程序开辟了一个充满机遇的世界。SingleStore的新集成以更低的成本为现代智能应用程序和分析提供低延迟摄取、双向数据流和实时应用程序性能。此产品/服务以公共预览版提供，客户很快将能够基于Iceberg数据在SingleStore中创建外部表，在这些表上构建预测，并利用 SingleStore在冻结数据上的速度和性能。

除了 Iceberg 集成之外，SingleStore 还宣布了一系列其他新功能和产品增强功能，以支持构建企业级智能应用程序，包括：

·更快的矢量搜索：与早期版本相比，HNSW 的矢量搜索速度提高了 40%。

·增强的全文搜索：推出强大的全文搜索新功能，包括改进的相关性评分、语音相似性、模糊匹配和基于关键字邻近度的排名。

·自动缩放：借助计算工作区和分布式体系结构，SingleStore 是一个高度可缩放的数据平台。借助最新版本(公共预览版)中的自动缩放，客户可以通过在几秒钟内自动扩展或缩减计算资源来适应不可预测的工作负载，同时避免出现意外计费，从而确保应用程序性能。

·Helios — 自带云(BYOC)部署：SingleStore 将推出完全托管的云产品(Helios — BYOC)，让客户在自己的虚拟私有云中享受平台的易管理和弹性可扩展性。此产品现已在 AWS 中以个人预览版提供，客户可以在自己的租户中运行 SingleStore，同时遵守数据驻留和监管策略。（singlestore.com）

与 ChatGPT 等容易出现幻觉和不准确的通用基于聊天的 LLM 工具不同，AI Data Analyst 提供精确可靠的数据洞察。

AI Data Analyst 配备了针对主要数据源的预构建集成，包括 GA4、Google Ads、Google Search Console、Facebook Ads、HubSpot 和 Salesforce。这确保了无缝的数据连接，并使企业能够有效地利用他们的数据。此外，Narrative BI 还为企业客户提供自定义集成，并将很快添加更多数据源。（nar

数据管理领域的领导者 Denodo 宣布推出 Denodo 9.0。最新版本的Denodo平台通过对以自然语言交付的查询的 AI 驱动支持实现智能数据交付，无需了解 SQL。它还能够为大型语言模型 (LLM) 提供来自整个企业的实时、受管控的数据，为检索增强生成 (RAG) 提供支持，以获得来自生成式 AI 应用程序的可信、有洞察力的结果，以及一组强大的新功能，以进一步增强数据管理。

Denodo Platform 9.0 的主要功能包括：

·自然语言查询支持

·新的数据准备向导

·智能查询建议

·支持 AI 就绪数据

·改进的开发人员体验功能

·增强的基于 MPP 的数据湖引擎

·高级联合治理

·加强检查等。（datanami.com）

Senzin宣布与 GraphAware 建立合作伙伴关系，将Senzing实体解析功能集成到GraphAware基于图的企业智能平台GraphAware Hume中，提供无与伦比的数据洞察和竞争优势。

GraphAware 是一家基于 Neo4j 构建的互联数据分析平台的领先提供商，其客户包括金融机构、情报机构、执法机构、网络防御咨询和各种研究机构。GraphAware Hume 允许分析师和数据科学家轻松可视化和监控复杂的关系，检测可疑活动的模式，并执行强大的机器辅助链接分析。

Senzing 提供了第一个专门构建的用于实体解析的 AI。通过将Senzing实体解析集成到Hume数据智能平台中，用户可以更好地验证身份，减轻数据中的信噪比挑战，映射个人与其他法人实体之间的联系(例如，发现和澄清最终受益所有权(UBO)关系)，并构建全面的360度实体视图。（datanami.com）

甲骨文公司宣布全面推出 HeatWave GenAI，其中包括业界首款数据库内大型语言模型 (LLM)、自动化数据库内向量存储、横向扩展向量处理，以及以非结构化内容为依据的自然语言进行上下文对话的能力。

这些新功能使客户能够将生成式 AI 的强大功能引入其企业数据，而无需 AI 专业知识，也无需将数据移动到单独的矢量数据库。HeatWave GenAI 可立即在所有 Oracle 云区域、Oracle 云基础设施 (OCI) 专用区域以及跨云使用，HeatWave 客户无需支付额外费用。

借助 HeatWave GenAI，开发人员可以使用内置嵌入模型，通过单个 SQL 命令为企业非结构化内容创建矢量存储。用户可以使用数据库内或外部 LLM 在一个步骤中执行自然语言搜索。数据不会离开数据库，并且由于 HeatWave 的极端规模和性能，无需配置 GPU。因此，开发人员可以降低应用程序复杂性、提高性能、提高数据安全性并降低成本。

据库重组和简化的领导者，它为开发简单的应用程序或更高级的AI工作提供了灵活性。（oracle）

近日，Pinterest 品趣志的工程团队最近公布了弃用 HBase 集群的流程规划，理由是该方案基础设施建设与维护成本过高、HBase 专业人才难寻以及产品功能不足。而随着 Pinterest 也转向 Druid/StarRocks、Goku、KVStore、TiDB 等数据库技术，技术社区开始质疑在 Hadoop 和 HDFS 之上运行非关系数据库的做法是否正迅速衰落。

Pinterest 弃用 HBase 的消息在社区中引发了剧烈讨论。在《Pinterest 为何弃用 HBase?HBase 是否正走向消亡》一文中，Shivang Sarawagi 强调称过去五年来 HBase 在谷歌引擎上的搜索量始终稳步下降。

数据库优化厂商 OtterTune 停止了运营。OtterTune 的成员主要来自 CMU Andy Pavlo 教授领导的数据库实验室。公司正式成立于 2021 年 5 月，融资了 1450 万美金。

按照 Andy 教授的说法，公司是被一个收购 offer 搞砸了。同时他也提到，机器学习大大提升了调优效果。

此前，用户可以通过 Prometheus 数据源插件，设置连接到 GreptimeDB 来进行 PromQL 查询。

GrpetimeDB支持80%以上的PromQL 语法。但是，由于GreptimeDB底层使用多值模型，而非 Prometheus的单值模型，同时GreptimeDB支持了许多额外高级功能，使用Grafana Prometheus数据源插件连接GreptimeDB并不能释放GreptimeDB的所有潜能。

因此，我们基于Prometheus 数据源插件，开发了Grafana GreptimeDB 数据源插件。该插件原生支持GreptimeDB特有的功能，比如支持多值模型，以期更友好、全面地支持GreptimeDB相关功能。另外，和直接使用Prometheus数据源相比，它还解决了一些兼容性问题。

星环科技重磅发布数据安全管理平台 Defensor 4.5版本。新版本引入了以数据资产为中心的数据安全运营体系，通过智能化大模型技术，帮助企业快速、精准地识别核心重要资产;建设全局的数据安全策略中心，通过多维度访问控制、策略地图、策略巡检和智能策略，实现对敏感资产的精细防控和策略配置的全面监控，解决事前策略配置不合理的问题;基于资产链路刻画技术构建资产流转链路，通过从各应用与工具日志的收集与分析，实现敏感资产风险和异常行为识别与监控，利用策略推荐技术，下发安全处置策略，实现资产安全风险预警以及应急响应。

Defensor 4.5 在前序版本实现的大模型智能化分类分级基础上，通过业务知识库大幅提升了模型识别能力，并内置了更多的行业模型，包括金融、水利、医疗、快消以及个人信息通用模型等，便于各行各业企业一键完成数据资产分类分级。Defensor 首先基于行业标准训练的行业模型，在业务知识库内注入行业预置标注，当经过企业生产运营实践后，通过人工确认结果强化知识转换工具，并通过新的标注生成新的行业模型，提升行业模型分类分级准确率。

在第三届数字信任大会暨ISACA中国2024年度大会上，面向AI大模型时代，华为依托盘古大模型、CT/IT领域大模型和网络安全领域大模型三层架构，精心打造全新星河AI网络安全大模型。该模型集成亿万级网络安全语料分析结果与上千名网络安全专家经验，拥有卓越的语义理解能力。

华为星河AI网络安全大模型通过安全知识、网络流量和运营经验共同作为高质量语料输入训练和强化安全大模型学习能力，有效筛选高价值事件，精准发现未知威胁。同时，通过智能自动化运维，实现安全运营效率的大幅提升。

无代理云安全提供商Orca Security将Microsoft Azure OpenAI GPT-4集成到其云原生应用程序保护平台(CNAPP)中，安全从业者可以立即为他们选择的平台生成高质量的修复指令。

Orca 宣布使用 GPT-4 为其产品创建的警报生成补救指令。这些补救指示将根据建议的性质在不同的地方使用。例如，可以应用于基础结构即代码(IaC)工具或云服务账户，如 Azure Kubernetes 服务(AKS)或Google Kubernetes引擎(GKE)。

生成的修复指令可以复制并粘贴到 Terraform、Pulumi、AWS CloudFormation、AWS Cloud Development Kit、Azure Resource Manager、Google Cloud Deployment Manager 和 Open Policy Agent 等平台中。

与 Orca 的 GPT-4 集成附带的其他增强功能包括“及时优化以生成更准确的补救响应、在分配的 Jira 票证中包含补救说明、支持开放策略代理 (OPA) 补救，以及新的云提供商特定的补救方法，包括 AWS、Azure 和 Google Cloud”。（csoonline）

NVIDIA 推出 Nemotron-4 340B，这是一个开放模型系列，开发人员可以使用这些模型生成合成数据，用于训练大型语言模型(LLM)，用于医疗保健、金融、制造、零售和其他所有行业的商业应用。

高质量的训练数据在自定义 LLM 响应的性能、准确性和质量方面起着至关重要的作用，但强大的数据集可能非常昂贵且难以访问。

通过独特的宽松开放模型许可证，Nemotron-4 340B 为开发人员提供了一种免费、可扩展的方式来生成合成数据，从而帮助构建强大的 LLM。

Nemotron-4 340B 系列包括基础模型、指令模型和奖励模型，这些模型形成一个管道，用于生成用于训练和改进 LLM 的合成数据。这些模型经过优化，可与 NVIDIA NeMo 配合使用，NVIDIA NeMo 是一个用于端到端模型训练的开源框架，包括数据管理、自定义和评估。它们还针对开源 NVIDIA TensorRT-LLM 库的推理进行了优化。

Nemotron-4 340B 现在可以从 NVIDIA NGC 目录和 Hugging Face 下载，开发人员还可以使用 Train on DGX Cloud 服务轻松微调开放AI模型。开发人员很快将能够在 ai.nvidia.com 访问这些模型，在那里它们将被打包为 NVIDIA NIM 微服务，具有可以部署在任何地方的标准应用程序编程接口。（blogs.nvidia.com）

Databricks推出Databricks LakeFlow，可以统一和简化数据工程的各个方面，从数据摄取到转换和编排。借助 LakeFlow，数据团队现在可以简单高效地从 MySQL、Postgres 和 Oracle 等数据库以及 Salesforce、Dynamics、Sharepoint、Workday、NetSuite 和 Google Analytics 等企业应用程序中大规模提取数据。Databricks 还为 Apache Spark引入了实时模式，允许以超低延迟进行流处理。

LakeFlow 通过内置的 CI/CD 支持以及支持触发、分支和条件执行的高级工作流，在生产环境中大规模自动部署、操作和监控管道。数据质量检查和运行状况监控是内置的，并与 PagerDuty 等警报系统集成。LakeFlow 使构建和运营生产级数据管道变得简单高效，同时仍能解决最复杂的数据工程用例，即使是最繁忙的数据团队也能满足对可靠数据和 AI 日益增长的需求。

LakeFlow 基于其数据智能平台构建，可以从不同系统(包括数据库、云源和企业应用程序)提取数据，然后在生产中大规模自动化管道部署、操作和监控。（databricks.com）

在阿里云上海 AI 峰会上，阿里云推出首个“AI 程序员”，它具备架构师、开发工程师、测试工程师等多种岗位的技能，能一站式自主完成任务分解、代码编写、测试、问题修复、代码提交整个过程，最快分钟级即可完成应用开发，大幅提升研发效率。

据介绍，该AI程序员是基于通义大模型构建的多智能体，每个智能体分别负责具体的软件开发任务并互相协作，可端到端实现一个产品功能的研发，这极大地简化了软件开发的流程。例如，在编码智能体中，AI程序员首创了代码仓库知识图结构，不仅能理解用户的需求，还能精准定位代码对应的修改位置并自动给出修改方案。

腾讯混元大模型能力持续升级，多个版本模型hunyuan-pro、hunyuan-standard、hunyuan-lite通过腾讯云对外开放，满足企业客户、开发者在不同场景下的模型需求，落地最优性价比模型方案。

腾讯云大模型知识引擎、图像创作引擎、视频创作引擎三大工具发布，打造大模型时代原生工具链，通过PaaS服务简化数据接入、模型精调、应用开发流程，助力企业更高效、简单地用大模型开发AI原生应用，快速接入生产场景。

以“产业实用”作为发展大模型的核心战略，腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生表示，通过打造高性能的模型、高效率的工具平台、高敏捷的场景应用、高可用的算力基础设施，以及强安全的模型环境，构建离产业最近的AI。