暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Perplexity AI新一轮融资寻求80亿美元估值; 英伟达重磅开源超强大模型--Nemotron

312

点击蓝字

关注我


NEWS

本周焦点(行业快讯与友商动态 2024年第32期

1、英伟达重磅开源超强大模型--Nemotron

2、智谱科技开源了最新的文本到图像AI模型CogView3-Plus

3、OpenAI发布了适用于Windows的ChatGPT桌面应用

4、Google推出AI播客神器NotebookLM,让复杂信息秒变轻松播客

5、阿里云OpenLake重磅发布:多模态数据统一纳管、引擎平权联合计算、数据共享统一读写

6、腾讯云数据库TDSQL-C推出全新只读分析引擎


今日 · 看点


英伟达重磅开源超强大模型--Nemotron


本周,英伟达开源了一款名为Llama-3.1-Nemotron-70B-Instruct的超强大模型,这款模型在性能上已经超越了GPT-4o、GPT-4turbo、Gemma-2等140多个开闭源模型,仅次于OpenAI发布的最新模型o1。


Nemotron的基础模型基于Llama-3.1-70B开发,采用了一种新的混合训练方法,结合了Bradley-Terry和Regression两种训练奖励模型的方法。这使得模型能够更准确地理解和遵循用户的提示指令。


英伟达还开源了 Nemotron 的训练数据集 HelpSteer2,为了开发这个多元化满足新的混合训练方法数据集,在数据注释的过程中,每一对回应都经过3—5名标注者的评价。这些标注者需要从多个维度对每个回应进行评分,包括有用性、准确性、连贯性、复杂性和冗长程度等。为了更好地理解背后的原因,标注者还需要提供简短的文字说明,解释为何选择了某个回应作为更好的答案。这种方法不仅增强了数据的透明度,也为后续分析提供了丰富的上下文信息。


研究人员还使用了严格的数据预处理步骤来保证数据质量。例如,他们会识别出每个任务中相似度最高的三个偏好注释,然后取这三个注释的平均值并四舍五入到最接近的整数,以此作为该任务的整体偏好得分。同时,为了排除那些标注者意见分歧较大的样本,研究人员们会过滤掉那些注释之间差异超过一定范围的任务。这些措施共同作用,有效提升了数据的可靠性和一致性。

大模型资讯

智谱科技开源了最新的文本到图像AI模型CogView3-Plus


本周,智谱科技宣布开源其最新的文本到图像AI模型——CogView3-Plus。


CogView3-Plus基于DiT框架构建,采用Zero-SNR扩散噪声调度,并引入了文本-图像联合注意力机制。这些创新使其在保持模型基本能力的同时,有效降低了训练和推理成本。该模型支持在512到2048像素的区间内灵活生成不同分辨率的图像。


在性能上,CogView3-Plus在人工评估中相较于目前最先进的开源文本到图像扩散模型SDXL高出77.0%,同时推理时间仅需SDXL的大约1/10。这一成果不仅展示了CogView3-Plus在图像生成质量上的显著优势,也体现了其在效率上的大幅提升。智谱科技还提供了CogView3-Plus的图像编辑功能,并已将其集成[智谱清言]平台,供用户体验。


此外,该公司还开源了CogView3以及CogView3-Plus-3B模型,均采用Apache 2.0协议,这可通过GitHub和Hugging Face等平台访问。


OpenAI发布了适用于Windows的ChatGPT桌面应用


本周,OpenAI发布了适用于Windows的ChatGPT桌面应用。使用时,用户需要先通过 Windows Store 下载,安装完成后使用「Alt+Space」组合键可以快速唤起 ChatGPT 来回答问题。


新应用引入了「Companion Chat」功能,允许用户通过快捷键快速调用ChatGPT,进行提问、文件上传、生成新图像或开始一个新的对话,而无需切换应用。该功能还包括记住聊天位置和快速清除聊天内容等便捷操作。应用可在微软商店下载,支持Win10及以上版本。目前,ChatGPT的桌面版本已向Mac和Windows两大操作系统开放,但Linux版本尚未给出明确的时间表。


此外,ChatGPT Canvas功能也更新了一个实用功能,允许用户查看文章或代码的更改。这些更新进一步完善了ChatGPT的生态系统。


Google推出AI播客神器NotebookLM,让复杂信息秒变轻松播客


Google最近推出了一款名为NotebookLM的AI产品,它通过其独特的音频概览功能,将文本内容转换成AI播客,为用户提供了一种全新的信息消费方式。


这款产品不仅能够处理多种格式的内容,还能通过机器学习算法分析数据,为用户提供深入的洞察。NotebookLM的推出,展示了AI在播客领域的应用潜力,为用户提供了个性化的内容创作和消费体验。它通过使用Google的大语言模型Gemini 1.5 Pro,使其知识内容转换变得更加简单易懂。


此外,NotebookLM还提供了摘要、建议问题、常见问题解答等功能,进一步增强了用户的互动体验。


NotebookLM 功能的核心在于利用先进的AI算法,快速分析长篇内容,提取关键信息,并将其转化为简洁明了的音频摘要。这不仅大大节省了用户的时间,还能帮助他们快速把握核心要点,为深入学习奠定基础。例如,一本需要数小时阅读的书籍,通过NotebookLM的处理,可能只需要15分钟就能听完其精华内容。这种高效的知识获取方式,特别适合那些生活节奏快、时间宝贵的都市白领和学生。


阿里云OpenLake重磅发布:多模态数据统一纳管、引擎平权联合计算、数据共享统一读写


近期,阿里云正式对外发布了 OpenLake 解决方案,构建大数据、搜索、AI 一体化的能力体系,实现多模态数据统一纳管、多种计算引擎平权计算、大数据 AI 一体化开发,助力企业基于数据资产构筑竞争力。


OpenLake 建立在 OSS 开放的公共数据湖仓基础之上,使用元数据管理平台 DLF 统一管理结构化、半结构化和非结构化数据,提供湖仓数据的安全访问机制、文件增删查改能力和 I/O 加速能力。


在引擎层,包含 PAI、MaxCompute、Hologres、Flink、EMR StarRocks、EMR Spark、AI 搜索引擎在内的各类计算引擎,可以访问同一份数据并进行协同计算,消除数据壁垒和存储冗余。


在开发层,DataWorks 提供一体化的 IDE+Notebook 模式,实现多引擎 SQL 和 Python 统一开发,并提供多任务可视化调度保障。

OpenLake 的应用场景非常广泛,包括:统一湖存储、基于 Flink 新一代流式湖仓、基于 Hologres/StarRocks 的新一代实时查询湖仓、基于 MaxCompute 和 Hologres 的经典流批查询湖仓、基于 AI 搜索的多模态 RAG 检索增强、以 DataWorks 为核心的大数据 AI 多引擎协同开发等。

腾讯云数据库TDSQL-C推出全新只读分析引擎


只读分析引擎是TDSQL-C MySQL版支持的全新功能,此功能基于LibraDB引擎实现,通过只读实例提供服务。其可插拔式的引擎设计可以实现灵活的创建以及销毁,同时为用户提供海量数据处理与高效实时的复杂分析能力。使用只读分析引擎,业务完全无需维护复杂的 ETL 组件,直接开启只读实例即可轻松享受处理复杂查询场景下的极致性能。


高速分析引擎 LibraDB不同于TDSQL-C MySQL版原生基于Innodb引擎升级改造的 TXSQL引擎,LibraDB 引擎是一款自研的列式存储与计算引擎。Innodb引擎能在读写实例和只读实例中选择使用,但是 LibraDB 引擎只能在只读实例中被选择。


LibraDB 引擎支持以非常低的执行时延从海量数据中完成复杂查询分析,让业务分析系统可以及时高效地获取到有用的信息。LibraDB 引擎支持向量化引擎、大规模并行执行等针对分析类查询的加速特性,无论是在超大表的多表 JOIN、数据聚合和排序,还是复杂嵌套 SQL 等查询场景,LibraDB 引擎都能提供出色的性能体验。主要具备如下特性:灵活开关的分析引擎、实时列存数据加载能力、指定数据加载能力、超高数据压缩率、完善的云上托管能力等。


GBASE数据库高可用方案确保数据无虞,保障业务连续性


不同的高可用解决方案有各自的特点,企业可以根据业务场景需要,结合自身资金、机房、网络条件选择不同的高可用解决方案。一般数据量没有那么大的业务场景会选择主备式集群高可用方案,但是在类似金融领域需要数据强一致性的业务场景,以及大数据量(数据量超过10T、20T)的业务场景,会选择共享存储集群解决方案。


GBase 8s提供了相对完善的高可用解决方案供企业灵活选用,包括主备高可用HAC/RHAC、共享存储集群高可用SSC、数据实时同步ER。


· GBase 8s HAC集群,适用于对网络延迟比较敏感的业务,建议同城或同机房部署,考虑到单服务器磁盘可用容量的限制,数据量不超过10T时可以采用HAC。远距离传输、异地容灾的业务场景,可以采用RHAC集群。由于远距离传输,带宽小,会增大网络延迟,RHAC会通过异步检查点机制和数据压缩来优化对带宽的使用。


· GBase 8s共享存储高可用集群SSC,是类RAC技术,支持共享存储,保证数据的强一致性,集群为主控对等管理模式,集群节点数最多可达16个,所有节点均可读写。当主节点失效时,辅助节点可以升级为主控节点,保障系统的高可用。在数据量低于100TB的业务场景中,相对于分布式数据库而言,共享存储集群是性价比最高的高可用方案。对于数据量超过100T的业务,分布式数据库可能比集中式数据库更为合适。


· GBase 8s 数据实时交换共享集群(对标OGG),内置以表为单位的数据实时同步能力,更多应用在数据交换共享场景,比如,部省市县数据实时交换共享业务场景,商超门店等平行单位之间数据实时交换共享场景。


企业可以单独部署主备高可用或者共享存储集群高可用,也可以组合使用,搭建同城双中心(SSC+HAC)、两地三中心(SSC+HAC+RHAC)等更高级别的高可用方案。


Valkey 8.0 现已正式发布,内存效率有所提升


Linux 基金会刚刚宣布Valkey 8.0正式发布,这是一款开源内存存储解决方案,是Redis的后继产品。该方案为每个插槽引入一个字典并将键直接嵌入到了字典条目中,使开发人员可以实现高达 20% 的容量提升,让每个节点能存储更多键。


Valkey 是根据 BSD 许可发布的,是一款高性能键/值数据存储,支持各种负载,包括缓存、消息队列,也可用作主数据库。Valkey可以作为独立守护进程或在集群内运行,有复制和高可用性选项。


AWS 软件工程师兼 Valkey 贡献者 Harkrishn Patro 在解释内存处理方面的改进时写道:第一个优化是每个插槽一个字典(总共 16,384 个),每个字典存储一个给定插槽的数据。通过这种简化,Valkey 8 中不再需要为了将插槽映射到键而维护额外的元数据。要迭代给定插槽中的所有键,引擎只需找出给定插槽的字典并遍历其中的所有条目即可。


其他优化包括了 一个新的多线程架构 和将键嵌入字典条目,这消除了额外的内存查找需求并将每个键的内存开销减少了 8 个字节。


国外资讯


Tableau 发布更新,包含Cloud Manager和增强的地理空间功能


 Tableau宣布发布Tableau 2024.3,引入了多项新功能,旨在增强大规模数据可视化和云分析管理。此次更新包括 Tableau Cloud Manager、Table Viz Extension、空间参数等,为组织提供了改进的地理空间分析、云分析管理和传统报告工具。


· Tableau Cloud Manager使管理员能够跨区域管理多个 Tableau 站点,从而简化许可证和用户管理,无需为单个用户提供多个许可证。这可确保更好的可扩展性,同时满足数据驻留和治理要求。


· Table Viz Extension允许用户向仪表板添加详细表格和网格视图,以满足那些喜欢传统报告同时又保留可视化分析功能的用户的需求。该扩展现已在 Tableau Exchange 中提供。


· 空间参数引入了对参数的地理空间支持,从而实现了以点、线和多边形表示空间数据的交互式仪表板。此功能允许基于空间选择的动态行为,从而进一步增强了 Tableau 中的地理空间数据分析。

云巨头 AWS 联合 Databricks 降低 AI 开发成本


云计算巨头亚马逊云科技(AWS)与数据分析平台 Databricks 宣布了一项为期五年的战略合作,目标是大幅降低企业开发人工智能应用的成本。Databricks 将使用 AWS 自研的 Trainium AI 芯片为其 Mosaic AI 服务提供算力支持,让企业能够以更低的成本定制或训练大型语言模型。此前 Databricks 斥资 13 亿美元收购了 MosaicML,希望通过降低 AI 模型训练的成本和门槛,让更多企业能够便捷地训练和部署 AI 应用,同时完全掌控自己的数据。


AWS 和 Databricks 将在 AWS Marketplace 推出新集成功能,简化用户在 AWS 平台上部署和运行 Databricks 服务的流程。这次合作旨在借助 AWS 自研 AI 芯片的高性价比优势,加速 AI 应用的开发进程并降低开发成本。此外 Databricks 还将与合作伙伴紧密协作,优化其在 AWS 平台上的解决方案,以更好地支持本地工作负载。


这一战略合作有助于 AWS 和 Databricks 在与微软、Snowflake 和 Salesforce 等重量级竞争对手的较量中占据有利地位,凸显了利用企业自有数据快速落地 AI 项目的重要性。AWS 希望将自己打造成一个中立的 AI 技术供应商,为企业提供丰富的模型选择和灵活的基础设施服务。


通过这次合作,AWS 和 Databricks 承诺将帮助企业基于自身数据洞察快速开发 AI 应用,推动企业创新。Databricks 则进一步巩固了其在数据分析和 AI 工具领域的收入模式。



英特尔与 AMD 联手优化 x86 处理器架构


英特尔公司和超微半导体公司成立了一个 x86 生态系统咨询小组,目的是为了改进 x86 指令集架构,并解决不同实现中的不一致问题。


这个联盟是在开放计算项目全球峰会上成立的,吸引了包括主要的云服务提供商和硬件制造商在内的关键行业成员。自 1978 年以来,x86 ISA 一直是计算机行业的基石,不过英特尔和 AMD 各自的变体包含了不同的指令集,这影响了软件的可移植性和硬件采购决策。


举例来说,英特尔的高级矩阵扩展技术可以加速 AI 模型的处理,但在 AMD 的硬件上却遇到了兼容性问题。新成立的小组的目标是使指令集标准化,以便让应用程序在英特尔和 AMD 的处理器之间更容易迁移,这可能会通过降低转换成本来影响芯片购买习惯。


这个小组得到了博通、戴尔、谷歌、惠普、联想、Meta、微软、甲骨文等业内巨头的支持,并将收集技术反馈来指导其工作。预计这些改进将在一年后出现在新芯片中,并计划加强 x86 相对于 Arm Holdings 的 ISA 的竞争力,Arm Holdings 的 ISA 主要用于连接设备。



Perplexity AI新一轮融资寻求80亿美元估值


据《华尔街日报》报道,人工智能搜索引擎 Perplexity 正在进行融资谈判,希望以 80 亿美元的估值筹集约 5 亿美元。


如果按照这些条款达成交易,Perplexity 的估值将比今年夏天从软银融资时的 30 亿美元高出一倍以上。《华尔街日报》报道称,该公司目前每天收到约 1500 万个查询,年收入约为 5000 万美元。


Perplexity 使用人工智能帮助人们在聊天机器人式的界面中搜索网络。一些新闻出版商指责该公司未经授权抓取网络内容并剽窃,《纽约时报》甚至向Perplexity 发出了一封停止侵权的信函,但首席执行官 Aravind Srinivas 表示,他希望与出版商合作,并且“无意与任何人为敌”。


Perplexity AI的融资计划反映了AI搜索领域的巨大潜力和投资热度:


· AI搜索市场前景广阔:投资者对AI搜索技术的未来发展充满信心,愿意给予高估值。


· 技术创新驱动估值提升:Perplexity AI在短时间内估值翻倍,说明其技术创新和商业模式得到市场认可。


· 内容合作成为关键:与出版商建立收入分享合作模式,显示AI公司正在积极探索可持续的商业化路径。

·知识产权问题需重视:剽窃指控凸显了AI公司在使用数据和内容时面临的法律和道德挑战。


· 融资环境趋于谨慎:尽管估值目标雄心勃勃,但融资不确定性增加,反映了投资者对AI领域的审慎态度。


行业资讯


【金融】OceanBase 攻坚金融关键业务系统


10 余年来,OceanBase 在银行、保险、证券、基金行业打磨淬炼,现已覆盖全部政策性银行、5/6 国有大行,20+ 资产规模超万亿银行、70% 头部保险、75% 头部证券、50% 头部基金,并在过程中总结了核心系统数据库升级的四条路径。


· Oracle 路线,用最少的资源实现从 Oracle 到 OceanBase 的平滑迁移。此路线的典型案例为某国有特大型保险机构:2020 年 9 月到 2021 年 9 月,该机构仅用一年完成了包括传统核心在内的近百个业务系统、近 800 套在线 Oracle 数据库的全量搬迁工作,迁移数据规模超 400 TB、数据量超千亿,单库数据规模超 20 TB,存储过程行数总数 500 万行以上,全迁移过程无一例回切。


· 大型机 DB2 路线,通过分布式+单元化,一步到位迁移至 OceanBase。此路线的典型案例为交通银行:该行的贷记卡核心、借记卡核心、ECIF 核心这三大核心系统均已转型分布式, 其中,贷记卡核心采用 “阿里云 + SOFA 中间件 + OceanBase 分布式数据 库” 整体技术栈,实现 “两地四中心” 多地多活 + 单 元化设计。


· 小型机 DB2 路线,通过单核异构方式迁移至 OceanBase。此路线的典型案例为常熟农商银行:其新一代核心系统从方案论证到交付实施, 历时 18 个月,基于 OceanBase 构建起两地三中心五副本及主备架构,采用 OB-Oracle 租户,实现新一代核心系统 OB-Oracle 和 DB2 开启 Oracle 兼容的双容灾。OceanBase 一主拖两备架构, 主集群和异地备集群采用 x86 芯片,本地备集群完全国产,包括 ARM 芯片、麒麟操作系统,做到 “一库多芯,混合部署”。


· MySQL 路线,直接将 MySQL 迁移至 OceanBase。此路线的典型案例为西安银行:其快捷支付系统西银惠付通过 OMS ,在不停机的情况下实施 MySQL 向 OceanBase 的完整迁移。从 2019 年 2 月进行数据库评估分析,到 2019 年 5 月正式业务切流,3 个月即完成迁移。迁移后,西银惠付的数据压缩为之前的 1/2,各项系统性能显著提升。


【政府】金仓数据库×武汉人社:共塑大数据应用智慧平台


在大数据应用平台的建设过程之中,武汉人社局不仅要致力于实现平台的业务功能,更需要着眼于推动全面的信息化创新改造。这一过程中,系统面临着来自多个层面的挑战:


· 系统层面的挑战。面对多系统并存的复杂局面,需要构建一个既能够高效处理数据同步和清洗,又能够提供强大查询服务的系统架构。


· 数据量的挑战。准数仓场景下高达12T的数据量,包括单表1.8T的庞大数据和众多百G级别的数据表。


· 数据库迁移的挑战。从Oracle数据库迁移至国产数据库,需要综合考虑兼容性、稳定性、迁移成本等多方面的因素。


金仓数据库以其卓越的性能和服务质量,为大数据应用平台的成功提供了坚实保障。主要包括:


· 性能卓越 、响应迅速。金仓数据库提供稳定而高效的数据处理能力。通过优化存储和访问策略,以及算法的不断革新,能够对大数据量和大并发的业务场景全面支持,满足了企业对数据性能的高标准。


· 无缝对接、灵活应变。数据库需要进行异构数据库迁移,金仓数据库展现出了卓越的兼容性。支持主流的开发语言和框架,全面兼容Oracle数据库,确保实现数据库“零代码”修改迁移,降低迁移难度和成本。


· 稳定运行、高可用保障。金仓数据库稳定设计,进程级运行监控,故障进程自动重启等,保障了系统的高可用性,确保了业务的连续性和稳定性。


国内政策资讯


国家数据局发布《可信数据空间发展行动计划(2024—2028年)》意见稿


10月18日,国家数据局研究起草了《可信数据空间发展行动计划(2024—2028年)》意见稿(以下简称《意见稿》)。


《意见稿》提出以建设可信可管、互联互通、价值共创的数据空间为重点,分类施策推进企业、行业、城市、个人、跨境可信数据空间建设运营。


《意见稿》明确,到2028年,可信数据空间标准体系、技术体系、生态体系、安全体系等取得突破,建成100个以上可信数据空间,形成一批数据空间解决方案和最佳实践,基本建成广泛互联、资源集聚、生态繁荣、价值共创、治理有序的可信数据空间网络,各领域数据开发开放和流通使用水平显著提升,初步形成与我国经济社会发展水平相适应的数据生态体系。

工业和信息化部办公厅印发《工业互联网与电力行业融合应用参考指南(2024年)》


10月15日,工业和信息化部印发《工业互联网与电力行业融合应用参考指南(2024年)》(以下简称《指南》)。


《指南》的编制旨在推动工业互联网在电力生产、供应、装备制造及工程施工等全链条各环节的广泛应用,助力加快电力行业数字化、智能化、绿色化转型,总结推广融合创新应用成果,为电力企业提供轻量化、可复制、可操作的实践路径。


《指南》提到,随着数量众多的新能源、分布式电源、新型储能、电动汽车等接入,电力系统可控对象从以源为主扩展到源网荷储各环节,现有信息感知能力和技术手段无法做到全面可观、可测、可控。因此,工业互联网在电力系统源网荷储各侧逐步融合应用,有助于支撑源网荷储海量分散对象协同运行和多种市场机制下系统复杂运行状态的精准感知,适应新型电力系统海量异构资源的广泛接入、密集交互和统筹调度等。

扫码关注我们

扫码关注我们

END

文章转载自Hadoop大数据应用,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论