暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

ChatGPT 发布重磅更新——ChatGPT Canvas;阿里云MaxCompute迈向下一代智能云数仓

233

点击蓝字

关注我


NEWS

本周焦点(行业快讯与友商动态 2024年第31期

1、ChatGPT 发布重磅更新——ChatGPT Canvas

2、谷歌 Gemini 1.5 模型全面升级 - 数学、长上下文和视觉方面显著提升

3、Llama 3.2 系列模型震撼登场 -  支持图像推理,还有可在手机上运行的版本

4、Meta发布视频生成模型Movie Gen,可以实现精准配音、编辑已有视频等功能

5、GaussDB、PolarDB、OB等17款数据库通过数据库安全可靠测评

6、阿里云MaxCompute迈向下一代智能云数仓


今日 · 看点


ChatGPT 发布重磅更新——ChatGPT Canvas


近日,ChatGPT发布了一个重磅更新——Canvas功能。ChatGPT的“Canvas”界面允许用户在并排协作中调整聊天机器人生成的文本或代码部分。它为用户提供了一系列快捷方式,用于建议内联编辑、快速检查语法和清晰度以及调整文本的长度和阅读水平。


Canvas是一个全新的交互界面,它让AI更懂你的需求。你可以在Canvas上编辑和改进AI的输出,就像有一个专业的文案编辑或代码审查员在旁边帮你一样。


此外,Canvas的智能程度超乎想象。它能够根据你的指示,精准地修改文章的某个部分,或者重写整篇文章。无论是写作还是编码,Canvas都能提供实时的建议和反馈,让你的工作更加高效。


更棒的是,Canvas的启动非常智能。它会在检测到可以提供帮助的场景时自动启用,让你的工作流程更加流畅。目前,Canvas已经向ChatGPT Plus和Team用户开放,Enterprise和Edu用户也将在下周获得访问权限。


大模型资讯


谷歌 Gemini 1.5 模型全面升级 - 数学、长上下文和视觉方面显著提升


本周,谷歌宣布对其Gemini 1.5 AI模型进行升级,推出了全新的Gemini-1.5-Pro-002和Gemini-1.5-Flash-002。这些新模型在成本、性能和响应速度方面进行了全面改进。


这次主要更新包括:


· 成本更低:谷歌降低了token输入和输出的费用,最高降幅达到50%,并提高了模型的速率限制,减少了延迟。


· 性能更强:在MMLU-Pro基准测试中,新模型的性能提高了约7%,在MATH和HiddenMath基准测试中,数学性能提高了20%。此外,视觉和代码相关任务也得到了改进。


· 其它改进:谷歌还升级了8月发布的Gemini 1.5实验模型,推出了Gemini-1.5-Flash-8B-Exp-0924升级版,增强了文本和多模态应用。


新定价将于2024年10月1日生效,而用户可以通过Google AI Studio、Gemini API和Vertex AI(面向Google Cloud客户)访问新的Gemini模型。此外,针对Gemini Advanced用户的Gemini 1.5 Pro-002聊天优化版也即将推出。


Llama 3.2 系列模型震撼登场 -  支持图像推理,还有可在手机上运行的版本


Meta公司推出了最新版本的开源AI大模型系列——Llama 3.2,这一系列包括小型和中型视觉语言模型(11B和90B参数)以及轻量级纯文本模型(1B和3B参数)。


Llama 3.2的关键特性包括:


· 视觉和文本处理:支持图像推理和多语言文本生成。


· 轻量级模型:适合在设备上运行,提供更好的隐私保护。


· 高性能:在重写任务和摘要等本地边缘运行任务中领先。


· 优化硬件支持:特别优化在高通和联发科硬件上的使用。


该系列模型的应用场景广泛,涉及方方面面。包括移动设备上的智能助手、增强现实(AR)、智能家居设备以及客户服务自动化等。


Llama 3.2的推出进一步推动了AI技术的开放性和可访问性,这使得边缘AI和移动AI应用的开发变得更加便捷和高效。


Meta发布视频生成模型Movie Gen,可以实现精准配音、编辑已有视频等功能


近日,Meta首次公开展示了自家的「用于媒体的突破性生成式 AI 研究」:Meta Movie Gen。


根据 Meta 的描述,Movie Gen 的功能包括:文本生成视频和音频、编辑已有视频、图片生视频。并且人类评估表明,Movie Gen 在这些任务上的表现均优于行业内类似模型。


Sora 刚刚问世时,往往还需要 Elevenlabs 这样的音频生成应用来辅助。而 Movie Gen 显然更加便捷,除了视频生成,配备相应的音乐、音效也是拿手好戏。面对一整个视频的场景,合适的背景音乐能够贯穿全程。不仅如此,音效的适配度也很高。更让人惊讶的是,音效还能够精准地与视频内容匹配。它能够通过视频中的动作节点来把握音效出现的时机,让画面和声音相辅相成,给我们呈现出完整的生成效果。


无论是视频,还是音频 Movie Gen 看起来都表现优异。如果 Meta 所言非虚,那么 Movie Gen 也真算得上是目前最先进和最沉浸式的「讲故事模型套件(storytelling suite of models)」。



GaussDB、PolarDB、OB等17款数据库通过数据库安全可靠测评


中国信息安全测评中心、国家保密科技测评中心发布国测结果,根据《安全可靠测评工作指南(试行)》要求,现将2024年第2号安全可靠测评结果进行公布,自发布之日起有效期三年。本次共有17款数据库成功入选,其中集中式数据库6款,分布式数据库11款。


本次国测涵盖了众多国产数据库厂商和优秀产品,表现突出的厂商有:国产数据库四朵金花(电科金仓、南大通用、达梦数据、神州通用),国内三大云(腾讯云、阿里云、华为云),自研分布式数据库新星(平凯星辰、奥星贝斯),来自济南的瀚高、来自成都的虚谷伟业,以及中兴通讯、海量数据等。这些数据库产品不仅在性能上有所突破,更在安全性、兼容性、易用性等方面下足了功夫。比如平凯数据库的平滑升级、一键扩缩容;金仓数据库的“三高”、“三易”特性;腾讯云TDSQL的全球部署架构等,都是国产数据库技术的亮点。

阿里云MaxCompute迈向下一代智能云数仓


2024年云栖大会上,阿里云核心自研云原生智能数据仓库产品MaxCompute,在经过一年的深度打磨后,推出了其新一代智能晕数仓。从数仓的经典定义四大维度 Value Variety Velocity Volume 切入,分享了 MaxCompute 在云数据仓库领域上围绕上述四个维度重新构建的全新技术创新与产品突破。


· Value - Data+AI 一体化:MaxFrame + AI Function + ObjectTable 构建 Data+AI ⼀体化;


· Variety - 湖仓一体2.0:汇聚高价值数据,在湖仓融合架构之上的多模态结构化/半结构化/非结构化数据的高效处理与分析;


· Velocity - 近实时数仓:基于 DeltaTable、增量计算&增量物化视图、MCQA2.0 查询加速引擎三层架构实现从离线到近实时架构全面升级;


· Volume - 企业级能力:在安全稳定方面,同城&跨 Region 灾备、数据脱敏。为客户数据安全保驾护航。在可观测性与 AI 智能化上,提供 IntelligentTuning 与智能物化视图创新能力。


MaxCompute 通过经典数据仓库能力定义与云数据架构的深刻理解,构建出面向下一代智能云数仓。其四个核心产品理念包括但不限于:Data+AI - 数据价值的不断深化, 开放湖仓架构衍生出的多样数据融合处理与分析,近实时数仓-从离线到近实时的系统性能优化,企业级服务能力- Serverless 智能云数仓的企业终极差异优势。

华为:存储联合三大数据库厂商发布存算分离解决方案


华为全联接大会2024期间,华为数据存储携手国内三大知名数据库厂商——亚信安慧、科蓝软件和云和恩墨,共同发布多个基于闪存存储的数据库存算分离联合解决方案,标志着华为与业界数据库伙伴在推动国内数据库技术革新与改造上迈出了坚实的一步,为企业用户提供更高效、更可靠、更灵活的数据库存算分离改造方案。


· 亚信安慧AntDB与华为数据存储高性能高可靠存算分离解决方案:该方案实现了从存算一体到存算分离的架构创新,通过优化存储资源配置与IO处理流程,显著提升资源利用率与性能;同时结合OceanStor Dorado的硬盘智能管理实现对故障盘的自动隔离,降低对业务的影响;依托专业存储多级可靠性设计,所有部件全冗余,达到99.9999%的可用度,进一步保证数据安全性与可靠性,满足通信、金融等核心行业核心客户对数据处理的严格要求。


· 科蓝软件SUNDB与华为数据存储双集群跨数据中心容灾存算分离解决方案:该方案是在存算分离架构的基础上,打造的双集群跨数据中心容灾方案,利用OceanStor Dorado同步复制机制,将生产中心与灾备中心之间的日志复制下移到存储侧,既保证了数据库集群间的故障隔离,又降低了对业务性能的影响,实现了RPO=0的同城零数据丢失容灾,提供满足金融核心系统要求的高可靠、高可用解决方案,为关键业务场景提供更加可靠的数据支持。


· 云和恩墨MogDB与华为数据存储资源池化+存储本地双活存算分离解决方案:该方案通过存算分离+共享存储实现多副本归一,使数据库集群的存储空间节省50%以上;通过内存池化技术实现数据库集群内主备节点数据实时一致,为强一致性业务提供支持;充分发挥数据库和存储层协同优势,在实现双集群RPO=0跨数据中心容灾的基础上,结合OceanStor Dorado的双活特性,实现生产中心数据库单集群存储双活高可用,单存储故障业务零影响。通过极致成本、极致可靠、极致性能的解决方案,帮助金融、运行商等行业客户加速数据库改造。

OceanBase Cloud 两周年线上见面会,总结两年来的创新与突破


2022 年,OceanBase 正式推出云数据库 OB Cloud,通过一体化云数据库服务助力客户构建现代数据架构,简化技术栈。截止目前,OB Cloud 已为超过 700 家客户提供服务,客户数量年同比增长 130%,成为大型公司、高增长企业和行业独角兽的共同选择。近两年OB Cloud主要创新和突破包括:


· 平滑迁移,云上更安全。为了最大限度降低企业数据迁移的难度和成本,OB Cloud 全面兼容 MySQL 和 Oracle,适配复杂的数据类型、字符集和函数,在流量回放、性能评估、数据传输、回滚链路等阶段,沉淀了完整的迁移方案,无论是线下数据库平滑上云、云上自建数据库替换还是云上云下混合部署,OB Cloud 都能确保客户应用的平滑无缝迁移。


· 弹性伸缩,稳定应对流量洪峰。OceanBase 基于存算一体化 LSM-Tree 架构,天然适合处理高并发问题,可显著减少 RT,提升数据处理效率和实时性,帮助客户高效处理热门商品减库存、热门账户减余额等场景。通过多读多写和线性可扩展的高并发支撑,经真实生产环境测试,OB Cloud 可实现存储空间节省超过 70%,吞吐量提升超过 100%,稳定支撑零售、电商客户在大促场景下流量洪峰的挑战。


· 一体化云数据库,用技术为企业降本。包括TP/AP一体化,数据实时分析;多模一体化数据架构统一管理等。

Apache Doris 2.1.6 版本正式发布


近日,Apache Doris 2.1.6 版本已正式发布。2.1.6 版本在湖仓一体、异步物化视图、半结构化数据管理持续升级改进,同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限管理等方面完成了若干修复。新功能如下:


· Lakehouse:实现 Iceberg 表的写回功能。增强 SQL 拦截规则,支持对外表的拦截处理。新增系统表file_cache_statistics,用于查看 BE 节点的数据缓存性能指标。


· 异步物化视图:支持在 Insert 中进行透明改写。支持对查询中存在 VARIANT 类型时的透明改写。


· 半结构化数据管理:支持 ARRAY MAP 类型到 JSON 类型的 CAST 转换功能。引入json_keys函数,用于提取 JSON 中的键名。支持在导入 JSON 时指定json path`$`。ARRAY MAP STRUCT 类型支持 replace_if_not_null。允许调整 ARRAY MAP STRUCT 类型的列顺序。新增multi_match函数,支持在多个字段中匹配关键词,并利用倒排索引加速查询。


· 查询优化器:完善 MySQL 协议返回列的信息,包括原始数据库名、表名、列名和别名。增强聚合函数group_concat,支持同时使用order by和distinct进行复杂数据聚合。改进了 SQL 缓存机制,支持通过注释区分不同的查询以复用缓存结果。增强分区裁剪功能,支持在过滤条件中使用date_trunc和date函数。允许在表别名前使用数据库名作为限定名前缀。支持 Hint 格式注释。


· 执行引擎:group_concat 函数现支持 distinct 和 order by 选项。

Oracle:23ai 通过网络安全等保四级测评


近日,Oracle Database 23ai 顺利通过《信息安全技术网络安全等级保护基本要求》第四级安全计算环境 (数据库) 部分和《信息安全技术信息安全风险评估方法》的要求。


其中,测评结论表示:“Oracle 23ai 数据库系统具有较为完备的安全保护能力,在数据库身份鉴别、访问控制、安全审计方面、数据备份与恢复、剩余信息保护、个人信息保护方面安全功能设计完善,能够抵御一定程度的攻击。在数据完整性和保密性方面,支持国密算法 SM 系列。Oracle 23ai 数据库系统基本符合2019《信息安全技术 网络安全等级保护基本要求》 (第四级要求) 的数据保护标准,安全风险低。”


作为 Oracle 融合数据库中的新长期支持版本,Oracle Database 23ai 于2024年5月2日正式发布,提供以 AI Vector Search 为代表的 300 多个新特性和功能,专注于帮助用户简化数据中的 AI 使用,加快应用开发并运行关键任务工作负载。


Oracle Database 23ai 中的新功能和增强功能的完整列表相当广泛,包括 AI Vector Search、JSON Relational Duality、True Cache、Lock-Free Reservations、Priority Transactions、JavaScript Stored Procedures,以及内置 SQL 防火墙等 300 多个新特性和功能。所有这些功能都经过精心设计,以助力企业提高生产力、效率、性能、可用性和安全性。


国外资讯


Apache 软件基金会推出具有增强型 AI 和数据安全功能的 Cassandra 5.0


近日,Apache软件基金会(ASF)宣布发布了Apache Cassandra 5.0版本。Cassandra是一个开源的高性能分布式数据库管理平台,广泛应用于处理大规模数据集和高负载应用,具有高可用性和无单点故障的特点。新版本5.0引入了多项创新功能,旨在提升性能和可扩展性,使其成为AI驱动数据管理的前沿技术。


Cassandra 5.0的主要新特性包括:


· 存储附加索引(SAI):增强了查询的灵活性和性能,尤其适用于大数据集,允许更高效和多样化的数据检索。


· Trie Memtables和Trie SSTables:优化了内存和存储使用,显著提升了数据库性能,而无需更改现有的数据模型。


· 统一压缩策略(UCS):通过自动适应变化的需求,提高了操作效率,减少了数据组织中的手动干预。


· 向量搜索:引入了对人工智能(AI)和机器学习应用的原生支持,使下一代应用能够进行语义搜索。


· JDK 17支持:升级到Java开发工具包17,带来了显著的性能提升和新的语言特性。


· 动态数据掩码:通过在查询期间动态隐藏敏感信息,增强了数据安全性,而无需更改存储的数据。


· 双向TLS认证:引入基于证书的认证和授权,允许用户无需密码即可进行身份验证。

MongoDB 8.0 全新发布,在读取吞吐量、批量写入等显著提高了性能


MongoDB 8.0 显著提升了性能,降低了扩展成本,并增加了可扩展性、弹性和数据安全功能。


· 性能增益:与 MongoDB 7.0 相比,8.0 版本的性能有了进一步的提升,比如读取吞吐量提高了 36%,批量写入速度提高了 56%,复制期间的并发写入速度提高了 20%,处理大量时间序列数据的速度提高了 200%,同时资源使用率和成本也将大幅度降低。


· 数据分片/水平扩展:跟 MongoDB 7.0 相比,在这个版本中,数据在分片之间的分布速度提高了 50 倍,成本降低了 50%。


· 高峰性能控制:开发者们现在可以设置运行查询的默认最大时间限制,拒绝导致问题的重复查询类型,并设置在数据库重启等事件中持续存在的查询设置等。


· 量化向量支持:MongoDB 8.0 还通过量化向量(即“全保真向量的压缩表示”)为搜索和 AI 应用程序提供更好的支持。据介绍,这些向量所需的内存非常少,而且检索速度非常快,同时还能保持准确性。


· 查询加密:8.0引入了 MongoDB 可查询加密的更新,该功能允许用户加密敏感数据,将其存储在数据库中,并对加密数据运行查询。现在用户可以执行范围查询,通过在整个生命周期内保持加密,进一步降低了数据暴露和泄露的风险。

DataPelago推出新型通用数据处理引擎,优化处理大规模数据分析工作负载。


DataPelago Inc.近日推出了一种被称为“通用数据处理引擎”的产品,通过更好地利用组织的基础设施来实现大规模高速计算。


该公司的云端软件框架独立于操作系统,利用所有可用的CPU、图形处理单元、浮点单元和数据处理单元,应用于生成式人工智能和海量数据分析。这一引擎基于两层智能层,分别是DataVM和DataOS。根据数据的特性和可用的硬件资源,它们一起以最有效的方式处理数据。


DataPelago表示,DataVM使用数据操作员的领域特定指令集,同时动态抽象加速计算元素。DataOS将数据操作映射到基础处理资源以优化性能。公司宣称,这个分析引擎可以比传统计算平台快10倍处理数据,成本仅为其一半到三分之一。


DataPelago的架构基于三大技术支柱。第一是虚拟机,它可以抽象底层指令集,开发人员无需为不同类型的硬件编写操作系统内核。第二是DataOS,它在接收到查询计划时,动态地将操作映射到CPU、单指令多线程处理器、矢量化机器、GPU和FPGA上运行。第三是可组合架构,可以与Apache Trino和Apache Spark等查询引擎和分析框架集成,无需更改上层处理层。


OpenAI完成了一轮66亿美元的融资,公司的估值飙升至上千亿


OpenAI 最近完成了一轮66亿美元的融资,使得公司的估值飙升至1570亿美元,跻身全球顶尖的独角兽企业之列。在这次融资中,Thrive Capital担任了领投方,微软、英伟达、软银等公司也参与了投资,其中微软投入了约7.5亿美元。这次融资采用了可转换票据的形式,标志着OpenAI向营利性公司的转变。


随着OpenAI从非营利性向营利性的转变,OpenAI将更积极地推动技术的商业化和应用。面对激烈的市场竞争,OpenAI期待通过持续的创新和合作,保持其在生成式人工智能领域的领先地位,并引领人工智能技术的未来发展方向。


行业资讯


【金融】高并发、高可用、低延时!金篆GoldenDB发布证券核心系统分布式架构转型解决方案


证券核心系统分布式数据库解决方案是金篆GoldenDB基于20+年数据库研发积累和10+年金融行业锤炼经验,针对证券行业业务需求OLTP和OLAP类复合型场景构建的数据库解决方案。方案满足高可用、高并发、大容量、低延时、可水平扩展的系统运行要求。


本方案支持核心交易系统的容量,可支撑亿级客户账户;支持分布式事务,数据强一致,支持分布式下的复杂查询场景,满足总部到分支机构等多级的统计查询;实现系统的高可用,提供完备的监控、运维功能,并支持跨数据中心部署、两地三中心部署等多种部署模式。


方案亮点包括:


· HTAP架构——解决复杂SQL查询:具备复杂SQL并行计算能力、交易型计算节点和分析型计算节点由金篆GoldenDB管理节点进行统一管理、当计算节点分析判断在线业务请求是OLTP类SQL时,将业务请求直接下发给数据节点进行处理。


· 批量插入协议——提升数据上场效率:研发batch Prepare新协议,提升批量插入性能,支持分布式全流程的Prepare能力,适配批量插入场景,性能提升60%以上。


· 时延优化——提升回放能力:回放内存使用优化、按event分发优化为按事务分发。


· 流控压缩——避免瞬时流量冲高:全局流水号功能,结合业务进行系统间的耗时分析,并能进行数据库事务级、SQL级逐层联动分析。


【能源】中国华电与华为、玖天气象等企业共同发布“基于AI大模型技术新能源气象功率预测解决方案”


在“华为全联接大会2024”期间,中国华电、玖天气象、华为等企业共同发布“基于AI大模型技术新能源气象功率预测解决方案”。


传统的数值天气预报对风速和辐照度变化进行预测,这种基于大气流动力学的模型复杂,近十几年没有新突破,完成一次预测需6小时至10小时,用时长且时效性较差。


中国华电与华为合作,依照新能源发电企业业务层级特点,启动开展了“集团气象大模型—区域微观气象引擎—场站边缘功率预测业务系统”云边协同三层架构新能源气象功率预测解决方案的试点验证。


强大的解决方案离不开高质量数据源和强大算力的支撑。玖天气象作为能源电力领域专业气象服务商,可提供中国区域高精度、细颗粒度气象数据集,支撑大模型通过海量数据挖掘潜在气象变化规律。


中国华电积极引入AI大模型技术,在华电江苏新能源试点场站,超短期15分钟预测准确度97.24%,4小时预测91.72%,中短期24小时内预测整体达到90%以上,预测效率大幅提升。


与此同时,它还能帮助发电企业算好经济账。根据试点验证数据测算,通过对新能源功率预测实现“智算”,可将华电江苏试点场站2024年上半年考核费用分别减少27%和15%左右,降低电站运营成本。这是气象大模型技术与中国华电业务应用场景的深度结合,也将是气象大模型在新能源功率预测领域规模化应用的开端。


国内政策资讯


北京市大数据工作推进小组关于印发《北京市“数据要素×”实施方案(2024—2026年)》的通知


数据作为新型生产要素具有推动经济社会发展的乘数效应,是发展新质生产力的关键力量。为贯彻落实国家数据局等17部门联合印发的《“数据要素×”三年行动计划(2024—2026年)》(国数政策〔2023〕11号),充分发挥数据要素的放大、叠加、倍增作用,加快推进数据汇聚共享和场景应用,赋能首都高质量发展,特制定本方案。


主要目标为到2026年底,数据要素应用水平全国领先,建成50个以上公共数据专区和行业数据服务平台,打造具有全国影响力、体现首都特色和重要创新成果的100个“数据要素×”应用场景,数据产业年均增速超过20%,数据要素成为新质生产力培育和首都高质量发展的重要驱动力量,建成数据应用场景示范、数据要素汇聚流通、数据产业集聚发展的高地。


重点工作包括:数据要素×工业制造、现代农业、商贸流通、交通运输、金融服务、科技创新、文化旅游、医疗健康、应急管理、气象服务、城市治理、绿色低碳、政务服务、社区服务、教育教学、区域协同等几个方面。

新华社:我国绿色智能计算产业“井喷”发展


近年来,随着全球对可持续发展和绿色科技的高度重视,我国的绿色智能计算产业正在经历一场前所未有的井喷式发展。根据最新数据显示,我国绿色智能计算产业的市场规模在过去一年间增长了超过30%。众多科技公司纷纷推出新产品和解决方案,致力于降低能耗、减少碳排放。这些公司不仅有传统的IT巨头,也包括一些新兴的创业公司,尤其是在人工智能、云计算和边缘计算领域,展现出了强大的创新能力和市场竞争力。绿色智能计算的理念也在业界得到了积极响应,企业在设计和推出新技术时,环保和可持续性越来越成为核心考虑因素。


在技术层面,绿色智能计算所依赖的核心技术主要包括节能计算架构、能源管理系统以及AI优化算法。这些技术的创新使得计算过程能够更加高效,并在运算的同时显著降低电能消耗。例如,采用AI优化算法可以对计算资源进行动态调整,确保在使用过程中能量的最高利用率。这样的技术不仅提高了企业的运营效率,也降低了企业在长期发展中的整体能源成本。此外,随着5G技术的普及,边缘计算逐渐成为重要的发展趋势,为绿色智能计算提供了更广阔的应用场景。


市场对我国绿色智能计算产业井喷发展的反应也是积极的。许多投资者对这一领域表示出浓厚的兴趣,资本市场也开始加大对相关科技公司的投资力度。绿色智能计算技术的加速推进,不仅推动了相关企业的估值提升,也促进了整个产业链的转型升级。


扫码关注我们

扫码关注我们

END

文章转载自Hadoop大数据应用,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论