暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

大数据平台和分布式数据库国产替代百亿市场开启;亚马逊裁员1万;320亿美元的FTX一夜归零;图数据库出新;隐私计算产品井喷···

146








本周关注


1.12项数据安全国标全文来了


技术标准是安全建设的“尺子”。近日,国家市场监督管理总局、国家标准化管理委员会发布中华人民共和国国家标准公告(2022年第13号),全国信息安全标准化技术委员会归口的14项网络安全国家标准获批发布。


其中12项涉及数据安全与个人信息保护,近期正式公开全文,包含步态识别、基因识别、声纹识别、人脸识别、智能汽车、即时通信、快递物流、网上购物、网络支付、网络音视频、网络预约汽车、个人信息安全工程等领域,对其数据安全要求作细致说明。


2.星环科技深度报告:从自研大数据基础软件平台到分布式数据库,全方位迎接国产替代百亿空间


政策推动国产替代大潮,国产数据库有替代空间且有技术能力替代。国务院办公厅印发《全国一体化政务大数据体系建设指南》,国产化替代利好政策频现。而根据赛迪顾问的数据显示,目前整体国产渗透率仅约 10%,我们认为基础软件中数据库处于发展初期且有能力实现国产替代,明确的国产替代方针将打开 600 亿国产数据库蓝海市场。同时,国产替代已初见成效,四大外商市场份额三年下降 20.8%,从 0 到 1 的替代之路已经开始。


分布式数据库契合市场需求,替换趋势渐起。由于分布式数据库可扩展性与多副本强一致特性使其在大数据处理场景能突破传统集中式性能上限并保证数据安全,从而成为解决海量数据存储与敏感行业数据安全性保证的最佳选择。分布式数据库逐渐取代传统集中式已成趋势,并将在金融、政府领域率先替代。


星环科技布局分布式数据库,全产业链覆盖高度聚焦国产替代始发行业。新政策下金融与政府是推动国内数据库建设最重要的两个细分领域,根据赛迪顾问数据显示,预计2025年两者市场规模达270亿。星环科技凭借技术领先、渠道加持以及全产业链覆盖的优势有望实现数据库从 0 到 1 的突破。


技术领先:星环凭借丰富的技术积累,不再依赖海外的开源技术,率先实现分布式数据库的代码自研(代码自主率超过 90%),获得多项国际认证,有效解决海量数据处理难题。


渠道加持:星环早期核心平台软件产品 TDH、TDC 已经获得高认知度,具有超过 1000家稳定客户,主要覆盖金融、政府两大行业,与国产替代的始发行业高度重合。公司以大数据基础平台软件为渠道切入点,利用已经成熟的基础软件销售渠道快速带动分布式数据库等其他产业链产品的销售,以达到高速增长、打开市场的效果,提高后发产品的市场份额。


全产业链覆盖:大数据的基础软件包含大数据管理平台、数据应用中间件、数据智能分析工具以及数据库,其中又以数据管理平台和数据库最为关键。而多数竞争者只擅长于某单一领域的技术因而将增加使用者接受难度,相较之下,星环全产业链的覆盖和替代能力更加具备竞争实力。


3.《分布式数据库发展趋势研究报告》发布,9大发展趋势值得关注


近日,国家工业信息安全发展研究中心、中国电子学会、北京国家金融科技认证中心等共同编制的《分布式数据库发展趋势研究报告》。该报告由“分布式数据库的定义及分类”、“分布式数据库发展现状”、“分布式数据库发展面临的机遇和挑战”、“分布式数据库的发展趋势”、“分布式数据库的发展建议”组成。


9大趋势包括:


·分布式数据库走向原生设计


·分布式数据库架构的设计走向一体化


·分布式数据库的能力将向混合负载发展


·分布式数据库的场景将向云化发展


·分布式数据库的高可用能力不断在提升


·分布式数据库对数据一致性的支持将日臻完善


·分布式数据库的生态建设亟需推动


·分布式数据库需要支持异构芯片的混合部署


·分布式数据库应支持数据透明加密。







爆点事件



4.数据交易额破11亿!深圳数据交易所正式揭牌


11月15日,由广东省人民政府指导,深圳市人民政府主办的深圳数据交易所揭牌暨数据交易成果发布仪式在深圳举行。


目前,深圳数据交易所累计交易额已突破11亿元。会上同时展示了深圳数据要素市场及数据交易系列成果,并启动首批线上数据交易。


深圳数据交易所围绕数据安全合规、数据治理服务、安全技术保障、生态建设发展,形成一系列数据交易创新成果:


● 一是深圳数据交易所数据交易平台上线;


● 二是深圳数据交易所数据交易撮合平台发布;


● 三是深圳数据交易所数据公证平台发布;


● 四是深圳数据要素登记平台建设方案发布;


● 五是深圳数据交易所制度规则和标准规范发布。


5.“不再是科幻小说”?元宇宙每年可为亚洲GDP注入1.4万亿美元


德勤(Deloitte)的一份新报告称,到2035年,元宇宙对亚洲GDP的影响每年可能达到8000亿至1.4万亿美元之间。根据这份新报告,虚拟现实可能会对亚洲经济体转型产生影响。


该报告研究了元宇宙对亚洲经济的潜在影响。预测影响的大小归因于该地区的“人口引力”。


世界上大多数年轻人生活在亚洲。全球最大的玩家群由亚洲的 13 亿移动游戏爱好者组成。人们在元宇宙中生活、工作和娱乐。用户可以购买虚拟土地或打扮成自己的形象。


元宇宙不再是科幻小说了。数以百万计的人正在使用早期的元宇宙平台。将游戏引入元宇宙的方式之一是游戏。下一个互联网将由该细分市场及其期望驱动。


该地区对元宇宙的准备程度取决于每个经济体的独特战略。报告认为,元宇宙每年对GDP影响,中国最大,4560~8620亿美元;日本为87~165亿美元;印度790~1480亿美元,韩国为36~67亿美元。(trueviralnews.com)


6.亚马逊将裁员1万人,原CEO贝佐斯将捐出大部分财富


据美国《纽约时报》14日报道,亚马逊计划最早于本周开始大规模裁员,上万名零售、技术及人力资源等岗位的员工受到波及。若消息属实,这将是亚马逊历史上规模最大的一次裁员。


如果裁员人数保持在1万人左右,这将占亚马逊全球员工总数(约150万,主要由小时工构成)的不到1%,企业员工总数的3%。


计划裁员之际,亚马逊正面临着经济环境低迷、成本飙升、在线商店业务增长放缓等难题。自今年初以来,亚马逊市值已下跌约42%,跌至1万亿美元附近。(cnbc.com)


7.短短11个月!FTX从320亿美元估值到“一夕归零”,FTX究竟经历了什么?


全球第二大加密货币交易所FTX在推特发布了申请破产保护的声明,创始人Sam Bankman-Fried已经辞去CEO职务。


消息发布后,市值最大的数字货币比特币24小时内跌幅一度超5%,后跌幅收窄,但币价仍跌穿1.7万美元。


该危机已经摧毁了一个本已岌岌可危的行业的信心。与一年前创下的约6.9万美元的历史高点相比,比特币现在的价格微不足道,数字资产的市值从2021年11月的近3万亿美元跌至8750亿美元。


不到一年前,FTX筹集了4亿美元,估值达到320亿美元,还在讨论可能的首次公开募股(IPO)。


在不到一周的时间里,FTX已经从世界上最大和最重要的加密货币交易所之一,变成了这个动荡和不受监管的行业中一长串倒闭事件中的最新一员。


如今,在一场壮观的崩溃中,这一切几乎都消失了,这可能会带来更多的痛苦,并在该行业的脸上留下永久的伤疤。







大数据与数据库


8.Neo4j宣布下一代图数据平台Neo4j 5上线


Neo4j宣布下一代可用于云端的图数据平台Neo4j 5上线。在传统数据库的基础上,扩大了原生图的性能优势,同时在本地、云、混合云或多云部署中实现更高可扩展性,从而使企业能够更快地创建和部署智能应用程序,并从数据中获取更大价值。


Neo4j 5的专属优势包括:查询语言更强大,速度提升1000倍。新的语法使编写复杂的匹配查询变得更加容易。索引、查询计划和运行时间的改进使Neo4j 5能够实现有史以来最快查询。


数百台机器上进行自动扩展,使自我管理的客户基本无需手动,投入较小的基础架构成本即可增长和处理大量查询。利用这一优势,企业借助自主分类和结构化处理等新功能,能够有效地操作非常大的图并在任何环境中扩展。Neo4j 5还可以自动对计算资源进行分配和再分配。


所有部署的连续更新,包括云、多云、混合云或本地部署。Neo4j 5可确保自我管理和由Neo4j管理的Aura工作负载之间的持续兼容性。此外,被称作Neo4j Ops Manager的新工具提供了一个统一的单窗格,以轻松监测和管理全球部署,从而使客户完全控制其环境。


9.Elastic 8.5版发布,缩短实现可观测性的时间,并简化安全工作流


全球领先的搜索驱动型解决方案平台的最新版 Elastic 8.5 正式全面上线。Elastic 8.5 版为 Elastic Search Platform 及其三个内置解决方案(Elastic企业搜索、Elastic可观测性和Elastic 安全)引入了一系列新功能。


在 Elastic 8.5 版中,Elastic 企业搜索正式引入了高级矢量搜索功能,其中包括混合排名,此排名功能将矢量相似性与查询评分结合在一起。此外,原生 MongoDB 和 MySQL 集成有助于简化数据采集,而新的Machine Learning 采集管道有助于简化数据扩充。


在 Elastic 8.5 版中,SRE 和 DevOps 工程师能够使用 Elastic 可观测性为他们环境中的现有 .NET 应用程序自动插桩。无论应用程序是在容器中运行、在 IIS 中运行,还是作为 Windows 或 Linux 服务运行,您只需短短几分钟就可以完全了解自己的整个 .NET 应用程序生态系统,而无需重新编译任何二进制文件。


在 Elastic 8.5 版中,Elastic 安全引入了新的威胁情报管理维度,有助于加快调查、响应和恢复速度。通过让 SOC 能够利用这一背景信息,有助于增强该解决方案中快速发展的 SOAR 功能,为现代化的 SIEM 注入强劲动力。


10.PingCAP推出首个HTAP Serverless数据库服务TiDB Cloud Serverless Tier BETA版


企业级开源分布式数据库厂商PingCAP发布TiDB Cloud Serverless Tier BETA 版,这是一种完全托管的全自动HTAP数据库服务,使开发者能够以最经济的方式部署其基础设施。


TiDB Cloud Serverless Tier专为规模化交易、实时分析和混合工作负载以及流量激增的应用程序而构建,可以自动扩缩容以满足实时需求。开发人员只需点击几下,就可以部署和配置一个具备完整功能的 Serverless TiDB 数据库。TiDB Cloud Serverless与 MySQL高度兼容,开发人员可以继续使用他们熟悉的MySQL开发框架和工具。


TiDB Cloud Serverless Tier将取代原有的Developer Tier。TiDB Cloud Serverless Tier 是一个永远在线的 HTAP 数据库服务,为应用开发人员提供足够的敏捷性和灵活性,在 TiDB Cloud 上构建和测试应用。另外,对于需要更大规模资源的企业级用户,他们还可以通过 Dedicated Tier 从间歇性、不频繁和不可预测的工作负载一直无缝扩展到关键任务工作负载。


11.Speedb数据引擎将键值存储带入开源

Speedb表示正在将其数据引擎技术转向开源模式。这家 2020 年的初创公司在 2021 年 12 月的一轮种子轮融资中筹集了 400 万美元,用于开发键值存储技术,旨在成为开源 RocksDB 项目的直接替代品。


RocksDB是部署最广泛的键值存储技术之一,由Meta(前身为Facebook)于2012年开发。Speedb的目标是提供比RocksDB更容易的可扩展性和更好的性能。这是供应商一直追求的闭源技术的目标。


Speedb现在正在改变其方向,并开始采用开源模式,尽管供应商将继续提供具有附加性能功能的闭源企业版。


Speedb也与许多其他供应商竞争,包括数据库供应商CockroachDB,该公司创建了自己的RocksDB替代品Pebble。随着RocksDB已经开发了十年,替代键值存储技术都面临着说服用户选择替代具有切实优势的挑战。(www.techtarget.com


12.Aerospike Cloud推出新的实时数据库服务


实时数据库供应商Aerospike开始预览其下一代云数据库即服务 DBaaS。近日推出的新 Aerospike 云产品是一种无服务器DBaaS产品,为 AWS 公有云基础设施提供了完整的数据库平台。未来,Aerospike还计划将DBaaS引入其他云提供商,包括Google Cloud Platform和Microsoft Azure。


自 2019 年以来,Aerospike 数据库包括一项云服务,组织可以在虚拟私有云环境中部署该服务。竞争对手Confluent Cloud和Hazelcast为用户提供了无服务器DBaaS部署选项。


Aerospike在拥挤的数据库市场中开辟了一个利基市场,专注于关键应用程序的高性能。随着对这些应用程序的需求转移到云作为操作平台,Aerospike以易于使用的方式出现在云中。


Aerospike数据库实时连接所有数据源,保证数据的同步,起着核心枢纽作用。同时,它还能支持几乎所有编程语言,既能做记录数据库,也能做机器学习的后台数据库,以支持模型训练数据的实时更新。(www.techtarget.com)


13.IBM推出业务分析企业版,统一BI工具,支持数据驱动决策

近日,IBM布了一款新软件IBM Business Analytics Enterprise,旨在帮助企业打破数据和分析孤岛,以便他们能够快速做出数据驱动的决策,并应对不可预测的突发事件。


IBM Business Analytics Enterprise是一套具备商业智能计划、预算、报告、预测和仪表板功能的工具,能为用户提供横跨整个业务数据源的稳健视图。除了IBM Planning Analytics with Watson和IBM Cognos Analytics with Watson之外,该套件还新增了IBM Analytics Content Hub,它可以帮助简化用户在单一的、个性化的仪表板视图中,发现和访问来自多个供应商的分析和计划工具。


14.强强联合!StarRocks 支持 Apache Hudi


近年来,随着大数据分析技术的进步,大量业务场景对数据仓库的实时性提出了更高的要求,Lakehouse 架构逐渐被各大公司熟悉和接受,Apache Hudi、Apache Iceberg、Delta Lake 都被看成是下一代数据湖的解决方案,并被称为数据湖技术三剑客。


StarRocks 作为当前最流行的 OLAP 分析引擎之一,阿里云EMR OLAP 团队与 StarRocks 社区在 2021 年就开始合作,共同设计并实现了StarRocks Connector 框架,用于统一外部数据源的接入分析,并且基于Connector 框架完成了对 Hudi、Iceberg、Delta Lake 等主流数据湖表格式的接入。


15.阿里大规模分布式检索系统Havenask宣布开源


Havenask是阿里巴巴集团自研的搜索引擎,日前宣布开源。Havenask也是阿里巴巴内部广泛使用的大规模分布式检索系统,支持了包括淘宝、天猫、菜鸟、高德、饿了么、全球化在内整个阿里巴巴集团的搜索业务,为用户提供高性能、低成本、易用的搜索服务,同时具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。


https://github.com/alibaba/havenask


Havenask 的核心能力与优势包括:极致的工程性能、C++的底层构建、SQL查询支持、丰富的插件机制、支持图化开发、支持向量检索等。







隐私计算


16.蚂蚁集团数字科技业务亮相云栖大会,隐私计算平台摩斯2.0发布


在蚂蚁集团数字科技峰会上,蚂蚁数科隐私计算平台摩斯(MORSE)宣布全新品牌升级——摩斯 2.0,用立体化的隐私计算技术和产品帮助生态伙伴综合解决跨机构的安全协同计算问题,助力实现联合数智新业态。


会上,摩斯产品家族全面升级为 MORSE Flow(摩斯隐私计算连接器)、MORSE Edge(摩斯一站式隐私计算产品)、MORSE Staion(摩斯隐私计算一体机),三大技术产品提供互联互通、分布式和集中式、软硬件结合等多种方案,可满足不同行业客户的个性化需求。(www.myzaker.com


17.赋能金融智能化,可利邦推出大数据隐私计算平台


为了帮助金融客户应对数据安全与合规挑战,打破数据孤岛、释放数据价值,北京可利邦信息技术股份有限公司基于多方安全计算、隐私保护、联邦学习等技术,推出了大数据隐私计算平台,解决了数据协同计算过程中的数据安全和隐私保护问题。


大数据隐私计算平台支持横向、纵向和迁移联邦学习,实现多种场景下数据源互联互通,确保原始数据不出域,数据输入、运算、结果输出全流程密态保护。平台采用图形化界面操作便捷、使用门槛低,可以简单高效地完成建模、统计、服务部署任务。在部署方面,平台基于K8S的容器化部署,支持多种操作系统、主流数据源和数据服务,支持本地部署专线接入云,可灵活投入硬件与计算资源。目前,可利邦已与家银行、保险、大健康等伙伴达成合作,客户可一站式完成多方数据及业务合作,大大降低时间成本。


18.金智塔科技升级发布隐私计算平台3.0


在世界互联网大会互联网之光新产品发布上,金智塔科技带来了金智塔隐私计算平台3.0的重磅升级发布,详细介绍了五大升级能力,主要包括:



平台采用去中心全对称分布式架构,提高了网络的可扩展性、节点的可复用性;


支持混合协议联合SQL,降低隐私计算数据分析门槛;


实现大规模分布式计算,性能处于行业前列;


打破计算孤岛,实现隐私计算平台的互联互通;


全面支持信创国产化,打造安全高效、自主可控隐私计算平台。


19.华控清交推出业界首款半同态计算芯片,赋能隐匿查询实用化,性能媲美1000个CPU核


隐匿查询是指在不向数据提供方暴露查询方的查询意图,同时又能在保护数据提供方数据库中其他数据的情况下让查询方获得相关查询结果。实际使用的场景大多是跨广域网环境下基于关键字的查询。当前的常用方法要么需要传输大量的数据,而单一业务的远距离传输专线带宽经常是10Mbps甚至更低,这会导致传输时间无法接受,要么只能做到基于序号(index)的查询,但实际使用时查询方很难知道自己要查询的信息位于数据方数据库的第几号,而实际使用中更普遍的情况是查询方使用关键字(如身份证号)进行查询。


为解决上述问题,华控清交设计了低带宽的基于关键字的查询方案,同时设计并量产了业界第一款半同态计算芯片以解决计算量大的问题,每块芯片板卡性能可媲美约1000个CPU核心。低带宽算法与业界首款半同态计算芯片,使得跨广域网的基于关键字的隐匿查询在实际中落地成为了现实。







数据安全


20.星环科技云原生大数据平台零信任网络安全实践亮相中国云计算基础架构开发者大会


2022第三届中国云计算基础架构开发者大会在杭州举办。星环科技高级网络开发工程师吴正东和李阳分享了云原生大数据平台零信任网络安全实践。


星环科技在产品的各层级上都完善了安全技术,从而可以给用户提供体系化的数据安全防护能力。围绕星环科技体系化的数据安全与流通产品,重点介绍了其中的微隔离安全区功能、集群安全边界功能、统一身份认证功能三大技术点。


微隔离安全区技术不再局限于传统微隔离中的IP地址,使用多元化的逻辑标识作为微隔离的基本元语;以网络安全区为核心重新定义微隔离基本元素,灵活配置微隔离逻辑范围,避免过度隔离。


集群安全边界则推出了安全边界负载均衡器、跨集群安全通信、边界防火墙等功能。而统一身份认证则包括了租户企业组织信息的管理、租户认证管理、Spire集成等功能,


21.隐钥科技发布SQL加密数据库


利用多年区块链全加密框架和隐私计算领域经验,隐钥科技通过自主创新结合多种数据库设计技术和密码学技术,成功研发推出SQL加密数据库中间件,真正实现在完全加密数据库上高速运行SQL语句。


据悉,此次推出的隐钥科技SQL加密数据库技术,将实现所有数据库的数据,包括高频使用的数据都会被加密,使得内部运维、后台人员、外部黑客均无法获得数据,彻底避免数据泄漏的可能性,同时加密密钥被安全保护在服务器端,即使存储硬盘被盗也可以高枕无忧。


隐钥科技专注于提供保护企业数据安全和企业间隐私信息交互的产品和解决方案,此次推出的全新SQL加密数据库系统,将从根本上杜绝数据泄漏的可能性,也可以做到对现有数据库系统几乎无缝迁移的升级,从而满足各行各业在面对日益严峻的数据隐私安全时有足够的安全保障。


22.百度为车企提供自动驾驶研发全栈的数据闭环合规解决方案


近日,百度官宣将发布百度Apollo“自动驾驶云2.0”,同时对外披露,百度将为车企提供自动驾驶研发全栈的数据闭环合规解决方案,满足智能汽车、自动驾驶数据采集安全合规要求,助力车企研发、运营、商业化等全场景闭环。


“我们的合规思路:原始数据不出车,测绘数据不出云、测绘成果不关联、资质图商全管控。在管控的情况下安全、有序地使用这些数据。”在这个合规思路的指导下,百度提出了“一个中心、三重防护”的安全合规建设理念,保障地理信息安全。


一个中心是通过图商建立数据安全监管中心,监测自动驾驶数据闭环合规的数据使用过程、数据内容、数据载体的安全性。全面满足监管机构对智能汽车、自动驾驶的安全合规要求。


三重防护是指工具链合规、数据防护、云平台防护。工具链合规:通过点云抽帧、图像脱敏、可控标注、车辆监管等方式保证自动驾驶数据在训练过程中的操作合规,不接触测绘数据,不将测绘数据带走;数据防护:对于智能网联汽车时空数据进行端到端的加密改造,保证数据的完整性、有效性、机密性、以及不可抵赖性,通过图商的密码服务体系保证数据由图商进行管控;云平台防护:基于对云基础设施的网络边界隔离,容器防护,数据审计,安全存储等措施,保证智能网联汽车时空数据在云平台环境中的安全性,由图商监控网络边界连接状态,不会将测绘成果外发,造成数据的滥用、泄露等风险,抵御黑客对数据平台的攻击,防止数据被黑客窃取。


23.VMware发布了用于管理多云环境、强化网络安全和增加与边缘连接的新工具


VMware推出了HCX+,这是一项面向多云数据中心的托管服务,以及用于私有云和更多SD-WAN接入点的Kubernetes功能。


这两款产品包括VMware HCX+,这是供应商应用程序迁移工具的托管服务版本,以及VMware的多云数据映射和管理软件Aria Hub的免费层。


Aria 使用户能够在两个公有云帐户中映射和清点资源,以显示依赖关系、使用成本和性能运行状况。支持的云包括 Microsoft Azure 和 AWS。


VMware 混合云扩展 (HCX) 支持将本地虚拟机和应用迁移到公有云或私有云。该工具的具体用途包括数据整合、云迁移和灾难恢复。HCX+ 托管服务提供了一个仪表板,显示可用和连接的站点以及迁移状态。


该供应商上周在西班牙巴塞罗那举行的 VMware Explore Europe 2022 会议上表示,Aria Hub 的免费套餐将于今年 11 月提供抢先体验版,明年提供 HCX+。


对于专注于网络安全的IT团队,VMware推出了VMware Carbon Black XDR。Carbon Black XDR 是 VMware Carbon Black Enterprise EDR 的网络可视性和威胁检测增强功能。XDR技术使用VMware Contexa,这是一种威胁检测和修复云服务,可扫描客户的VMware端点,网络和设备以查找潜在的安全漏洞。


该活动的其他公告包括为供应商主权云计划的经销商提供VMware Tanzu,以及该公司软件定义WAN(SD-WAN)的更新。(www.techtarget.com


END





大数据应用,从现在开始




文章转载自Hadoop大数据应用,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论