暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Chia/奇亚 副总裁宣布加入OCP/开放计算项目

乐生活与爱IT 2021-08-31
394

Chia是一个存储挖矿项目,2021年3~5月间,造成中国存储供应链及硬盘价格大幅波动的“元凶”就是它,如果没记错的话,它驱动硬盘的价格上涨到3~5倍!

  

 

截止到今天(2021年8月31日),Chia算力池超过35 EB。这是什么概念?要知道2019年中国SDS(含分布式文件、块、对象)整个的裸容量,我记得也就1 EB左右。

 

                         

 https://www.chiaexplorer.com/charts/netspace


最近两个月我一直在忙着参与公司筹备OCP China Day 2021727日)的活动。简而言之,OCP就是IT硬件领域的“Linux”。更详细的可以查看百度百科:“开放计算项目(Open Compute Project,简称OCP), 由Facebook联合英特尔、Rackspace、高盛和Arista Networks在2011年联合发起的开源硬件组织,其使命是为实现可扩展的计算,提供高效的服务器,存储和数据中心硬件设计”。


今天很惊讶地从同事那得知,JonmichaelHands宣布Chia要加入OCP组织。Jonmichael现任存储业务开发副总裁,Chiapower.org作者,曾任Intel 高级战略规划师、产品经理,担任过英特尔在 OCP 存储工作组的代表。


有趣,我关注的两个领域就这样结合在一起了。其实,我很好奇,为何Chia要加入OCP?看完全文后,我觉得正如其自诩为“绿色比特币”那样,为区块链世界或加密货币领域降低能耗。比较有意思的是,文章提到了一家独特的公司IT Renew,它主要做的是数据中心旧设备(含硬盘)的回收、再认证、再利用等。未来,在中国“双碳”目标下,或许类似IT Renew也是一门生意。


另外,前几周国外同事分享一个区块链存储的消息(忘记是什么了)。个人感觉,后知后觉的老外存储专家们,如传统的中心化存储领域,也将逐渐开始研甚至进军到挖矿、区块链存储领域了。


为什么说老外存储专家们后知后觉,我记得2017还是2018年去美国的时候,和前东家VMware的vSAN同事提及区块链存储、IPFS,几乎没有人知道。而且,对BTC大多是不解或嘲笑的态度。话又说回来,这可能也代表了他们的专注,也许杀入新的关联领域,速度会很快。


下面是2021年8月31日登在Chia官网上的译文。原文来自:

https://www.chia.net/2021/08/30/chia-joins-the-open-compute-project.html


一、以存储循环经济为目标

                           


Chia 很高兴地宣布,我们将加入OCP(开放计算项目),为存储的可持续性做出贡献。



OCP 主要以运行 Facebook 和 Microsoft 等超大规模数据中心的,开放、模块化和实用的硬件而闻名,但OCP 2.0正在制定一项新战略,以实现可持续性和循环性目标,同时确保它为未来的创新技术播下了种子,如open silicon和大规模扩展AI。


二、我们为什么要关心?


3 月份主网启动期间的 Chia Netspace 刚刚超过 100 PB(Petabytes),如今已增长到 40 EB(Exabytes)。我们预计未来增长的很大一部分来自未充分利用的存储 — IDC相信仅消费台式机和外部存储就估计有 505 EB


我们要解决的下一个领域是为硬盘驱动器创建更加循环的经济。对于使用过的驱动器而言,Chia Farming(播种)是完美的工作负载,因为 Chia 网络不存储任何用户数据。作为全球最大的硬盘消费者,超大规模数据中心和云服务提供商通常会在硬盘离开数据中心组织之前对其进行物理销毁(业内称为粉碎或破碎)。这些相同的超大规模数据中心在将客户数据存储到磁盘之前使用先进的纠删码(erasure coding)和加密,然后遵循严格的标准,在获得清理证书之前安全地擦除驱动器上的数据。


“通常,当数据中心运营商将旧驱动器更换为新驱动器时——就像他们每三到五年做的那样——丢弃的驱动器会被毫不客气地销毁。”


在所有这些之后,驱动器被销毁,而不是被回收、再认证和转售。我们认为这是一个坏主意,我们交谈过的大多数人都同意,但没有资源来阻止这种做法。


我们宁愿看到这些硬盘被重新用于farming Chia(种植奇亚),也不愿被扔进垃圾填埋场。


三、使用完全再认证的数据中心机架

种植奇亚


一些公司已经在将 IT 设备世界转变为循环经济方面发挥了重要作用,我在过去几个月中遇到了其中一些公司。


 

IT Renew是数据中心可持续性方面的领导者之一,并且已经与主要的超大规模数据中心合作提供更新和再认证的 IT 设备。他们拥有基于 OCP 开放硬件的灵活机架,这恰恰是 Facebook 等大型供应商在生产中使用的组件。


这对我来说很有趣,因为我过去曾参与过许多这样的项目。我是英特尔 OCP 存储工作组的代表,也是数据中心 SSD 的产品经理—太熟悉这些机架了。


IT Renew 是第一家使用开放硬件(超过 99% 的组件来自再认证的材料)种植奇亚提供完整的,再认证的解决方案的公司。它们在机架级别提供完整的 3 年保修。


Chia 旨在以最低的功耗在尽可能小的空间中存储最多的数据。OCP JBOD(代号 Knox)实际上是首批包含大量 EB级存储,以推动 Facebook增长的 OCP 项目之一,其设计旨在实现高密度、易于服务和易于扩展。


IT Renew 现在在一个装有再认证硬盘驱动器的密集机架中提供这些,以及用于plotting(开垦)的计算服务器,在他们称为“芝麻(代号Sesame)”的完整解决方案中。


 


四、数据清理和风险管理


我试图找出设备被不必要地丢弃,而不是安全重复使用的根本原因。


这一切都归结为数据安全和风险管理。存储设备具有这种很棒的功能,可以立即擦除驱动器上的所有数据,有时称为安全擦除、清理或加密擦除。


有很多术语,如“SED”或自加密驱动器,它们被随意使用,对不同供应商,其含义略有不同,但 NIST 有一份大多数公司都遵循的正式文件。


用于清理介质的NIST 800-88标准是行业在处理驱动器上的数据时所遵循的标准。多年没再读了,我又读了一遍(嘿……让我休息一下,我被英特尔才华横溢的安全专家包围了)。


我发现了一些我认为不太好理解的细微差别。本文档中称为“加密擦除”(Cryptographic Erase,简称CE) 的内容已成为 SSD 十多年来的最佳实践。它立即安全地擦除所有用户数据,更改介质加密密钥并使数据无法读取。


这很关键,因为如果正确完成加密擦除,那么花费数天的时间将随机数据写入设备是毫无用处的。我们如何知道供应商是否正确执行了此操作?


这是 NIST 说的:“联邦机构必须使用 FIPS 140 验证的加密模块,以确保上述条件已针对 SED 进行验证”。


好的……所以如果设备通过了 FIPS 140-2 或 140-3 认证,我们可以使用加密擦除立即对驱动器进行清理吗?FIPS 是关于如何正确实施加密模块(如 SSD 和 HDD)的一系列标准。如果设备离开组织,它会怎样?我不认为数据 1 和 0 会关心他们是否在一个组织里,要么数据被清除,要么不是。


何时不使用加密擦除清除介质 - NIST SP 800-88 Rev. 1 (也即修订版 1)

如果在未先清理敏感数据后启用加密,则不要使用加密擦除清除介质。

如果不知道敏感数据是否在加密前未经清理就存储在设备上,请不要使用加密擦除。


 

清理和处置的决策流程


任何离开组织控制的设备中,许多接受上述建议的,都需要销毁。这是非常危险的,无意中造成了大量的电子垃圾。


我不认为 FIPS 140-2/3 完全认证是必需的,只要您与一个在设计时考虑到规范的值得信赖的供应商合作。认证是一个漫长而昂贵的过程,但在未来,遵循规范是大多数 OEM 和超大规模厂商值得投入的。这些相同设备的客户已经完全信任设备上的加密擦除技术,除非他们不具备资格。


我相信我们可以达到这样的程度,大多数驱动器可以立即安全擦除,然后转售、重复使用、回收,以减少大量电子垃圾。


您可以从 SSD 和 HDD 供应商处找到有关 SED 的更多信息:

Seagate Instant Secure Erase 希捷即时安全擦除

Kioxia Security 铠侠安全

Intel MAS CLI和GUI

NVMe 格式和 Sanitize(开源工具)

WD Instant Secure Erase 西部数据即时安全擦除


五、Chia还能做什么?


我们已经建立了一个称为时空证明(Proof of Space and Time,简称PoST)的突破性的共识协议,它比今天的加密货币更加节能和去中心化。


Chia 不卖任何硬件,所以我们为什么要关心为 OCP 做贡献?我们的使命不仅仅是现在的可持续发展,还要能够扩大规模


我认为该行业正朝着正确的方向发展,但 Chia 觉得从加密货币和全球金融市场获得外部观点可以帮助加速这些积极趋势。我们还使用了大量存储空间并拥有内部存储专家(咳咳……)。我们正在与该领域的一些知名人士合作,开展一项更大的计划,以促进存储设备的循环经济,以促进硬件的再利用并显着减少碳排放和电子废物


扩展阅读:


OCP China Day 2021 视频回放


2021全球开放计算发展白皮书 |下载和视频解读


Chia Cryptocurrency Farming Is Real and Uses Lots of Storage

https://idcdocserv.com/US47836321 


Can you recycle a hard drive? Google is quietly trying to find out

https://grist.org/technology/can-you-recycle-a-hard-drive-google-is-quietly-trying-to-find-out/


The most sustainable, cost-effective Chia solution

https://www.itrenew.com/sesame/chia-solution/


Open_Vault_Storage_Specification_v0.5.pdf

https://github.com/facebookarchive/opencompute/blob/master/open_vault/spec/Open_Vault_Storage_Specification_v0.5.pdf


https://www.itrenew.com/sesame/


NIST Special Publication 800-88 - Guidelines for Media Sanitization

http://dx.doi.org/10.6028/NIST.SP.800-88r1


POS vs. POW?欢迎留言

软件定义存储之未来 - 十年后的存储排行榜会怎样?


由今日头条、拼多多想到的 & BlockChain Storage 之5、区块链存储 - 存储供需的智能匹配

下一个20年: 从搜索经济到算法经济 (从B站跨年爆红 等想到的)

姚前:算法经济:资源配置的新机制 | 互联网金融


为什么出现下一代云计算-分布式云 ?

下一代云计算-分布式云 之(2):区块链IT基础设施的搭建一定要挖矿吗?

为什么叫区块链存储?兼谈IPFS&Filecoin, Chia

文章转载自乐生活与爱IT,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论