谷歌到磁盘供应商 使硬盘这样即使他们失去更多的数据
谷歌希望磁盘供应商重新考虑他们针对云的产品,针对所有的超大规模数据中心运营商。
谷歌希望存储供应商开始为云构建磁盘,并彻底摆脱从旧软盘继承的3.5英寸硬盘尺寸。
借鉴Facebook的开放计算项目,谷歌希望磁盘供应商开始考虑他们的云计算产品,以应对存储方面的挑战,不仅仅是谷歌,而是所有的超大规模数据中心运营商。
因此,如果磁盘供应商不希望看到旋转的磁盘被降级到冷存储,谷歌正在挑战他们提出一个新的设计,针对像谷歌这样的云进行优化。
企业存储的发展
如何计划、管理和优化企业存储以跟上数据洪流。
在Usenix文件和存储本周会议上,Google基础设施副总裁Eric Brewer的磁盘供应商查看磁盘的愿望列表在云中,这将涉及显著不同的设计的当前的磁盘使用的针对企业服务器。
布鲁尔也概述了他的观点,他的关键观点是,视频正在推动对磁盘的巨大需求,而这些需求来自于谷歌之类的云数据中心,这些数据已经被复制用于故障转移。
布鲁尔指出,YouTube用户每天上传1拍字节的新存储,按照目前的增长速度,到2021年,他们应该每天上传10拍字节。
“这篇论文的核心思想是,我们需要优化磁盘集合,而不是服务器中的单个磁盘。这一转变带来了一系列有趣的结果,其中包括一个与直觉相悖的目标,即磁盘实际上更有可能丢失数据,因为我们已经不得不把数据放在其他地方,”布鲁尔在一篇博客文章中说。
具体来说,谷歌似乎愿意为存储支付更高的gb价格,只要它能提供更低的总拥有成本、更高的容量和每秒更高的I/O操作。
但正如该报告所指出的,“该行业在提高GB/$方面相对较好,但在IOPS/GB方面则相对较差。”
此外,谷歌对ssd不感兴趣,尽管它们的IOPS更高,因为它们每gb的成本太高了。
至于替代标准的3.5英寸HDDs,谷歌建议比标准的3.5英寸磁盘1英寸和2.5英寸磁盘15毫米更高的驱动器。
更高的驱动器允许每个磁盘有更多的磁盘,这增加了容量,并摊销了包装、印刷电路板和驱动器/驱动器的成本。给定一个固定的磁盘总容量,由于磁盘的稳定性,更小的磁盘可以产生更小的寻道距离和更高的RPM,因此更高的IOPS,但更差的GB/$,”论文指出。
谷歌指出,它确实具备定制表单因素的规模,但看到问题扩展到更广泛的行业,因此希望看到它标准化。
安全是谷歌希望业界努力的另一个领域。这篇论文指出了政府破解硬盘固件的真正威胁,并将卡巴斯基实验室(Kaspersky Lab)的研究结果纳入了刚刚完成这一工作的方程式组(Equation Group)。
“很明显,它必须更容易地确保正确的固件和限制未经授权的更改,从长远来看,我们必须应用在其他系统中已经使用的全面加固技术,”文件指出。
“我们短期内解决这个问题的方法是限制对磁盘的物理访问,并隔离来自主机OS的不可信代码,因为主机OS有能力刷新磁盘固件。”
它还指出,现在的企业磁盘支持静态加密,但传统上使用单个密钥。谷歌希望对磁盘的不同区域使用不同的键实现更细粒度的控制。