地平线上的数据危机 为什么我们需要重新思考数据存储
数据一直在现代工业中发挥着重要作用,而且这种作用每年都在变得越来越突出。
最近,“ 大数据 ” 的兴起对行业产生了巨大影响。软件和服务的收入预计将在2027年增长到1030亿美元,复合年增长率为11.4%。从我们的社交媒体账户到我们用于钻探石油的设备,各地的数据都在不断被淘汰,而且它非常有价值。
这意味着未来几年科技公司面临的最大问题之一将是如何存储所有这些数据,这种方式不仅安全且价格合理,而且易于访问。随着可用数据量的增长,我们需要确保我们现有的存储系统能够处理它,并且不会在压力下崩溃。
目前,这证明是艰难的。当前的存储选项已经在努力处理爆炸的数据量,随着时间的推移,这只会变得更加困难。我们需要重新思考我们在不断变化的世界中查看存储的方式并提出新的解决方案。
在我们探讨一些解决方案之前,让我们首先仔细研究当前集中存储方法的问题。
为什么当前的方法被打破
当前的数据存储方法主要基于大型集中式数据中心。即使是云存储也很大程度上依赖于这些庞大的中央数据库,这种方法存在各种问题。这些包括:
它们臃肿而且超大。这使得维护成本高昂且耗时,更不用说破坏环境了。
他们很容易受到黑客和网络犯罪的攻击,因为他们有一个中心点,可能会导致整个事情失败。除此之外,任何集中控制的系统都有内部腐败的风险。
他们很难扩展。那里的数据量呈指数级增长,这些集中式数据库很快就会发现很难满足这么多的需求。
这不是一个理想的情况。但是解决方案是什么?许多人认为区块链及其分散的存储方法可能就是答案。
区块链的解决方案
区块链技术的名称是支撑比特币和其他加密货币的分类账。但是这种技术可以处理所有类型的数据,并且由于缺乏中心点,它与现有方法的关键不同。这给它带来了许多优点:
这很安全。数据被加密并分布在多个节点上,形成一个分散的网络,没有中心点,使攻击者很难造成损害。
由于没有中央政党负责,因此很难破坏区块链。这只能通过控制大多数节点来在某些网络中完成,这几乎是不可能的。它真正民主,对欺诈具有很强的抵抗力。
这是不可改变的。这意味着无法操纵或处理数据,换句话说,用户可以信任数据及其背后的完整性。
它很快。通过利用庞大的节点网络而不是中央服务器,区块链有可能比传统的存储方法快得多,从而实现无缝访问。
区块链似乎在许多领域都是明显的赢家,而且确实如此。但到目前为止,该技术在大规模数据存储方面一直在努力。
让我们来看看为什么会这样,以及它如何很快改变。
区块链的问题 - 以及如何解决它们
传统上,随着区块链越来越多地包含越来越多的数据,他们一直在努力扩展。比特币可能是最明显的例子 - 在活动增加和价值更高的时候,它的交易时间和成本都飙升,给用户带来了严重的问题。
这是一个主要问题; 数据一直在增长,区块链必须能够适应这种不断增长和存储的需求。如果区块链无法应对大量数据,则它们不适合用于主流数据存储。目前有几种方法,公司试图解决这个问题。
存储成本
虽然区块链具有很大的数据存储潜力,但该技术首先需要解决存储问题。当区块链受到压力时,成本往往会失控。例如,去年比特币价格暴涨时,交易成本飙升至50美元。这还不足以应对未来数据的爆炸式增长。
Sia和 Storj都运营着大型基于区块链的存储网络,旨在提供快速便宜的数据存储,而无需中心点或控制第三方。两个网络都通过将文件分段为块,然后加密这些并在网络上分发它们来工作。Sia已经部署了130多个TB,存储在300多个贡献者中。Storj即将推出。
Filecoin以类似的方式工作,依靠强大的IFPS网络中的节点来分发其文件。该公司筹集了超过2.5亿美元,目前正在开发数据存储的分散营销。
数据安全性和可扩展性
对于任何数据存储系统,安全性必须至关重要。当前基于云的模型,如谷歌和亚马逊提供的模型,优先考虑安全性,但它们的集中性使它们处于劣势,因为它们是围绕中心故障点构建的,并将用户的数据留在公司手中。
区块链技术,通常因其密闭结构和固有的安全性而受到称赞,是这里的明显赢家。
但困扰区块链空间的一个问题是可扩展性。最大的区块链以太坊和区块链在每秒交易方面很难达到两位数。另一方面,Visa可以处理44,000,而Facebook则高达175,000。
Arweave是这个生态系统中新兴的创业公司,它开创了一种处理数据的新方法。该公司找到了一种将数据直接存储在区块链本身的方法,这与区块链数据存储的其他方法不同,后者依赖于构建在现有区块链之上的第三方协议。
实质上,随着区块链中存储的数据量的增加,共识所需的散列减少,使其具有高度可扩展性。
除此之外,该平台还使用了一种名为Proof of Access的新共识机制,矿工可以竞争哪些人可以复制大多数数据。这远远低于现有模型(如工作证明)的能源密集程度,后者基本上奖励能够集中最大计算能力的矿工。
“我们所做的实际上是解决了链上数据存储问题,不像其他解决方案在后台使用P2P文件分发网络,然后在线上支付结算,我们制定了一个加密经济激励系统,可以让你增加规模区块链的大规模尺寸,然后在所有计算机上分配数据“,Arweave首席执行官Sam Williams说。这种方法提供了一种更好的数据存储方式,并且可以大规模地工作。
更重要的是,该平台永久存储数据,并且只需要用户支付一次性费用。没有必要陷入昂贵的月度合同,这是许多云存储模型的不愉快的副作用。
Arweave最近还宣布推出Permaweb--一种新的不可变和分散的网络,永远提供低成本,零维护的存储。它提供方便,高效和信息安全,不受干涉第三方的干扰。它还具有自己的隐私层,提供任何外部力量的通信安全。
随着数据在我们的世界中发挥着越来越重要的作用,我们需要走向创新,与Arweave,Filecoin,Sia和Storj等先驱者一起,2019年可能是我们摆脱过时存储方法的一年。