点存科技受邀出席区块链数字经济产业大会暨分布式存储论坛

5月20日,杭州点存科技有限公司作为分布式存储领域代表企业受邀出席区块链数字经济产业大会暨分布式存储论坛。开幕式当天,上海市嘉定区投资促进服务中心副主任蔡燕、上海市嘉定区南翔镇人民政府党委委员副镇长张军 、上海蓝天经济城党委书记、总经理裴家文等政府领导分别为大会进行了开幕致辞,点存科技CTO-Frank.Novem就分布式存储话题发表了重要演讲。

点存科技受邀出席区块链数字经济产业大会暨分布式存储论坛

Frank从下几个方面为我们分享了分布式存储的技术架构与颠覆式应用场景:

1、全球大数据发展现状和趋势

据国际数据公司IDC统计显示:全球近90%的数据将会在近几年内产生,预计到2025年将会达到163ZB的规模。

点存科技受邀出席区块链数字经济产业大会暨分布式存储论坛

随着数据量的增长,大数据所带来的收入也水涨船高,2020年全球大数据市场收入规模将会达到560亿美金,较2019年将有14.29%的增长。

点存科技受邀出席区块链数字经济产业大会暨分布式存储论坛

其中硬件、软件、服务的收入规模将分别达到150亿美金,200亿美金,和210亿美金,我们可以看到传统硬件的占比是较小的,软件与服务的占比越来越高。

2、传统存储系统与IPFS

数据爆炸式增长的同时,数据带来的收入将会越来越庞大。

但是目前大多数据基本上采用的是传统分布式技术方式进行存储,如HDFS、OSS、文件等模式。比如以中间控制节点为核心的HDFS技术为代表的分布式存储系统。

图片

NameNode维护文件系统树以及整个文件树内所有的文件和文件系统的元数据;控制客户端对为文件的访问;

图片

按照客户端的请求,先从NameNode获取目标文件的位置,然后从DataNode获取具体的数据,上图所示是以组织为中心的分布式文件系统,组织间相互不互通,数据无法有效共享,更加无法将不同行业的数据有效融合。

那么是否有一种能够打破不同组织结构间的数据互通壁垒,构建统一的内容访访问协议呢?答案是:去中心化分布式文件系统架构——以IPFS为代表的基于内容寻址的技术架构。

图片

那么IPFS与传统的分布式文件系统有什么特点?

•任何一个文件都会被赋予一个哈希值,类似于身份证号,从文件的内容中被计算得到;

•对重复的内容进行去重处理,保证存储文件冗余量的同时保证网络的轻便与快捷;

•通过节点寻址,即基于内容寻址;

IPFS和HDFS技术和应用场景上有什么区别呢?

(如下图所示)

基于内容寻址的技术架构很容在不同组织间的建立数据互通的通道,而不需要在基于传统分布式文件系统在互通时构建统一标准的元数据描述协议。而且IPFS社区已经为我们解决了自校验的文件系统。

即便IPFS比起传统的分布式文件系统有较大的好处,但是目前市场上绝大部分的大数据的存储场景中,HDFS技术架构依然被应用在绝大多数场景中。

相较于IPFS,HDFS在当前的互联网行业中依然被大量的应用,那为何我们还是需要IPFS呢?基于内容的寻址与目前的HTTP(S)有何区别?

(如下图所示)

同时,IPFS相较于HTTP(S),具有:

•去中心化;

•存储成本和传输成本远低于中心化系统;

•分布式节点网络,无单点故障;

•加密技术保护数据的完整性和安全性;

3、应用场景的尝试

点存做了一些应用场景上的尝试,主要是两方面。

应用场景一:数据存储/网络视频平台

传统的网络视频平台,构建中心化系统,要投入巨大的存储资源用来存储海量的视频资源。

图片

IPFS将彻底改变中心化存储的模式,采用去中心化的网络构建去中心化的存储能力存储视频资源,并可以保障目标资源一定离请求用户最近;这将大大降低用户端的网络存储和网络传输费用。

点存科技结合IPFS和Filecoin进行开发了大数据存储的应用,服务政企单位存储冷数据、基因测序等,提供成本更低、更安全的存储服务。

应用场景二:数据安全/可信计算

随着社会对个人隐私数据的保护的合规性要求越来越高,社会多个行业对数据融合的需求却越来越强,如金融、政务、公安等。

那么这种数据融合到底存在什么痛点?

图片

解决这些痛点存在哪些挑战?

•数据非常敏感,怎么保障数据安全?

•有没有可能不直接看原始数据优化运算数据所需的模型?

•数据处理过程是否透明?

面对这些挑战,我们要解决什么问题?

•确定参与方的地位,即通过非对称密码技术确定参与方的身份。

•确定数据资产的归属,即确权,资产所有权、使用权和利益分配权相分离。

•确定价值分配方式,即通过全网公式记账确定产权转移的合法性。

(下图图示:技术架构)

点存科技受邀出席区块链数字经济产业大会暨分布式存储论坛

此次演讲引发了现场观众的热烈反响,大家充分的了解到目前数据存储的需求与市场可提供服务的不平衡,以及分布式存储的广阔应用前景。

随着5G时代的到来,产生的数据量将会越来越多,存储市场的需求将迎来爆炸式增长!

在今年,我们已经见证了存储模块的爆发,我相信这仅仅是一个开始,未来我们还将迎来分布式存储的爆发,分布式存储一定是数据存储的未来!

图片
QR code