高速宽带已经非常快,不差钱的亚马逊买带宽不就行了,造卡车运数据干嘛用?抱着精明的企业家一定不会做赔本生意的想法,笔者收集的了一些数据,也做了一些测算。发现,这个世界真的有太多我们意想不到的东西。
背景介绍:在拉斯维加斯re:invent年度技术大会上, 亚马逊云计算(以下称AWS)将一辆45英尺长的卡车开到了舞台上。这是一辆专门为EB级数据传输而定制的AWS SnowMobile数据传输车。
首先是数据。还记得买第一个4GB优盘时那个高兴劲儿,觉得它能装下整个世界。直到后来才发现,人家某公司一张图片就16GB,我这U盘,能装四分之一……那么,现在数据量究竟有多大?简单来说,就是你想象不到的那么大!
在进入信息时代后,人类每天浏览的数据量不断增加,从人联网到物联网,数据呈指数级上升,进而产生的数据量空前庞大。据统计,每位互联网用户日平均流量约1.5GB,而在物联网时代,一辆无人驾驶汽车每天产生4TB的数据量,一家智能制造工厂每天将产生1PB的数据量,而一家云视频供应商每日数量可达750PB。
如果你还没有概念,笔者可以跟大家打个比方:1EB=1,024PB=1,048,576TB=1,073,741,824GB≈2.5 亿张 DVD≈ 1万亿册 400 页厚的书……
科普TIME:1EB=1,024PB=1,048,576TB=1,073,741,824GB。即,10亿GB=1EB;7亿5千万GB=750PB。除了数据量之庞大超出想象外,第二个没想到的是:现在的网速太慢了,我们还在互联网初期……
虽然如今移动网络从2G过渡到4G,家庭网络从几兆发展到几十兆甚至百兆,企业专线网速甚至会更快,但是在PB和EB级数据面前,光纤还是“龟速”。
跟大家讲一个真实的故事。有一天,一个大学同学让我给她传外教萨沙的资料。因为有很多视频,所以两年的资料将近100GB,我们用网络传输了不少于5次,都没有成功,后来我借了一块移动硬盘,腿儿着给她送了过去……没错,相比光纤,还是跑步来的靠谱。而接下来的测算,将告诉我们,相比腿儿着来,快递小哥更专业,相比快递小哥, 亚马逊造卡车运数据还真是个聪明的选择。
PK光纤?快递小哥笑了
结果:如果在100M带宽的网速下,当数据超过一定的大小时,通过网络传输往往不如直接快递硬盘来的方便。例如,当你数据大于35GB的时候,在北京市内通过快递的则较快速,如果大于100G的数据,那么只要是在国内,快递都要比网络传输的要快。
论证:以北京联通为例,百兆光纤家庭用户由于受到上行速率限制,100兆光纤下行速率100Mbps,上行速率4Mbps。即点对点理论传输数值为0.5m/s,如果加上线路上的一些损耗,平均0.4m/s的传输速度差不多。以一块1TB的普通硬盘为例,一块硬盘相当于1024M×1024G=1048576M数据。如果一块硬盘通过网络传输那么就需要2621440秒,换算成分钟则为43690分钟≈728小时≈30.3天的时间。
30.3天的时间才能够传送一块普通硬盘的内容,这还是在网络保持通畅,不发生任何意外的情况下。如果你是在北京市里,即使你是从南三环到北五环,相信一天的时间,快递小哥们也能够将这块装有1TB数据的硬盘放在你的面前。而如果采用网络传输一天(24小时)也大约只能够传输33.75GB左右的数据。即使你不在北京市里,哪怕在遥远的广州,如今的快递行业运输的非常快,两天或三天的时间也是足够了。
从上表中我们可以看到规律,随着传输的数据越来越大,通过网络传输的时间越来越多,而快递运输的时间则甚至没有增加。如此,我们可以推测出一个结论:越大的数据越应该脱离网络进行物理搬运。所以,是不是当遇到1EB的数据传输,重卡应该会超越快递?
用卡车运数据 我们是认真的
结论:前面的论证说明,当数据达到TB级时,快递运输明显优于网络传输;但是考虑到暴力快递等因素,快递运输硬盘存在一些安全隐患。尤其在面对EB量级的数据时,造辆卡车运数据,真心不是开玩笑。也就是说,在当前的技术下,1EB的数据通过网络传输需要27年才能完成,而十辆45英尺长(约14米)的重卡集装箱,每辆100PB装满需要12天,1EB数据可以在6个月内完成传输。
论证:不同于家庭网络,大量级的数据往往出现在企业之中,体现在物与物的