本文摘要：仅次于 1500 台机器的集群，也经常因为一些bug遭到客户的吐槽。当时，阿里巴巴的很多数据处理的任务，还是创建在开源软件 Hadoop 的系统之上的，这个集群大约有 3000-4000 台机器。 【阿里巴巴集团技术委员会主席王坚】但是，Hadoop 无论从安全性还是运营逻辑上，都不是为公共云计算设计的。Hadoop 的存储和计算出来是一体的，也就是说，如果你必须十台机器的存储，但不必须十台机器的计算能力，你依然必须十台机器的集群，这是一种浪费。

仅次于 1500 台机器的集群，也经常因为一些bug遭到客户的吐槽。当时，阿里巴巴的很多数据处理的任务，还是创建在开源软件 Hadoop 的系统之上的，这个集群大约有 3000-4000 台机器。

【阿里巴巴集团技术委员会主席王坚】但是，Hadoop 无论从安全性还是运营逻辑上，都不是为公共云计算设计的。Hadoop 的存储和计算出来是一体的，也就是说，如果你必须十台机器的存储，但不必须十台机器的计算能力，你依然必须十台机器的集群，这是一种浪费。

虽然可以通过其他方法解决问题这样的问题，但是运营效率不会大大降低。Hadoop 的账号体系，不是面向互联网租户的账号体系，更好的是面临本地管理员。这就要求了它无法像如今的阿里云一样出售给互联网级别的用户。

另外，Hadoop 高度的灵活性，容许应用层的用户必要采访底层的文件，这不存在极大的安全隐患，也不有可能必要以多租户分享的形式跑完在公有云上。唐洪告诉他，以上的一切弊端，都很难通过修修补补的方式，在 Hadoop 上回避。而更加关键的问题在于，阿里巴巴那时业务的增长速度，早已无穷大 Hadoop 集群的计算能力无限大。一旦超过瓶颈，就必需不得不减少业务水平，或者主动容许业务规模。

在此之前，阿里巴巴曾多次展开过尝试，用飞天来替换 Hadoop，但都以告终而收场。彼时的阿里巴巴 CTO 王坚对所有阿里的童鞋说道，这个任务还是应当让飞天来分担，因为在他心里有一个计划，那就是把飞天制成 5000 台服务器的集群。

这个当时让很多同事嘲笑的可怕点子，就是“5K”。从1500到5000，恨某种程度是再买3500台机器这么非常简单。唐洪说道：摩尔定律预见了计算机硬件性能随时间的指数快速增长。

从1500台杨家机器到5000台新机器，计算力减少了8倍到10倍。在短短将近半年时间内构建如此大跨度的软件能力的升级，对任何一个熟谙软件工程规律的人来说，都是不有可能的挑战。但是，飞天知道做了。世界上负担得起五千台服务器的公司不少，但是真得有自己研发的技术调度这么大规模集群的，一只手都数得过来。

为什么阿里云一定要建设 5000 台机器的集群呢？唐洪告诉他，对于阿里巴巴来说，很多计算出来任务是没办法报废的，必需在一个计算出来集群里已完成。如此大量彼此联系的数据，就必须这么多机器处在一个集群中协同分析。就在2012年底的总裁会上，还有人明确提出要新的依赖 Hadoop。

但最后总裁们要求两条路一起回头，既要 Hadoop 也要飞天。但是在我看来，这种决策让技术力量分流了。

只不过，当时我根据团队内部的模拟实验结果，心里很确切超过 5K早已不是架构设计的问题，而是一个产品细节抛光的过程了。但其他部门的同事有可能并不这么指出。这样两条路一起回头就大大分流了技术力量，所以5K需要早于一天做到出来，就能早于一天落幕争辩。

他说道。2013年8月15日，是唐洪脱口而出的日期。

这一天，事实宣判了王坚、唐洪和飞天的辨别是对的。5K 集群上线，并且是同时上线了两个 5K集群。在阿里巴巴云栖小镇里，竖立着一尊 5K 的雕像。

这尊雕像比想象中要小，却丝毫无法挡住它向周围弥漫着理想的质感，很多路经的人都会驻足观看。【坐落于在阿里云浅海小镇的飞天 5K 雕像】唐洪告诉他(公众号：)，后来的事实证明，Hadoop 集群在打破4000台机器集群之后，不会遇上不可逾越的瓶颈。如果当时阿里巴巴自由选择倚赖 Hadoop 系统，如此低的业务快速增长，将不会遇上计算出来性能的“断崖”，后果无法设想。

就像当年的波音的747飞机、Intel的x86芯片、SpaceX 的火箭一样，所有的最出色建构，都来自于孤注一掷。唐洪如此感叹。“不吃自己的狗粮”我忘记2012年或者2013年我们展开校招的时候，清华北大的学生来试镜的非常少，而且很多同学即使获得了我们的Offer，他们的第一自由选择也不会是百度和腾讯。

唐洪把这个哀伤的事实当成一个段子讲给。在今年的阿里星试镜上，唐洪回答同学问为什么自由选择来阿里云，获得的问是“阿里云的云计算技术领先”。他非常简单地形容了一下现在的飞天：单集群万台，全球总共几十万台服务器，每天数据平台处置的数据多达 1PB。不过他实在，这些都无法解释飞天的强劲，确实有说服力的，是阿里巴巴在“不吃自己的狗粮”，也就是还包括淘宝天猫在内的部分最重要业务，还包括瞬时所发计算出来量难以置信的“双十一”，都由飞天来负责管理云计算调度。

也就是说，阿里巴巴自己也在用于给其他客户获取的完全相同的云服务，没任何特权和区别。“我坚信国内某些竞争者们自己的服务认同没跑完在自家获取的云上。

”他说道。让阿里云引以为傲的一个数据是：在中国 37% 的网站都创建在阿里云之上。

我们的预计是，未来全世界有可能只有几台“计算机”，他们都是由超大规模计算出来集群构成的。这个时候，计算力就不会被完全地和平。如果唐洪的预期成真为，那时有关“腹纸盒石子”的计算出来，将不会得出结论比现在更加相似真凶的解法。

或许我们总有一天去找将近准确的答案，但是毋庸置疑，机器不免向准确答案迫近一小步，都是人的光荣。向世界要一个答案每年，阿里云都会在大本营杭州举办云栖大会，发布阿里云和飞天的最新进展。在今年的大会上，马云公开发表了热情洋溢的演说。

原本的机器生产将不会变为人工智能，原本机器不吃的是电，未来机器不吃的是数据。马云如是说。可见，机器学习和人工智能，正是飞天下一步棋。对于人来说，岔路后面的岔路，自由选择背后的自由选择，让我们感觉到似乎和不安。

为了对付命运的世间，我们发明者了云计算，我们发明者了人工智能。无论对于唐洪还是飞天来说，这些无数运转的芯片，无数网络中川流不息的电流，都只有一个目的：向世界要一个答案。

原创文章，予以许可禁令刊登。下文闻刊登须知。

本文来源：九州体育-www.hebeiweilun.com