Hadoop成为主流后，数据库产业格局将如何变换？

admin

这可能是一个挑事儿的话题，不过很值得一说。因为物联网时代要来，必定是多变量齐发，否则一个时代的革新不可能发生。目前我们已知的变量在网络层面有Wifi直连、Zigbee标准的统一、NB-IOT的出现和5G的商用等；在IT的基础设施层面已经有了云计算，同时在深IT层面的数据服务也在发生着变化，比如Hadoop的出现。那么商业软件Oracle遇到开源的Hadoop，是否面临消亡呢？看唯一上榜“Gartner 2016年数据仓库和数据管理解决方案魔力象限”的中国企业——星环信息科技（上海）有限公司创始人兼CEO孙元浩怎么看。

C1：云计算、大数据和容器的恩怨纠葛

联动原素：我们看到中国的云计算可能经历了3个发展阶段，在过去的七八年中。第一个阶段的主流技术路径叫广域化资源池，大概在2008-2009这两年间，出现的时间非常短暂；然后就是虚拟化技术主导阶段，应该是从2010年Vmware进入中国后，一直持续到2015年；之后就是2015年开始盛行的容器技术。此前有专家认为，2013年开始盛行的大数据技术更像早期产业理解的云计算技术，而超融合（容器）的出现，实现了虚拟化和大数据的统一，才是真正云计算的开始。对此，您怎么看？
孙元浩：我只能谈谈从我的角度看到的情况。我认为现在公有云起来了，公有云主要是IAAS层提供底层资源服务的，像Ucloud，七牛云、阿里云、腾讯云，这个市场在美国也慢慢变成只有几家了，AWS、Google等。我觉得公有云跟大数据是两种不同的使用模式。
云计算是纯IT层面的，它不是业务驱动的。IT是帮用户解决IT运维的问题，弹性计算的问题，应该说节省成本是它的第一要务。
大数据是应用驱动，业务驱动的。比如说我们的电信运营商，一个省级分公司就有1.4亿的用户，数据量太大了必须处理。再比如说现在物联网的大数据，它的传感器、它的终端设备在不断地写入数据，就必须要一个技术来采集和处理这些数据。同时，大量的实时数据处理需求，和非结构化的数据处理需求，驱动着数据管理这件事要有新技术来支持。最近两年，我们看到大数据的应用范围更广泛了，因为它取代了原来的关系数据库。
也就是说，与云计算相比，大数据的不同之处在于，它是帮助用户创造价值的。因为用户是可以用这个技术开发新应用的。比如在银行里，大数据可以帮它做精准营销、做获客，或者是降低坏帐率，总之是帮助银行创造业务价值的。
从发展来看，我认为大数据的渗透会更广泛，然后它的应用场景会更多。那云这块，我的看法是:私有云是为了解决IT问题，公有云是为了降低成本。
现在有了容器以后，基本上可以把大数据的组件全部容器化。这个服务就像一个集装箱一样，可以在硬件上面到处迁移，可以非常弹性的扩容和收缩，理论上它可以在虚拟机上达到类似的效果。只不过以前的虚拟化技术，是假设你的CPU利用率完全很低的，你的负载度很轻，所以才要把它虚拟化掉，所以造成大数据在上面运行以后，IO损失50%，稳定性会有很大地问题。
现在容器有一个好处，首先它用CPU相当于虚拟化，内存做了隔离，同时性能损失小于1%，磁盘IO的性能损失也许是1%。这时候再上面运行大数据，性能损失几乎没有，稳定性也很好，同时也达到了像虚拟化这样的弹性处理。因此，我们认为现在借助容器化技术，就可以真正地把云计算和大数据技术融合起来。
基于容器技术，我们也开发了一个叫TOS的产品。但大数据是一个分布式集群，所以单个容器只能做一些简单的应用。要支持大数据的话，要把不同角色的容器组成一个集群，要让容器有一个分布式集群管理系统。将多个容器融合起来来分配资源。

联动原素：容器技术的优势都体现在哪些地方？

孙元浩：我现在感觉下来它有三个优势，当然是做了集群管理以后。
第一个是应用标准化。因为大数据有几十个供应商，有成百上千个应用，然后每种应用都有很多种版本，哪怕动个中间件，就有可能加大IT在部署、运维系统时的困难。用了容器以后，因为都是标准件，随便到哪里都可以方便运行，这样一下子就简化了用户的部署压力。
第二个是运维自动化。首先它可以对容器的运行情况进行实时监控，同时一旦发现问题，可以进行自动迁移。此外，可以实现一键扩容，这个尤其对互联网企业来讲，尤为重要。像我们Hadoop集群马上要推出的TS1.2版本，是完全进行滚动升级的，就是你的底层是不停的。
第三个是多租户。因为大的集团、企业，IT部门要服务多个业务部门。传统的可能因为一个业务部门IT资源需求的增加，让整个IT运行瘫痪。现在通过容器技术，就可以将业务部门的资源进行自然隔离，任何一个部门都没法超越自己的资源限度，并且哪怕一个业务部门出现问题，其它部门的业务也不会受到影响。同时数据还可以全部共享，就是说大家可以共享一个分布式文件系统，这其实解决了很多大型企业的刚需
C2：Transwarp会否是取代Orale的新秀之一
联动原素：能谈谈星环（Transwarp）的产品线吗？
孙元浩：大数据其实是分成几层的，底层是基础架构层，主要是数据库；第二层是工具层，包括统计、挖掘、机器学习、可视化各种工具、标准化等；第三层是应用层，就与各行各业的业务需求密切相关了。星环做的是属于基础架构层，现在也做了一些工具和应用。整体上，我们有2条产品线：
第一个是Transwarp Data Hub(简称TDH),是目前国内落地案例最多的一站式Hadoop大数据平台，性能比开源Hadoop2还快10倍。通过内存计算、高效索引、执行优化和高度容错等技术，TDH一个平台即能处理10GB到100PB的数据，可以完全取代MPP架构和混合架构。
第二个是Transwarp Oprating System(简称TOS)，是为大数据应用量身定做的云操作系统。基于Doker和Kubernetes,TOS可支持一键部署TDH,基于优先级的抢占资源调度和细粒度资源分配，实现大数据与云的完美融合。
从大数据应用角度来看，一块是属于成熟的传统数据库市场；第二块是数据挖掘、信息决策的市场，这一块基本上是泛行业、全行业的；第三块属于数据的实时处理市场。这块主要是面向物联网的应用，应该说现在需求是比较旺盛的。
当然最旺盛的还是传统的数据库市场，要么提高效率，要么降低成本。现在在这个层面上，星环的产品已经在挑战这些传统行业数据库的地位了。现在很多传统数据库用户的很多复杂应用都开始向我们的产品转移，比如数据仓库业务，CRM业务，审计业务、风控业务等。这块市场我们称之为替代市场，也就是说，其实我们的目标是取代传统的数据库产品。
这其实是星环的主攻市场。因为我们的产品已经被证实是实用的，而且这块市场很大。过去全都是国外产品，而且价格很高。当然开源的Hadoop现在基本上还没有达到这一点，所以我们采用了Spark架构，目前是所有SQL on Hadoop中完整度最高的。

联动原素：传统数据库市场基本是Oracle为王。是不是说Hadoop出现后，Oracle其实在一点点失去自己的市场？不过Oracle好像也推出了所谓的并行数据库。

孙元浩：Oracle推出的叫并行数据库，应该说在扩展性方面还有较大提升空间。比如说到了8个点后，数据再增加，性能就没法增加了，而到了16个点以后，性能就下降了。也就是说，它能够处理一定数据量的问题，但是在做大批量数据处理的时候，数据仓库的性能明显不足。当然，它今天依然是数据仓库层面的领导者。但是它的单表超过40个TB时压力就很大了。我们曾经为客户做过一个测试，当数据量达到几十个T的时候，我们数据仓库的性能已经是Oracle的两倍了。在100个TB以上的量级,我们的产品会有更大地优势。
总体来讲，现在Hadoop已经成为大数据的行业标准了。未来会形成几个寡头，但是不会有太多。比如在数据仓库层面，现在美国也就3家在做，其他人也不会再投入做这个事情，因为投入成本比较高，而且重新建系统也比较困难。所以这个未来的局面就是它变成了一个金字塔型的，由少量做架构，中间一层有公司做工具，然后就是应用领域。所以目前在市场上，我们的竞争对手存在于两个层面，一个是传统的数据库企业，另一个是新兴的就是刚刚所说的美国的3家企业。

声明:本文转载自网络。版权归原作者所有,如有侵权请联系删除。