深度挖掘，大数据不是事儿

技术型的高科技创业公司都喜欢闪闪发光的新东西，而“大数据”跟3年前火热程度相比反而有些凄惨。虽然Hadoop创建于2006年，在“大数据”的概念兴起到达白热化是在2011年至2014年期间，当时在媒体和行业面前，大数据就是“黑金石油”。但是现在有了某种高原感。2015年数据世界中时尚年轻人喜欢转移到AI的相关概念，他们口味变成：机器智能，深度学习等。

除了不可避免的炒作周期，我们第四次年度“大数据风水图”(后文)，回顾过去一年发生的事情，思考这个行业的未来机会。

企业级技术 = 艰苦的工作

其实大数据有趣的是它不是直接可以炒作的东西。

能够获得广泛兴趣的产品和服务往往是那些人们可以触摸和感受到的，比如：移动应用，社交网络，可穿戴设备，虚拟现实等。

但大数据，从根本上说是“管道”。当然，大数据支持许多消费者或企业用户体验，但其核心是企业的技术：数据库，分析等：而这后面几乎没人能看到东西运行。

而且如果大家真正工作过的都知道，在企业中改造新技术并不大可能在一夜之间发生。

早年的大数据是在大型互联网公司中(特别是谷歌，雅虎，Facebook，Twitter，LinkedIn等)，它们重度使用和推动大数据技术。这些公司突然面临着前所未有的数据量，没有以前的基础设施，并能招到一些最好的工程师，所以他们基本上是从零开始搭建他们所需要的技术。开源的风气迅速蔓延，大量的新技术与更广阔的世界共享。随着时间推移，其中一些工程师离开了大型网络公司，开始自己的大数据初创公司。其他的“数字原生”的公司，其中包括许多独角兽，开始面临跟大型互联网公司同样需求，无论有没有基础设施，它们都是这些大数据技术的早期采用者。而早期的成功导致更多的创业和风险投资。

现在一晃几年了，我们现在是有大得多而棘手的机会：数据技术通过更广泛从中型企业到非常大的跨国公司。不同的是“数字原生”的公司，不必从头开始做。他们也有很多损失：在绝大多数的公司，现有的技术基础设施“够用”。这些组织也明白，宜早不宜迟需要进化，但他们不会一夜之间淘汰并更换关键任务的系统。任何发展都需要过程，预算，项目管理，导航，部门部署，全面的安全审计等。大型企业会小心谨慎地让年轻的创业公司处理他们的基础设施的关键部分。而且，一些(大多数?)企业家压根不想把他们的数据迁移到云中，至少不是公有云。

大数据分析的基本流程图

从另一个关键点大家就明白了：大数据的成功是不是实现一小片技术(如Hadoop的或其他任何东西)，而是需要放在一起的技术，人员，流程的流水线。你需要采集数据，存储数据，清理数据，查询数据，分析数据，可视化数据。这将由产品来完成，有些由人力来完成。一切都需要无缝集成。归根结底，对于这一切工作，整个公司，从高级管理人员开始，需要致力于建立一个数据驱动的文化，大数据不是小事，而是全局的事。

换句话说：这是大量艰苦的工作。

部署阶段

以上解释了为什么几年后，虽然很多高调的创业公司上线也拿到引人注目的风险投资，但只是到达大数据部署和早期成熟阶段。

更有远见的大公司(称他们为“尝鲜者”在传统的技术采用周期)，在2011 - 2013年开始早期实验大数据技术，推出Hadoop系统，或尝试单点解决方案。他们招聘了形形色色的人，可能工作头衔以前不存在(如“数据科学家”或“首席数据官”)。他们通过各种努力，包括在一个中央储存库或“数据湖”倾倒所有的数据，有时希望魔术随之而来(通常没有)。他们逐步建立内部竞争力，与不同厂商尝试，部署到线上，讨论在企业范围内实施推广。在许多情况下，他们不知道下一个重要的拐点在哪里，经过几年建设大数据基础架构，从他们公司业务用户的角度来看，也没有那么多东西去显示它。但很多吃力不讨好的工作已经完成，而部署在核心架构之上的应用程序又要开始做了。

下一组的大公司(称他们为“早期大众”在传统的技术采用周期)一直呆在场边，还在迷惑的望着这整个大数据这玩意。直到最近，他们希望大供应商(例如IBM)提供一个一站式的解决方案，但它们知道不会很快出现。他们看大数据全局图很恐怖，就真的想知道是否要跟那些经常发音相同，也就凑齐解决方案的创业公司一起做。他们试图弄清楚他们是否应该按顺序并逐步工作，首先构建基础设施，然后再分析应用层，或在同一时间做所有的，还是等到更容易做的东西出现。

生态系统正在走向成熟

同时，创业公司/供应商方面，大数据公司整体第一波(那些成立于2009年至2013)现在已经融资多轮，扩大他们的规模，积累了早期部署的成功与失败教训，也提供更成熟，久经考验的产品。现在有少数是上市公司(包括HortonWorks和New Relic 它们的IPO在2014年12月)，而其他(Cloudera，MongoDB的，等等)都融了数亿美元。

VC投资仍然充满活力，2016年前几个星期看到一些巨额融资的晚期大数据初创公司：DataDog(9400万)，BloomReach(5600万)，Qubole(3000万)， PlaceIQ( 2500万)这些大数据初创公司在2015年收到的$ 66.4亿创业投资，占高科技投资总额的11%。

并购活动仍然不高(35次)。

随创业活动和资金的持续涌入，有些不错的资本退出，日益活跃的高科技巨头(亚马逊，谷歌和IBM)，公司数量不断增加，这里就是2016年大数据全景图：

2016年2月12日修订

很显然这里密密麻麻很多公司，从基本走势方面，动态的(创新，推出新的产品和公司)已逐渐从左向右移动，从基础设施层(开发人员/工程师)到分析层(数据科学家和分析师的世界)到应用层(商业用户和消费者)，其中“大数据的本地应用程序”已经迅速崛起- 这是我们预计的格局。

大数据基础架构：创新仍然有很多

正是因为谷歌十年前的MapReduce和BigTable的论文，Doug Cutting， Mike Cafarella开发 创建Hadoop的，所以大数据的基础架构层成熟了，也解决了一些关键问题。

而基础设施领域的不断创新蓬勃发展还是通过大量的开源活动。

Spark带着Hadoop飞

（编辑：厦门网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!