5G时代的流数据处理系统及主流系统的技术分析

5G时代不可避免的将要到来，新的时代带动的生产方式的改变将重塑生产关系和社会关系, 从而引发产业链的变革。今天的世界是一个中心化的世界，海量数据都在一个中心的云上进行处理。例如谷歌的数据中心是一个全球网站的备份中心，用户每次的搜索都由谷歌的数据系统 bigtable, dremel, spanner等技术进行集中化的大规模处理，而用户终端只是一个presentation of 处理的结果。但随着5G技术的逐步实现全覆盖，这将会改变当今的中心化格局。无人车群、无人机群、智能电器、智能穿戴设备、机器人、工业设备等等通过5G连接的计算单元将组成一个去中心化的数据网络。这个强大的去中心化数据网络将引导数据的处理从中心化的云计算导向边缘计算。

而现有云计算时代的数据处理系统(Hadoop, Spark, Storm, Flink等)将变得无法应用于这个去中心化的数据网络，主要由以下几个原因:

系统构架

云计算时代的大数据处理系统皆采用主从构架，而去中心化网络没有一个中心节点的概念。

操作系统

云计算时代的大数据处理系统是设计在常见的服务器操作系统之上如 Ubuntu, CentOS, macOS, Windows等，而边缘设备常采用 Andriod, Real Time OS (e.g. RTEMS), 嵌入式(e.g. Alpine Linux)等操作系统

内存要求

云计算时代的大数据处理系统通常基于JVM运行(JVM最大的痛点是其分享式内存的管理)所以需要至少４GB的内存，正常运作则需要8GB内存，而边缘设备通常只有 几百MB，或几十MB的内存

异构硬件

云计算时代的大数据处理系统的算力来至于CPU, 而边缘设备则采用异构的算力芯片，如FPGA, GPU, 人工智能芯片等

引发这场变革的新技术很难从在位的头部企业产生5g技术分析，因为这将动摇其在位的根基，这也是逆袭在位企业的技术点。在这个契机下，下一代的数据处理系统的产生势在必行。

下面将对主流的数据处理系统内部构架和采用的数据处理技术进行独家的深入解剖，其中最让人mind-blowing的是Google MillWheel在 tracking watermark时候的Streaming with Retractions技术，当然这还不是最终的优化，因为Google Dataflow还没有引入智能技术，如强化学习和在线学习在watermark的寻找边界和规划上会产生更动态的策略。

待续。。。

（编辑：厦门网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!