大数据计算引擎Yita

发布时间:2019-07-20

简介

       中兴飞流自研的大数据计算引擎Yita从底层基础思想变革,使用异于冯诺依曼控制流架构的数据流体系,满足了海量实时高吞吐的业务需求。如果说计算从硬盘转移到内存,是计算引擎的一次演进,那么从控制流思想到数据流思想的转换,也是大数据计算引擎的伟大变革。Yita有望成为下一代大数据高速计算引擎的标杆。  

先进性

       Yita从运算机理的革新,不仅面对海量高压数据场景处理更加游刃有余,而且使用Lambda架构动态感知处理方式的优先级,可以进行流批混合计算,同时有机结合了机器学习能力、图计算能力和深度学习能力。
      Yita的先进性主要体现在计算性能,资源消耗,建设运维成本,参数调优等方面。在计算性能上,Yita比传统开源组件提升10倍的加速能力,高达10倍的吞吐量,低至1/10的时间延迟;在资源消耗上,内存使用低至传统组件的1/4;在建设运维成本上,建设成本仅为传统平台的1/2,维护开发成本仅为传统平台的2/3,在参数调优上,对比传统组件上千条调优参数,Yita仅需要十几条参数,降低开发门槛。  

    应用场景

           海量实时流处理型场景:Yita基于数据流的运行时系统,特有动态细粒度的任务调度及资源管理功能,最大化挖掘系统潜力。对于海量实时流应用场景,不仅延迟更低,而且提供高达10余倍的吞吐量。在高流量压力下,Yita的计算延迟无显著激增,延迟低至Storm和Spark的10%,使得用户在应对突发计算峰值时更加游刃有余。

           高内存压力计算型场景:在处理同等规模的数据时,Yita计算引擎的内存使用量低至Spark的1/4,在同等集群规模的情况下,Yita能高效处理更大量的数据。Yita有着天然的流处理模式,内存资源中仅有计算数据,无缓存数据,对内存资源的利用率达到最大化,所以在客户硬件规模有限,又要进行多轮迭代的图计算时,此种优势能发挥极大的作用。

           基于深度学习的智能视频分析场景:中兴飞流自主研发的智能视频分析系统,依托自主研发的Yita平台实时性高、计算效率高的优势以及Yita AI框架中丰富的深度学习算法和视频基础能力的封装,可以实现分布式视频分析系统的高准确率、高可靠性和高扩张性,在性能、成本方面具有明显优势。

    成果案例

      中兴飞流的基于Yita的大数据平台成功的应用于江苏电信的DPI分析业务,相比于江苏电信原有的Storm平台,数据处理速度提升了7倍,硬件成本降低了3/4,解决了高峰期30%~70%的数据丢失问题。

          智能视频分析系统成功应用于山西高速公路管理局,实现了对高速公路的智能监控,能够快速识别高速及隧道的异常事件并实时触发告警系统,准确率高达95%以上。  

      大数据系统计算技术国家工程实验室

      Copyright © BDSC