当前位置 :  首页>> 科研成果>> 大数据计算引擎Yita

大数据计算引擎Yita

所属中心:大数据计算引擎与应用研究中心

|  简介

  中兴飞流自研的大数据计算引擎Yita从底层基础思想变革,使用异于冯诺依曼控制流架构的数据流体系,满足了海量实时高吞吐的业务需求。如果说计算从硬盘转移到内存,是计算引擎的一次演进,那么从控制流思想到数据流思想的转换,也是大数据计算引擎的伟大变革。Yita有望成为下一代大数据高速计算引擎的标杆。

|  先进性

  Yita从运算机理的革新,不仅面对海量高压数据场景处理更加游刃有余,而且使用Lambda架构动态感知处理方式的优先级,可以进行流批混合计算,同时有机结合了机器学习能力、图计算能力和深度学习能力。
  Yita的先进性主要体现在计算性能,资源消耗,建设运维成本,参数调优等方面。在计算性能上,Yita比传统开源组件提升10倍的加速能力,高达10倍的吞吐量,低至1/10的时间延迟;在资源消耗上,内存使用低至传统组件的1/4;在建设运维成本上,建设成本仅为传统平台的1/2,维护开发成本仅为传统平台的2/3,在参数调优上,对比传统组件上千条调优参数,Yita仅需要十几条参数,降低开发门槛。

|  应用场景

  • 海量实时流处理型场景:Yita基于数据流的运行时系统,特有动态细粒度的任务调度及资源管理功能,最大化挖掘系统潜力。对于海量实时流应用场景,不仅延迟更低,而且提供高达10余倍的吞吐量。在高流量压力下,Yita的计算延迟无显著激增,延迟低至Storm和Spark的10%,使得用户在应对突发计算峰值时更加游刃有余。
  • 高内存压力计算型场景:在处理同等规模的数据时,Yita计算引擎的内存使用量低至Spark的1/4,在同等集群规模的情况下,Yita能高效处理更大量的数据。Yita有着天然的流处理模式,内存资源中仅有计算数据,无缓存数据,对内存资源的利用率达到最大化,所以在客户硬件规模有限,又要进行多轮迭代的图计算时,此种优势能发挥极大的作用。
  • 基于深度学习的智能视频分析场景:中兴飞流自主研发的智能视频分析系统,依托自主研发的Yita平台实时性高、计算效率高的优势以及Yita AI框架中丰富的深度学习算法和视频基础能力的封装,可以实现分布式视频分析系统的高准确率、高可靠性和高扩张性,在性能、成本方面具有明显优势。

|  成果案例

  中兴飞流的基于Yita的大数据平台成功的应用于江苏电信的DPI分析业务,相比于江苏电信原有的Storm平台,数据处理速度提升了7倍,硬件成本降低了3/4,解决了高峰期30%~70%的数据丢失问题。
  智能视频分析系统成功应用于山西高速公路管理局,实现了对高速公路的智能监控,能够快速识别高速及隧道的异常事件并实时触发告警系统,准确率高达95%以上。

叶彤 Author

发表评论

电子邮件地址不会被公开。 必填项已用*标注

浏览次数:237