大数据流式计算(Primeton CEP)

5年前

普元CEP产品,是专门针对于大数据实时分析处理所提供的高性能计算服务方案之一。目前公司的CEP产品是基于Esper进行开发,它是一个Java开发的事件流处理和复杂事件处理引擎。该引擎基于事件驱动架构,通过事件不断进入引擎来推动引擎的实时计算。其独有的EPL语句可快速实现复杂的实时计算策略,并且有着高吞吐量以及低延迟的特点,特别适合大量数据的实时计算。

Primeton CEP


普元CEP产品,是专门针对于大数据实时分析处理所提供的高性能计算服务方案之一。目前公司的CEP产品是基于Esper进行开发,它是一个Java开发的事件流处理和复杂事件处理引擎。该引擎基于事件驱动架构,通过事件不断进入引擎来推动引擎的实时计算。其独有的EPL语句可快速实现复杂的实时计算策略,并且有着高吞吐量以及低延迟的特点,特别适合大量数据的实时计算。


其基本架构如下图:



解决问题的领域包括:

•金融风险控制

•商业活动监控

•系统运维

•网络入侵探测

•系统动态校验


Storm


Storm是一个分布式的、容错的实时计算系统。可被用于“连续计算”,对数据流做连续查询,在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”,以并行的方式运行昂贵的运算。Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,并且保证每个消息都会得到处理,而且它很快------在一个小集群中,每秒可以处理数以百万计的消息。


其基本架构如下图:



解决问题的领域包括:

•在线机器学习

•用户行为实时分析

•通信行业实时数据分析



参考文献:


流式分析计算技术概况

实时流数据处理技术与应用

Storm高可用性方案

COMMENTS

需要 后方可回复
如果没有账号可以 一个帐号。