wwwxpj9978|欢迎您

DataCanvas在移动互联网行业的应用之二



  • 项目背景:

    在互联网/移动互联网、物联网等应用场景中,个性化服务、用户体验提升、智能分析、事中决策等复杂的业务需求对大数据处理技术提出了更高的要求。为满足这些需求,大数据处理系统必须在毫秒级甚至微秒级的时间内返回处理结果。这样的高并发、大数据、高实时应用需求给大数据处理系统提出了严峻的挑战。因此,构建具有低迟滞(在1min内甄别突发风险)、高实时(100ms内返回处理结果)、长周期(可处理长达10年以上的历史周期数据)以及支持高复杂度规则(如方差、标准差、K阶中心矩、最大连续统计等)等特性的流式大数据系统,已成为当前互联网企业获取竞争优势的重要手段和途径。

  • 解决方案:

    wwwxpj9978大数据技术为XX公司提供的流式大数据实时处理平台建设方案,通过其提供的海量数据集的实时处理、规则匹配、数据保序、数据追补等特性可以有效支撑公司的各种实时、准实时业务场景。该方案主要包括如下几个子系统的建设:

    • 在线实时流处理系统:该子系统以核心交易数据为载体,以流计算框架为核心,提供报文预处理、在线指标计算、规则处理和输出联动等功能。
    • 批量报文处理系统:该子系统以历史报文和核心报文为载体,以spark为计算框架提供指标分析、交易分析、预警分析和报文分析等功能。
    • 历史库管理子系统:该子系统基于Spark和ElasticSearch提供报文、日志、交易、指标、预警等数据的分析和检索功能。
    • 大数据基础平台:该平台是实现数据的汇聚、存储和计算的基础架构。
    • 数据交换平台:该平台主要完成数据文件的预加工以及各系统间的数据流转和交互。
    • 数据应用分析平台:该平台基于异常检测、深度学习等数据分析方法实现对运营数据的分析和挖掘能力。
    • 调度平台:该平台主要实现调度和监控功能,完成系统的批量任务调度与监控。

  • 客户价值:

    通过构建流式大数据实时处理平台,可以为客户创造如下价值:

    • 复杂指标的增量计算:支持多种时间窗口下计数、求和、平均、最大、最小、方差、标准差、K阶中心矩、递增/递减、最大连续递增/递减、唯一性判别、采集、过滤等基本指标和复杂指标的增量计算,为复杂业务逻辑的实现提供保障。
    • 基于分布式内存的并行计算:提供一种细粒度的基于进度实时感知的融合存储策略,优化和提升融合系统的内存使用效率。
    • 多尺度时间窗口漂移的动态数据处理:支持多种时间窗口尺度(数秒到数十年)、多种窗口漂移方式(数据驱动、系统时钟驱动)的动态数据实时处理方法,以快速响应来自业务系统的即席查询请求。
    • 高可用、高可扩展的内存计算:基于内存介质大大提升数据分析及处理能力,通过分布式多副本一致性协议以及自平衡的智能分区算法,进一步提升流处理集群的可用性以及可扩展性。
    • 复杂事件处理(ComplexEventProcessing):复杂事件处理,可以处理一组时序上的复杂模式(Pattern)。例如,”30分钟内在境内授权次数在2次,且为无密消费,mcc代码为0000,且累计交易金额大于或等于人民币1000元”。这种事件序列,就可以基于CEP的模式来定义、处理。
    • 基于机器学习、深度学习的规则处理:规则处理平台,可以将处理逻辑扩展到更复杂的处理逻辑,例如基于机器学习算法、深度学习模型的决策逻辑。

2014-2019 © baitongshunda.com 版权所有 京ICP备13015186号-2 京公安网备11010802022944