连接安全与变革
股票代码:831194

释放数据价值

大数据案例

某银行 卡联合组织大数据平台

行业痛点

  • 用户群体庞大,可能涉 及全球多个地域与国家的几十亿人口;

  • 需要从 数据中进行价值挖掘;

  • 大量的消费,转账,投资等操作,由此带 来海量的交易数据;

  • 数据要 求进行加密传输,符合相 关监管部门的安全审计要求;

  • 需要与 众多内部和第三方接口对接,稳定性 和实时性要求很高;

  • 同时归 档数据要求存放周期很长,达到15-20年,需要巨大的存储空间。

  • 数据需 要达到近实时处理;

解决方案

针对金融行业的特点,可以使 用以下方案进行满足:
  • 使用Lambda架构,同时满 足近实时查询与归档处理;
  • 使用二 次开发来创建用户自定义视图;
  • 使用Kafka+Spark Streaming来实现 近实时数据查询;
  • 使用多 种建模算法进行数据分析和挖掘;
  • 使用HDFS+HBase的方式 来满足归档数据存放需要,
    可以无限平稳扩展。
  • 不仅使用Kerberos,Sentry安全机制,同时使用Cloudera Navigator进行多层数据加密。

方案架构

某银行 卡联合组织将其70%以上的 业务数据全部对接大数据平台之中,到目前为止,集群已经包含了超过380个数据节点,存放超5PB的数据量,同时每月新增80TB的报文数据以及超过5TB的交易数据。每日海量的交易数据,业务数据,持卡人 信息以及生活服务数据通过数据网管导入HDFS中,一部分数据还会存入HBase中,另一部分数据通过Spark Streaming将数据预处理,然后写入内存数据库,如Redis。同时还可以使用Spark结合各 种算法库进行数据挖掘操作。各应用 只要通过应用网管发送数据请求,就可以通过Hive,Impala,HBase提供的 接口以及算法库自带的API访问集群中的数据。 其具体 架构如下图所示。

业务价值

  • 实时数 据查询和处理只有秒级的延时,完全符合业务需求;

  • 集群容 量无限平稳扩展,做到需要就增加,并且不 会对已有数据和服务造成影响;

  • 集群数 据可通过多个标准接口提供给第三方系统,完美支持业务需要;

  • 用户可以根据需要,轻松定制业务视图;

  • 强大的 安全机制轻松应对监管机构的审查要求。

我们的客户

让我们了解您的需求

© 2018 Paraview Software. All rights reserved.

服务热线:400-6655-745
企业邮箱:para@
友情链接: