连接安全与变革
股票代码:831194

释放数据价值

大数据案例

某大型 券商大数据平台

业务背景

  • 每日产 生的用户交易实时数据,统计分析数据,运营分 析数据以及广告监测数据,数据量多而复杂;

  • 对安全性要求比较高,要求能 同时进行数据隔离和共享;

  • 各种数 据之间存在着密切的关联,需要综 合多类数据进行判断和决策;

  • 对数据 处理忍受的最大时限为T+1工作日。

项目目标

针对证券行业的特点,可以使 用以下方案进行满足:
  • 使用Sqoop,Flume等工具 将前一日交易数据导入Hive;
  • 使用Impala接口进 行数据查询分析;
  • 配合使用Kerberos三方认 证机制进行数据保护;
  • 配置Sentry服务进 行数据隔离和授权。

项目架构

依托大 数据平台的优势,将Oracle数据库 中的用户数据及大量交易数据,TalkingData中的数据,移动应 用端的用户数据以及其他业务 数据通过Sqoop,Flume存入HDFS中,在HDFS 中根据 业务需求进行数据处理和清洗,最后通过Hive与Impala接口呈 现在报表系统中。 其具体 架构如下图所示。

业务价值

  • 突破了 传统数据库数据容量限制,
    可以无限扩展存储,且不会以性能开销
    作为代价。

  • 加速了 数据查询和处理的时间,
    大于10TB的数据库容量使用Impala处理
    Adhoc查询响应时间通常在5秒以内,
    比传统 数据库更加高效。

  • 数据共 享变得简单而安全,实现不同数据源、
    不同数据类型、结构化 和半结构化数据的
    关联分析查询。

我们的客户

让我们了解您的需求

© 2018 Paraview Software. All rights reserved.

服务热线:400-6655-745
企业邮箱:para@
友情链接: