Apache Kylin的金融大数据应用场景 - Apache Kylin Meetup @Shanghai

1. Kylin的金融大数据应用场景
黄桦(Huang,  Hua)@明略数据

2. 目 录
Agenda
01  明略数据简介
02  金融行业的大数据现状
03  Kylin的典型应用场景

3. 明略数据简介
02  金融行业的大数据现状
03  Kylin的典型应用场景

4. 中国领先的第三方广告
技术公司
秒针系统
独立的大数据部门
成立单独的公司“明略数据”，专注企
业级大数据解决方案
明略历史
2006 2011 2014
• 中国领先的大数据整体解决方案提供商
• 拥有自主知识产权的核心产品，如BDP，Discovery，DataInsight，Scopa
• 客户遍布金融、电商、政府和传媒等行业

5. 明略理念
帮助客户快速、高效地存储各类数据
以及从这些数据中获取信息和价值
大数据的完整价值需要专业的数据科学家
通过数据建模，分析和挖掘方能获取
大数据的核心价值在于分析、
发掘数据的内在价值
数据科学家是大数据项目成功
的关键
另外，我们求贤若渴……
http://www.mininglamp.com/joinus.html

6. 金融行业的大数据现状
01  明略数据简介
03  Kylin的典型应用场景
明略数据携手第一财经，发布中国大数据应用前沿
调研报告，详见：
http://www.mininglamp.com/2015ChinaBigData/20
15ChinaBigDataReport.pdf

7. 大数据投资结构
全行业里：互联网最多，电信其次，金
融第三
按金融行业分：银行最多，证券其次，
保险第三

8. 金融大数据的应用现状
前三大类别：
• 精确发现客户需求，定制产品(21.10%)
• 整合线上线下渠道(17.43%)
• 完善客户服务(16.51%)
进一步的，我们也发现：
• 金融企业会利用大数据对客户进行多维度
的细分，提供差异化的产品服务
• 金融企业也会打通线上线下数据，利用大
数据技术达成线上线下的整合营销以创造
价值。

9. 金融大数据的具体应用
金融机构所关注的大数据主要应用包括：
• 风险管控(17.12%)
• 精准营销(16.22%)
• 数据监控(14.41%)
• 数据交易(11.71%)
而未来打算的大数据应用方向包括：
• 运营优化(23.66%)
• 以客户为中心(21.51%)
• 产品服务创新(18.28%)

10. 金融大数据的能力需求
金融机构看重大数据的社会价值，如数据背后
隐藏的规律、相关关系等：
• 数据挖掘(22.77%)
• 关联分析(21.78%)
同时，报表和数据可视化仍然有很强的需求：
• 查询和报告(19.8%)
• 数据可视化(16.83%)

11. Kylin的典型应用场景
01  明略数据简介
02  金融行业的大数据现状

12. 典型的应用
报表类应用
OLAP探索类应用
查询类应用

13. 报表类应用
金融机构有很多固定报表的场景，基于传统的数据仓库方法有如下缺陷：
• 数据量不断增长导致查询性能下降
• 超大数据集的报表计算非常耗资源和时间
• 系统扩容成本较高，除去软件成本，还有配套的硬件成本
基于Kylin可以很好的满足需求：
• 借助Hive  SQL进行报表数据的分布式计算，生成Hive结果表
• 每一张Hive结果表包含一个或多个报表的数据，利用Kylin生成好cube
• 通过Kylin JDBC访问cube实时获取报表数据，在前端页面通过JS渲染出图

14. OLAP探索类应用
通过大数据平台，打通金融机构各系统数据，如交易流水，信用卡，理财，贷款等系统
采用主题的方式预建cube满足数据探索类的需求
• 整合OLAP  Server，如Mondrian(社
区已经有解决办法)
• 通过OLAP  Server定义和管理各主题
的cube
• 对接可视化展示工具，如Saiku
• 整套方案的技术栈为
Saiku+Mondrian+Kylin

15. 查询类应用
金融机构拥有海量的客户(或卡号)，各类基于用户的应用(用户画像，精准营销等)往往有查询类
的需求：
• 根据系统+客户，查询客户画像结果
• 根据系统+时间+客户，查询客户交易流水
• ……
基于Kylin可以很好的满足需求：
• 对每类查询，建立对应的cube，也就是“少维度，多指标”的cube
• 尽可能将多个查询对应到一个cube，即适当增加该cube维度，以减少总cube的个数
• 利用HBase的NoSQL特性和水平扩展的能力，以应对海量数据的查询
• 每次查询转换为一个基于Kylin的SQL查询，通过Kylin JDBC访问Kylin获取指标数据

16. 扫描关注明略数据
THANKS