专业 靠谱 的软件外包伙伴
千万级金融交易系统软件设计架构分享！
- 2017-02-20 15:29:51
-
百万级交易挑战Ping++ 通过搭建在云端的支付处理平台为商户集中处理所需第三方支付渠道的交易请求并提供统一的SDK接口供商户调用，当商户的用户发起交易时，就会调用这个SDK，此时这些数据记录会存储到数据库中，包括时间、金额、渠道等信息。当前日交易笔数为百万级，目前已经积累了海量交易数据。如何通过这些海量的数据进行业务创新来为客户赋能，并带来额外附加价值，从而提高客户黏性，Ping++亟需搭建可靠、稳定的大数据平台。在Ping++搭建大数据平台的过程中，存在以下挑战：1.一站式大数据平台，可以帮助降低数据创新与创业成本，需同时具有存储、计算、BI和机器学习等功能需求：
- 存储: 利用数据仓库存储海量支付订单数据。
- 计算: 批处理进行 ETL 数据清洗、统计汇总、数据分析。
- BI: 产出数据的监控指标，以图形化方式反映数据质量和趋势。
- 机器学习: 各类场景下模型的训练及预测。
2.Ping++作为一个创业公司，前期尽可能以最低的成本去实现业务创新。但是，自己搭建符合上述4种所有要求的大数据平台，需要投入大量硬件投资、时间成本和人力成本。作为互联网创业公司，唯快不破，需要跟时间赛跑，如何快速、高效、低成本的搭建大数据平台也是亟需的。3.安全是金融行业永远的话题，作为互联网支付服务提供商，Ping++非常重视大数据平台的安全性、稳定性和可靠性，并需要平台具有多角色多权限的账户体系。同时，Ping++ 使用严格的数据隐私保护机制，商户的数据只用于分析商户自己的生意。Ping++的公有云供应商考量如上所述，自建符合要求的大数据平台成本过高、周期过长，而且Ping++是做第三方服务的，秉承专业的人做专业的事情的理念，希望能够通过第三方服务去解决问题，因此一开始就决定考虑采用公有云大数据平台。“我们认为，对于初创公司和小规模团队来讲，利用云服务更加省时和经济，可以将更多精力投入于应用和业务开发。”Ping++大数据总监夏苏敏表示。Ping++大数据技术团队对主流的公有云大数据平台进行了试用和对比，尤其是跟某国际化云计算大公司的大数据平台去进行比较，当时发现此公司在国内提供的服务并不是非常的好，而且服务器也不是非常的稳定。另外，Ping++的整个交易系统架构在阿里的金融云上，其稳定性、安全性均进行了前期的验证，而且如果大数据平台也采用阿里云在数据传输、兼容性和成本上均有很大优势。鉴于以上考虑，Ping++最后选定了阿里云的数加平台。Ping++的解决方案及架构Ping++围绕积累下来海量的交易数据，主要基于阿里云数加平台进行以下业务场景创新：1.BI营销业务系统。基于用户交易行为数据进行用户画像，在用户画像的基础上提供精准营销方案，在老客户激活、提高客单价、潜客获取、转化率提升等方面对客户赋能。2.内部监控。基于阿里云数加平台进行数据监控赋能内部管理，包括交易信息汇总、异常交易提醒、数据质量分析等。
数据源：来源于支付业务系统，分别使用了阿里云RDS、DRDS以及MongoDB，DRDS和RDS主要用来存储用户交易信息，MongoDB主要用来存储商品维度信息。大数据平台：通过阿里云数加平台搭建，包含的组件及功能为：- 大数据计算服务（MaxCompute ,原名 ODPS): 用于数据仓库。目前有包括原始基础表、ETL 结果表、上层 ADM 应用数据集市表在内的共计 630+ 张数据表。
- 大数据开发套件(DataIDE): 使用其中的 DAG 调度系统支撑每天例行化运行 140+ 个节点；利用提供的日志功能、报警机制、重跑补数据等多种工具进行运维工作；通过阿里云子账号和数加平台的权限体系实现了多角色多权限的账户体系。
- Quick BI: 用于指标的图表展示。目前有 10+ 张图表以监控数据质量和辅助决策。
- 机器学习: 利用提供的算法库解决大数据量的图模型问题、机器学习分类问题、文本分词问题等。
结果存储及检索:通过阿里云数加产品分析型数据库（AnalyticDB）同步经过DataIDE处理过的存储在MaxCompute中的数据集市表，主要是汇总后的脱敏数据，使用分析型数据库的主要原因是基于其强大的实时计算功能，可实现实时检索分析。机器学习的预测分析结果存放于MySQL进行检索分析。应用：BI营销业务系统及内部监控。收益：- 阿里云数加为Ping++大数据实施提供了一套完整的一站式大数据解决方案，覆盖了企业数仓、商业智能、机器学习、数据可视化等领域，助力Ping++在DT时代更敏捷、更智能、更具洞察力。数加平台从数据导入、查找、开发、ETL、调度、部署、建模、BI报表、机器学习，到服务开发、发布，以及外部数据交换的完整大数据链路，一站式集成开发环境，降低Ping++数据创新与创业成本。
- 通过阿里云数加平台，Ping++快速搭建了大数据平台，节省了大量成本，因此可以将更多的人力、物力投入到业务创新上来。“现在我们已经开始向客户提供大数据的服务了，如果自己建的话，可能现在才刚刚把这个平台搭好，业务上的事情还没有开始做呢，整体上来讲，可以为我们节省六到八个月的时间。”夏苏敏说到。
- 阿里云及其数加平台提供金融企业级的安全机制，保证了Ping++业务应用的安全、可靠、稳定运行。核心产品MaxCompute更是提供多种安全机制为DT时代的企业数据资产保驾护航，如采用业界标准的API认证协议、没有超级管理员的角色、提供了丰富的项目空间内的用户管理及授权功能、将用户作业在运行时隔离、作业运行时使用最小权限、数据访问审计以及安全监控系统等。“我们曾经也遭受过一次DDos攻击，阿里云也成功的帮助我们防御了这样一次攻击。” 夏苏敏回忆道。
关于：中科研拓
深圳市中科研拓科技有限公司专注提供软件外包、app开发、智能硬件开发、O2O电商平台、手机应用程序、大数据系统、物联网项目等开发外包服务，通过IT技术实现创造客户和社会的价值，成为优秀的软件公司，通过客户需求导向、开放式创新、卓越运营管理等战略的实施，全面打造公司的核心竞争力。优秀软件外包公司、软件开发公司，联系电话400-0316-532，邮箱sales@zhongkerd.com，网址www.zhongkerd.com
- 上一篇 [返回首页] [打印] [返回上页] 下一篇