很多企业app外包开发系统建设中，开始关注和选用具有“自我特色”的开源技术和软件作为整体解决方案中的组成部分去实施。

以下案例是国外某客户，包括核心系统在内的众多生产系统中已运行 IBM 软件产品，其核心环节中使用 IBM 数据复制软件，再结合开源软件和工具，实现了从重要的交易业务生产系统中使用 IBM 软件实时地复制数据到目标系统，在目标系统上通过开源软件把数据进行分发、加工处理、交付到数据库分析系统中，实现对业务进行实时分析。

1）数据实时复制

负责从各个业务系统上实时地复制交易数据，选用IBM Change Data Capture软件产品来实现。

2）数据采集

负责从目标系统上实时地采集数据，选用 Apache Flume 来实现。

3）数据接入

由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用 Apache Kafka。

4）流式计算

对采集到的数据按业务规范进行实时处理和分析，选用 Apache Storm。

5）数据输出

把处理后的结果存放，实现持久化、稳定化和高效化，使用开源的NoSQL数据库。

方案优点

下面，我们对几个开源的核心软件做个简单扼要的说明，相信大家对IBM CDC都有了一定了解，此处不多花笔墨作说明。

1） Apache Flume

Apache Flume 提供了一个分布式、可靠、和高可用的海量日志采集、聚合和传输的日志收集系统；支持在日志系统中定制各类数据发送方，用于收集数据 Flume 提供对数据进行高效处理，擅长转移大数据量的日志和交易数据；通过通道（channel）无缝连接 Kafka。

2） Apache Kafka

kafka 是一种高吞吐量的分布式发布订阅消息系统，目标是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。

Kafka 具有如下特性：

• 提供消息的持久化，即使数以TB的消息存储也能够保持长时间的稳定性能。
• 令你高吞吐量，即使是非常普通的硬件，kafka也可以支持每秒数十万的消息。
• 支持通过kafka服务器和消费机集群来分区消息。
• 支持Hadoop并行数据加载。

3） Apache Storm

Storm 能处理大批量数据，在保证高可靠性的前提下，还可以让处理进行得更加实时，也就是说，所有的信息都会被处理。Storm 同样还具备容错和分布计算这些特性，这就让 Storm 可以扩展到不同的机器上进行大批量的数据处理。

Storm 具有如下特性：

• 简单的编程模型。类似于MapReduce 降低了并行批处理复杂性，Storm 降低了进行实时处理的复杂性。
• 可以使用各种编程语言。你可以在Storm 之上使用各种编程语言，默认支持 Clojure、Java、Ruby 和Python。要增加对其他语言的支持，只需实现一个简单的Storm通信协议即可。
• 水平扩展。计算是在多个线程、进程和服务器之间并行进行的。对于扩展，你只需要添加机器和改变对应的 Topology（拓扑）设置。
• 容错性。Storm 保证每个消息至少能得到一次完整处理，任务失败时，它会负责从消息源重试消息，会管理工作进程和节点的故障。
• 本地模式。Storm 有一个“本地模式”，可以在处理过程中完全模拟 Storm 集群。

方案优势

• 使用流计算处理核心业务数据，包括：交易行情数据、业务日志等重要业务信息，不但能高效处理，还能保证数据的完整性和准确性。
• 能有效地解决了从 Flume 到 Kafka 实时数据优于单条过快，造成 stormspout 消费 kafka 速率跟不上。手段是通过进行多 tuple 结构优化，对多个 log 打包成一个 tuple 进行发射处理。
• 提高整个系统运行的可靠性和高可用性。数据处理经过模块化之后，解决了用户最担心的假如当 Storm 挂掉了，数据采集和数据接入还是继续在跑着，数据不会丢失， Storm 起来之后可以继续进行流式计算。
• 在使用 IBM 产品处理核心业务的数据和信息的基础上，拥抱开源产品，在满足需求前提下进行技术创新，以追求较好的性价比。

总结

1、IBM 提供云技术及数据服务，积极地支持开源技术和发展方向，无论是IBM现有客户，还是潜在的新客户，都能在结合 IBM 产品和解决方案之内或之外，找到很好的解决方案，以满足业务要求和支持业务发展；

2、IBM支持广阔范围的开源技术及软件产品集成，为用户建设 IT系统时带来更大的灵活性和扩展性；

3、在 2015年， IBM 公司已被业界评为最具科技创新（most-innovative-companies）公司，帮助客户快速创新，获得很好经济效益和减低实施风险。

关于：中科研拓

深圳市中科研拓科技有限公司专注提供软件外包、app开发、智能硬件开发、O2O电商平台、手机应用程序、大数据系统、物联网项目等开发外包服务，十年研发经验，上百成功案例，中科院软件外包合作企业。通过IT技术实现创造客户和社会的价值，致力于为用户提供很好的软件解决方案。联系电话400-0316-532，邮箱sales@zhongkerd.com，网址www.zhongkerd.com