加入收藏 | 设为首页 | 会员中心 | 我要投稿 南平站长网 (https://www.0599zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 创业 > 模式 > 正文

北京银行架构师管理于振华:全栈可扩展的金融系统架构实践

发布时间:2019-06-07 19:58:17 所属栏目:模式 来源:中国IDC圈
导读:副标题#e# 非常高兴来到大数据峰会跟大家一起分享一下北京银行系统建设的实践情况,先做一下自我介绍,我叫于振华,来自北京银行,一直做的是银行核心系统研发的工作,今天题目叫做可扩展的系统架构实践大家看到今天我们讨论的主题是分布式数据库,在应用里

介绍一下我们做了哪些业务验证的对接。整体的架构图,采用两地三中心模式,现在在上面跑的系统比较多,也把以往在核心系统建的业务迁移到上面来,有网银清算平台、银联卡支付、以往建设在核心的会计引擎。主机群之外,在异地建设了一个从机群,是为了要对分析型场景做对接,避免对主机群景有压力,这是整体的架构方案。

通过我们和数据库的对比,在数据分布比较均衡的情况下有5倍的性能提升。

如果单纯讲分布式数据库、业务应用的话到这里就结束了,北京银行起步比较早、应用规模现在比较大,经过一段时间的应用发现有些问题,怎么样高效的管理,因为如果没有一些手段的话比传统单体的数据库管理起来成本要高很多,这是第一个问题;第二个问题是怎么样提升系统资源利用率,如果分布式数据库采用传统的集群部署模式,有个困难,我们明知道它的资源利用率不可能到这么高,用不满,但是也不敢把另外的系统接进去,不敢做混用,就怕两个系统之间有系统资源争抢的情况,所以我们在今年5月初做了容器云数据库的部署方案,采用这种NewSQL型的容器云数据库在金融领域也是第一家。

我们选用了PaaS领域的事实标准K8S来进行云数据库的底层支撑,想用的就是它资源隔离的能力,在传统部署模式里,明明我们知道物理资源用不满我们却不敢轻易的混合多套系统到一套数据库上,原因也是传统集群部署模式无法实现资源的隔离,担心会出现物理资源互相影响的情况。同时,我们也希望借助它来进行调度、伸缩以及高可用性的管理。

我们是选择直接部署在裸机上的,K8集群直接建在裸机上,由控制器来实现tidb 的扩缩容/滚动升级/故障转移的逻辑,由调度器实现tidb 节点的高可用部署策略,实现资源最优分配,前面介绍了我们七八个系统已经建设在集群部署模式的架构上,目前我们也是要一点点的迁移到容器云上,达到资源的集约化管理。

那这张图展示的是我们分布式数据库整体的应用情况。从2016年到9月到今天,我们已经完成了全栈的建设工作。目前看,效果还不错,大家看右下角这个图是我们双十一那天12点的情况,交易激增10倍以上,系统表现平稳。我们也已经把核心的部分功能,会计引擎建设到了分布式数据库上,随着应用的深入,我们会把越来越多的核心系统业务引流到分布式数据库上。

四、总结与展望

北京银行系统架构转型工作,因为今天讨论的是分布式数据库,只讲这一点,有些内容还是在过程中,有些差不多了,有些刚起步。下面介绍一下未来我们的整体规划;

没有一种技术是万能的,有了新技术之后要在实战中不断完善、不断优化它。我们在整个实践过程中也遇到了一些问题,包括隔离级别的问题,大家以前用db2 oracle已经习惯了RC的隔离级别,我们用的分布式数据库是SI的隔离级别,出现了一些适配的问题,还包括执行计划没有命中索引,需要强制HINT,热点数据的处理等等。那在这么多问题中,最值得我们思考的是乐观模型和现在比较流行的微服务架构之间的冲突,微服务化的应用架构无论是应用逻辑或是事务大小都变小了,需要多次提交,而乐观模型在多次提交场景下性能明显会有衰减,我想这也是未来我们研究的一个重要课题。

我们认为架构转型是一项全局性工作,是一个非常基础性的工程,一定要注重到这一点,同时也要让你的团队认识到这一点。不要停留在paper或者ppt上,要注重原型的检验。北京银行为此套架构建设了标准化性能测试工具,建设了原型,目的就是要将架构理论落到实处,我们也会将这些内容积极与大家分享,让大家进行架构转型能够更加容易。

其次,要做好事前资源评估,这种架构适不适合,物理资源是不是已经达到了新架构要求,从价值、成本两个角度衡量架构转型的必要性,还是那句话新的不一定是好的,也不一定是适合你的。当然,还包括能够搞定新架构的技术团队、适用于新架构的应用标准等要求,我就不一一赘述了。

随着工作的深入,我们意识到我们已经进入了分布式数据库建设的后半程。后半程要做什么,第一我想就是精细化运营,稳定的运营是生产系统的生命力,现在应用多了,规模大了,需要匹配上精细化、智能化的管理,还有一点就是建立金融级的应用规范,进行规范的推广,来帮助未来迁入分布式数据库的系统安全过渡。

第二是我们一直想做的,就是HTAP的建设,现在业务应用的呼声也很高,大家都希望数据库既可以支持实时交易处理又能具备准实时分析的能力,而不希望再走抽数流程T+1的分析方式,这部分也会是我们的建设重点。

北京银行的存量系统大概有200多个,进行架构升级,有的可以一刀切的升级,有的只能采用新、旧系统并行的方式,所以我们还有一个任务,就是要建设新旧系统的并行机制,包括数据同步,系统交互,系统间一致性保障等整套的方案。

我分享的内容就是这么多,谢谢大家!

相关阅读:

数据分析必不可少之数据仓库!  

中国电信徐守峰:天翼云五大能力助力大数据产业发展  

(编辑:南平站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

推荐文章
    热点阅读