日前,为更好地满足亚信科技客户对于数据管理的需求,提高通用型数据库的产品服务能力与业务拓展能力,亚信科技分布式数据库AntDB发布V7.0版本产品,助力运营商核心系统实现全方位的自主可控与业务系统的平稳上线。面向未来,国产数据库发展仍任重道远,分布式数据库也将在这一过程中扮演重要角色,分析、讨论国产分布式数据库发展趋势与难点,不仅对AntDB数据库的发展,也对国产数据库的发展具有一定的参考和借鉴意义。
信创产业即信息技术应用创新产业,是我国近年来的一项国家战略,也是当今形势下经济发展的新动能,随着相关政策陆续出台,信创改革大潮下,推动探索安全可控的核心技术与产品渐成趋势。在数据库领域,党政机关明确将全部采用国产数据库,2020年已在金融行业先行试点。国产数据库厂商紧随趋势加速打造各自的拳头产品,从2020年至今,国产数据库已经从党政、金融等领域,渗透到通信、能源、交通、工业物联网等领域,市场前景十分可观。
2022年6月,达梦数据、星环科技等数据库厂商陆续递交招股书,在国内科创板块以7亿营收撬动几百亿市值,这一“信号”表明国产数据库的发展已进入快车道。一方面,国产数据库发展恰逢政策机遇,过去国内数据库市场被Oracle、IBM 等企业垄断,近年来受益于政策的加速推进,国产数据库企业的市场份额得以显著提升。另一方面,国产数据库发展也处在市场机遇期,数据库等基础软件的服务方式逐渐向云化发展,随着云计算的大规模应用,数据库也迎来新的发展契机。
数据库最早诞生在上世纪60年代,IBM实验室提出的”关系模型”理论为风靡全球近50年的关系型数据库技术奠定了基础。随着信息通信技术与移动互联网的高速发展,业务表现出高并发读写、海量数据处理、数据结构不统一的特点,后关系型数据库开始涌现,对传统关系型数据库做出了进一步补充和完善,分布式数据库就在此时蓬勃发展,为人熟知。
相比于传统关系型数据库,分布式数据库具有平滑扩展、高可用、低成本等显著优点,如果将传统关系型数据库、非关系型数据库和分布式数据库对比总结,可以得到表1:
表1:数据库对比
由上表可以看出,分布式数据库属于时代进化的结果,功能几乎结合了传统关系型与非关系数据库的集中优势。但由于发展时间较短,其标准体系及评价体系不够健全,生态体系不够完善,未来我国分布式数据库的发展必将机遇与挑战并存。
分布式数据库平滑扩展、高可用、低成本的三大主要优点带来巨大的发展潜力,下面以亚信科技AntDB数据库为例展开论述这三大优点。
一是平滑扩展与高性能,在分布式执行计划中,表数据被分散在多个节点上,这大大降低了单节点的数据量,分布式执行计划还可以做到读写分离,有助于充分利用多个节点的存储与计算资源,有效地提升数据库的吞吐量,目前AntDB数据库可以按需求平滑地进行节点扩展,支持几十万级甚至百万级TPS/QPS[1](吞吐量)处理的核心要求。
二是高可用,这一点对企业数据安全和保障业务连续性至关重要,分布式数据库通过主备架构设计,主节点故障自动切换至备中心(failover),保障核心系统的连续可用;此外,各数据中心通过同步/异步复制来保障数据的一致性和事务的完整性,遇故障切换时不影响业务的正常运行。AntDB数据库通过多副本、分布式事务处理等机制,以及异地多中心的部署方案,以保证高可用性。
三是低成本,分布式数据库是基于通用的 PC 服务器和操作系统的,在硬件成本上有非常明显优势,此外,AntDB数据库 与Oracle数据库的兼容率高达96%,有效降低了程序迁移的风险,减少了重写应用的成本。
由于分布式数据库节点多,集群结构复杂,也有其自身的短板,加之分布式数据库发展时间不长,仍有许多问题亟待解决。一是根据CAP理论[2],分布式数据库无法完美满足客户多重特性需求,如某些金融核心应用既要求高一致性,又要求高可用,有可能造成客户不得不舍弃或降低某些需求。二是分布式数据库运维管理较复杂,根据业务节点需要,分布式数据库通常由多台服务器组成,软硬件的运维和管理往往很复杂。三是分布式数据库产品成熟度待提高,如针对分布式数据库的优化器、数据类型、复杂查询、自定义函数和存储过程等高级特性参差不齐。
和国外成熟稳定的商业数据库相比,国产数据库在性能、稳定性、生态等方面存在一定差距,我国数据库的自主可控替换,也不是简单的以库换库,而是用新体系替换旧体系,在架构、研发、上线、运维等方面,全面降低对特定数据库的依赖,这将是一个持续且艰难的过程。在这一过程中,亚信科技推出国产分布式数据库AntDB,核心团队攻坚不断,2015年增加Oracle兼容特性、2017年实现秒级在线扩容、2019年增加内核级读写分离等功能、2022年支持内存与磁盘双引擎等等。AntDB数据库的应用领域也从通信向金融、交通、能源等行业拓展。
作为阶段性成绩,亚信科技AntDB数据库在运营商自主可控替换项目中落地,具有重要意义:一是探索出自主可控的数据库架构,通过研发微库架构,在架构层面消除应用对特定数据库的依赖;二是验证数据库软硬件全自主可控的可行性,目前,亚信科技AntDB数据库及华为鲲鹏服务器的组合解决方案,可以在运营商核心的交易场景替代国外商业解决方案。三是探索出基于灰度发布[3]能力的数据库割接方案,实现不停服、零故障的数据库割接,将数据库国产化替换的业务影响降至最低。
AntDB分布式数据库解决方案在通信行业大规模的商用落地并且获得客户的广泛好评。另外我们判断不仅在通信行业,也可同时推广至如金融、党政、能源、邮政等重要的关键基础设施行业领域中,加速推动各行业的数字化转型升级。
在金融行业,AntDB应用在北方某保险公司的大数据系统中,成功商用落地,其成功经验可以同样推广至以分析型业务为主的其他金融或证券业务系统中。
在政企行业,AntDB应用在南方某省高速的高速ETC计费与大数据平台,同样该成功经验可以推广至其他类似高数据并发的行业,如IoT物联网场景等。
面向未来,随着AntDB数据库不断增强通用性、标准性和安全性,为更好地服务亚信科技的行业客户,AntDB数据库将继续加强产品研发的投入,实现一套数据库对多种数据类型、多种业务场景的统一支持,并确保数据可靠,不丢、不错、不重,为客户提供高质量的数据库产品。
AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。
[1] TPS: Transactions Per Second的缩写,即每秒处理的事务总数。QPS:Queries Per Second的缩写,即每秒处理的请求总数。
[2] 指的是在一个分布式系统中,Consistency(一致性)、Availability(可用性)、Partition Tolerance(分区容错性),不能同时成立。
[3] 灰度发布(又名金丝雀发布)是指在黑与白之间,能够平滑过渡的一种发布方式。在其上可以进行A/B testing,即让一部分用户继续用产品特性A,一部分用户开始用产品特性B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面来。灰度发布可以保证整体系统的稳定,在初始灰度的时候就可以发现、调整问题,以保证其影响度。