近年来,中国移动不断加强业务运营IT支撑系统的自主可控建设。亚信科技AntDB数据库已在运营商核心系统深耕15年,在通信行业的多个领域完成上线并保障持续平稳运行,完全具备国外数据库所具备的能力。因其技术领先性与稳定性,湖南移动借力亚信科技AntDB数据库,积极推进核心业务数据库的国产替代工作。
(一)
建设需求分析
分布式海量数据架构设计
华南中心为湖南移动的重点局点,其计费系统详单库承载的是移动通信用户的多类业务话单,包括流量、语音、短信、彩信、梦网类话单,这些业务话单经过采集、计费、账务等业务模块处理后,由数据库对话单数据进行处理。
华南中心所服务的通信用户数量达到千万级,其详单库对于数据存储和分析计算的要求非常高,数据量可达到日新增数十亿条记录,平台设计容量达到数百TB。传统的集中式架构在并发性能、高可用、可扩展性方面无法满足业务需求,因此需要借助AntDB数据库的水平扩展能力,从而提升其系统的承载话单量和数据分析处理能力。
本次中国移动华南中心计费项目组,参照对业务的影响范围采用渐进的方式,从华南中心计费系统开始逐步完成多个核心库的替换。
华南中心计费项目组同客户进行深入沟通交流,分析客户的主要需求如下:
1.国产库需要同原国外商业数据库有较高兼容度,尽量减少上层业务改动量,加快替换周期,降低替换成本。
2.高负荷业务承载,数据库每日处理话单量达到几十亿。
3.大数据量处理,按照现有业务模型计算,每月产生上百TB数据,需要数据库进行处理。
4.分布式数据库集群架构复杂,涉及到的节点类型、节点数众多,纯粹依靠人力运维会大大提升运维复杂度,降低系统可靠性,需要引入数据库智能运维管理平台。
综合客户需求痛点,总结本项目对数据库的要求如下:
(二)
AntDB解决方案
六大优势助力平稳上线
亚信科技AntDB数据库能满足客户所提全部需求,尤其在Oracle语法兼容方面更是在业界遥遥领先。并且,AntDB提供的不仅仅是一款产品,还是一整套完善的数据管理体系服务,包含:一套核心产品、一套工具集、智能运维服务体系等,方便企业用户快捷、高效地管理企业数据资产。
图1:AntDB数据库产品体系
亚信科技AntDB数据库产品具备以下6大优势:
图2:AntDB数据库产品优势特性
国外商业数据库高度兼容
亚信科技AntDB数据库拥有业界独创的多模态SQL解析引擎:1.客户可定制扩展的多语法SQL解析引擎设计,兼容生态,一套数据库可以满足含本项目国外商业数据库在内的多种数据库的国产化替换要求,降低客户的学习成本。2.SQL解析引擎的切换动态生效,无需重启数据库。3.支持会话模式、服务模式、语句模式三种访问模式,灵活性和易用性的极致体验。
国外数据库语法高兼容的能力:国外数据库语法兼容、函数兼容、系统表/视图兼容、存储过程和触发器兼容、数据类型兼容、OCI和JDBC调用接口兼容、管理包兼容、rowid/rownum和dual虚表等。基于高度的兼容特性,可以实现AntDB和国外数据库的异构数据库容灾,实现上线初期两套数据库并行运行以降低客户疑虑。
原生分布式、弹性扩展
计费详单库需要数据库具备水平扩展能力,可以实现线性扩展。亚信科技AntDB数据库原生分布式设计,对应用完全透明,兼顾性能与可扩展性。有超强scale up能力,对CPU、内存、连接数不做限制。数据进行分片后打散存储到各数据节点中,当用户计费详单库数据存储需求超过单台服务器上限后,凭借分布式架构特性,可以横向扩展节点数量,提升数据库存储能力。
数据实时分析
计费详单库每日处理话单数量达到几十亿条,并且会进行数据分析生成报表。亚信科技AntDB数据库具备实时强一致的分布式事务控制能力,确保数据零丢失和事务一致性,保证话单数据处理的准确性。AntDB具备动态高效的SQL执行引擎,提供异构索引,内置reduce数据处理引擎,数据节点间可以进行通信,提高数据处理效率,尤其是复杂查询场景(聚合、关联等)的数据处理效率,提高计费话单数据的处理效率和相关报表的生成速度。
图3:AntDB数据库产品架构
高可用及负载均衡
计费系统需具备高可靠特性,亚信科技AntDB数据库提供完整的集群自愈方案保证秒级自动故障切换实现业务连续,并且可以保证数据的完整性和强一致性,实现真正意义上的Auto-Failover,保证数据库系统可以获得99.999%的SLA服务保证。
华南中心项目中,AntDB采用了典型的分布式架构,具备双中心容灾机制,主备中心共有48台主机,数据节点DN1-DN12配置为一主两备,其中主中心一主一备,容灾中心为异步备节点,共计36节点。GTM主备中心各两台,分别为一主一备,共计4节点。计算节点主备中心各4台,共计8节点,主备节点之间采用流复制方式同步数据。DN1到DN12为主数据节点,其余数据节点均为备节点。备数据中心的节点通过级联复制的形式同步数据。通过ADBMGR的高可用命令完成切换操作。其架构如下图3所示。
双中心容灾保证可靠性
根据用户需求,计费系统为核心系统,为保证业务的连续性及数据安全性,数据库需要建设主备容灾系统,在单中心发生断电、断网等全局故障的时候另外一个中心可以快速接管,不影响计费话单数据存储和处理。亚信科技AntDB数据库支持双中心、两地三中心等多种容灾方式,该项目上选用的是双中心容灾模式。
AntDB分布式部署架构支持双中心容灾,通过AntDB集群管理工具可以快速地在备中心完成集群搭建,主中心出现全局故障时可以迅速切换到备中心承载业务。
图4:AntDB数据库分布式容灾“双中心”部署架构
智能运维管控
计费详单库节点数众多,需要运维平台对数据库集群进行统一管理。亚信科技AntDB数据库可提供智能运维管控平台,可以实现数据库集群管理。对数据库进行自动监控,包括常规数据库服务器监控、数据库关键指标监控,并进行告警通知等,大大提升数据库的可维护性。
图5:AntDB Control Center(ACC)数据库智能运维管理平台
(三)
高可靠与高性能
两手抓,两手都要硬
本次AntDB数据库的上线实现了计费系统数据库系统架构升级,满足了用户增长的业务需求,提升了计费中心话单数据的处理效率。同时数据库的高可用和“双中心”容灾架构可以保证业务的连续性及数据安全性,保证计费话单数据处理的安全可靠。
技术架构优势总结
(1)弹性扩展与普通PC机部署:企业如果需要提高数据库的处理性能、满足前台响应需求,以前只能不断增加购买昂贵的小型机和更高端的存储。现在,分布式数据库作为当代广泛使用的数据库系统,其主要特性之一就是水平分布式扩展的能力。AntDB数据库可以使用性价比更高的国产服务器或普通PC机,通过分布式部署模式的水平扩展能力减小服务器性能差距。不仅可以通高可用或双中心容灾保证系统的高可靠性,在业务快速增长的情况下,还能够进行不停机、不断服的在线扩容及时满足业务需求。
(2) 高可用、高可靠业务保障:AntDB数据库应具备服务高可用的能力。项目中AntDB通过集群自愈能力和双中心容灾架构,实现秒级自动fail-over(故障自愈)保证业务的连续性,同时确保数据的完整性和强一致性。甚至在极端的机房风险故障中,也能迅速切换至备中心接管业务,保证上层业务不受影响。
效果优势总结
AntDB数据库不仅通过客户的完整性功能测试,在千万话单场景下,采用相同的硬件及配置情况,AntDB的处理时间仅为原数据库的四分之一,处理效率大大提升。为了降低迁移风险,AntDB在与原数据库并行两周后,正式完成上线替换。AntDB全面支撑用户核心计费系统,数据库平稳运行,目前每日处理话单量在50亿+,综合性能较原架构提升25%,成本节约70%。
AntDB整体软硬件成本较国外数据库有明显降低,为客户减少约70%的成本,项目后续计划引入的AntDB配套智能运维管控平台,可以为客户每年减少上百万维保费用。
(四)
打造好用易用的国产数据库
华南中心项目不仅仅是运营商核心计费系统中一套数据库的替换,更是验证了亚信科技AntDB数据库在多连接数、高并发场景下同样值得信赖。在大幅降低客户软硬件成本的基础上,还能实现性能的提升。同时借助AntDB分布式易扩展的特性,当用户业务快速发展超过数据库承载能力时,借助独有的HashMap算法、自研数据复制工具AntCDC,可以高效快速完成在线数据库扩容,对上层业务无影响,提高了系统的扩展性。
关于AntDB数据库
AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔电信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。