AntDB数据库致力降本增效的某省高速清分结算实践
中国正处于数字化转型的关键时期，高速公路正朝着智慧高速的建设迈进。不论是传统的传统高速卡口，诸如“数据采集、数据上传”和“数据处理”的基础建设1.0时代，还是不久将来即将实现的具备“车辆协同智能”、“边缘控制中心”及“智慧高速云控中心”等特色的智慧高速建设2.0时代，数据的海量存储、复杂计算和交互能力都将成为关键，而这一切都将依赖数据库能力去实现。本文以AntDB助力某省智慧高速清分结算项目为案例，阐述数据库在高速清分结算中的应用，体现AntDB分布式数据库的存储和计算能力，抛砖引玉，希望读者能够对数据库在数字化建设中起到的作用形成较为深刻的认知。
某省高速中心清分结算系统一直无法解决数据库设计和选型等相关问题。在某省高速项目建设的过程中，数据库建设方案一直是一个难点。
（一）时间短,工作任务重：政策上某省交科院责令某省高速尽快实现联网收费计费、车道数据和现有清分结算系统的设计，做好整改配合工作，力争四个月内全省联网收费和清分结算系统整改完毕；（二）数据量大，选型难：自2019年5月起某省全省逐步取消高速公路省界收费站，逐步推广ETC收费以来，，某省高速公路建成里程突破10000公里，全省发行ETC用户累计超过600万，客车ETC使用率超70%，货车ETC使用率超60%，选用技术领先的数据库支持某省全省清分结算业务迫在眉睫。此清分项目所在的大数据平台业务支持量较大，支撑的计费等结算任务十分艰巨。其中，项目的困难点主要为以下三个方面：（一）超大的业务数据量需要选用性能稳定的分布式数据库集群。一方面，业务量访问巨大，数据库需要支持读写分离，否则会出现数据积压和低查询效率，Oracle数据库不能支持读写分离，另一方面超高的业务访问和数据写入量，以及较多的报表分析需求，有可能超出Oracle的承受能力。（二）省中心清分结算系统在数据入库上未使用入库前的数据缓存机制，程序直接连库操作，导致数据库连接数较多，程序直接连库写表造成进程间锁等待导致流水数据入库效率低。（三）清分结算系统的省中心数据库未有效组合规划，导致各个收费站上传给清分系统省中心的数据无法集中，只能分散多个数据库存储，无法高效快速对数据进行访问、统计，影响正常的清分结算业务的及时完成。本次清分结算系统数据库全部采用亚信科技自研国产数据库AntDB，实现高速核心业务系统数据库全面自主可控。清分结算系统负责处理并存储计费系统下发的出口交易流水、门架交易流水、部中心下发的记账信息等数据，并产生各种清分结算数据的系统，每日处理数据量达数亿条，同时各类交易处理具有较强的时效性。原生分布式能力：清分结算业务具备短时超高并发的特点，AntDB数据库具备内存计算引擎，提供极致数据处理性能、基于SQL的数据访问服务以及可插拔的扩展服务。原生分布式设计，对应用完全透明，兼顾性能与可扩展性。并且，AntDB有超强scale up能力，对CPU、内存、连接数不做限制。用户可以在线进行扩容操作，扩容过程不影响用户的线上业务，随着业务的快速增长数据库可以横向在线扩展。AntDB可以高效支撑清分结算系统的超高并发业务，保证交易流水等数据处理“一条不漏，一条不错”。HTAP的超高计算能力：清分结算业务包括在线交易、数据分析、报表输出等场景，AntDB数据库可以处理HTAP场景，即交易加实时分析融合场景。AntDB数据库具备实时强一致的分布式事务控制能力，确保数据零丢失和事务一致性，保证拆分数据和报表数据的准确性。分布式场景下提供规范的数据访问控制，全局数据可实现一致性备份和恢复，并提供严格的数据访问控制和数据防倾斜设计，保证业务数据安全可靠；AntDB支持异地容灾，具备高可用，出现故障时可以自动剔除故障节点，保障业务持续可用，保证数据库系统达到99.999%的服务等级；AntDB具备动态高效的SQL执行引擎，提供异构索引，内置reduce数据处理引擎，数据节点间可以进行通信，提高数据处理效率，尤其是复杂查询场景（例如union、join等）的数据处理效率，该能力对于清分结算系统的实时数据分析及报表生成有重要作用。本次清分结算系统使用AntDB分布式架构数据库，数据节点一主两备部署保证高可用，并且启用AntDB独有的读写分离特性，提高数据处理性能。AntDB上线后系统ETC拆分业务效率提升90%，ETC清分记账效率提升60%，报表生成时间缩短接近90%，大大提高了客户清分结算系统的各项业务的处理效率。在线扩容，超高存储能力：目前AntDB每天处理清分结算系统数据量达到上亿条，而且数据量随着业务增长在快速激增，数据库主机IO压力逐渐增大，资源长期满负荷运行，会导致业务运行效率下降。业务运行效率问题的出现是业务量快速增长导致数据库主机性能消耗严重，所以需要减轻生产数据库运行压力。而基于现场客户资源情况和成本考虑，凭借AntDB分布式架构的弹性伸缩能力和灵活性，数据库团队提出了两套可选的解决方案：一是在线扩容AntDB数据库，增加更多数据库主机来分担运行压力。二是另外增加一套数据库集群，专门用于存放历史数据，生产库保存近6个月数据即可，超过6个月的历史数据存储到新建的历史数据库集群中，从而减轻生产数据库压力。最终根据客户需求成本和现场实际资源情况综合考虑，选择方案二。基于方案二的逻辑，为了最大化利用资源，生产数据库数据节点从一主两备调整为一主一备，原来生产库中的异步从库下架作为历史数据库使用，历史数据库同样采用一主一备架构，保证高可用，历史数据库承担历史数据备份和历史数据查询业务，由于历史数据查询频率较低，故服务器采用成本更低的HDD硬盘。历史数据库上线后，主库运行压力大幅下降，数据处理性能得到提升。该方案在保证客户生产库高可用的同时降低了生产库运行压力，而且最大化利用了客户现有资源，降低了客户成本。此次生产库集群调整和历史库上线充分展示了AntDB的弹性伸缩能力和灵活性，可以根据客户需求及业务发展情况进行调整。在该项目中的国产数自主可控数据库AntDB的应用，提供了省中心数据统一服务能力以及“全流程+多协议+高性能+全业务数据”的处理能力，满足海量交易数据的集中采集、处理、查询要求，为取消省界收费后部-省两级架构支撑系统提供新动力。（一）分布式特性克服传统数据库弊端：分布式数据库是当代数据库系统的主要特性之一，而传统的Oracle的IOE架构不具备水平分布式扩展的能力，面对处理巨大的昂贵的IBM“小型机”服务器使得项目承受巨大的预算压力。AntDB数据库的部署，使用5台SSD+10台HDD主机资源，集群节点采用一主两从部署架构保证集群高可靠性，面向应用，支持国产服务器的在线扩展、在线扩容，应用无须关心数据量的突发增长及物理服务器的具体位置，完美地解决了这一难题。（二）技术架构的高可用特性提供可靠业务保障：网络应具备混合架构及服务高可用的能力。项目中AntDB具备集群自愈、两地三中心容灾架构，保证秒级自动鼓掌切换实现业务的连续性，并且能确保数据的完整性和强一致性。从传统IOE架构转为AntDB的分布式架构后，数据库依然可以获得99.999%的SLA服务保障。AntDB使用分布式并行执行引擎，充分使用硬件资源，使得处理效率大幅提升。替换前门架规整积压量在一百万左右，替换后无积压。报表生成时间由3个小时下降为20分钟，提升接近90%。现今，AntDB正高效完成业务报表的输出，支撑某省高速每天1000万条门架流水，200万条车道流水，当前数据量35TB，至今已稳定运行近两年，获得了业务团队和业界的认可。AntDB作为自主可控的国产数据库，成功运用于该“清分结算”类大数据库平台业务，具有广泛的社会意义：（一）高速交通行业示范作用：通过我省清分结算国产数据库的成功应用，为高速行业内应用国产数据库树立典范，增强行业内应用国产技术的信心。（二）信创产业示范效应：既响应国家号召、破解核心软件“卡脖子”风险，又落实某省高速集团公司的要求，助力公司实现自主可控创新引领，提升业务连续性，规避供应链安全风险。某省依托“清分结算”的联网中心大数据平台上线不到1个月，已完成对过去6个月所有历史异常数据的统一稽核，实现了全范围稽核的目标，同时创造了单月清查上千万偷逃费并成功追缴的记录——追缴偷逃费上千万元，有效维护了高速公诉建设投资方权益，避免了国有资产的流失，有力遏制和打击了偷逃费行为。同时，AntDB数据库的成功使用，节约了约200万的oracle采购费用，每年节约40万的商用服务费用的试点应用，大大降低了使用和维护数据库的成本，开源节流，降本增效。
