编组
“智慧”有为!AntDB数据库助力某省高速率先完成自主可控建设
News-2022-08-24
亚信安慧科技

随着新型智慧交通业务的不断涌现,各类高速公路的管控、收费及监测数据在道路管理的各个环节中发挥重要作用,智慧公路信息化建设已成为高速公路建设的重点。AntDB数据库助力某省级客户构建协同共享、强大高效的统一智慧管理平台,为高速精细化管理和运营提供了强力支撑,率先实现了全省高速清分结算系统的自主可控升级改造。



01

建设科技赋能打造“智慧通道”



截止去年年底,某省高速公路建成里程突破10000公里;全省发行ETC用户累计超过600万,客车ETC使用率超70%,货车ETC使用率超60%。

自某省高速全面推行ETC收费以来,人为管理行为逐步减少,各类偷逃税行为时有发生,不仅带来了经济上的损失,还严重影响高速安全通行管理工作,迫切需要借助大数据、AI等技术,预防和及时发现高速通行问题。该项目面临的主要挑战如下:


  • 首先,各省IT信息化水平参差不齐,高速道路车辆通行图片等关键信息保留在各路段中心系统中,保存时间长短不一,且存在数据查询困难、数据缺失等问题。

  • 其次,各省高速偷逃费行为多通过阶段性集中稽核或依赖收费、稽核人员经验进行人工稽核,投入人员多、效率低。

  • 再者,高速系统对通行车主缺乏统一的管理和分析,分析维度单一、实效性较差,原有系统面临前台响应缓慢、数据分析操作繁琐、数据呈现不够直观等问题,使高速通行数据运转不畅。


图1 AntDB数据库省公路联网中心业务架构

这就对高速大数据平台的基础数据存储架构,提出了更高的要求:


统一数据服务、多模融合:高速大数据涉及源系统多,如省清分结算系统、车道收费系统、ETC门架收费系统、发行系统、客户服务系统、绿色通行系统、两客一危系统等;涉及的数据格式多样化,如结构化通行数据、通行图像数据、发行基本资料及图片数据等。数据存储架构需要简洁、易维护,提供统一访问接口,存储汇聚而来的全量原始数据、历史数据备份等,提供即时的在线的查询服务。

准确及时响应、高性能:高速大数据平台汇聚了每日从车道通行采集的数据多达数十G,每日从发行系统获取的基础资料数据高达近百G,还有海量的新增客户车证信息数据和ETC门架通行图片数据,这对数据处理提出了高并发、低时延的要求。同时,客户要求提供一个便捷的数据共享服务开发环境,通过全国统一的应用程序,完成对部联网中心、各省中心文件数据的互通,保障跨省及省内交易数据的完整性、及时性。

一体化管理与分析、HTAP混合负载:省中心系统的HTAP类业务,要求AntDB满足一体化的清分结算务分析能力,覆盖数据采集、上传下载、数据处理、清分、清分结算、数据校验、路径拟合、数据查询等业务场景,达到清分结算业务高效进行,推进全省收费公路联网收费工作的安全、有序发展,助力高速的精细化运营。


02

数据连起来跑起来用起来



面对亿级用户规模的系统建设需求,传统数据库往往需要多套技术来进行支撑:一套关系型数据库实现元数据管理、标签化管理,一套管理非结构化文件,技术架构复杂,导致项目管理难、实施成本高。同时,集中式的存储架构,无法根据需要弹性扩展,从而满足业务增长和海量数据管理的需求。


AntDB数据库具备“超融合”的数据库能力,基于多副本的数据混存技术,支持多种存储方式的统一存储;同时,融合事务处理和在线分析操作,提供不同数据类型、不同需求场景的一站式数据服务,维护成本低、实用性强。

2 AntDB分布式数据库产品架构

项目实施前期,AntDB集中处理了之前需耗时2个月的数据分析工作,期间应用对数据库发起的负载是平时正常业务量的40倍,AntDB使用分布式并行执行引擎,充分使用硬件资源,高效完成了业务报表的输出,获得了业务团队和客户的认可。


在集中处理数据期间,硬件资源基本用满:
  • 磁盘IO打满
  • CPU使用率80-90%
  • 25G 网络打满,传输速率:2GB/s

项目上线后,随着业务量的增加,相比测试阶段数据量和并发量都提高了一个数量级,市场侧或将出现业务处理积压的情况。经过多方分析后,将问题定位到磁盘IO性能作为关键影响因子,具体业务侧的表现为:
  • 入库积压
  • 错单回收慢
  • 门架规整慢
  • ETC拆分慢
  • 拆分报表慢


在前期的分析过程中,也采用一些措施进行优化:
  • SQL优化
  • 表拆分
  • 模型优化


有一定的缓解效果,但是还不够,离预期的效果有一定的差距。


经过专家分析并与客户沟通,从操作层面、经济成本、业务影响度等多方面进行综合考量,确定了两种措施来根本解决:
  • 数据库主机磁盘从机械盘(HDD) 升级为固态盘(SSD)
  • 分布式数据库的主备节点分开部署,分别部署在不同的主机上


措施实施的效果非常,从业务的表现如下:
  • 省内ETC清分升级后,业务数据处理速度提升了近15倍;
  • 措施实施后,清分记账的效率提升约60%,报表生成时间缩短近90%;
  • 全网ETC拆分业务升级后,省内交易拆分处理效率提升约3倍,跨省交易的拆分效率大幅提升近8倍;
  • 门架规整在升级之前每天的积压量在百万级左右,升级后,不再出现历史数据积压的情况;
  • AntDB每天处理清分结算系统数据量达到上亿条,AntDB通过最大化利用硬件资源,保证系统高可用,在提升数据处理性能的同时,降低客户成本。

3 AntDB分布式数据库部署架构

AntDB数据库在智慧高速系统稳定运行的一年半中,不仅满足了某省高速交付周期短、数据多样化、管理多维度、技术自主可控的业务场景需求,还提升了全省高速卡口数据的实时入库、查询、出库的处理效率,日均处理千万条门架数据,百万条车道流水,数据库总数据量达到近百TB,实现将海量数据”连起来,跑起来,用起来”。


03

应用双效显著驶向智慧交通快车道



清分结算系统自上线以来运行平稳,取得了良好的经济效益和社会效益。


处理效能上,AntDB数据库高效完成了过去半年所有历史异常数据的统一稽核,替换前门架规整积压量在100万左右,替换后无积压;在短时间内完成了原先需要2个月的数据分析工作,期间应用发起的负载,是平时正常业务量的40倍;关键业务处理速度提升近90%,报表生成时间降低了一个量级。

4 AntDB数据库行业应用成效

预算使用性价比上,通过应用AntDB国产数据库,减少了数百万的项目建设成本与费用,并且降低了每年的商用服务费用。

行业示范效应上,该省清分结算国产数据库的成功应用,为高速行业内应用国产数据库树立了标杆,增强了行业内应用国产技术的信心。

未来,AntDB将加快拓展更多数字化应用场景,在高性能交易场景、复杂交易场景、海量存储场景、分析型场景、大数据分析场景等其他行业多业务场景中,持续发挥发挥其超融合数据库能力,为更多的行业客户提供更高质量的产品和服务。