A Method for Urban Road Waterlogging Image Recognition Based on Deep Learning
-
摘要: 为了提高超大城市积水内涝的监测预警能力,针对现有积水内涝检测方法实用性、实时性存在的不足,依托广州市9万余个高密度公共监控视频作为数据基础,基于深度学习的目标检测RTMDet (Real-Time Models for Object Detection) 模型建立了一种道路积水内涝图像识别方法,采用多线程技术实现大规模视频点图像的高效采集,同时基于实例分割RTMDet模型实现积水内涝目标的快速检测和识别。使用2018年8月15日—2020年5月23日通过视频接口和互联网收集的共8 463张图像样本集构建识别模型,用2020年6月25日—2022年9月10日采集的6 106张图像对模型进行检验评估。结果表明:强降水过程中,模型能准确识别出具有明显积水内涝特征的图像及积水内涝特征所处图像的位置区域,数据清洗后模型总体识别准确率为86.60%;光线干扰和降水造成摄像头画面模糊是导致模型虚警的两大主要因素。研究成果已经在广州气象影响预报业务检验和广州市应急指挥决策辅助系统应用,为城市积水内涝自动监测和预警提供有效支撑,对水务、交通等气象业务场景有一定的参考价值。Abstract: To enhance the monitoring and early warning capabilities for waterlogging in megacities, this study addressed the low practicality and insufficient real-time performance of existing waterlogging detection methods through the use of a high-density network of over 90, 000 public surveillance cameras in Guangzhou. A road waterlogging image recognition method was established based on the RTMDet model, a deep-learning-based object detection algorithm. Multithreading technology was employed to efficiently acquire images from a large number of cameras. The RTMDet model with instance segmentation capabilities enables rapid detection and identification of waterlogging areas. A set of 8463 images, collected between August 15, 2018, and May 23, 2020, was used to develop the recognition model. The model was then validated and evaluated using 6106 images collected between June 25, 2020, and September 10, 2022. The results indicate that during intense precipitation, the model can accurately identify images of obvious waterlogging and the locations of these waterlogged areas. After data cleaning, the overall recognition accuracy of the model was 86.60%. Light interference and image blurring due to precipitation were the two primary factors causing false alarms. Currently, this algorithm has been implemented in Guangzhou's meteorological impact forecasting verification and meteorological decision-making support platform, providing effective support for automatic monitoring and early warning of urban waterlogging. It also offers valuable insights for water management, transportation, and other relevant sectors.
-
Key words:
- waterlogging /
- image recognition /
- deep learning /
- public surveillance camera
-
表 1 不同条件的图像样本情况
数据集类别 积水内涝图像样本/张 视频图像样本 夜间条件 1 851 白天条件 5 006 扩充图像样本 夜间条件 762 白天条件 844 合计 8 463 表 2 不同年份的数据清洗前后积水内涝图像识别结果
年份 采集图像总数/张 数据清洗前 数据清洗后 识别积水内涝图像/张 实际积水内涝图像/张 识别准确率/% 识别积水内涝图像/张 实际积水内涝图像/张 识别准确率/% 2020 285 507 975 831 85.23 958 831 86.74 2021 619 474 2 996 2 432 81.17 2 813 2 432 86.46 2022 638 491 2 135 1 784 83.56 2 057 1 784 84.30 合计 6 106 5 047 82.66 5 828 5 047 86.60 表 3 识别错误的结果统计分析
干扰因素 图像数量/张 样本占比/% 环境光线影响 286 36.62 降水条件下镜头模糊 239 30.60 焦距拉近或镜头被遮挡 113 14.47 其他 143 18.31 -
[1] 袁宇锋, 翟盘茂. 全球变暖与城市效应共同作用下的极端天气气候事件变化的最新认知[J]. 大气科学学报, 2022, 45(2): 161-166. [2] 丁一汇. 气候变化与城市化效应对中国超大城市极端暴雨的影响[J]. 中国防汛抗旱, 2018, 28(2): 1-2. [3] 刘家宏, 裴羽佳, 梅超, 等. 郑州"7·20"特大暴雨内涝成因及灾害防控[J]. 郑州大学学报(工学版), 2023, 44(2): 38-45. [4] 曾智琳, 谌芸, 朱克云, 等. 2017年"5. 7"广州特大暴雨的中尺度特征分析与成因初探[J]. 热带气象学报, 2018, 34(6): 791-805. [5] 栾清华, 秦志宇, 王东, 等. 城市暴雨道路积水监测技术及其应用进展[J]. 水资源保护, 2022, 38(1): 106-116. [6] 徐敏, 李闪, 李进荣, 等. 基于GPRS与组态技术的城市道路积水监测预警系统设计[J]. 轻工科技, 2015, 31(2): 93-94. [7] 徐志康, 冯径, 常昊天. 道路积水深度测量研究综述[J]. 电子测量技术, 2017, 40(11): 1-6. [8] 白宏图, 刘华. 基于STM32的城市道路积水监测系统设计[J]. 自动化技术与应用, 2018, 37(4): 156-158. [9] 张伟. 基于ARM和GPRS的城市道路积水自动监测与预警系统设计[D]. 成都: 成都理工大学, 2014. [10] 徐海军, 刘林海. 电子水尺在城市道路积水监测系统中的应用[J]. 水利信息化, 2010, 96(3): 45-47. [11] 安全, 范瑞琪. 常用水位传感器的比较和选择[J]. 水利信息化, 2014 (3): 52-54. [12] 杨润泽, 汤玉美, 邱剑, 等. 激光动态液位测量技术研究[J]. 宇航总体技术, 2021, 5(1): 37-41. [13] 莫德举, 刘艳艳. 超声波液位测量方法的研究[J]. 仪器仪表与分析监测, 2007(1): 21-22. [14] 洪峰. 基于气介式超声波传感器的雨量液位测量系统设计[J]. 现代电子技术, 2010, 33(23): 149-151. [15] 王艳斌, 李秀红, 余国河, 等. 红外遥测式路面状况传感器的水厚度测量[J]. 电子产品世界, 2014, 21(4): 26-27. [16] 陈春梅, 李博涵. 基于超声波的道路积水监测与移动终端报警系统[J]. 信息通信, 2015(11): 74-75. [17] 蔡康龙, 胡志群, 谭浩波, 等. 利用卷积神经网络开展偏振雷达定量降水估测研究[J]. 热带气象学报, 2024, 40(1): 64-74. [18] 陈生, 黄启桥, 谭金凯, 等. 基于多尺度特征深度学习的短临降水预报[J]. 热带气象学报, 2023, 39(6): 799-806. [19] 钱奇峰, 王川, 徐雅静, 等. 一种基于深度学习的台风强度估测技术[J]. 气象, 2021, 47(5): 601-608. [20] 黄骄文, 蔡荣辉, 姚蓉, 等. 深度学习网络在降水相态判识和预报中的应用[J]. 气象, 2021, 47(3): 317-326. [21] 孙健, 曹卓, 李恒, 等. 人工智能技术在数值天气预报中的应用[J]. 应用气象学报, 2021, 32(1): 1-11. [22] 刘伯骏, 张亚萍, 黎中菊, 等. 一种基于地面实况的降雹风暴体客观标识方法[J]. 应用气象学报, 2021, 32(1): 78-90. [23] 金子琪, 王新敏, 鲍艳松, 等. 基于卷积神经网络的飑线识别算法[J]. 应用气象学报, 2021, 32(5): 580-591. [24] 刘海知, 徐辉, 包红军, 等. 机器学习分类算法在降雨型滑坡预报中的应用[J]. 应用气象学报, 2022, 33(3): 282-292. [25] 张超. 基于图像的水位标尺检测技术研究[D]. 西安: 电子科技大学, 2021. [26] 石玉立, 夏振, 王林. 基于IDL的视频图像水位检测新算法[J]. 科学技术与工程, 2014, 14 (29): 114-116. [27] 周衡, 仲思东. 基于视频图像的水位监测方法研究[J]. 半导体光电, 2019, 40(3): 390-394. [28] 薛丰昌, 宋肖依, 唐步兴, 等. 视频监控的城市内涝监测预警[J]. 测绘科学, 2018, 43(8): 50-55. [29] 白岗岗, 侯精明, 韩浩, 等. 基于深度学习的道路积水智能监测方法[J]. 水资源保护, 2021, 37(5): 75-80. [30] HUANG J, KANG J, WANG H, et al. A novel approach to measuring urban waterlogging depth from images based on mask region-based convolutional neural network[J]. Sustainability, 2020, 12. [31] 黎珍惜, 黎家勋. 基于经纬度快速计算两点间距离及测量误差[J]. 测绘与空间地理信息, 2013, 36(11): 235-237. [32] 杨慧燕, 李海燕, 赵琴, 等. 广州市城市内涝特征分析[J]. 广东气象, 2021, 43(2): 5-9. -