摘要：电子警察的发展，逐步从功能单一的传统电子警察更新换代为低碳环保的集约化、复合型AI电子警察。本论文研究了电子警察摄像机的低照度成像技术路线，研究了基于端侧AI的交通违法检测算法的核心和难点，展示了基于AI的微光/无光复合电子警察在上海的应用效果。
关键词：人工智能（AI）;微光电子警察;无光电子警察;复合电子警察
0前言
电子警察在我国最早可以追溯到上世纪八十年代，经过几十年的发展，随着我国社会经济持续快速增长、以及科学技术日新月异的进步，电子警察功能的不断完善、性能的不断提升、应用场景的不断扩展，电子警察对规范交通秩序、预防交通事故、提升通行效率、缓解城市道路交通拥堵发挥着重要作用，在城市道路交通的管理中扮演越来越重要的角色。
上海电子警察设备的发展，到目前为止，可以分为5个阶段：
电子警察1.0阶段（2016年3月以前）为传统电子警察，主要是抓拍违法变道、闯红灯、超速等简单行为模式的违法行为；
电子警察2.0阶段（2016年4月至2017年9月）为智能电子警察，能够对不礼让行人、转弯不让直行、交替通行、加塞等复杂行为模式的交通违法进行识别，抓拍现场执法不易查处的违法行为；
电子警察3.0阶段（2017年10月至2019年10月）为集成多功能的“复合电子警察”，通过一套设备来实现多种机动车交通违法行为的检测抓拍，最多实现“十三合一”，并集成了“卡口”功能。同时，实现对行人、非机动车常见交通违法行为的抓拍；
电子警察4.0阶段（2019年11月-2021年9月），取消外置补光灯，最大程度减少因电子警察夜间补光造成的“光污染”，仅利用摄像机内置灯珠实现对各类交通违法行为进行抓拍的“微光复合电子警察”。
电子警察5.0阶段（2021年9月至今），再次进化，把摄像机内置灯珠也取消，完全依靠夜间道路环境光，利用光学和图像增强技术，通过AI智能学习判断图像噪点分布信息进行识别及图像和车身颜色的真实还原的“无光电子警察”，在交通管理实际需求和绿色低碳发展间寻求到了平衡点。
随着人工智能和芯片技术的持续发展，尤其是专门为视觉处理设计的终端芯片体积的减小、能耗的降低以及处理能力的增强，将AI 芯片前置于摄像机，使得电子警察摄像机的底层算法均可采用先进的AI算法。本文研究的“微光/无光复合电子警察”是基于AI的技术应用创新，是低碳环保的集约化、复合型新一代电子警察。
01
低照度成像技术
在各类行业级应用中，影响摄像机成像效果的几个重要因素主要包括镜头、光圈、快门、图像传感器、补光灯等，加上图像信号处理器（ISP）的调优能力，这些硬件/软件因素的差异化，让摄像机的图像效果拉开差距。随着物理光学上如传感器靶面尺寸、光圈大小等画质提升相关技术进入瓶颈期，面对图像质量要求严苛的场景，仅单纯依靠“硬件”解决越来越困难。电子警察摄像机用于公安交通管理执法，需清晰记录违法车辆的车牌信息、标志标线、红绿灯信号等，故对摄像机的成像质量要求很高；同时，随着社会各界对治理道路光污染的呼声愈发强烈，也要求电子警察摄像机改变夜间强补光模式，探索在微光甚至无补光的环境下进行交通违法行为的侦测和抓拍。
作为监控摄像机中的高端产品，主流的电子警察摄像机均已采用高透光大光圈的镜头、1英寸以上大靶面全局曝光的CMOS图像传感器等较顶级光学器件，使得仅通过调整光学元器件优化图像质量的技术路线已趋于瓶颈。另一方面，普通监控摄像机在弱光环境下常用增大曝光时间（快门）或增大图像传感器增益来提高成像质量的手段也难以在电子警察摄像机上运用，因为道路上的车辆属于高速运动目标，一旦曝光时间过大，就会使车牌等细节特征产生拖影，因而电子警察摄像机的曝光时间一般都低于1/250秒；而增大图像传感器增益则会引入大量噪声而污染图像质量。
为解决电子警察摄像机在微光甚至无光环境下的成像难题，业内专家通过大量的研发试验，提出了两条可行的技术路线：多光谱融合和基于AI的ISP。
1.1多光谱融合
多光谱融合是优化电子警察摄像机光学设计的“硬”路线，配置两个大靶面图像传感器，通过棱镜物理分光，双传感器分别处理图像亮度和颜色，也就是一个在红外光谱段采集图像亮度信息和物体轮廓，另一个在可见光谱段采集色彩信息，然后再将获取的画面进行像素级逐帧融合，以最大限度保证多光谱成像系统光轴的一致性，使在微光环境里拍摄的图片更清晰、细节更为丰富。这种技术路线存在的不足主要是摄像机采用双光路加双图像传感器的设计，增加了不少硬件成本；同时，多光谱融合算法存在出错的可能，会导致某些场景的图像严重偏色，带来夜间成像质量的新问题。
1.2基于AI的ISP
摄像机内ISP的作用是将光学透镜接收的光信息处理成图像信息，并通过一系列数字图像处理算法对图像噪声、亮度、色度等进行优化。然而，传统ISP图像处理技术已近瓶颈：一是自适应能力弱。传统图像增强技术较为“粗放”，难以针对细分的不同情况进行有效处理；二是需要手工调参。ISP参数逾千个，需在实验室手工调准，尽管如此，也还是无法保证所有场景都适用。面对越来越高的场景复杂度和图像质量要求，参数库逐渐庞大，传统ISP调试越发困难，开发周期逐步拉长，无法快速满足高质量图像要求。
随着AI技术的不断突破，采用基于AI算法的ISP技术给低照度环境下成像难题带来解决新思路，即利用AI算力深度学习海量场景和数据，并智能调优复杂参数，输出算法模型辅助图像处理，使图像质量突破传统ISP极限。基于AI的ISP 是端到端实现RAW数据到YUV图像处理的神经网络，通过采集各种场景的海量数据进行训练，基于数据驱动进行特征提取，根据大量样本的学习能够得到底层的、数据集特定的特征表示，其对数据集的表达更高效和准确；训练目标选用高清晰高保真的期望图像，因此具备很强的场景自适应能力，同时免去ISP上千个参数调优，针对抓拍目标实现最优效果。
用AI ISP在低照度场景中最主要降噪功能来举例：传统降噪基于图像底层数据进行处理，当噪声大过细节时，往往不能做很好的区分，导致降噪的同时会丢失图像的细节信息。AI ISP基于深度学习的降噪技术采用全新的算法架构，由预处理模块、深度学习网络以及后处理模块构成。预处理模块负责将数据处理为适合网络输入的格式，深度学习网络主要由多个卷积层构成，根据预先训练的权重对输入图像进行降噪处理，网络的输出被送入后处理模块，后处理模块负责将网络的输出格式转换为适合后续处理的格式，经过一系列后续处理后，得到降噪后的图像。利用类似于人脑的学习功能，预先训练好各种噪声数据，可以更好的区分噪声和细节、运动和非运动区域，在抑制噪声的同时保留更多细节信息。
除此之外，针对电警场景的具体应用，基于AI的ISP针对交通监控中不同类别的目标，在不同的形态、不同的场景和天气条件的数据进行海量训练，形成亿级特征库，针对抓拍目标通过模型对比和曝光补偿算法，实现图像质量大大提升；采用的AI轮廓精准分割技术，针对车牌区域、车窗区域以及车身区域进行单独AI处理，将算力和AI发挥到极致，在降低对补光依赖的同时实现车牌高清还原，车窗去彩色条纹和鬼影，以及车身颜色的保真。
综合比较上述两种技术路线，由于当前AI算法和AI算力的爆发式增长，使得基于AI的ISP技术方案具有更优秀的成像表现和更广阔的发展空间。目前在上海地区应用的微光/无光电子警察摄像机也正是采用此技术路线。
02基于AI的交通违法检测算法
加持低功耗嵌入式AI芯片的电子警察摄像机，其交通违法检测算法研发的核心和难点是：深度神经网络模型的训练和优化、算法效率的优化、以及电子警察业务逻辑的实现。
2.1深度神经网络模型的训练和优化
针对电子警察应用场景，研发人员基于海量的训练样本数据，训练出各类可实现不同功能的深度神经网络模型，如：基于网络的车辆、行人、非机动车检测与跟踪，车辆号牌的检测与识别；基于残差网络的车辆类型、品牌、车款的识别，危化品等特殊车辆的识别，车身颜色的识别；基于SSD网络的车身特征（天窗、遮阳板、后视镜、车大灯、车雾灯等）的检测与识别，车内特征（年检标、纸巾盒、小摆件、小挂饰等）的检测与识别，驾乘人员特征（安全带、打手机、是否带头盔等）的检测与识别；基于语义分割网络的交通场景中路面、车道线、标志标牌、隔离带、红绿灯等自动检测与识别等。
2.2算法效率的优化
深度学习算法虽然检测识别效果优异，对硬件算力和存储空间的需求也同样巨大，而且为了实时感知各种特征信息和交通违法行为，需要多个深度神经网络模型同时进行检测；然而摄像机采用的是嵌入式架构，受功耗、成本等因素制约，AI算力、存储空间均有限。为了在一台电子警察摄像机内运行多种深度学习算法，需要对深度学习模型库进行大量优化与裁剪，减小内存消耗，提高运行效率，实现多种深度神经网络模型以流水线的形式进行管理运作，最大程度的发挥AI芯片的算力，最大程度提升模型的推理效率。
目前，上海应用的基于AI的微光/无光复合电子警察在各种业务功能都开启时，最高峰可支持同时十多个深度神经网络模型运行。
2.3电子警察业务逻辑的实现
电子警察应用于各种道路交通场景，地面道路、特别是地面路口环境复杂，机动车、非机动车、行人混行时有发生，要求算法能高帧率、全分辨率的对图像进行分析，准确检测并跟踪所有目标，且同一场景可能存在多种相似违法类型，有的违法类型执法证据要求“苛刻”。电子警察业务逻辑是对核心算法检测到的交通场景信息、交通目标轨迹与特征等数据进行分析归纳，对摄像机覆盖场景中所有出现的机动车进行准确的检测、识别与跟踪，勾勒出其运动轨迹，实现对机动车的全属性特征识别及各类交通违法行为检测抓拍，并将电子警察应用所需各类数据、图片、视频实时上传。
目前，基于AI的微光/无光复合电子警察已支持对机动车闯红灯、不按导向车道行驶、违法变道、逆向行驶、不礼让行人、路口滞留、越线停车、左转不让直行、大弯小转、大型车辆右转未停车、货车闯禁令、危险路段掉头、滞留人行横道线、连续变道、变道不打灯、不按规定交替通行、加塞等近20种交通违法行为的检测抓拍，覆盖了电子警察场景的绝大部分非现场执法类型，并同时提供卡口、交通参数、车辆行驶方向等功能。
03项目应用
上海首套基于AI的“微光复合电子警察”已于2019年在岳阳路近东平路路段开展执法使用，首套“无光复合电子警察”已于2021年在逸仙高架东侧场中路段开展执法使用。截至2023年2月1日，上海市公安局交警总队已在全市部署“微光复合电子警察”808套、累计查处交通违法41.7万余起，部署“无光复合电子警察”12套、累计查处交通违法2000余起。
现场观察在夜间正常城市路灯条件下，启用外置补光灯的普通电子警察和只需启用几颗内置灯珠的微光电子警察摄像机，人眼可明显感觉普通电子警察（图1(a)）的灯光非常刺眼、容易给行人和驾驶员带来不适感，微光电子警察（图1(b)）的灯光柔和、对人眼的刺激极小，而无光电子警察（图1(c)）则对驾驶员完全没有影响。
目前，通过808套微光、12套无光电警的投入使用，上海交警部门已拆除老旧补光灯设备近4700个，以每个补光灯20W功率，每天工作12小时来算，每年可减少用电41.2万度，为城市减少碳排放318吨。
（a）普通电子警察
（b）微光电子警察
（c）无光电子警察
图1普通电子警察、微光电子警察、无光电子警察的对比
从近期电子警察抓拍交通违法的画面可以看到，“微光复合电子警察”（图2）和“无光复合电子警察”（图3）在夜间抓拍的违法证据图片，虽然画面看起来较暗，但还是清晰地记录下了车辆的号牌以及全程违法过程，完全可以满足执法需求。
图2微光电子警察抓拍的违法过程图片
图3无光电子警察抓拍的违法过程图片
04结语
通过24小时不间断的视频监测，“铁面无私”记录各种交通违法行为，并通过执法程序落实相应罚则，使违法行为人承担相应的法律后果，以此不断矫正驾驶人的交通行为，养成自觉遵守交通法规的意识和习惯，从而规范道路交通秩序，消除或减少因交通违法带来的交通安全隐患，确保道路交通安全。同时，电子警察自身不断向“无光污染”、 “多功能集成”方向发展，成为城市道路上“绿色低碳环保”的交通安全忠实守望者，这是电子警察研究与应用的根本立足点和出发点。本文研究的微光/无光复合电子警察，正是立足于此，借助于AI技术解决传统电子警察夜间抓拍时补光造成的“光污染”，并实现了一台电子警察摄像机覆盖大部分非现场执法类型，用更少的设备和更少的能源，发挥最大的效能、创造更多的社会价值。
（本文作者：桑志刚 上海市公安局交通警察总队，上海 ）
参考文献：
[1] 桑志刚.电子警察原来还能这样用看上海交通违法大整治经验[J].汽车与安全，2018(8):86-88.
[2] 万会江.多光谱成像系统研究[D].浙江大学，2011.
[3] Chen Chen, Chen, Jia Xu, . to see in the dark[C]. on and (CVPR),2018.
end
往期推荐:
智慧路口是提升交通效率的重要抓手
科技兴警，智慧交通如何把握新机遇？
建养并重，公路智能养护行业未来可期
一文解码百度地图红绿灯倒计时
相关文章
