基于街景数据的违法建设监测技术及应用
曾庆丰1，2 丁 月1，2 陈品祥1，2 谭福临3
（1.北京市测绘设计研究院，北京 100038；2.城市空间信息工程北京市重点实验室，北京 100038；3.中国地质大学（北京）信息工程学院，北京 100083）
摘要：违法建设严重影响了城市市容市貌和居民生活。为了有效监测与发现违法建设，本文探索并实践了基于街景数据的违法建设监测的关键技术，并在北京市开展了示范应用，形成了以下研究成果：①制定了街景技术在监测违法建设的技术流程；②融合深度学习技术研发了街景中变化建筑物的自动识别算法，设计了变化图的布局格式并提出了变化图自动生成算法；③结合地理信息系统（GIS）技术形成了内外业一体化的实地核查违法建设业务流程，实现违法建设从发现到拆除的全过程监测；④研究设计了街景查违系统，并在北京市“疏解整治促提升”专项行动中开展了实践应用。本文关键技术研究和应用示范对提高全市生态文明建设、城市市容市貌空间治理具有重要的技术支撑。
0 引言
2014 年，北京市的生态环境发展要求坚持可持续发展，从管理、科技、经济、法制等各方面着手实施举措，促进人口、经济、资源、环境的和谐发展；2015 年，召开的中央城市工作会议要求转变城市发展方式、完善城市治理体系、提高城市治理能力、着力解决城市病等突出问题。在此背景下，北京市多次召开了全市生态文明大会，将严厉打击违法建设作为加强首都生态文明建设、疏解非首都核心功能和提高北京城市管理工作水平的重要抓手。
在技术应用方向，发现违法建设的传统技术包括人工巡查、卫星查违、群众举报等方式。传统人工巡查方式发现违法建设不但耗时耗力且主动性不高、目的性不强、存在难以到达的巡查死角、巡查不到位和遗漏、效率低下等问题［1］；卫星遥感影像可以客观真实的记录地表特征，因此利用两个不同时期的高分辨率遥感影像可以敏锐地发现城市的变化［2］。卫星遥感技术主要可提供大范围的建筑物变化信息［3］，但难以监测和发现城市建筑密集区域以及被树木遮挡区域内的违法建设［4］。近年来，“众包思想”催生了群众举报方式，利用群众举报线索可以发现较为隐蔽的违法建设，但此方式受到主观性影响较大，为了实现违法建设查处的空间全覆盖以及违法建设行为“更早发现、更快反映以及更快处置”的目标［5］，本文探索了街景数据为基础的违法建设监测和发现技术方法。
近年来，随着计算机视觉和深度学习等技术的快速发展，利用街景数据等进行违法用地和违法建设的监测和识别成为一种新的解决方案。街景数据是感知城市物质环境的一种新型地理大数据［6］，且街景图像具有覆盖面广、能提供街道层级景观信息的特点［7］。在过去的几年中，已有许多研究探讨了街景数据在违法用地和违法建设监测中的应用，例如，文献［8］提出了一种基于深度学习的建筑物监测方法，该方法使用了Google Street View 的图像数据，能够有效地检测出违法建设；文献［9］则利用街景数据中的建筑特征进行建筑物分类，通过对不同类型的建筑进行分类，实现了对违法建设的监测；文献［10］提出了一种利用街景图像和卷积神经网络检测农村地区违法建设的方法。另外，国内外的一些城市管理部门也已经开始采用街景数据进行违法用地和违法建设的查处。例如，北京市城市管理委员会在其官方网站上公布了利用Google Street View 进行违法建设监测的案例，证明了街景数据在城市管理中的实用性和可行性。
本文根据街景技术记录客观事实的技术特点［11-13］，结合应用场景制定了一套面向应用的街景技术监测违法建设技术路线，利用街景监测技术来监测违法建设的现状与变化情况。结合移动通信技术、地理信息技术实地核查违法建设，快速精准地发现违法建设，同时利用多期街景数据比对来实现违法建设从发现到拆除的全过程监测，并在北京市违法建设查处工作中开展了实际应用。
1 关键技术
1.1 自动识别提取关键技术
1.1.1 街景影像匹配
基于区域内建筑物的类型进行区域的分类是城市功能区分类的主要方法［14］，本研究以建筑物为街景影像的主要匹配对象，采用了一种基于深度学习的街景影像匹配方法来匹配不同时期的街景影像（图1）。
图1 街景影像匹配流程
注：图中，中段右侧虚线中的两部分内容分别解释了建筑物特征识别以及街景影像匹配的算法。
建筑物的构造复杂多样，角点较多，如何有效提取建筑物的角点是本研究要解决的一个关键技术点之一。尺度不变特征变换（scaleinvariant feature transform，SIFT）算法独特性好、信息量丰富、实时性高［15］，主要可以提取建筑物的玻璃等反光材料反光形成的斑点特征，但这些特征的位置往往会随着光线的不同而发生变化；Harris角点提取算法是Chris Harris 等提出的一种基于信号的点特征提取算法，是Moravec 算法的改进，相比SIFT算法，Harris算法更为稳定［16］。
本研究选择Harris算法来提取建筑物的特征角点，用SIFT 算法来进行描述，两种算法的结合保障了特征的稳定性，并且特征角点不会随着光线的改变而发生变化［17］；之后采用最近邻距离比匹配法对两幅街景影像进行匹配，对判断为同一位置的街景影像进行输出，不是同一位置的街景影像返回数据库，重新进行匹配流程。
高压侧电缆选用聚氯乙烯护套电力电缆，型号为YJV22，主要特点是三芯铜芯交联，具有良好的电气性能、机械性能和耐化学腐蚀性能，广泛应用于城市电网供电系统。此外，电缆截面积的选择要满足物理校验和短路校验。
1.1.2 街景特征的自动识别提取
近年来，随着卷积神经网络在图像识别研究的突破性进展，传统的人工提取图像特征的方式逐渐被取代［18］，卷积神经网络的表征学习能力较强。在街景影像匹配基础上，本研究通过基于区域的卷积神经网络（region-based convolutional neural networks，CNN）识别提取两期街景影像中的建筑物，比对不同时期影像的建筑物变化情况，当两期影像中的建筑物有明显的增减时，实现不同时期街景影像新增违法建设的自动识别提取。图2为基于卷积神经网络自动提取含疑似新生违法建设街景的流程图。
图2 含疑似新生违建街景的自动提取流程图
图3 街景影像变化图可视化布局示意图
注：图中，右侧影像中框体表示街景的位置，左侧图中框体为该位置不同时期街景影像中变化发现的参照物及根据参照物确认的疑似新生违建的位置。
首先，利用区域建议算法选出若干目标区域，候选区域要包括街景影像中可能出现的目标物体［19］，在本研究中候选区域至少要包括街景影像中所有的建筑物。之后将利用卷积神经网络进行特征提取，得到特征向量，每一个候选区域和其通过神经网络得到的特征向量相乘，就可以得到特征矩阵，并进行特征分类，输出含建筑物的街景影像。同时，基于影像匹配结果，可直接获取同一位置的不同时期的街景影像，期间，要保证街景图像大小一致，重复上述过程，可计算得到另一时期街景影像的特征，两期影像进行自动比对则最终筛选出同一位置点建筑物有变化的街景影像，判断为有疑似新生违法建设区域。
1.2 变化图的智能生成
基于二维地图与街景联动、自动识别技术，研究设计了可视化布局图模板，在街景查违系统上截取两期街景影像和遥感影像图，按照可视化布局模板框选参照物和疑似新生违建，系统自动获取并标注其在影像上的位置，标注后将可视化布局图导出（图 3），为查违工作提供依据。
1.3 技术路线
基于影像匹配、自动提取、变化图智能生成等关键技术，形成了基于街景技术的北京市违法建设监测应用的技术路线，并开展了实际应用。主要技术流程见图4。
图4 街景查违技术流程
注：图中APP为应用程序（application）。
街景影像通过专业街景车获取，为了进行变化监测和分析比对，首先对拍摄的
进行初步的筛选与处理［20］，形成北京市街景查违数据库。
街景中违法建设信息提取主要通过变化监测的方式获取。变化监测包括不同时期影像匹配、自动提取比对、变化图智能生成、人工核查四个步骤，过程中应用到基于深度学习的卷积神经网络算法、车载街景影像匹配等关键技术。
为了进一步提升影像匹配结果的准确率，加入了人工核查环节（图5），主要利用目视解译法以及现场核查的方法进行人工核查，其中在进行外业核查时利用自主研发的外业核查APP（可用于手机端和pad 端）对疑似违法建设的信息进行核查，对疑似违法建设的信息进行补充完善。同时，实现了移动端与系统平台的联动，可将移动端的属性信息同步到系统平台，实现数据的联动和更新，具体流程见图 5。
图5 现场核查流程图
现场核查无误后，确认为违法建设，则可开展拆违工作，在违法建设拆除后持续开展动态监测，形成闭环的技术流程，从而实现了北京市违法建设的闭环监管。
2 系统主要功能实现
结合查违工作的实际需求，本研究开展了街景查违系统的设计与实现。系统实现的主要功能有二维地图与街景的联动、变化比对、与外业核查APP的联动等。
2.1 二维地图与街景的联动
为方便在电子地图中快速定位到指定位置的街景，系统实现了街景场景和电子地图的联动与交互控制，可通过获取电子地图中指定点的位置，在街景场景中利用位置点查看街景，同时可快速切换街景场景到指定位置，并可通过二维地图和街景场景的空间关联，实现全局视角的比对（图6）。
图6 街景和地图联动查看指定点街景界面
2.2 变化比对
基于影像匹配与自动提取比对结果，在系统上可直观地查看多期街景影像中违法建设位置点的真实场景及其影像图上的位置；通过获取街景场景当前视野的位置、方位、角度、视野等信息，同步设置不同时期街景场景设置相同的位置、方位、角度和视野等信息，实现不同时期街景场景的联动功能。
2.3 与外业核查APP联动
通过系统平台与外业核查APP 的联动来进行现场核查，外业核查APP 搭载了导航定位功能，可辅助现场核查人员进行精准定位，现场核查人员可将现场核实结果录入系统，可上传相关照片、文件等信息；在外业核查APP录入的所有信息可同步到系统平台，实现信息的同步（图7）。
图7 外业核查APP界面
图8 街景发现违法建设所在位置分类图
图9 街景发现违法建设的规划用地性质分类
图10 街景发现违法建设的使用性质分类及占比情况
3 应用分析与评价
利用街景查违的关键技术与技术路线，在北京市开展了示范应用（应用时间为2021 年）。本文分别从街景发现的违法建设所在位置点情况、规划用地性质、使用性质等几方面分析了街景监测技术发现和查处违法建设的特点，并与其他查违技术特点进行了对比分析。
3.1 街景查违的应用效果
3.1.1 街景发现与查处违法建设位置点情况分析
通过街景发现的北京市违法建设集中分布在道路两侧、农村集体土地、城市平房区（图 8）。此类分布的建设面积大于占地面积，说明违法建设多数是占用上层空间形成的。
3.1.2 街景发现与查处违法建设规划用地性质情况分析
由图 9可知，街景发现的违法建设的规划用地性质多数是居住用地、道路用地和工业用地。
3.1.3 街景发现与查处违法建设使用性质情况分析
经过现场核查确认发现，利用街景发现的违法建设的使用性质大多为商业用途，其次是居住用途（图 10），且多数违法建设是建立在建筑物的第一、二层，大多以盈利为目的，改建或扩建了房屋结构。
3.2 查违技术对比分析与评价
经过前期的应用研究得到：卫星查违技术能够解决较大面积、分布在空旷区域的农村集体土地、农村宅基地等的违法建设难以发现的问题，但对平面变化不明显、面积过小的临街违法建设等发现不敏感或者难以快速发现，但是受影像分辨率限制，会存在地面物误判的情况，需要外业核实；群众举报发现的违法建设一般分布在城市住宅区内、农村集体土地或农民宅基地内，一般都是加盖或翻盖等隐蔽性非常强的违法建设，但是主观性较强，真实性也无法保证；街景查违技术能发现街道两侧、城市平房区、农村平房区、无证违法建设、商业与居住区内的违法建设，是以人的视角进行拍摄的，可以直观地展现违法建设的情况，误差较小。因此，街景拍摄技术与卫星监测技术等实现了互补，各技术的特点如表1所示。
表1 各技术手段特点
4 结束语
本文介绍了利用街景监测技术进行北京市违法建设发现的关键技术与系统实现，并对违法建设发现的结果进行了分析，形成的主要技术方法和成效如下：
（1）制定了一套街景监测违法建设的技术流程。利用深度学习的相关算法进行街景中变化建筑物的识别，并智能生成变化图来构建违法建设的形成过程；结合移动通信技术、地理信息技术进行现场核查与系统平台的联动；通过闭环的技术流程实现了违法建设的动态全过程监测。
（2）研究设计了街景查违系统，实现了变化比对等若干功能，形成了街景查违的数据标准、监测机制，并结合北京市2021 年街景查违的成果，对利用街景技术手段监测违法建设的能力进行了分析与评价，分析了街景技术监测违法建设的优缺点，验证了该项技术的可行性。
（3）充分发挥了街景技术记录客观事实的优势，实现了全市道路两侧、建筑密集区的违法建设快速发现与拆后核查，为治理违法建设寻找了一条途径，发现了大量的违法建设，在发现与查处的过程中，提高了执法者的工作效率。
在街景技术的实际应用中，也存在一些问题。目前街景采集的方式主要是基于车辆，成本比较高，周期较长，并且对于较窄的街巷无法进入，只能通过采集人员步行、骑行的方式进行街景采集。未来，可借助“众包”等方式收集街景信息，进一步节约成本，扩大覆盖范围。
参考文献
［1］ 陈兴峰，刘李，李家国，等.卫星遥感火点监测应用和研究进展［J］.遥感学报，2020，24（5）：531-542.
［2］ 黄亮.多时相遥感影像变化检测技术研究［J］.测绘学报，2020，49（6）：801.
［3］ 刘晓忠，冯存均，邓小渊，等.亚米级遥感影像的建筑物高度反演方法及其验证［J］.测绘通报，2022（8）：128-132.
［4］ 刘立，李长安，高俊华，等.多源卫星遥感的湖南矿山违法开采时空变化［J］.遥感学报，2022，26（3）：528-540.
［5］ 张帆，刘瑜.街景影像——基于人工智能的方法与应用［J］.遥感学报，2021，25（5）：1043-1054.
［6］ 张帆，刘瑜.街景影像——基于人工智能的方法与应用［J］.遥感学报，2021，25（5）：1043-1054.
［7］ 张丽英，裴韬，陈宜金，等.基于街景图像的城市环境评价研究综述［J］.地球信息科学学报，2019，21（1）：46-58.
［8］ LIU T，YUAN Z J，SUN J，et al.Learning to detect a salient object［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（2）：353-367.
［9］ ZHU J，LIU W，YE Z，et al.Street view image based building recognition using deep convolutional neural network［J］.ISPRS International Journal of Geo-Information，2018，7（7）：286.
［10］ WANG X，YANG D，YANG X.Detecting illegal buildings in rural areas using street view images and convolutional neural network［J］.ISPRS International Journal of Geo-Information，2018，7（2）：76.
［11］ 高文武.车载全景影像获取关键技术研究［D］.武汉：武汉大学，2014 .
［12］ 刘俊颖.开源全景软件与地图结合制作街景的技术探究［J］.价值工程，2014，33（27）：240-241.
［13］ HA S，KOO H，LEE S，et al.Panorama mosaic optimization for mobile camera systems［J］.IEEE Transactions on Consumer Electronics，2007，53（4）：1217-1225.
［14］ 马宇.基于主动学习的街景图像分类［D］.青岛：青岛理工大学，2020.
［15］ 梁爽.基于SIFT 算子的影像匹配方法研究［D］.阜新：辽宁工程技术大学，2015.
［16］ 袁志聪.基于Harris 特征的点云配准方法研究［D］.南昌：东华理工大学，2019.
［17］ 杜春鹏，李景山.一种结合拓扑信息和SIFT 特征的多源遥感影像自动匹配方法［J］.测绘通报，2017（10）：115-119.
［18］ 周成伟.基于卷积神经网络的自然场景中数字识别［J］.计算机技术与发展，2017，27（11）：101-105.
［19］ 牛雪磊.基于深度学习的交通街景识别［D］.兰州：兰州交通大学，2020.
［20］ 李观石，刘波，陆藩藩，等.基于MMS 街景的导航数据采集方法研究［J］.现代测绘，2013，36（1）：44-46.
引文格式：曾庆丰，丁月，陈品祥，等.基于街景数据的违法建设监测技术及应用［J］.北京测绘，2023，37（9）：1253-1258.
［基金项目］ 国家自然科学基金（42274029）
［作者简介］曾庆丰（1982—），男，湖南隆回人，硕士，高级工程师，从事地理信息系统开发与研究工作。
E-mail: zengqf@bism.cn
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
