多源遥感融合的虚拟城市空间构建与应用
连 蓉 王亚楠
(重庆市地理信息和遥感应用中心 重庆 401120)
［摘 要］ 本文基于倾斜、近景、激光雷达等多源遥感数据融合建模技术,开展高精度虚拟城市模型构建、模型结构优化等关键技术探索,总结分析了虚拟城市场景模型构建精细化程度不够、模型数据面片量大及数据存储组织与高性能可视化等问题。并利用虚拟现实(VR)及Microsoft HoloLens混合现实(MR)穿戴式设备,融合高精度虚拟城市空间模型,实现实景三维(3D)模型与虚拟现实设备对接与融合,在空间规划及历史文化展览等方面进行应用实践。
0 引言
虚拟城市是利用虚拟现实(virtual reality,VR)技术、计算机技术,对城市进行多尺度的三维(three-dimensional,3D)模拟[1]。虚拟城市空间是指以数字空间为载体,承载着城市规划建设、运行管理、社会经济等活动的非无纸化的虚构空间[2],其构建核心内容包括两方面,一是对虚拟环境的构建与模拟,采用各种技术手段模拟出一个与现实对应的虚拟环境;二是如何与现实之间建立联系,使人们在虚拟环境之间进行互动[3]。虚拟空间构建基础是三维模型。当前,城市三维空间基础已经逐渐由仿真三维转变为以倾斜摄影[4]、近景摄影为主的实景三维,利用倾斜摄影可以快速获取城市级实景三维模型,但其数据存储、文件组织与数据格式均与仿真、设计及游戏所构建的Max模型不同,很难与虚拟现实及混合现实(mixed reality,MR)等设备直接对接使用,且存在模型数据面片量大、局部精细程度不够等问题,因此本文从实景虚拟场景构建和虚拟互动两方面开展了研究,并进行了应用实践,为以后的虚拟城市构建和应用提供一定技术参考。
1 研究思路和技术框架
基于多源遥感数据融合的虚拟城市空间构建关键技术研究,首先通过倾斜摄影测量、近景摄影测量、激光扫描系统等多种技术手段,获取城市基础数据源,采用空地数据联合建模、点云智能分类、空地影像特征匹配与联合平差等关键技术,构建了高精度的虚拟城市空间信息基础;其次对构建的虚拟城市空间信息基础进行模型减面及层次划分等优化处理;然后基于VR技术及MR穿戴式设备,融合高精度虚拟城市空间信息设计虚拟城市体验系统;最后探索其在国土空间规划及历史文化展览等方面的应用实践。具体技术框架如图1所示。
图1 技术框架图
2 基于多源遥感构建的三维虚拟空间构建
2.1 多源遥感数据快速获取
倾斜摄影实景三维建模具有数据获取效率高、模型效果更真实、细节更丰富、建模成本更低等诸多优势[5],但因复杂的城市情况及空中摄影采集角度的局限,对建筑贴近地面区域及被屋檐遮挡区域会造成地物的细节纹理信息不足或丢失,导致实景三维模型放大后会存在局部拉花及漏洞等问题[6],导致实景三维模型放大后视觉效果不佳,因此须采用多手段互补,开展多源遥感数据获取。
2.1.1 倾斜摄影与轨迹优化
倾斜摄影是利用航摄飞行器搭载多镜头倾斜传感器进行航空摄影,获取地面的多角度照片,并利用建模系统进行密集配合、三角网构建,纹理映射等处理,形成地面的实景三维模型[7]。在城市地区除常规倾斜摄影外,还需根据目标区域的地表建筑密度、高度等进行航摄轨迹优化,例如,密集的商业区或单体高层建筑,可以采用贴近建筑飞行、变高飞行以及环绕飞行等方式,提高建筑侧面纹理数据获取精度。
2.1.2 近景摄影数据采集
在倾斜摄影获取模型的基础上,针对倾斜摄影完成的实景模型侧面及近地面模型精度不高的问题,利用近景摄影对侧面纹理信息进行补充,可采用单反相机、手机、手持云台等方式[8]。首先需要确定近景拍摄地面取景位置要与空中拍摄的影像具有一定的重叠,建议重叠率至少30%以上,同时,按照建模分辨率和采用设备的焦距计算合适的拍摄距离后进行近景摄影[5]。
2.1.3 全景数据采集
全景空间环境构建分为全景视频和全景
,全景视频是指利用鱼眼镜头,将相机固定一定视角,连续拍摄一定时长的全景视频,为后期的虚拟体验营造真实的空间场景。全景
是用普通定焦镜头,按照一定序列连续拍摄多组照片,形成以相机为中心的连续多张的序列
,然后将
进行拼接、调色等一系列制作,形成全景图像[9]。全景图像拍摄除了利用三脚架拍摄地面特定区域的全景场景外,还可以将相机搭载在无人飞行器上,拍摄更广阔的视角,构建更大的全景空间,满足更高视角的取景。两者的区别在于全景视频其表现力和沉浸感更好,全景图其数据较为轻量化。
2.1.4 激光雷达数据采集
激光雷达是一种非接触式的主动测量技术[10],具有高效率、高精度等特点,相对于传统航空航天遥感,激光雷达不受光线影响,能在白天和夜晚全天候工作。按照其搭载的平台不同,可分为机载、车载及地面激光雷达系统。其中,机载激光雷达系统主要用于较大范围的数据采集与高精度建模等;车载激光雷达系统可在平台高度移动状态下获取道路及两侧的建筑物、车辆及近地面等地物表面数据信息,主要应用于公路设计、铁路安全检测等;地面激光雷达系统可获取更高精度的几何数据,通常用于文化古迹重建及逆向工程等领域。虚拟城市空间基础构建可以利用机载激光雷达进行大区域基础设计三维点云获取,利用车载激光雷达系统采集道路两侧信息采集,最后利用地面激光雷达系统对机载和车载无法到达的盲区进行补充采集。
2.2 多源遥感数据融合处理
2.2.1 多视影像空三加密和密集匹配
对采集的倾斜和近景影像数据进行数据一致性预处理,形成统一的坐标体系和具有一定重叠度和位置信息的照片数据,并按照布控要求,野外测量相应数量的外业像控点,利用三维建模系统进行密集匹配和区域网平差,得到具有大地坐标的高精度密集点云。影响点云密度的主要因素是照片分辨率一般情况下城市倾斜影像分辨率为1～3 cm,近景影像分辨率不大于1 cm,在影像分辨率的基础上会尽量保留具有明显特征的点,以精准表达城市空间场景。
2.2.2 激光点云和密集点云的特征匹配
多视影像密集匹配后,获取了大量的密集点云,但受分辨率和影像质量的影像,可能会存在拍摄盲区或细节表达不清晰等情况,因此在有条件的情况下,可以采用激光雷达对其进行补充[11]。对密集匹配点云和三维激光扫描仪扫描获取的激光点云进行融合处理,融合前建议采用同一套外业控制点控制其数学精度,确定两套点云数据的格式以及精度一致。一般情况下,三维激光点云的点云精度远高于影像密集匹配点云,因此以三维激光点云为参考,使用控制点或者标靶配准的方法,将倾斜摄影密集点云与三维激光点云进行配准,得到融合后的高精度点云模型。
2.2.3 高精度模型构建
利用高精度点云模型,基于空三成果提取深度图并构建三维不规则三角网(triangulated irre-gular network,TIN),同时对三维TIN进行平滑和简化,最后根据三维TIN的空间位置信息,获取最佳视角的原始影像,自动映射纹理,最终形成真实三维场景,各环节流程效果如图2所示。
(a)融合点云
(a)融合点云
(c)纹理映射
(d)三维模型
(e)融合前模型
(f)多源数据融合后模型
图2 高精度实景三维模型构建各环节流程效果
2.3 虚拟空间模型优化处理
2.3.1 基于特征的场景模型减面
自动化的建模手段虽然仅保留了特征点进行三角网构建,但对于虚拟现实和混合现实设备运行来说,其依然存在大量的三角网点及纹理等冗余数据,影响其运行效率,为了不增加计算机计算效率及占用资源影响系统性能,需要减少多余的点和三角网的面片数据量,对于平面仅保留一个完整的面,采用格网划分将数据分块,采用特征提取方法保留区域内特征明显的点,然后将删减完成后的区块合并后平差,获取建筑结构轮廓,在轮廓结构的基础上,基于每张原始照片的外方位元素,重新寻找最优纹理,以此来优化模型结构并减少数据量,达到模型优化的目的。
2.3.2 模型的LOD细节层次划分
模型的细节层次划分(levels of detail,LOD),可以理解为模型金字塔构建,主要是指在虚拟城市空间浏览和体验过程中,需要在不同的视角和区域选择不同细节等级的模型之间进行选择和切换,从而实时改变场景的复杂度,达到提高运行效率的目的[12]。在场景进行渲染时,当摄像机视点与模型相距比较近时,采用细节程度高的LOD模型;当摄像机的视点与模型之间的距离比较远时,则采用精度较低模型进行绘制,对虚拟环境中较为复杂模型的建筑体构建不同层次的LOD简化模型,即实现近距离浏览场景又使整个虚拟交互系统稳定流畅地运行,提高系统的运行性能。
3 虚拟城市体验系统设计
3.1 硬件设备
当前主流“虚拟现实”设备,主要包括三类,一是基于PC端的头显设备,是最早、最常见的虚拟现实设备,如Oculus Rift图3(a),其作为虚拟现实显示终端,需依托高性能图形显卡作为渲染基础;二是基于手机端的虚拟现实设备,如Dodo Case在出售的套件可用于基于谷歌纸板头盔Google Cardboard,见图3(b);三是独立运行的穿戴式设备,如微软hololens,见图3(c),为代表的佩戴增强现实,其自成一体的操作系统,可完全独立运行,不依赖第三方设备。
(a)PC端的头显
(b)手机端简易显示器
(c)独立运行设备
图3 虚拟现实设备
3.2 技术框架
本研究通过综合调研后选择了Facebook旗下的Oculus rift头显设备及Microsoft HoloLens混合现实独立运行设备为主要研究设备,结合三个示范区开展应用示范,主要实现包括会展中心场馆的虚拟展示体验、室内场所虚拟展示、规划设计及虚拟地图展示等应用示范,具体技术框架如图4所示。
图4 虚拟城市体验系统设计框架
3.3 开发工具
本研究主要利用Unity3D开发引擎,其是一款以3D为主的、跨平台的系统开发引擎,也是虚拟现实的主要开发工具[13]。支持Javascript、C#、boo等脚本语言,可以识别多种三维建模软件导出的模型格式,能够识别模型纹理、动画以及人物等,在3D平台、二维(two-dimensional,2D)程序、VR、3D Web、建筑等领域都有广泛的应用。
3.4 交互方式
虚拟现实设备的重要功能就是虚拟交互,其有多种交互方式,主要包括基于套件、手势和语音等交互方式[14]。基于手势的人机交互是一个基于手势手套、无线中继控制站、上位机端等部分组成的包含手势采集、传输、识别控制及处理的人机交互系统。本次研究选用的Oculus rift头显设备支持基于手柄套件的交互,Microsoft HoloLens混合现实设备支持基于手势和语音两种方式的交互。其中,基于语音交互功能首先是通过智能音箱对一定距离的声音进行拾音输入,然后通过智能音箱向用户发送语音请求,请求通过连接层到达后端,后端通过算法理解识别用户的意图后,对用户的意图进行响应。
4 虚拟城市体验系统应用
4.1 城市展览
虚拟城市体验系统其科技感的装备非常适应于展示展览,基于上述流程,通过实景、近景和全景等方式对某区域进行了虚拟场景模型构建,并对其模型数据进行减面和LOD层级优化等处理,并结合文字、照片、视频等方式对试验区进行全方位的虚拟展示,利用手势及语音等进行互动,最后进行多次测试达到效果和效率最佳平衡,目视效果如图5所示。
(a)虚拟全局
(b)虚拟实地(部分实景)
图5 虚拟穿戴设备目视感知
4.2 规划设计
4.2.1 城市设计
城市规划设计,关系到环境、经济、社会的可持续发展,不仅需要考虑现有的环境要求,还要考虑未来各种环境发展的需要,而实景三维模型能够直观地描述和再现客观世界,表达更为丰富、真实全面地构建全要素三维空间信息,利用虚拟现实将设计方案叠加至虚拟城市空间中,可虚拟投影至会议室、办公桌等固定物体上进行虚拟查看。效果如图6所示。
(a)放置建筑在虚拟空间中
(b)将虚拟空间中建筑移除
(c)虚拟查看示例1
(d)虚拟查看示例2
图6 规划设计目视感知图
4.2.2 乡村规划
乡村规划是乡村振兴的重要途径,乡村现状与规划发展呈现,除了文本和图件外,虚拟现实的表达方式能够更加丰富和直观地对乡村进行了宣传和表达,并基于混合现实装备,将村域基础信息与影像融合叠加显示,对村现状分析成果进行创新表达,可提升乡村规划公众的参与度,也可作为乡村旅游宣传的方式之一,展示效果如图6所示。
4.3 古地图展示
古地图作为人类的一项重要文化遗产,蕴涵着丰富的历史人文和自然地理信息,也承载了不同文明的世界观,其学术价值和应用价值非常高[15]。通过混合现实设备可以将整个地图虚拟展现在体验者面前,甚至可以行走其间,更加深入地沉浸在历史的长河中,目视效果如图7所示。
图7 古地图目视感知图
5 结论
(1)通过对多源遥感数据融合的虚拟城市空间构建的方法研究和总结,利用多源遥感,倾斜摄影、近景摄影及激光雷达等技术手段,以Unity 3D作为开发平台,构建了从宏观至微观的精细化虚拟空间环境,为虚拟城市互动体验系统构建了虚拟空间环境基础,结合虚拟现实穿戴式设备,开发了基于手势与语音的互动的“虚拟城市”体验系统,探索了“虚拟城市”环境空间在展示展览、规划设计、乡村现状展示及古地图展示等应用,为实景三维构建“虚拟城市”在展示展览、空间规划及文化宣传等方面的应用提供了技术参考。
(2)在体验感受方面,因虚拟现实设备包括本研究使用的Oculus Rift及HTC等市面主流的诸多虚拟采用全封闭式虚拟环境,体验者长时间佩戴会有晕眩等身体不适的问题,一般体验时间为5～15 min,不适合长时间佩戴;在设备性能方面,当前的虚拟现实相关设备其硬件计算与处理能力还有一定局限性,对于小场景数据支撑效果较好,但难以满足城市级大范围的数据渲染与展示,希望随着虚拟现实硬件、网络传输等技术的发展能解决这些技术问题。
参考文献
[1] 林珲,龚建华.论虚拟地理环境[J].测绘学报,2002(1):1-6.
[2] 牛强,卢相一,魏伟.虚拟智慧城市初论——基于虚拟城市空间的智慧城市建设方式探索[J].城市建筑,2018(15):26-30.
[3] 张坤.城市三维景观模型构建与应用研究[D].长沙:中南大学,2007.
[4] 刘宜淋.无人机倾斜摄影技术在测绘工程中的应用[J].福建建材,2020(12):41-43,114.
[5] 连蓉,丁忆,罗鼎,等.倾斜摄影与近景摄影相结合的山地城市实景三维精细化重建与单体化研究[J].测绘通报,2017(11):128-132.
[6] 杨璐宏,吴玮,王芮.基于空地影像联合的精细化三维重建研究[J].测绘通报,2021(S1):144-148.
[7] 李文俊.三维激光扫描仪在煤矿井架变形检测中的应用[J].煤矿现代化,2012(5):5-7.
[8] 李天.基于环绕式倾斜摄影的塔式建筑精细三维建模[J].测绘通报,2019(S1):318-321.
[9] 李科,熊自明,杜琳.基于全景视频的虚拟地理环境建模技术研究[J].系统仿真学报,2013,25(8):1871-1875.
[10] 李清泉,李必军,陈静.激光雷达测量技术及其应用研究[J].武汉大学学报(信息科学版),2000(5):387-392.
[11] 曹正响.基于倾斜摄影与地面激光扫描技术的三维建模融合应用研究[J].现代矿业,2021,37(10):230-232,235.
[12] 舒俊. 基于Unity3D与HTC Vive的校园展示及交互系统实现[D].南昌:南昌航空大学,2019.
[13] 章国雁.基于Unity3D游戏引擎的三消类游戏算法的设计与实现[J].鞍山师范学院学报,2021,23(4):56-60.
[14] 陈丹凤.基于MR与云端的医疗信息可视化交互系统[J].科技与创新,2020(13):40-42.
[15] 林岗.从古地图看中国的疆域及其观念[J].北京大学学报(哲学社会科学版),2010,47(3):47-56.
引文格式: 连蓉,王亚楠.多源遥感融合的虚拟城市空间构建与应用[J].北京测绘,2023,37(5):660-665.
基金项目：重庆市科研机构绩效激励引导专项(cstc2022jxjl00019)
作者简介：连蓉(1988—),女,甘肃庆阳人,大学本科,高级工程师,注册测绘师,研究方向为航空航天遥感影像数据处理与应用。
E-mail:cqgcrs@foxmail.com
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
