面向遥感产品真实性检验的参考数据集构建
蔡振锋1, 季鹏2, 主父学志2, 刘玉芳3
1.临沂市兰山区自然资源局,临沂 276001
2.临沂市国土资源局测绘院,临沂 276000
3.航天宏图信息技术股份有限公司,北京 100195
摘要:
遥感产品真实性检验是遥感产品质量评估的必要环节,确保了遥感产品应用的可靠性和有效性。针对现有遥感产品真实性检验缺乏区域级以上的大范围工程化参考数据集的现状,提出了基于交叉验证的真实性检验参考数据集构建方法,利用已验证精度的Landsat8 OLI数据,构建了中国范围内分幅、分时管理的参考数据集,最终建立年度最优参考数据集,形成的参考数据集具备了易于检索、易于更新、可以大范围构建的特点。按照中心波长匹配了ZY1E高光谱的7个波段,投入到ZY1E影像的反射率真实性检验生产中,通过计算地表真值数据与自动评级结果的混淆矩阵,得到总体精度达到了87%,Kappa系数达到0.83,结果满足了工程化应用的要求。提出的参考数据集构建方法为大范围、工程化的遥感产品真实性检验提供了技术支持。
0 引言
遥感影像由于其大面积覆盖、种类多等优势,得到了广泛应用。但是,由于大气条件、传感器系统误差、光照条件与地面条件等不确定因素的影响,遥感卫星影像产品数值与相对真值之间存在一定的误差,降低了遥感影像产品的精度。因此,进行遥感产品的真实性检验是评估遥感产品质量、可靠性与适用性的必要环节。
遥感产品真实性检验是指通过构建相对真值(参考数据),比较并评价遥感产品精度的过程。遥感产品的真实性检验在国内外都得到了广泛的关注,地球观测卫星国际委员会(Committee on Earth Observing Satellites,CEOS)、美国国家航空航天局(National Aeronautics and Space Administration,NASA)、欧州航天局(European Space Agency,ESA)等机构陆续成立了真实性检验工作组,我国也于近些年设立了“863”重大项目“星机地综合定量遥感系统与应用示范”,将遥感产品真实性检验作为重要研究课题之一。遥感产品真实性检验根据相对真值获取方式的不同,可以分为2类,一是基于地面测量值的验证; 二是基于已有验证产品的交叉验证。基于地面测量值的验证方式,需要首先获取实测的地面像元尺度的相对真值,再通过升尺度等方式,获取影像像元尺度的参考值,通过比较影像与参考值获取真实性检验结果。张仁华等提出的“一检两恰”真实性检验方法,通过一个高空间分辨率影像作为桥梁,实现了地面测量值间接检验低空间分辨率影像的真实性; 杨闫君等基于地面实测的叶面积指数与通过GF-1影像计算的叶面积指数进行对比,得到GF-1影像的叶面积指数真实性检验结果; 林兴稳研究了山区地表反照率遥感产品的真实性检验。基于地面实测的方式虽然检测的精度更加可靠,但是难以实现大面积自动化的检测目标,相比之下,基于交叉验证的方式,则更加低成本,利于工程化检验的实现。交叉验证是利用已有验证精度的时相相近的遥感产品,检测待验证遥感产品精度的方法。相关研究包括于惠等[13]利用Terra/MODIS植被指数产品,检测了基于亮温产品计算的植被指数,可以大幅度地提高反演的时间分辨率,做到每天或每2 d反演一次,但受数据空间分辨率较低的限制, 其反演精度有待提高; Chen等[14]以MODIS数据为参考数据,将多角度成像光谱辐射计光谱反照率(multiangle imaging spectro-radiometer,MISR)转换为总短波反照率,并使用不同验证站点的地面测量值对其进行验证,验证了MISR的反照率。但是对于冰雪地,MISR短波半球-半球反射率与地面测量的反照率不匹配。然而,针对区域级以上的大范围高度自动化的参考数据集构建方法仍然研究的较少。本文基于交叉验证的方式,选取Landsat8 OLI影像作为参考数据,构建年度最优的真实性检验参考数据集,为区域级以上空间范围的工程化真实性检验提供技术支持。
1 数据源
Landsat8是美国陆地计划卫星,发射于2013年2月11日。星上载荷陆地成像仪(operational land imager,OLI)和热红外传感器(thermal infrared sensor,TIRS)。OLI为被动感应电磁波的成像仪,包含9个波段,覆盖从可见光—红外波长的光谱范围,空间分辨率为30 m,包括一个15 m的全色波段,每16 d进行一次全球覆盖。本文采用的是Landsat8 C1L2(Collection 1 Level 2)级别数据,Collection 1的数据集包括Landsat8 OLI/TIRS所有的全球覆盖影像,Collection 1的数据集是Level 1的数据。Level 1的数据均经过几何纠正和辐射定标,分为3种几何纠正的等级(L1TP,L1GT和L1GS)。Level 2级别数据由美国地质调查局(United Seates Geological Survey,USGS)生产,是经过几何纠正、大气校正的地表反射率产品。Collection 1 Level 2的大气校正对于Landsat8影像采用的是LaSRC(land surface reflectance code )算法。
2 研究方法
2.1 技术流程
年度最优参考数据集系统构建的总体框架如图1所示。包括4个主要的步骤: 构建定制分幅参考数据点位集、构建多年分幅影像数据集、构建多年分幅参考数据集、构建年度最优参考数据集。第一个数据集用于管理参考数据集点位信息; 第二个数据集用于管理原始影像信息; 第三个数据集管理多个年份的参考数据,是定制基于不同基础年份的参考数据集的数据平台; 第四个数据集即为针对特定年份使用的最优参考数据集。各个数据集独立管理,易于数据集的更新。
2.1.1 构建定制分幅参考数据点位集
为了更好地进行空间检索,按照一定的经度和纬度等间距划分全球区域,生成全球分幅矢量。其中1∶100万的分幅按经度6°和纬度4°划分,中国地区是从全球分布中抽取的。然后对各分幅内的要素做矢量转栅格,对栅格要素按已划定的等空间间隔提取样点,针对每个样点定制年份内划定等间距天数,生成等时间间隔的点矢量要素,利用全球分幅矢量,获取每个分幅矢量要素的分幅号和空间范围,对每个分幅要素矢量转栅格,对栅格按5 km空间间隔提取样点,针对每个样点在2020年内划定11 d的等间距天数,生成等间隔11 d的点矢量要素,最终生成定制参考数据集。根据上述空间尺度和时间尺度,采集按空间与时间尺度均匀分布的样点集,在单个时间点下单个分幅内等间距分布采样点。最后形成的所有分幅的样点集即为定制分幅参考数据点位集,且每个样本点包含以下信息: 所在分幅号、所在分幅内样点ID、地理坐标、定制日期与对应的定制年积日。
2.1.2 构建多年分幅影像数据集
Landsat8中还存在质量评估(quality assessment,QA)波段,QA波段是利用FMASK算法得到的影像质量评估数据,其中包含了云、云影、卷云和水体等信息。QA通过标示哪个像素可能受仪器或云层影响,提高了科学研究的完整性。本文通过获取多个年份的Landsat8 OLI地表反射率影像集,作为构建参考数据的相对真值。首先,对影像数据集中每景数据进行数据解压,提取每景影像的影像获取时间; 然后,生成每景影像的落图矢量,并根据QA波段数据生成有效区域掩模,生成包含影像获取时间、落图矢量和有效区掩模等信息的影像数据集。
由于影像数据集数据量庞大,为了生成高效的存取机制,首先将影像数据集中每景影像的落图矢量与全球分幅矢量通过空间拓扑关系运算,获取每景影像的全球分幅号,并更新到每景影像数据中; 然后,利用每景影像的分幅号和获取年份,分年、分幅整理存储影像数据集,生成的数据集即为多年分幅影像数据集; 再将多年分幅影像数据集按照年份、分幅号、影像名称三级目录来进行存储; 最后,每景影像包含获取年份、分幅号、影像获取时间、对应的影像年积日、落图矢量和有效区掩模等信息,从而实现高效存取影像数据集。
2.1.3 构建多年分幅参考数据集
定制分幅参考数据点位集与多年分幅影像数据集分别独立管理参考数据点位信息和原始影像信息,而多年分幅参考数据集即是将两者结合,将影像波段信息赋予对应的样本点,生成年度参考数据集的数据平台。
多年分幅参考数据集的构建,主要目的是找到参考数据点位对应的影像信息,并将影像信息记录到相应的点位上。其流程如图2所示。
利用定制参考数据集A2与影像数据集B2,构建多年年度参考数据集C1,C1包含多年年度参考数据集,其中一年的年度参考数据集为C2。首先,通过年度参考数据集C2与A2进行年度和分幅匹配,如果C2中分幅年度数据集C3不存在,则由A2中分幅定制参考数据集创建,创建的数据集继承定制数据集的全部数据和属性,进而生成分幅年度参考数据集C3,C3包括分幅内所有样点唯一ID、地理坐标、定制日期和定制年积日等数据。如果C3存在,则利用B2对其更新; 然后,利用影像数据集B2与C3进行年度和分幅号匹配,获取分幅年度影像数据集B3; B3中包括多景影像数据,其中一景为B4,利用B4的落图范围矢量与C3的样点数据进行拓扑相交,获取相交的样点数据集C4,并遍历样点数据,其中一个样点数据为C5; C5与影像B5进行空间关联,获取C5样点所在的B4影像波段值; 根据B5影像波段值,判断样点是否在有效区域内,如果不在,则C5不更新,如果在则判断C5中已有影像值是否存在,如果不存在,则根据影像B4的日期、波段数和影像波段值等数据,创建和更新C5样点数据,如果已有样点数据存在,获取已有样点数据中定制日期、影像日期,并计算定制日期与已有影像日期绝对差X1、定制日期与B4日期绝对差X2,如果X1≤X2,则不更新,如果X1>X2,则根据B4影像的日期、波段数和波段值,更新C5样点数据。
通过上述步骤,可以构建多年分幅参考数据集C3。针对某一个年度,遍历年度内的每个分幅,则可以构建所有分幅的年度参考数据集,进而可以构建这一年度的参考数据集C2,以此类推,最终可以构建多年年度参考数据集C1。其中,过程中使用了时间采样尺度,此为定制的年积日的间隔,此约束条件可以使得参考时间节点与影像的实际获取时间尽可能的接近,同时排除时间差距较大的影像信息,保证了参考样点的地物一致性。
2.1.4 建立年度最优参考数据集
多年分幅参考数据集记录了不同年份的样点集的点位与影像波段信息,实际应用中,针对定制的基础年份,直接采用多年分幅参考数据集内对应年份的参考数据,可能存在较多的空点位与样点地类不一致的问题。采取时间优选机制,可以获取针对基础年份更加全面与精确的参考数据集。
根据定制的基础年份,将多年分幅参考数据集进行时间尺度优选,得到基于基础年份的年度最优参考数据集。时间尺度优选的主要原则是尽量保留基础年份的样点参考信息,如果样点缺失基础年份参考信息,则用其他年份与参考时间节点最接近的样点信息代替,从而最大程度确保样点的完备性与地类一致性。由C1中多年年度参考数据集和定制基础年份,通过多年优化合成,最终构建成参考数据集E1。具体流程如图3所示。E1中包含多个分幅数据集,其中一个分幅参考数据集为E2。E2的构建步骤如图3所示,首先由C1中各个年度参考数据集进行分幅号匹配,获取每个分幅号对应的多年参考数据集,其中一个分幅的多年数据集为D2; 根据定制基础年份,在D2获取基础年份的分幅参考数据集E2和非基础年份的分幅参考数据集D3,D3中包括多年年度数据集,其中一个年份的分幅数据集为D4; 遍历E2中每个样点数据,其中一个样点数据为E5,获取E5样点的ID; 根据E5的ID,通过ID匹配,查找到D4中对应ID的样点数据D5; 如果D5中无影像波段值,则E5不更新,如果D5有影像波段值,则获取D5中的影像日期和影像波段值等数据,并计算定制日期与影像日期天数的绝对差Y2; 判断E5是否有影像波段值,如果不存在,同时D5有影像值,则由D5更新E5样本数据,如果存在,同时D5有影像值,则计算E5的定制日期与影像日期天数的绝对差Y1; 判断Y1和Y2的大小,如果Y1≤Y2,则不更新E5,如果Y1>Y2,则由D5更新E5样点数据。通过以上步骤,可构建每个分幅的参考数据集,而所有分幅的集合,即最终构成了年度最优参考数据集E1。
2.2 参考数据集的构建方法
参考数据集系统构建的目标是基于多年份的Landsat8 OLI地表反射率影像集和区域分幅矢量数据,生成年度最优参考数据集。年度最优参考数据集是按空间和时间尺度分布的样点集进行构建的。样点集的空间尺度采样模拟金字塔层次结构进行采样,将区域范围首先按照一定的经纬度分幅,再在每个分幅内按照一定的距离进行等间距采样,每个样点按照分幅号与分幅内样点ID的方式检索,检索速度得到优化; 样点集的时间尺度采样方式为: 先确定年积日间距,然后按等间距天数选取时间节点,在每个时间节点下进行空间尺度采样,每个采样点的检索标签为: 年积日、分幅号和分幅内样点ID。
本文进一步采用时间尺度优选的方式,提高样点地物类别的一致性。这里使用的时间优选的原则为: 以同年份数据填充样点,在同年份数据缺失的情况下,以其他年份与参考时间节点最接近的数据填充样点。因此,形成的参考数据集具备了易于检索,易于更新,可以大范围构建的特点。
3 参考数据集真实性检验应用
为了检验构建的数据集的有效性,在中国分幅的范围内随机采集了100景ZY1E高光谱影像,ZY1E影像的高光谱相机的空间分辨率为30 m,在0.4~2.5 μm光谱范围内分为166个波段。为了验证ZY1E影像的反射率有效性,首先对ZY1E影像进行预处理,包括几何纠正、大气校正和辐射定标等,获取反射率影像,然后将影像的空间参考统一转换为WGS-84空间参考,与参考数据集相同。由于ZY1E影像与基于Landsat8 OLI数据构建的参考数据集的空间分辨率一致,因此不需要对实验数据重采样,如果空间分辨率存在差异,则需要将实验数据的空间分辨率重采样到与参考数据的空间分辨率一致。另外,ZY1E影像具备166个波段,按照中心波长匹配,Landsat8 OLI的前7个波段依次对应ZY1E的B7,B11,B20,B31,B56,B113,B148波段(表1),因此,对ZY1E影像进行真实性检验时,选择这7个典型波段用于表征所有波段的真实性。
表1 Landsat8 OLI前7波段与ZY1E相应波段中心波长匹配
检测结果分为4个等级: 优、良、中、差。首先通过目视判读的方式,根据测评影像与参考Landsat8 OLI影像的光谱、色彩和云量等特征的差异,将100景影像分别评级,判断参考标准如表2所示。
表2 影像评级参考标准
根据真实影像与参考影像的差异判断影像的等级,形成地表真值(ground truth,GT)数据。然后采用参考数据集自动判断100景影像的等级。判断机制为: 根据上文中对待测评影像的空间范围和时间范围,以及采集按空间与时间尺度均匀分布的样点集,定位到相应的分幅内,再定位落在测评影像范围内的样点; 根据测评影像的获取时间,寻找时间最相近的样点,提取样点记录的B1—B7波段数值,分别与ZY1E影像的B7,B11,B20,B31,B56,B113,B148波段数值进行比对,如果所有样点的平均反射率误差在[0,20)%以内,证明影像光谱一致、无色差、无云,评级为优; 在[20,40)%以内,证明影像光谱基本一致、色差较小、少量云,评级为良; [40,60)%以内,证明影像光谱有差异、颜色差异较大、云量较大,评级为中; 其他评级为差。通过对数据进行检查,样点反射率并未存在异常值,故此处使用了平均反射率求取误差来反映整体情况。
通过计算GT数据与自动评级结果的混淆矩阵来对构建的数据集的有效性进行检验,得到结果如表3所示,总体精度OA达到了87%,Kappa系数达到0.83,达到了工程化的精度要求,表明了本文参考数据集构建方法的有效性。
表3 评测结果混淆矩阵
4 结论
以Landsat8 OLI影像产品为参考数据,构建了区域级以上的可大范围、工程化实现的真实性检验参考数据集。提出了基于空间金字塔采样与时间尺度优选的构建方案,使参考数据集的区域化构建成为了可能,为遥感产品的真实性检验提供了可靠的基础数据。此外,相比于前人的研究,提出的参考数据集的创建和更新成本低,检索速度快,便于维护和管理,实现基于工程化应用的设计目的。在ZY1E反射率影像的真实性检验实验中,OA达到了87%,Kappa系数达到了0.83,表明了构建的参考数据集的可靠性和有效性,可为遥感产品的生产、反演、质检等业务化应用提供数据支撑。但是,对于样点的平均反射率误差和影像评级参考标准等评价稍有主观,可能导致实际应用与实验结果存在细微差距,后续需要进一步客观化评价准则。（原文有删减）
【作者简介】蔡振锋(1982-),男,高级工程师,主要从事空间信息数据处理、智慧城市建设、遥感影像解译研究。
czf280696113@163.com。
【引用格式】蔡振锋, 季鹏, 主父学志, 刘玉芳. 面向遥感产品真实性检验的参考数据集构建[J]. 自然资源遥感, 2023, 35(2): 176-181.
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
