
(中国地质大学(武汉)计算机学院 湖北武汉 430070)
摘要
随着我国高光谱小卫星技术的快速发展,地质资源环境监测对高光谱数据预处理的标准化需求日益迫切。本文针对地质资源环境领域复杂地形、矿集区等特殊场景的数据处理需求,系统梳理了国内外高光谱卫星数据预处理技术的发展现状与标准化进展,分析了现有标准在地质资源环境应用中的局限性。并在此基础上,提出了一套面向地质资源环境的高光谱小卫星数据预处理技术规程,明确了Level 0、Level 1、Level 2三级数据产品的定义与技术要求,构建了涵盖解格式、系统辐射校正、系统地形校正的完整预处理流程,规定了各处理阶段的关键技术参数与质量控制指标。统一的数据格式、处理流程和质量标准,将提升高光谱小卫星数据的处理精度与产品一致性,可为地质矿产资源勘探、生态环境监测、灾害评估等领域提供标准化的数据支撑,推动我国高光谱遥感技术的规范化应用。
关键词
高光谱遥感;地质资源环境;数据预处理;标准体系
项目来源
国家自然科学基金项目(42471505)。
作者简介
第一作者:贺海旭,博士研究生,现主要从事高光谱数据预处理相关研究。
通信作者:阎继宁,副教授。
正文
高光谱遥感技术能够在电磁波谱的可见光、近红外、中红外和热红外波段范围内,获取的光谱分辨率达到纳米数量级,光谱通道数多达数十甚至数百,具有“图谱合一”特点的光谱数据。相较于传统多光谱遥感,高光谱遥感能够捕捉地物更精细的光谱特征,在地质矿产资源勘探、生态环境监测、灾害评估等领域展现出独特的技术优势。特别是在矿物识别方面,高光谱遥感能够探测到蚀变矿物的诊断性光谱特征,如羟基、碳酸根、铁离子等特征吸收谱带,为矿产勘查提供了强有力的技术手段。
近年来,随着小卫星的快速发展,高光谱遥感与小卫星平台的结合成为空间遥感技术的重要发展方向。小卫星具有研制周期短、发射成本低、组网灵活等优势,能够有效弥补大型高光谱卫星在重访周期和覆盖能力方面的不足。我国已成功发射多颗高光谱小卫星,如“珠海一号”星座,以及面向地矿行业的“地质一号”高光谱遥感小卫星等。这些高光谱遥感数据均实现了米级空间分辨率与纳米级光谱分辨率的结合,为地质资源环境监测提供了丰富的数据源。例如,“地质一号”卫星光谱范围为410~2 480 nm,空间分辨率最高可达14 m,光谱分辨率最高达10 nm,幅宽43 km;“珠海一号”卫星的光谱范围为400~1 000 nm,空间分辨率可达10 m,光谱分辨率达2.5 nm,幅宽150 km。
然而,高光谱小卫星遥感数据在预处理过程中面临着诸多技术挑战。一方面,高光谱数据具有数据量大、波段间相关性强、信噪比差异大等特点,对预处理算法的精度和效率提出了更高要求;另一方面,地质资源环境应用场景往往涉及复杂山区、矿集区等困难区域,地形起伏剧烈、地物类型复杂,对几何校正和辐射校正精度要求更为严格。此外,不同卫星平台、不同载荷获取的数据在格式、质量、处理流程等方面存在差异,缺乏统一的技术规程,影响了高光谱小卫星数据的规模化应用和共享交换。目前,国内在地质资源环境高光谱数据预处理技术的标准化方面仍存在不足,现有的国家标准主要针对多光谱遥感数据产品。对于复杂山区、矿集区的地质资源环境高光谱数据的预处理尚缺乏详细的技术规定和要求。
为支撑我国高光谱小卫星技术在地质资源环境领域的规范化应用,该领域亟需制定专门针对数据预处理的技术标准。本文在分析国内外高光谱遥感数据预处理技术发展现状和标准化进展的基础上,结合地质资源环境应用的特殊需求,提出了一套面向地质资源环境的高光谱小卫星数据预处理技术标准,明确了数据产品分级体系、预处理技术流程、质量控制要求等关键内容,旨在为高光谱小卫星数据的标准化处理提供技术指导和依据,为国内地质资源环境应用的高光谱数据预处理提供统一指导,推动该技术在地质资源环境领域的应用。
在国际方面,高光谱遥感数据预处理技术已相对成熟。美国国家航空航天局针对Hyperion、AVIRIS等典型高光谱传感器建立了完善的数据处理流程,包括辐射定标、大气校正、几何校正等环节,并发布了相应的数据处理软件和数据产品标准。欧洲空间局针对CHRIS、PRISMA等传感器也制定了详细的数据处理规程。国际标准化组织(International Organization for Standardization,ISO)下设的ISO/TC 211技术委员会制定了地理信息领域的系列规范,其中ISO 19115定义了元数据规范,ISO 19130规定了传感器和数据的地理定位信息,为高光谱数据的标准化处理提供了基础框架。
在国内,高光谱遥感数据预处理技术研究起步较晚但发展迅速。中国科学院空天信息创新研究院、中国地质大学(武汉)等单位在高光谱数据辐射校正、几何校正、大气校正等方面开展了大量研究工作,形成了具有自主知识产权的处理算法和软件系统。在标准化方面,我国已发布GB/T 36301—2018《航天高光谱成像数据预处理产品分级》和GB/T 35643—2017《光学遥感测绘卫星影像产品元数据》等国家标准,为高光谱数据的标准化提供了基本遵循。
然而,现有标准主要针对通用高光谱遥感数据,对地质资源环境领域的特殊应用需求考虑不足。地质资源环境监测往往需要在复杂地形条件下进行精细化解译,对几何校正精度、辐射校正一致性、地形辐射校正等有更高要求。此外,现有标准对小卫星平台获取的高光谱数据特点(如平台稳定性、姿态确定精度等)考虑不够充分,难以满足日益增长的高光谱小卫星数据处理需求。
图1展示了地质资源环境高光谱小卫星数据预处理的整体技术框架,包括数据产品分级与构成、数据预处理以及质量控制与追溯3个核心组成部分。该框架体现了从原始数据采集到最终产品生成的完整处理链条,明确了各级数据产品的处理阶段、技术内容和质量。
图1 地质资源环境高光谱小卫星数据预处理体系框架
3.1 数据产品分级体系
根据卫星对地观测数据产品分类分级规则和航天高光谱成像数据预处理产品分级的相关规定,本文结合地质资源环境高光谱小卫星数据的特点,将数据产品划分为3个级别。表1是各级数据产品的技术要求概要,各级产品的定义与技术要求如下。
表1 地质资源环境高光谱小卫星数据产品分级

1)Level 0级产品为传感器直接采集的未经任何处理的原始电信号数据,产品反映了物理传感器响应特性。该级别数据保留了最完整的原始信息,主要用于传感器性能分析、定标系数验证和算法研究,一般不直接面向终端用户。Level 0数据产品是后续所有处理的基础,其质量直接影响最终产品的精度。
2)Level 1级产品为对Level 0数据进行解格式和相对辐射校正后得到的数据,产品消除了传感器和平台因素引起的辐射失真。该级别数据产品具有统一的辐射量纲,可直接用于辐射特征分析和定量反演,是进行大气校正和地物识别的基础数据。Level 1级产品的主要技术特点是消除了传感器各探元之间的响应差异,使同一景内所有像元处于同一线性辐射尺度。
3)Level 2级产品为对Level 1级产品进行系统地形校正后得到的数据,消除了传感器、平台和地形因素引起的几何畸变。Level 2级产品具有精确的地理坐标信息,可直接与地理信息系统集成,进行空间分析、制图应用和定量反演。3.2 数据产品构成与格式要求
各级数据产品由影像数据、缩略图和元数据三部分构成,各部分的具体格式要求如下。
1)影像数据应采用通用标准格式存储。Level 0和Level 1影像数据产品建议使用RAW格式,以保留完整的辐射信息;Level 2影像数据产品使用HDF5或GeoTIFF格式,便于与主流遥感处理软件和GIS平台的兼容。影像数据应包含所有波段的光谱信息,波段顺序应按照波长从小到大排列,数据存储应采用波段顺序格式(BSQ)、波段按行交叉格式(BIL)或波段按像元交叉格式(BIP)等标准格式。
2)缩略图应采用JPEG或PNG等通用图像格式存储,用于快速浏览和数据检索。缩略图应基于真彩色合成或标准假彩色合成生成,图像尺寸应适中,既能反映数据整体特征,又便于网络传输和显示。
3)元数据应采用XML或TXT等通用文本格式存储,内容应符合光学遥感测绘卫星影像产品元数据的规定,包括卫星平台信息(卫星名称、轨道参数)、传感器参数(光谱范围、波段数、空间分辨率)、成像时间(起始时间、结束时间)、地理范围(四至坐标)、处理参数(算法版本、处理时间)、质量评价(质量等级)等关键信息。元数据应结构清晰、内容完整,便于数据检索、共享和互操作。
地质资源环境高光谱小卫星遥感数据预处理流程包括解格式、系统辐射校正、系统地形校正3个阶段。各阶段之间通过严格的指标进行质量控制,确保数据处理的连续性和可靠性。4.1 解格式处理
解格式是数据预处理的第一阶段,主要任务是将卫星下传的压缩数据包解压缩并解析为结构化数据格式,同时进行波段间的初步配准,产出为Level 0影像数据、元数据、缩略图等。该阶段包括解压缩、辅助数据解析和波段间配准3个步骤,各步骤的具体操作和转换条件如下。
解压缩过程应将卫星下传的压缩数据包按照轨道进行解压缩,转换为结构化数据矩阵并存储为dat文件。每个波段对应独立的dat文件,文件应完整无损且数量满足后续数据解析需求。解压缩完成后应验证文件完整性,确保无数据损坏或丢失。
辅助数据解析应从dat文件中根据卫星辅助数据协议提取必要的辅助信息,包括卫星位置、速度、GNSS时间等轨道信息,以及姿态四元数等姿态信息。同时,辅助数据解析应提取每行数据对应的成像时间,建立像元与成像时刻的对应关系。解析生成的元数据文件应包含卫星初始参数和解析出的关键字段,当关键字段解析成功且姿态数据时间戳连续性良好时,方可进入下一步处理。
波段间配准过程采用波段刚性平移方法实现各个波段之间的位置相对配准,即在不改变波段间相对关系的前提下,对波段数据进行整体平移。考虑到高光谱数据波段间存在微小的空间错位,采用刚性平移(即不考虑内部局部畸变)的方式,保证了各波段处于同一地理范围和后续处理质量。波段间配准完成后应检查数据完整性,确认无误后方可进入系统辐射校正阶段。4.2 系统辐射校正
系统辐射校正是将传感器原始响应值转换为具有物理意义的辐射量值的过程,主要包括分幅、相对辐射校正、去噪和调制传递函数补偿(Modulation Transfer Function Compensation,MTFC)4个步骤,产出为Level 1影像数据、元数据、缩略图,各步骤的具体操作和技术指标要求如下。
分幅应根据预设的分幅规则,考虑影像幅宽,将整轨影像划分为若干近似正方形的标准景影像。分幅时将整轨影像按行号进行物理分割,沿轨方向逐块提取影像数据并确保相邻景之间保留10%~20%的重叠,以确保后续拼接处理。分幅过程中需记录每景在原始整轨影像中的起始行列号并将其作为索引信息,分幅完成后必须验证每个景文件尺寸完整且重叠区域像素值在相邻块中完全一致,满足该完整性条件后方可进入相对辐射校正步骤。
相对辐射校正过程应读取影像数据,根据像素列数匹配对应的探元校正系数,利用探元校正系数消除探测器本身的非线性响应差异,使同一景所有像元处于同一线性尺度。校正后的数据应具有统一的辐射量纲,以便为后续的定量分析奠定基础。系统辐射校正后条纹系数应小于0.25%,相对标准差均应优于3.00%,确保不同时间、不同区域获取的数据具有可比性。
去噪算法针对影像存在的随机斑点、椒盐等噪声进行去除。去噪处理过程必须使影像信噪比提升大于30%,达到该信噪比改善标准后方可进入MTFC步骤。
MTFC采用刃边法从影像自身提取边缘特征来估计系统调制传递函数。MTFC具体操作包括自动检测影像中符合刃边模型的人工或自然地物边缘(如建筑物边界、道路边界),刃边区域长度应不小于100像素,然后沿边缘法线方向采样并平均得到边缘扩展函数,经傅里叶变换估算系统实际调制传递函数曲线,最后构建补偿滤波器对影像进行锐化处理以抵消成像模糊。MTFC处理中需通过正则化参数控制噪声放大和振铃效应,最终使影像在奈奎斯特频率处的调制传递函数值在0.20以上,信噪比下降不超过15%,影像数据满足该清晰度与质量指标后方可生成最终Level 1产品。4.3 系统地形校正
系统地形校正阶段是基于卫星辅助数据(成像时间、轨道位置、姿态四元数)以及数字高程模型(Digital Elevation Model,DEM)进行,主要任务是为影像赋予地理坐标信息,并消除由地形起伏引起的几何畸变,产出为Level 2影像数据、元数据、缩略图等。该阶段主要包括系统几何校正和几何地形校正两个步骤,具体处理流程及技术指标要求如下。
系统几何校正采用逐像素严格成像模型进行反算,通过卫星轨道位置与姿态信息计算像元视线方向,并建立像点与地面点之间的几何关系。
几何地形校正采用对每个像素建立包含地形高程项的共线条件方程,并利用DEM作为地面高程约束,将像元视线与DEM表面相交,然后迭代求解地面点坐标,当迭代次数达到最大迭代次数(3次)或地形残差小于1 m时判定为收敛。全部像元计算完成后,可生成密集经纬度网格。
随后,本文将计算得到的密集经纬度网格转换至1984世界大地坐标系坐标系下的地理坐标网格,采用双线性插值等方法对Level 1原始影像进行重采样,生成具有统一地图投影的Level 2正射影像产品。重采样需保证相邻影像接边错位小于0.5个像素,当重采样满足该指标后方可输出带完整地理编码信息的Level 2产品。系统地形校正精度应优于0.5个像素,在复杂山区等困难条件下,校正精度应优于2个像素。
5.1 质量控制体系
质量控制应贯穿于解格式、系统辐射校正、系统地形校正的全过程,包括输入数据质量检查、处理过程关键参数控制以及最终产品的质量检验。质量控制阶段应形成详细记录,确保数据产品的生产过程可追溯、质量可评价。产品应满足基本要求、处理要求和技术要求中规定的指标。
输入数据质量检查在每个处理阶段开始前进行,主要检查输入数据完整性、格式正确性、辅助数据可用性等。处理过程关键参数控制应对各阶段的关键算法参数进行监控和记录,确保处理过程符合规程要求。最终产品质量检验应对照本规程规定的技术指标进行全面检查,合格后方可交付使用。5.2 质量检查内容
质量检查内容应包括但不限于以下方面。
1)数据完整性通过校验码验证,以确保数据在传输和处理过程中无损坏或丢失。
2)辐射校正质量通过标准地物光谱比对、定标系数验证等方法进行检验,系统辐射校正精度应优于7%,确保不同时间、不同区域获取的数据具有可比性。
3)几何校正质量通过地面控制点检验和与参考影像配准等方法进行检验,系统地形校正精度应优于0.5个像素,在复杂山区等困难区域校正精度应优于2个像素。
表2给出了主要质量检查指标的要求。
表2 质量检查指标要求
5.3 追溯方法与质量报告
为确保数据产品生产过程的透明性和可追溯性,数据预处理应建立完善的追溯机制。各处理阶段应对数据进行标记,标记内容包括数据编号、标记编号、操作人员姓名、标记时间等。标记应清晰、唯一,便于后续追溯和查询。
各处理阶段的执行情况应详细记录,包括执行人员姓名、硬件配置情况、详细的处理参数和算法版本、数据处理系统的运行时间和效率、执行地点、具体操作内容、操作结果或观察到的现象等。数据预处理过程记录应真实、完整、规范,保存期限不少于数据产品生命周期。
每批次数据处理应附有质量报告,内容包括数据处理参数、质量评价结果、存在的问题及改进建议等。质量报告应客观反映数据产品质量状况,为数据使用和质量改进提供依据。
6.1 与现有标准体系的关系
本文提出的标准化方案充分考虑了与现有相关技术规程的衔接和协调,在产品分级体系上遵循了航天高光谱成像数据预处理产品的三级分类框架,同时针对地质资源环境应用的特殊需求,对各级别产品的技术要求和处理流程进行了细化和补充,特别是在几何校正和质量控制方面提出了具体要求。在元数据内容方面,本文遵循光学遥感测绘卫星影像产品元数据的基本要求,同时针对高光谱数据的特点,增加了光谱信息、波段设置、辐射定标参数等专用元数据内容。在质量检验方面,本文参考了遥感产品真实性检验导则的基本原则和方法,结合高光谱数据预处理的特点,提出了针对性的质量检查指标和评价方法。6.2 应用前景与典型案例
本文提出的标准方案可广泛应用于地质矿产资源勘探、生态环境监测、灾害评估等领域,具有广阔的应用前景。
在地质矿产资源勘探方面,多光谱数据产品能够识别矿物的诊断性光谱特征,在矿产勘查、蚀变信息提取、岩性识别等方面具有独特优势。以“地质一号”高光谱卫星数据为例,该数据产品在新疆哈密蚀变矿物提取应用中,通过标准化的预处理流程,成功提取了如方解石、白云石等蚀变矿物的分布信息,为矿产勘查提供了重要依据。本方案通过标准化的预处理流程,提高了高光谱数据在地质解译中的可靠性和可比性。
在生态环境监测方面,多光谱数据产品能够精细识别植被类型、监测植被健康状况、评估生态环境质量。高分五号卫星数据在长江经济带生态环境监测中发挥了重要作用,通过标准化的数据处理,实现了对植被覆盖度、水质状况、土壤污染等参数的动态监测。本方案确保了多时相数据的一致性,为生态环境动态监测提供了数据保障。
在灾害评估方面,多光谱数据产品在地质灾害和环境灾害评估中,能够提供丰富的光谱信息。本方案通过精确的几何校正,实现了高光谱数据与其他空间数据的有效集成,为灾害评估和应急响应提供了技术支撑。
6.3 未来发展方向
随着高光谱小卫星技术的不断发展,数据预处理标准也需要持续完善。随着更多高光谱小卫星的发射和应用,需要不断丰富和完善数据预处理标准,增加针对不同平台、不同载荷的专用处理规程。同时,应引入人工智能、深度学习等新技术,提高数据预处理的自动化水平和处理精度,减少人工干预。此外,我国应积极参与国际高光谱数据标准化工作,推动我国标准与国际标准的互认和对接,提升我国在高光谱遥感领域的国际话语权。
本文针对地质资源环境高光谱小卫星数据预处理的标准化需求,系统分析了国内外高光谱数据预处理现状和标准化进展,提出了一套完整的标准化方案,明确了Level 0、Level 1、Level 2三级数据产品的定义和技术要求,构建了涵盖解格式、系统辐射校正、系统地形校正的完整预处理流程,规定了各处理阶段的关键技术参数、质量控制指标和追溯方法。
本标准化方案将有效提升我国高光谱小卫星数据处理的规范化水平,提高数据产品质量,为地质矿产资源勘探、生态环境监测、灾害评估等领域提供标准化数据支撑。未来,随着高光谱小卫星技术的不断进步和应用需求的持续拓展,方案需要适时进行完善,以适应新技术、新应用的发展需求,为我国空间遥感事业的持续发展提供标准支撑。

往期推荐
资讯
《测绘学报(英文版)》“人工智能与遥感科学交叉前沿”专刊征稿函
