华中科技大学翟天佑教授、李渊教授,武汉理工大学柳伟研究员AM:可扩展的二维光谱空间关联视觉传感器用于多维特征融合

成果介绍

在遥感等需要高光学分辨率和精度的领域中，多维信息（如空间、时间和光谱维度）的感知至关重要。当前技术通常依赖高光谱成像，即通过逐波段图像采集模式，再借助后处理算法进行特征学习与融合。这种异步工作流程会引入显著的数据冗余、传输延迟和高能耗，限制了其实际部署。

鉴于此，华中科技大学翟天佑教授、李渊教授，武汉理工大学柳伟研究员（共同通讯作者）提出一种新型光谱空间关联视觉传感器，能够在硬件层面实现光谱与空间信息的同步采集和特征融合。具体而言，采用具有宽带响应的可扩展高取向二维Bi₂Te₃薄膜制造高均匀性器件阵列，从而实现对光谱-空间信息的同步捕获。该阵列在多波长刺激下表现出增强的突触行为，最大增强比超过20倍，有效提升了特征区分度和识别效率。基于这种协同增强特性，在印第安松树数据集的地形识别任务中实现了91.12%的识别准确率提升。这些结果表明，该视觉传感器优化了硬件级数据采集流程，同时提升了处理效率，为多维信息融合（尤其是海量数据流场景）确立了新范式。

图文导读

图1 新型光谱空间关联视觉传感器。(a) 传统高光谱图像异步采集方法示意图。(b) 视觉场景中的多维特征，包括光谱维度和空间维度。(c) 光谱空间关联视觉传感器的同步采集过程。(d) 用于特征学习与分类的神经网络。

图2 Bi₂Te₃薄膜及其异质结构的生长与表征。(a) 通过MBE技术生长Bi₂Te₃薄膜的示意图。(b) 二维Bi₂Te₃与c面蓝宝石衬底的对称性匹配。(c) 蓝宝石衬底上生长的连续Bi₂Te₃薄膜照片。(d) Bi₂Te₃薄膜的光学显微镜图像。(e) 生长的Bi₂Te₃薄膜的横截面STEM图像。(f) 在124 eV下获取的Bi₂Te₃薄膜LEED衍射图样。(g) Bi₂Te₃沿<1120>方向的RHEED衍射图样。(h) 处理后异质结构的拉曼光谱成像（124 cm⁻¹）。(i,j) Bi₂Te₃和氧化物的拉曼光谱（采集自约60个样品点）。(k) Bi₂Te₃及氧化物拉曼峰强度的直方分布与高斯拟合。

图3：视觉传感器的光谱依赖性特性。(a) 多波长协同刺激下光电器件的示意图。(b) 器件在单波长455 nm光刺激（A₁）与455 nm及1064 nm光协同刺激（B₁）下的ΔEPSC响应。(c) 移除光刺激后电流的衰减曲线及其拟合结果。(d) 在固定455 nm光功率条件下，不同1064 nm光功率对应的ΔEPSC响应。(e) 不同1064 nm光功率下，增强比（B₁/A₁）随光脉冲数量的变化关系。(f) 单波长（365/455/532 nm）及与1064 nm光协同刺激下的归一化EPSC随时间变化曲线。(g) 不同365、455或532 nm光功率条件下，增强比随1064 nm光功率变化的函数关系。

图4：视觉传感器的空间依赖性特性。(a) 光谱-空间特征融合与增强示意图。(b) 视觉传感器阵列的结构分解图。(c) 与PCB绑定的视觉传感器阵列实物照片。(d) 32 × 32视觉传感器阵列的光学显微镜图像。比例尺：500 µm。(e) 图(d)虚线框区域的放大视图。比例尺：50 µm。(f) 单波长光刺激下视觉传感器获取的光谱特征。(g) 多波长光同步刺激下视觉传感器获取的光谱-空间融合特征。

图5：基于光谱空间关联视觉传感器的高光谱图像分类。(a) 用于高光谱图像特征分类的HybridSN模型，该模型融合了地形特征、光谱信息与空间信息。(b) 印第安松树数据集的地面真实标注图。(c) 使用传统离散波段特征（软件方法）获得的分类预测图。(d) 利用多波长协同增强特征（实验方法）获得的分类预测图。(e) 从(c)(d)选定区域（实线框）提取的误差分布放大对比图。(f) 通过实验训练生成的混淆矩阵。(g)-(i) 实验训练与软件训练在分类精度、准确率及损失函数方面的对比。

结论与展望

总结而言，该研究基于具有宽带响应能力的高均匀性Bi₂Te₃薄膜，成功开发出一种新型光谱-空间关联视觉传感器。该传感器无需多帧采集即可实现多维信息的同步获取与融合，从而在硬件层面优化了数据采集流程。此外，通过选择性氧轰击构建的异质结构赋予器件光电突触行为，该行为在多波长协同刺激下可进一步强化。利用这些特性，研究通过器件阵列展示了光谱-空间特征融合与增强功能。将其应用于印第安松树数据集的地形识别任务时，相较传统方法实现了更高的识别准确率，这为多维信息融合与高效处理技术的潜力提供了有力佐证。该传感器集宽带感知、实时多维信息融合和光电突触功能于一体，有望成为推动下一代智能感知系统发展的关键技术。其紧凑的功能设计与硬件级融合能力，使其特别适合需要高效处理复杂多维数据的应用场景。