华中科技大学翟天佑教授 、李渊教授,武汉理工大学柳伟研究员等人发表题为 “ Scalable 2D Spectral-Spatial Associated Vision Sensor for Multidimensional Feature Fusion ”于Advanced Materials 上
本研究提出一种“光谱-空间关联视觉传感器”(spectral-spatial associated vision sensor),在硬件层面同步获取并融合光谱与空间信息,解决传统高光谱成像“逐波段采集-后处理融合”带来的数据冗余、延迟与能耗问题。传感器采用分子束外延(MBE)生长的厘米级高度取向 2D Bi₂Te₃ 薄膜作为宽谱感光层,通过选择性氧轰击引入缺陷,构建 Bi₂Te₃/BiTexOy 异质结阵列,实现零偏压下多波长协同增强的光电突触行为(增强比>20 倍)。32×32 交叉阵列在单帧内完成 365-1064 nm 多光谱成像,同时保留空间分布;结合 HybridSN 3D-2D CNN,在 Indian Pines 高光谱数据集上将地物分类精度从 85.12% 提升至 91.12%,损失下降 30%。该器件将“感知-融合-计算”压缩至单片硬件,为下一代高效多维视觉系统提供新范式。
背景
高光谱遥感通过数百个窄带图像立方体捕获目标“指纹”光谱,但传统模式依赖滤光轮或推扫式逐波段成像,产生海量冗余数据,且传感与计算物理分离,导致传输延迟与能耗激增。现有 2D 材料方案多靠异质堆叠或外部门压扩展维度,工艺复杂且需持续供电。亟需一种可在硬件层面同步完成“宽谱感光-光谱-空间融合-特征增强”的单片低功耗平台,以满足实时遥感、自动驾驶等边缘智能场景。
主要内容
本工作以 C3v 对称的 2D Bi₂Te₃ 为切入点,利用其与 c-蓝宝石晶格匹配的特点,通过 MBE 生长出厘米级、单晶取向、厚度 1 nm(单五原子层)的均匀薄膜;随后采用“光刻-RIE-套刻-氧轰击”工艺,在阵列尺度上选择性氧化部分 Bi₂Te₃ 生成 BiTexOy 异质结,形成 Bi₂Te₃│BiTexOy│Bi₂Te₃ 横向异质结构。该结构一方面通过界面缺陷捕获/释放光生载流子,产生类似生物突触的慢弛豫与双指数记忆衰减(τ₁≈0.87 s,τ₂≈9.69 s);另一方面在 365+1064 nm 同步光照下,载流子浓度叠加与内建电场屏蔽效应使光电流增强比最高>20 倍,且衰减时间延长 50%,实现“多波长协同增强”。
器件采用交叉阵列架构(32×32 单元),源/漏电极由 Bi(10 nm)/Au(40 nm) 构成,行列交叉处沉积 100 nm SiNx 绝缘层防止短路,终端焊盘为 Cr/Au(10/290 nm),通过 PCB 引线键合实现独立寻址。暗电流统计(n=25)显示 84% 单元集中在 2.0±0.1 nA,验证阵列均匀性。区域照明实验(365/455/532/1064 nm)中,异质结单元在单帧内即可呈现高对比度空间-光谱复合图像;当 1064 nm 与可见光协同照射时,光/暗电流比提升 3 倍,有效强化光谱差异。
将阵列实测的“协同增强”曲线作为光谱-空间融合先验,嵌入 HybridSN 网络(3D-CNN 提取联合立方体特征→2D-CNN 挖掘空间细节→FC 分类)。Indian Pines 数据集 16 类地物、200×200×200 立方体被切分为 25×25×25 重叠块,训练 100 epoch。与传统“离散波段+软件融合”相比,实验训练将总体精度从 85.12% 提升至 91.12%,损失下降 30%,对易混淆类别(Class-3 vs Class-11)误判率降低 50% 以上。混淆矩阵显示实验组 precision 与 recall 均全面优于软件组,验证硬件级融合可有效抑制冗余、提升判别力。
创新点
首次提出“光谱-空间关联视觉传感器”概念
,在硬件层面完成同步感知与融合,颠覆传统“逐波段-后处理”异步范式。
MBE 生长厘米级高度取向 2D Bi₂Te₃ 薄膜
,单晶质量高、均匀性好,为阵列级器件奠定材料基础。
选择性氧轰击构建 Bi₂Te₃│BiTexOy 横向异质结
,利用界面缺陷实现光电突触与多波长协同增强,增强比>20 倍。
32×32 交叉阵列单帧成像
,无需外部门压,即可在 365-1064 nm 范围内保留空间-光谱复合信息,实现低功耗原位计算。
将实测“协同增强”曲线嵌入 HybridSN 网络
,硬件级特征融合使 Indian Pines 分类精度从 85.12% 提升至 91.12%,损失下降 30%,验证器件-算法协同优势。
结论
本研究通过高质量 2D Bi₂Te₃ 薄膜与选择性氧化异质结阵列,首次在硬件层面实现光谱-空间同步感知与特征融合,突破传统高光谱成像异步、冗余、高能耗瓶颈。器件兼具宽谱响应、光电突触记忆与多波长协同增强特性,单帧完成多维信息编码,与深度学习协同后分类精度显著提升,为构建紧凑、低功耗、实时的多维视觉感知系统提供了可扩展、CMOS 兼容的新平台,未来可拓展至自动驾驶、遥感监测与边缘智能等复杂场景。
图5 基于光谱-空间关联视觉传感器的高光谱图像分类https://doi.org/10.1002/adma.202520191
FE图南工作室