【武汉大学-张乐飞组-AAAI26】ClearAIR:一种受人类视觉感知启发的一体化图像恢复技术

文章：ClearAIR: A Human-Visual-Perception-Inspired All-in-One Image Restoration

代码：https://github.com/House-yuyu/ClearAIR

单位：武汉大学

一、问题背景：现有图像修复的“痛点”

1. 单一任务模型局限性强：早期修复方法多针对特定损坏类型设计，比如专门去雾、专门去雨，无法应对现实中多种损坏叠加的复杂场景。
2. 通用模型效率与效果失衡：部分通用修复模型虽能处理多种损坏，但仍需为不同类型单独适配，计算成本高，推理过程复杂。
3. 均匀处理导致修复不精准：多数“一站式”修复框架采用全局统一的处理策略，忽视了图像不同区域损坏程度、类型的差异，比如平坦区域与纹理复杂区域的修复难度截然不同，最终导致细节丢失或修复不彻底。

二、方法创新：模仿人类视觉的“分层修复”思路

ClearAIR 最大的突破的是借鉴了人类视觉感知（HVP）的逻辑——先整体后局部、从粗到细，打造了一套分层修复流程，核心包含四大关键模块：

1. 全局质量评估（先看整体）：用能理解文字+图像的多模态大模型（MLLM）对损坏图像做“全面体检”，精准判断整体质量和主要损坏类型，为后续修复定方向，解决了传统评估仅依赖单一模态、对复杂损坏判断不准的问题。
2. 区域感知定位（再找问题）：通过语义引导单元（SGU）将图像分割成不同区域，标记出损坏严重的部位，比如把天空的雾霾区、地面的雨痕区区分开，避免“无差别修复”。
3. 任务识别适配（精准施策）：针对每个标记区域，自动判断具体损坏类型（是模糊、噪声还是雨雪），并匹配对应的修复策略，实现“一区一策”的个性化处理。
4. 细节复用增强（补全细节）：创新引入内部线索复用机制（ICRM），通过对修复后的图像进行不同强度的增强处理，挖掘图像自身的固有信息，用自我监督学习的方式补全精细纹理，让修复结果更自然。

三、实验结果：多项测试表现“领跑”

研究团队在合成数据集和真实场景数据集上，针对三种、五种损坏类型、全天候场景、复合损坏等多种任务开展测试，结果十分亮眼：

1. 综合性能领先：在去噪、去雾、去雨三大任务中，ClearAIR 在 SOTS 数据集上的峰值信噪比（PSNR）达到 31.08 dB，超过 VLU-Net 等主流模型；五种损坏类型任务中，平均 PSNR 达 30.45 dB、结构相似性（SSIM）达 0.916，均为最优。
2. 复杂场景适配强：在雨雪、雾霾、雨滴等全天候场景中，比 Histoformer 平均增益 0.22 dB，能有效去除天气干扰并保留细节；面对雾、雨、暗光、雪叠加的复合损坏，比 OneRestore 增益 0.62 dB，展现出强大的复杂场景处理能力。
3. 真实场景表现佳：在 RainDS、Snow100K-real 等真实场景数据集上，无论是定量指标（PSNR、SSIM）还是视觉效果，都优于 TransWeather、WeatherDiff 等模型，修复后的画面更清晰、更自然。

四、优势与局限

核心优势

1. 全能性强：一个模型就能应对噪声、雾霾、雨雪、模糊、暗光等多种损坏，还能处理多类型叠加的复杂场景，实用性拉满。
2. 修复更精准：分层处理策略让不同区域得到针对性修复，既避免了“一刀切”的粗糙，又减少了细节丢失和修复痕迹。
3. 细节还原好：内部线索复用机制通过挖掘图像自身信息补全细节，让修复结果更符合人眼视觉感知，自然度更高。

现存局限

1. 感知流程不够灵活：固定的“整体-区域-细节”处理顺序在部分极端非均匀损坏场景下适应性不足，性能会受影响。
2. 极端场景存在短板：在极低能见度条件下，语义引导单元可能无法准确分割区域；细节增强依赖的增强策略缺乏感知层面的优化，部分精细纹理恢复效果有待提升。

五、一句话总结

ClearAIR 借鉴人类视觉“从粗到细”的感知逻辑，通过全局评估、区域定位、精准适配、细节复用四大模块，实现了多种图像损坏的一站式精准修复，在合成与真实场景中均表现出色，为复杂图像修复提供了更高效、更自然的解决方案。