VRIH文章荐读|武汉纺织大学 彭涛教授团队 基于 Transformer 和多模态检索的去混淆服装图像描述

Impact Factor: 6.1

CiteScore: 9.3

原文信息：

Doi: https://doi.org/10.1016/j.vrih.2024.08.002.

Keywords: Image caption; Causal inference; Fashion caption

Cite: Peng T, Yin W, Liu J, et al. Deconfounded fashion image captioning with transformer and multimodal retrieval[J]. Virtual Reality & Intelligent Hardware, 2025, 7(2): 127-138.

阅读下载全文：

https://www.sciencedirect.com/science/article/pii/S2096579624000494

时尚图像描述是时尚产业、社交媒体及电商领域的重要任务，其精准度与无偏性直接影响相关模型的性能与产业应用效果。然而，时尚图像的复杂性与多样性，导致该任务面临细粒度描述缺失及数据集偏差引发的混杂干扰两大核心挑战，其中混杂因素易使模型学习虚假关联，显著降低其泛化能力。例如：当数据集中的女性开衫描述远多于男性开衫描述时，模型会生成错误的描述。

图 1： 数据偏差导致描述错误示意图。

针对上述问题，本文提出Deconfounded Fashion Image Captioning（DFIC）框架，通过多模态检索与因果推理的创新结合，实现精准、无偏的时尚图像描述。

图 2：DFIC 框架概述

输入一张图像后，CLIP 视觉编码器提取该图像的网格特征。(a) 视觉编码器通过自注意力机制，将图像编码器编码得到的网格特征转换为视觉词元；(b) 检索模块依据图像网格特征，从源索引库中检索出语义相近词汇，以此作为语义线索；(c) 语句解码器融合视觉词元与语义词汇生成图像描述文本。该解码器内置因果干预模块，可消除视觉与语言层面的混杂干扰因素。该框架有效破解了传统标注模型泛化能力弱、描述粗糙的痛点，为时尚图像标注任务提供了新的技术范式，对推动时尚描述技术发展及产业数字化升级具有重要的理论与实践意义。

实验室简介：

纺织行业智慧感知与计算重点实验室

实验室主要围绕纺织服装生产领域进行三个方面的研究：一是智能检测与智能制造，研究在边缘设备上的计算机视觉和深度学习算法，研究利用图像处理和深度学习方法对包括纺织品在内的产品缺陷自动化、在线实时检测；二是智能可穿戴，研究以包括眼镜、面罩、手表、健身带、绷带或其他贴片、纺织品等为载体，与纺织新材料结合，研究数据采集精度高、舒适性好、可换洗的智能可穿戴传感器，并实现传感器与纺织面料有效封装集成；研究包括具有新颖感知功能的传感器和系统。三是智能时尚和智能推荐，研究多模态、多视觉的2D和3D虚拟试衣；研究基于服装设计草图的服装生成和基于物理模型的服装动态仿真；研究基于知识图谱的用户画像；研究大数据和知识指导的服装兼容性，实现用户服饰的智能推荐和搭配。