Mitigating Shortcut Learning: Texture-Penalized Prototype Networks
Institute for AI Safety and Security（人工智能安全与安全研究院）；DLR（德国航空航天中心）
提出纹理惩罚原型网络（TPPN），通过纹理惩罚分支抑制高频线索，增强形状偏置，将ResNet-50纹理偏差从55.11%降至29.73%，并提升分布外泛化能力。
2026-09-09 cs.CV
Do ImageNet-trained models learn shortcuts? The impact of frequency shortcuts on generalization
University of Twente（特温特大学）
该研究提出高效的大规模频率捷径分析方法，发现ImageNet训练的CNN和Transformer模型均存在频率捷径，这类捷径会影响模型在不同OOD测试集上的泛化表现，为后续基准测试优化提供方向。
2025-03-22 cs.CV
Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks
School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院）；State Key Lab of Intelligent Transportation System（智能交通系统国家重点实验室）；Zhongguancun Laboratory（中关村实验室）；School of Systems Science and Engineering, Sun Yat-Sen University（中山大学系统科学与工程学院）；Shandong Sino-Aisa Tire Proving Ground Co.,Ltd.（山东中亚洲轮胎试验场有限公司）
研究针对物理可实现攻击，提出实例级对比对抗训练框架InsCAT，通过SICA、ROPO和Guard等方法防止检测器将对抗纹理用作独立决策线索，经实验验证其在多场景和检测器上效果良好，提升检测可靠性。
2026-07-24 cs.CV
Early Cue Precision Shapes Visual Shortcut Learning in Controlled Cue-Manipulation Benchmarks
Gwangju Institute of Science and Technology（全州科学技术院）
通过合成形状-纹理任务和CIFAR-10基准，研究早期线索精度如何影响视觉分类器依赖低级线索的捷径学习，发现线索去相关需在下游适应中持续维护。
2026-06-29 cs.AI cs.CV
Visual concept ranking uncovers medical shortcuts used by large multimodal models
Stanford University（斯坦福大学）；University of California Berkeley（加州大学伯克利分校）
本文提出视觉概念排名方法，用于揭示大型多模态模型在医疗任务中表现的潜在视觉特征依赖性。
2026-02-13 cs.CV cs.LG
Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering
Korea University（韩国大学）；KAIST（韩国科学技术院）；Amazon（亚马逊）
本研究通过RETINA基准和MIMIR方法，打破多模态知识驱动视觉问答中的视觉捷径问题，验证现有模型对捷径的依赖并展示改进效果。
2026-02-25 cs.CV
A Shortcut-aware Video-QA Benchmark for Physical Understanding via Minimal Video Pairs
FAIR at Meta（Meta旗下的FAIR）；McGill University（麦吉尔大学）
针对现有视频问答基准易因表层捷径导致分数虚高的问题，本文提出含5.5万样本的MVP基准，通过最小变化视频对评估模型物理理解能力，发现当前最优开源模型性能远低于人类。
2025-06-11 cs.CV cs.LG
Skull-stripping induces shortcut learning in MRI-based Alzheimer's disease classification
Department of Neurology, Medical University of Graz（格拉茨医科大学神经科）；Institute of Biomedical Imaging, Graz University of Technology（格拉茨技术大学生物医学成像研究所）；BioTechMed-Graz（格拉茨BioTechMed）
本研究通过系统改变预处理方式，发现去颅骨操作引入的脑轮廓特征被3D CNN作为捷径线索用于阿尔茨海默病分类，揭示了捷径学习现象，凸显了可解释性工具的重要性。
2025-10-17 cs.CV cs.LG eess.IV
Seeing Before Reasoning: Decoupling Perception and Reasoning for Shortcut-Resilient Multimodal On-Policy Self-Distillation
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人与智能系统国家重点实验室，沈阳自动化研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出ViGOS框架，通过解耦感知和推理，在MLLM后训练中避免文本捷径，提升图像依赖行为。
2026-06-23 cs.CV cs.LG
Achieving Domain Robustness in Stereo Matching Networks by Removing Shortcut Learning
RMIT University（皇家墨尔本理工大学）；Edith Cowan University（埃迪斯科文大学）
基于学习的立体匹配和深度估计网络目前在公共基准测试中表现出色，结果令人印象深刻。然而，最先进的网络往往无法从合成图像推广到更具挑战性的真实数据域。本文试图通过分析合成图像学习对实际数据性能的影响，揭示实现域鲁棒性的隐藏秘密，特别是发现立体匹配网络泛化成功的重要因素。我们提供的证据表明，立体匹配网络的合成域中的特征学习受到合成数据中存在的两个“捷径”的严重影响：（1）合成立体图像中匹配像素之间的相同局部统计（RGB颜色特征）和（2）游戏引擎中模拟的3D对象上的合成纹理缺乏真实感。我们将证明，通过删除这些快捷方式，我们可以在最先进的立体匹配框架中实现域鲁棒性，并在多个真实数据集上产生出色的性能，尽管网络仅在合成数据上训练。我们的实验结果表明，消除从合成数据的捷径是关键，以实现合成和真实数据域之间的域不变的泛化。
2021-06-15 cs.CV cs.LG
Rectify ViT Shortcut Learning by Visual Saliency
Northwestern Polytechnical University（西北工业大学）；University of Georgia（佐治亚大学）；University of Electronic Science and Technology of China（电子科技大学）；Athens Academy（雅典学院）；ShanghaiTech University（上海科技大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
重复学习是常见的，但对深度学习模型有害，导致退化的特征表示，从而危及模型的泛化性和可解释性。然而，在广泛使用的视觉Transformer框架中的快捷学习在很大程度上是未知的。同时，引入专业知识是纠正由背景相关因素主导的捷径的主要途径。例如，在医学成像领域，来自放射科医师的眼睛注视数据是有效的人类视觉先验知识，其具有引导深度学习模型聚焦于有意义的前景感兴趣区域的巨大潜力。然而，获得眼睛注视数据是耗时的，劳动密集型的，有时甚至是不实际的。在这项工作中，我们提出了一种新的和有效的显着性指导的视觉Transformer（SGT）模型，以纠正快捷学习的ViT与眼睛凝视数据的情况下。具体而言，采用计算视觉显著性模型来预测输入图像样本的显著性图。然后，显着性图被用来隐藏最具信息量的图像块。在所提出的SGT中，图像块之间的自我注意力只集中在提取的信息。考虑到这种提取操作可能会导致全局信息丢失，我们进一步在最后一个编码器层中引入了一个残差连接，该残差连接捕获了所有图像块的自注意力。在四个独立的公共数据集上的实验结果表明，我们的SGT框架可以有效地学习和利用人类的先验知识，而无需眼睛注视数据，并取得了比基线更好的性能。同时，该方法成功地纠正了有害的捷径学习，显著提高了ViT模型的可解释性，证明了在纠正捷径学习中传递人类先验知识的前景
2022-06-17 cs.CV
Overcoming Shortcut Learning in a Target Domain by Generalizing Basic Visual Factors from a Source Domain
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
当深度神经网络过度依赖训练数据集中的虚假相关性来解决下游任务时，就会发生重复学习。先前的工作已经表明这如何损害深度学习模型的组合泛化能力。为了解决这个问题，我们提出了一种新的方法来减轻不受控制的目标域中的捷径学习。我们的方法用一个额外的数据集（源域）扩展了训练集，该数据集是专门为促进学习基本视觉因素的独立表示而设计的。我们在合成目标域上对我们的想法进行基准测试，在合成目标域中，我们明确控制捷径机会以及现实世界的目标域。此外，我们分析了不同规格的源域和网络结构的组合泛化的效果。我们的主要发现是，利用来自源域的数据是减轻捷径学习的有效方法。通过促进学习表征中不同变异因素的独立性，网络可以学会在推理过程中只考虑预测因素，而忽略潜在的捷径因素。
2022-07-20 cs.AI cs.CV
TopoPerception: A Shortcut-Free Evaluation of Global Visual Perception in Large Vision-Language Models
Center for Brain-Inspired Computing Research (CBICR)（脑启发计算研究中心）；Department of Precision Instruments（精密仪器系）；IDG/McGovern Institute for Brain Research（IDG/麦戈文脑研究学院）
针对现有LVLM评估存在局部捷径易高估感知能力的问题，提出基于拓扑属性的无捷径全局感知评估基准TopoPerception，发现当前LVLMs全局感知能力严重不足，单纯缩放模型无法解决该缺陷。
2025-11-14 cs.AI cs.CV cs.LG
Overcoming Statistical Shortcuts for Open-ended Visual Counting
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Facebook AI Research（Facebook人工智能研究院）
机器学习模型往往过度依赖统计捷径。输入和输出标签部分之间的这些虚假相关性在现实世界的设置中并不成立。我们针对这个问题，最近的开放式视觉计数任务，这是非常适合研究统计捷径。我们的目标是开发一个模型，学习一个适当的计数机制，而不管输出标签。首先，我们提出了修改计数分布（MCD）协议，该协议惩罚过度依赖统计捷径的模型。它基于不遵循相同计数标签分布的训练集和测试集对，例如奇偶集。直觉上，已经学习了正确的奇数计数机制的模型应该在偶数上表现良好。其次，我们介绍了空间计数网络（SCN），它致力于基于自然语言问题的可视化分析和计数。我们的模型选择相关的图像区域，他们的融合和自我注意力机制评分，并提供一个最终的计数得分。我们将我们的协议应用于最近的数据集TallyQA，与最先进的模型相比，表现出优越的性能。我们还展示了我们的模型选择正确的实例在图像中计数的能力。代码和数据集可在https://github.com/cdancette/spatial-counting-network上找到
2020-07-01 cs.CL cs.CV cs.LG
Beyond Question-Based Biases: Assessing Multimodal Shortcut Learning in Visual Question Answering
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机科学实验室）；Carney Institute for Brain Science, Brown University（布朗大学卡尼脑科学研究所）；Idiap Research Institute（伊迪亚普研究所）；Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）
我们介绍了一种评价方法，视觉问答（VQA），以更好地诊断案例的捷径学习。这些情况发生在模型利用虚假的统计数据来产生正确的答案，但实际上并没有部署所需的行为。在现实世界中部署模型之前，需要确定数据集中可能的快捷方式并评估其使用情况。VQA的研究社区专注于基于问题的快捷方式，例如，模型可能主要依靠问题条件训练先验来回答“天空的颜色是什么”和“蓝色”，而对视觉证据的权重很小。我们更进一步，考虑涉及问题和图像的多模态快捷方式。我们首先通过挖掘诸如单词和视觉元素的共现等琐碎的预测规则来识别流行的VQA v2训练集中的潜在快捷方式。然后，我们引入VQA-反例（VQA-CE），这是一种基于反例子集的评估协议，即图像-问题-答案三元组，其中我们的规则会导致不正确的答案。我们使用这种新的评价在现有的VQA方法的大规模研究。我们证明，即使是最先进的模型表现不佳，现有的技术，以减少偏见在这种情况下，在很大程度上是无效的。我们的研究结果表明，过去的工作基于问题的偏见VQA只解决了一个复杂的问题的一个方面。我们方法的代码可以在https://github.com/cdancette/detect-shortcuts上找到。
2021-09-01 cs.AI cs.CV
Learning Visual Representations for Transfer Learning by Suppressing Texture
University of Maryland, College Park（马里兰大学学院公园分校）；Johns Hopkins University（约翰霍普金斯大学）；Yonsei University（延世大学）；Axogyan AI
最近的文献表明，从CNN的监督训练中获得的特征可能会过度强调纹理，而不是编码高级信息。特别是在自监督学习中，纹理作为低级线索可以提供阻止网络学习更高级表示的捷径。为了解决这些问题，我们建议使用基于各向异性扩散的经典方法来使用具有抑制纹理的图像来增强训练。这种简单的方法有助于保留重要的边缘信息，同时抑制纹理。我们的经验表明，我们的方法在监督或自监督学习任务（如MoCoV 2和Jigsaw）中使用八个不同的数据集实现了目标检测和图像分类的最新结果。我们的方法对于迁移学习任务特别有效，我们在五个标准迁移学习数据集上观察到了性能的提高。在Sketch-ImageNet数据集、DTD数据集和使用显着图的额外视觉分析上的大幅改进（高达11.49%）表明，我们的方法有助于学习更好的表示，从而更好地传递。
2023-01-27 cs.CV cs.LG
Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Eberhard-Karls-Universität Tübingen（蒂宾根大学）；Idiap Research Institute（伊迪亚普研究所）
针对数据虚假相关性导致的捷径学习问题，提出利用扩散概率模型独立表示视觉线索的特性生成反事实，通过扩散引导的集成多样化框架转移模型对捷径线索的注意力，在无需额外收集数据下达到媲美先前方法的性能。
2023-11-18 cs.AI cs.CV
Visionary-R1: Mitigating Shortcuts in Visual Reasoning with Reinforcement Learning
Hong Kong Baptist University（香港 Baptist 大学）；Shanghai AI Lab（上海人工智能实验室）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出Visionary-R1，通过强化学习训练视觉语言模型，采用描述-推理-回答格式以缓解捷径学习，在273K无CoT问答对上训练后，在多个视觉推理基准上超越GPT-4o等强模型。
2025-10-26 cs.CV
From Accuracy to Visual Dependence: Auditing and Filtering Modality Collapse in Traffic VideoQA
针对交通视频问答中模型依赖文本捷径而非视觉证据的问题，提出盲差距和视觉增益两个数据集级诊断指标，以及实例级捷径分数实现无训练过滤，提升视觉基础。
2026-06-29 cs.CV
Gaze-Guided Learning: Avoiding Shortcut Bias in Visual Classification
Tianjin Normal University（天津师范大学）
本文针对视觉分类中因特征定位不准导致的捷径偏差问题，提出结合人类注视时间序列数据集 Gaze-CIFAR-10 与双序列注视编码器，并通过跨模态融合 ViT 视觉序列来纠正定位，实验证明可显著提升分类准确率。
2025-04-08 cs.CV
DiagViB-6: A Diagnostic Benchmark Suite for Vision Models in the Presence of Shortcut and Generalization Opportunities
Bosch Center for AI (BCAI)（博世人工智能中心（BCAI））；Heidelberg University（海德堡大学）；University of Freiburg（弗莱堡大学）
用于图像分类的常见深度神经网络（DNN）已被证明依赖于预测和易于表示的视觉因素形式的捷径机会（SO）。这被称为捷径学习，并导致受损的概括。在这项工作中，我们表明，常见的DNN在预测基本的视觉对象变化因素（FoV）（如形状，颜色或纹理）时也会受到快捷学习的影响。我们认为，除了捷径的机会，泛化的机会（GO）也是现实世界的视觉数据的固有部分，并从预测类和FoVs之间的部分独立性。我们还认为，这是必要的DNN利用GO克服捷径学习。我们的核心贡献是引入诊断视觉基准套件DiagViB-6，其中包括数据集和指标，用于研究六个独立FoV的网络捷径漏洞和泛化能力。特别是，DiagViB-6允许控制数据集中SO和GO的类型和程度。我们对各种流行的视觉架构进行了基准测试，并表明它们只能在有限的程度上利用GO。
2021-10-08 cs.CV
The Cartesian Shortcut: Re-evaluate Vision Reasoning in Polar Coordinate Space
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
针对多模态大语言模型在视觉推理中利用笛卡尔坐标捷径的问题，提出Polaris-Bench基准，将任务转换至极坐标空间，揭示模型缺乏拓扑不变性视觉推理。
2026-10-01 cs.AI cs.CV
Beyond Shortcuts: Mitigating Visual Illusions in Frozen VLMs via Qualitative Reasoning
Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究院，合肥国家科学中心）；Anhui Polytechnic University（安徽理工大学）；Hefei University of Technology（合肥工业大学）；Anhui University（安徽大学）；IGS, Imperial College London（帝国理工学院伦敦分校）
本文提出SQI框架，通过定性约束提升冻结VLM的视觉 grounding，解决视觉错觉问题，实验显示在DataCV 2026挑战中表现优异，提升准确率并提供更好的可解释性。
2026-04-29 cs.CV
Recompute or Reuse? Diagnosing and Mitigating Textual Shortcuts in VLM Self-Reflection
该研究针对VLM自反思中存在的文本捷径问题，通过反事实分析诊断其特性，提出无需训练的FSAF干预，显著提升视觉更新率、降低先前答案率，为缓解VLM的文本复用偏差提供了有效方案。
2026-08-04 cs.AI cs.CV
Dismantling Pathological Shortcuts: A Causal Framework for Faithful LVLM Decoding
提出Fox框架，通过视觉注意力熵探针定位风险中介头，利用数值logit饱和进行因果干预，并结合冲突门控协同解码，消除视觉语言模型中的对象幻觉，实现忠实解码。
2026-06-29 cs.AI cs.CV
Automatic Shortcut Removal for Self-Supervised Representation Learning
Google Research（谷歌研究院）
在自监督视觉表示学习中，特征提取器是在“借口任务”上训练的，对于该任务，可以廉价地生成标签，而无需人工注释。这种方法的一个核心挑战是特征提取器快速学习利用低级视觉特征，如色差或水印，然后无法学习有用的语义表示。许多工作都是为了识别这种“捷径”功能和手工设计方案，以减少其影响。在这里，我们提出了一个通用的框架，用于减轻快捷功能的影响。我们的关键假设是，那些首先被用来解决借口任务的特征也可能是最容易受到训练，使任务更难的对手。我们通过训练一个“镜头”网络来进行小的图像改变，从而最大限度地降低借口任务的性能，从而证明了这种假设在常见的借口任务和数据集上都成立。在所有测试案例中，使用修改后的图像学习的表示优于那些没有学习的表示。此外，镜头所做的修改揭示了借口任务和数据集的选择如何影响通过自我监督学习的特征。
2020-06-30 cs.CV
A Game-Theoretic Taxonomy of Visual Concepts in DNNs
Shanghai Jiao Tong University（上海交通大学）；University of Toronto（多伦多大学）；China University of Mining & Technology（中国矿业大学）
在本文中，我们重新思考DNN如何从一个新的角度编码不同复杂度的视觉概念，即图像中像素之间的博弈论多阶相互作用。除了物体的分类分类和纹理和形状的认知分类，我们提供了一个新的视觉概念分类，这有助于我们解释编码的形状和纹理，在概念的复杂性。通过这种方式，基于多阶交互，我们发现DNN编码纹理的三种不同的信号处理行为。此外，我们还发现DNN编码形状的灵活性低于编码纹理的灵活性。此外，我们分析了DNN如何编码离群样本，并探讨了网络架构对交互的影响。此外，我们阐明了多阶相互作用在现实世界中的应用中的关键作用。当论文被接受时，代码将被发布。
2021-06-21 cs.CV cs.LG
Audio-centric Video Understanding Benchmark without Text Shortcut
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；ByteDance（字节跳动）
本文构建以音频为中心的视频理解基准AVUT，通过音频任务与答案排列过滤机制消除文本捷径，并系统评估多模态LLM的视听理解缺陷。
2025-09-28 cs.AI cs.CV
Self-Supervised Learning of a Biologically-Inspired Visual Texture Model
Center for Neural Science（神经科学中心）；New York University（纽约大学）；Courant Inst. of Mathematical Sciences（库朗数学科学研究所）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
我们开发了一个模型，用于表示在低维特征空间的视觉纹理，随着一个新的自监督学习目标，用于训练它的一个未标记的纹理图像数据库。受灵长类视觉皮层架构的启发，该模型使用第一阶段的定向线性滤波器（对应于皮层区域V1），由整流单元（简单细胞）和合并的相位不变单元（复杂细胞）组成。这些响应由第二阶段（类似于皮层区域V2）处理，该第二阶段由卷积滤波器组成，随后是半波整流和汇集以生成V2“复合细胞”响应。第二阶段的过滤器上训练的一组未标记的均匀纹理图像，使用一种新的对比目标，最大化的V2响应的分布之间的距离，以个别图像和所有图像的响应的分布。当对纹理分类进行评估时，经过训练的模型比各种深度分层模型架构实现了更高的数据效率。此外，我们还发现，学习模型与灵长类动物V2中记录的神经种群的纹理响应具有比预训练的深度CNN更强的代表性相似性。
2020-06-30 cs.CV cs.LG q-bio.NC
Physical Adversarial Textures that Fool Visual Object Tracking
Element AI
我们提出了一个系统，用于生成不显眼的纹理，当显示在物理世界中的数字或印刷海报，导致视觉对象跟踪系统变得混乱。例如，当机器人的摄像机跟踪的目标在这样的海报前面移动时，我们生成的纹理使跟踪器锁定它并允许目标躲避。这项工作的目的是欺骗很少有针对性的回归任务，特别是比较不同的优化策略：非有针对性的，有针对性的，和一个新的家庭的指导对抗损失。虽然我们使用期望转换（EOT）算法来生成在不同条件下成像时欺骗跟踪模型的物理对手，但我们比较了不同条件变量（包括视点，照明和外观）的影响，以找到具有高对抗强度和收敛速度的实际攻击设置。我们进一步展示了仅使用模拟场景优化的纹理可能会混淆真实世界的跟踪系统。
2019-09-15 cs.CV cs.LG cs.RO
Circumventing shortcuts in audio-visual deepfake detection datasets with unsupervised learning
Bitdefender；Politehnica Bucharest（巴尔干理工大学）
本文揭示广泛使用的音视频深度伪造数据集存在开头静音的虚假捷径特征，提出仅在真实数据上训练模型并对齐自监督音视频表示的无监督学习方法，消除了对数据集特定偏差的依赖，提升了检测鲁棒性。
2025-05-29 cs.CV cs.LG cs.SD
Sparse Shortcuts: Facilitating Efficient Fusion in Multimodal Large Language Models
Guangdong-Hong Kong-Macao Joint Laboratory for Emotion Intelligence and Pervasive Computing, Artificial Intelligence Research Institute, Shenzhen MSU-BIT University, Shenzhen（粤港澳大湾区情感智能与 pervasive 计算联合实验室，人工智能研究院，深圳MSU-BIT大学）
SparseCut通过稀疏快捷连接和多粒度特征融合模块，提升多模态大语言模型在跨模态融合中的效率和性能。
2026-01-31 cs.AI cs.CV
Second order scattering descriptors predict fMRI activity due to visual textures
Inria（法国国家信息与自动化研究所）；CEA Saclay（法国原子能和替代能源委员会萨克雷中心）；CNRS Toulouse（法国国家科学研究中心图卢兹）；Télécom Paris-Tech（巴黎高等电信学院）；CNRS Paris（法国国家科学研究中心巴黎）
已知第二层散射描述符对自然准平稳过程（诸如视觉纹理）提供良好的分类性能，这是由于其对高阶矩的敏感性和相对于小变形的连续性。在功能性磁共振成像（fMRI）实验中，我们目前的视觉纹理的主题和评估这些描述符的预测能力相对于简单的轮廓能量的预测能力-第一散射层。我们能够得出结论，不仅不变的第二层散射系数更好地编码体素活动，而且预测体素不一定位于已知的视网膜区域。
2013-08-10 cs.CV
Subjective and Objective Visual Quality Assessment of Textured 3D Meshes
Univ Lyon, CNRS, LIRIS（里昂大学，法国国家科学研究中心，LIRIS）；Multimedia Research Center, University of Alberta（阿尔伯塔大学多媒体研究中心）
三维模型的客观视觉质量评价是计算机图形学中的一个基本问题。质量评估指标可以指导和评估各种各样的过程，如细节创建、压缩、过滤等。大多数计算机图形资产由几何表面组成，在几何表面上可以映射几个纹理图像，使渲染更加逼真。虽然存在一些几何表面的质量评估指标，但几乎没有研究对纹理映射的3D模型进行评估。在这种情况下，我们提出了一个新的主观研究，以评估纹理网格的感知质量，基于配对比较协议。我们引入纹理和几何失真的一组5个参考模型，产生一个数据库的136个失真的模型，使用两个渲染协议进行评估。基于分析的结果，我们提出了两个新的度量纹理网格的视觉质量评估，作为优化的线性组合的准确的几何和纹理质量的测量。这些建议的感知指标优于他们的同行在与人类意见的相关性。该数据库以及相关的主观评分将在网上公开提供。
2021-02-08 cs.CV
Mesh Mamba: A Unified State Space Model for Saliency Prediction in Non-Textured and Textured Meshes
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
本文提出统一状态空间模型Mesh Mamba，结合子图嵌入与双向SSM，在新建的纹理/非纹理网格显著性数据集上实现全局上下文建模，提升跨网格类型的显著性预测性能与通用性。
2025-04-09 cs.CV
Investigating Relational Reasoning in VLMs
ETH Zurich（苏黎世联邦理工学院）
本研究以Qwen3-VL-4B为对象，构建含几何形状的合成数据集，探究VLMs的关系推理能力，发现其结合了真正视觉推理与基于语言线索的捷径策略。
2026-08-25 cs.CV
Texture Interpolation for Probing Visual Perception
Albert Einstein College of Medicine（阿尔伯特·爱因斯坦医学院）；École Normale Supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）
纹理合成模型是理解视觉处理的重要工具。特别是，基于神经相关特征的统计方法有助于理解视觉感知和神经编码的各个方面。新的基于深度学习的方法进一步提高了合成纹理的质量。然而，目前还不清楚为什么深度纹理合成表现如此出色，并且这种新框架在探索视觉感知方面的应用很少。在这里，我们证明了纹理的深度卷积神经网络（CNN）激活的分布可以很好地用椭圆分布来描述，因此，根据最优传输理论，约束它们的均值和协方差足以生成新的纹理样本。然后，我们提出的自然测地线（即两点之间的最短路径）所产生的最佳运输度量任意纹理之间的插值。与其他基于CNN的方法相比，我们的插值方法似乎更接近纹理感知的几何形状，我们的数学框架更适合研究其统计性质。我们应用我们的方法，通过测量人类观察者的感知尺度与插值参数，和猕猴的视觉皮层的不同区域的神经敏感性。
2020-10-22 cs.CV q-bio.NC
VisTaNet: Attention Guided Deep Fusion for Surface Roughness Classification
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
人类的纹理感知是多感官输入的加权平均：视觉和触觉。当视觉感知机制提取全局特征时，触觉机制通过提取局部特征对其进行补充。在文献中缺乏耦合的视觉触觉数据集是一个挑战，研究多模态融合策略类似于人类的纹理感知。本文提出了一个增强现有触觉数据集的视觉数据集。我们提出了一种新的深度融合架构，融合视觉和触觉数据使用四种类型的融合策略：求和，级联，最大池，和注意。我们的模型在表面粗糙度分类准确性方面显示出显着的性能改进（97.22%），仅在触觉（SVM - 92.60%）和视觉（FENet-50 - 85.01%）架构上。在几种融合技术中，注意力引导的结构导致更好的分类精度。我们的研究表明，类似于人类的纹理感知，该模型选择了两种方式（视觉和触觉）的加权组合，从而导致更高的表面粗糙度分类精度;它选择最大化触觉方式的权重，视觉方式失败，反之亦然。
2022-09-18 cs.CV cs.LG
Combining Texture and Shape Cues for Object Recognition With Minimal Supervision
Boston University（波士顿大学）
我们提出了一种新的方法，对象的分类和检测，需要最少的监督，并结合视觉纹理线索和形状信息从免费提供的未标记的网络搜索结果。网络上视觉数据的爆炸式增长可能使几乎任何对象的视觉示例都可以通过网络搜索轻松访问。以前的无监督方法利用来自网络的纹理线索的大规模来源，或来自诸如众包CAD模型的数据的形状信息。我们提出了一个双流深度学习框架，它结合了这些线索，其中一个流从图像搜索数据中学习视觉纹理线索，另一个流从3D CAD模型中学习丰富的形状信息。为了对新图像执行分类或检测，使用后期融合方案组合两个流的预测。我们目前的实验和可视化的标准基准PASCAL VOC 2007年的任务，以证明纹理和形状在我们的模型提供补充信息。我们的方法优于以前的基于Web图像的模型，基于3D CAD模型的方法和弱监督模型。
2016-09-14 cs.CV
FlexiTex: Enhancing Texture Generation via Visual Guidance
FlexiTex通过视觉引导增强模块和方向感知适配模块，利用视觉信息减少文本提示歧义、保留高频细节并避免Janus问题，从而生成高质量纹理。
2025-07-21 cs.AI cs.CV
Learning a Maximum Entropy Model for Visual Textures using Diffusion
New York University（纽约大学）；Flatiron Institute（熨斗研究所）
提出首个基于扩散模型无监督学习最大熵模型统计量的纹理建模方法，仅用512个统计量即可生成质量优于或媲美当前最优模型（约177k统计量）的纹理图像，并实现平滑插值。
2026-11-10 cs.CV
Who Leads the Clothing Fashion: Style, Color, or Texture? A Computational Study
Wuhan University（武汉大学）；Shenzhen University（深圳大学）；Sun Yat-sen University（中山大学）；University of South Carolina（南卡罗来纳大学）
众所周知，服装时尚是一个人穿着风格的独特和习惯性趋势。服装的流行通常是用视觉刺激来表达的，如款式、颜色和质地。然而，目前尚不清楚哪些视觉刺激对服装时尚更新的影响较大/较小。本研究利用计算机视觉与机器学习技术，分析不同视觉刺激对服装款式更新的影响。具体来说，提出了一种基于分类的模型来量化不同视觉刺激的影响，其中每个视觉刺激的影响是量化的，其相应的准确性在时尚分类。实验结果表明，在服装款式更新中，款式的影响大于颜色的影响，颜色的影响大于纹理的影响。
2016-08-26 cs.CV
MedQA-MM: Shortcuts Behind Medical Visual Reasoning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Yale University（耶鲁大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；VA Bedford Healthcare System（贝斯以色列女执事医疗中心贝德福德分部）；Qingdao Medical College of Qingdao University（青岛大学青岛医学院）；Yale School of Medicine（耶鲁医学院）；National University Hospital, Singapore（新加坡国立大学医院）；Zhejiang University（浙江大学）；Stanford University（斯坦福大学）
该研究针对医学多模态MCQ的推理膨胀问题，构建捷径缓解子集MedQA-MM，通过多维度审计与消融实验揭示模型依赖文本等捷径，证明医学图像推理需路径层面证据。
2026-09-09 cs.CL cs.CV
Multilayer deep feature extraction for visual texture recognition
University of São Paulo（圣保罗大学）；University of Campinas（坎皮纳斯大学）
卷积神经网络在图像分类中显示出成功的结果，实现了优于人类水平的实时结果。然而，纹理图像仍然对这些模型提出了一些挑战，例如，由于在这些图像出现的几个问题中用于训练的数据的有限可用性，高类间相似性，所表示的对象的全局视点的缺乏等。在此背景下，本论文的重点是提高纹理分类中的卷积神经网络的准确性。这是通过从预训练的神经网络的多个卷积层中提取特征并使用Fisher向量聚合这些特征来完成的。使用早期卷积层的特征的原因是获得不太特定于域的信息。我们验证了我们的方法对基准数据集的纹理分类的有效性，以及巴西植物物种识别的实际任务。在这两种情况下，多层计算的Fisher向量优于最先进的方法，证实了早期卷积层提供了关于纹理图像的重要信息以进行分类。
2022-08-22 cs.CV
Pinching Visuo-haptic Display: Investigating Cross-Modal Effects of Visual Textures on Electrostatic Cloth Tactile Sensations
The University of Tokyo（东京大学）；ZOZO Research（ZOZO研究）；Cluster Metaverse Lab（集群元宇宙实验室）；Sony CSL Kyoto（索尼 CSL京都）
本文研究视觉纹理对静电布料触觉感知的跨模态影响，提出捏合虚拟织物的视觉-触觉系统，发现视觉粗糙纹理可放大感知摩擦力，为虚拟材料触觉反馈设计提供依据。
2025-11-08 cs.CV cs.HC cs.MM
A Retina-inspired Sampling Method for Visual Texture Reconstruction
Peking University（北京大学）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Pengcheng Laboratory（鹏城实验室）
传统的基于帧的摄像机无法满足实时应用对快速反应的要求，而新兴的动态视觉传感器（DVS）可以实现对运动物体的高速捕捉。然而，为了实现视觉纹理重建，DVS需要额外的信息，除了输出尖峰。本文介绍了一种受视网膜神经元信号处理启发的类中央凹采样方法，该方法旨在仅利用棘波的特性进行视觉纹理重建。在所提出的方法中，像素独立地响应于具有时间异步尖峰的亮度变化。分析尖峰的到达使得可以恢复亮度信息，从而能够重建用于可视化的自然场景。针对高速运动和静止场景，提出了三种用于纹理重建的尖峰流解码方法。与传统的基于帧的相机和DVS相比，我们的模型可以实现更好的图像质量和更高的灵活性，这是能够改变要求苛刻的机器视觉应用程序的构建方式。
2019-07-20 cs.CV cs.MM eess.IV
Contributions of Shape, Texture, and Color in Visual Recognition
University of Southern California（南加州大学）
我们研究了人类视觉系统（HVS）的三个重要特征形状、纹理和颜色对目标分类的贡献。我们建立了一个类人视觉引擎（HVE），明确和单独计算的形状，纹理和颜色特征的图像。然后将得到的特征向量连接起来以支持最终的分类。我们表明，HVE可以总结和排名顺序的贡献，这三个功能的对象识别。我们使用人体实验来证实HVE和人类都主要使用一些特定的特征来支持特定类别的分类（例如，纹理是区分斑马与其他四足动物的主要特征，无论是对于人类还是HVE）。在HVE的帮助下，给定任何环境（数据集），我们可以总结整个任务的最重要特征（特定于任务;例如，颜色是对CUB数据集的分类而言最重要的总体特征），并且对于每个类（类特定的;例如，形状是iLab-20 M数据集中识别船只的最重要特征）。为了证明HVE的更多有用性，我们用它来模拟人类在没有属性标签的情况下的开放世界零样本学习能力。最后，我们表明，HVE也可以模拟人类的想象能力与不同的功能组合。我们将开源HVE引擎和相应的数据集。
2022-07-19 cs.CV
Repaint: Improving the Generalization of Down-Stream Visual Tasks by Generating Multiple Instances of Training Examples
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
用于视觉任务的卷积神经网络（CNN）被认为在整个网络深度中学习低级纹理和高级对象属性。本文进一步研究了CNN中的“纹理偏差”。为此，我们重新生成多个实例的训练样本从每个原始图像，通过一个过程，我们称之为“重绘”。重新绘制的示例保留了场景中区域和对象的形状和结构，但使其纹理和颜色多样化。我们的方法可以在不同的日光，季节或天气条件下再生相同的图像，可以具有着色或脱色效果，甚至可以从黑色区域带回一些纹理信息。就地重绘允许我们进一步使用这些重绘的示例来改进CNN的泛化。通过一组广泛的实验，我们证明了重新绘制的示例在训练中的有用性，用于图像分类（ImageNet）和目标检测（COCO）的任务，在不同容量的几种最先进的网络架构中，以及在不同的数据可用性制度中。
2021-10-20 cs.AI cs.CV cs.LG
Grounding Driving VLA via Inverse Kinematics
Korea Advanced Institute of Science and Technology（韩国科学技术院）；KimJaeChul AI Graduate School（金 JaeChul人工智能研究生院）
本文提出通过逆运动学求解器重新设计驾驶VLA，以解决轨迹预测中对视觉token的忽略问题，通过引入视觉状态预测和逆运动学网络，提升了视觉接地和轨迹规划性能。
2026-11-10 cs.AI cs.CV cs.RO
Teaching CNNs to mimic Human Visual Cognitive Process & regularise Texture-Shape bias
DTSU Honda Innovation Lab（本田创新实验室）
针对CNN存在纹理偏差、忽略全局形状特征的问题，提出受心理学启发的CognitiveCNN架构及正则化方法，平衡多模态特征影响，提升目标识别的准确率、鲁棒性与可解释性。
2022-01-10 cs.AI cs.CV cs.LG
Perceptual misalignment of texture representations in convolutional neural networks
Neuroscience area International School for Advanced Studies (SISSA) Trieste Italy（国际先进研究学院（SISSA）神经科学部，特里埃斯特，意大利）；Department of Mathematics Informatics and Geosciences Università degli Studi di Trieste Trieste Italy（特里埃斯特大学数学、信息学和地球科学系，特里埃斯特，意大利）；Department of Data Engineering Area Science Park Trieste Italy（数据工程系，Area Science Park，特里埃斯特，意大利）
本文研究了卷积神经网络中纹理表示与人类感知内容之间的对齐关系，发现传统CNN视觉模型质量评估与人类纹理感知对齐性无直接关联，表明纹理感知可能涉及不同于传统CNN对象识别模型的机制。
2026-05-18 cs.CV q-bio.NC
Conceptual Compression via Deep Structure and Texture Synthesis
Peking University（北京大学）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong（香港城市大学）；Communication University of China（中国传媒大学）
现有的压缩方法通常侧重于去除信号级冗余，而将视觉数据分解为紧凑的概念组件的潜力和通用性仍然缺乏进一步的研究。为此，我们提出了一种新的概念压缩框架，将视觉数据编码为紧凑的结构和纹理表示，然后以深度合成的方式进行解码，旨在实现更好的视觉重建质量，灵活的内容操作以及对各种视觉任务的潜在支持。特别是，我们提出了一个由两个互补的视觉特征组成的双层模型来压缩图像：1）由结构图表示的结构层和2）由低维深度表示表征的纹理层。在编码器侧，结构图和纹理表示被单独地提取和压缩，从而生成紧凑的、可解释的、可互操作的比特流。在解码阶段，提出了一种分层融合GAN（HF-GAN）来学习合成范例，其中纹理被渲染到解码的结构图中，从而导致具有显着的视觉真实感的高质量重建。对不同图像的广泛实验表明，我们的框架具有更低的比特率，更高的重建质量，以及对视觉分析和内容操作任务的多功能性。
2022-03-10 cs.CV eess.IV
Towards Analysis-friendly Face Representation with Scalable Feature and Texture Compression
City University of Hong Kong（香港城市大学）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
在无数以视觉数据为中心的应用程序中，对视觉信息的复杂表示对最终效用的优化起着基础性的作用。随着提出了许多方法来有效地压缩纹理和视觉特征，分别为人类视觉感知和机器智能服务，很少有人致力于研究它们之间的相互作用。在这里，我们调查的特征和纹理压缩的集成，并表明，一个通用的和协作的视觉信息表示可以实现分层的方式。特别地，我们研究了可伸缩编码框架中的特征和纹理压缩，其中基础层作为深度学习特征和增强层目标以完美地重建纹理。基于深度神经网络强大的生成能力，通过特征级纹理重建进一步填补了基本特征层和增强层之间的空白，旨在进一步从特征构建纹理表示。因此，原始纹理和重构纹理之间的残差可以在增强层中进一步传达。为了提高所提出的框架的效率，基层神经网络的训练，在多任务的方式，使学习的功能享受高质量的重建和高精度的分析。我们进一步展示了人脸图像压缩的框架和优化策略，并在码率保真度和码率精度方面取得了良好的编码性能。
2021-04-19 cs.CV eess.IV
Pre-trained Trojan Attacks for Visual Recognition
Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；Sun Yat-Sen University（中山大学）；The University of Sydney（悉尼大学）
本文提出预训练特洛伊攻击，通过风格化触发器和无上下文训练流程，将后门嵌入预训练视觉模型，实现对检测、分割等下游任务的有效攻击，并验证了在大型模型和自动驾驶3D检测中的实用性。
2023-12-23 cs.CV
