NICE FACT: Diagnosing and Calibrating VLMs in Quantitative Reasoning for Kinematic Physics
University of Munich (LMU)(慕尼黑大学(LMU));Munich Center of Machine Learning(慕尼黑机器学习中心);Sichuan University(四川大学)
本文研究VLMs在运动物理定量推理中的表现,提出NICE和FACT双诊断框架,分析视觉真实性、物理定律理解和时间定位,揭示模型在识别视觉前提和应用物理定律方面的不足。
2026-05-08 cs.CV
Know What You do Not Know: Verbalized Uncertainty Estimation Robustness on Corrupted Images in Vision-Language Models
University of Groningen(格罗宁根大学)
本文研究视觉语言模型(VLMs)在受损图像上的不确定性估计鲁棒性,发现图像受损严重程度会削弱模型的不确定性估计能力并导致过度自信。
2025-04-04 cs.CV cs.LG
VORD: Visual Ordinal Calibration for Mitigating Object Hallucinations in Large Vision-Language Models
School of Computing(计算机学院);National University of Singapore(新加坡国立大学)
针对大型视觉语言模型的物体幻觉问题,提出VORD方法,通过修改图像对间的序数关系校准token预测,包含无训练和可训练两种形式,有效缓解幻觉并提升校准效果。
2024-12-20 cs.CV
What do vision-language models see in the context? Investigating multimodal in-context learning
Instituto de Computação, Universidade Estadual de Campinas (UNICAMP)(计算机学院,Campinas州立大学(UNICAMP))
该研究系统探究视觉-语言模型的多模态上下文学习能力,分析提示、架构、训练策略的影响及注意力模式,揭示当前模型多模态整合有限等局限及指令对齐与上下文适应的权衡,为相关能力增强提供思路。
2025-10-28 cs.CV cs.LG
Self-Calibrating Active Binocular Vision via Active Efficient Coding with Deep Autoencoders
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);Hong Kong University of Science and Technology(香港科技大学)
我们提出了一个模型的主动双目视觉的自校准,包括同时学习的视觉表征,聚散度,并追求眼球运动。该模型遵循主动有效编码(AEC)的原则,这是经典的有效编码假设在主动感知中的最新扩展。与以前的AEC模型相比,本模型使用深度自动编码器来学习感官表征。我们还提出了一个新的制定的内在动机信号,指导学习的行为。我们在模拟中展示了该模型的性能。
2021-01-27 cs.AI cs.CV
Focusing on what to decode and what to train: SOV Decoding with Specific Target Guided DeNoising and Vision Language Advisor
The University of Electro-Communications(电气通信大学)
针对人物-物体交互检测中检测与识别纠缠导致的训练慢、优化难问题,提出SOV-STG-VLA框架,通过SOV解码解耦任务、STG去噪引导训练及VLA融合视觉语言先验,仅用六分之一训练轮次即达SOTA。
2024-12-22 cs.CV
What's "up" with vision-language models? Investigating their struggle with spatial reasoning
University of California, Los Angeles(加州大学洛杉矶分校);Allen Institute for AI(艾伦人工智能研究所)
本文构建了三个专门测试空间关系理解的基准语料库,评估18个视觉-语言模型后发现其空间推理能力远逊于人类,并揭示了预训练数据缺乏空间关系信息及简单干预无效的原因。
2023-10-30 cs.CL cs.CV cs.LG
What value do explicit high level concepts have in vision to language problems?
The University of Adelaide(阿德莱德大学)
视觉到语言(V2 L)问题的最新进展是通过卷积神经网络(CNN)和递归神经网络(RNN)的组合实现的。这种方法并不显式地表示高级语义概念,而是寻求直接从图像特征到文本的进展。我们在这里提出了一种将高级概念纳入非常成功的CNN-RNN方法的方法,并表明它在图像描述和视觉问答方面的最新性能上实现了显着改进。我们还表明,相同的机制可以用来引入外部语义信息,这样做进一步提高性能。在这样做的时候,我们提供了一个高层次的语义信息在V2 L问题的价值分析。
2016-04-28 cs.CV
Teaching Vision-Language-Action Models What to See and Where to Look
School of Electronic Information Engineering, Beihang University(北京航空航天大学电子信息工程学院);National College for Excellent Engineers, Beihang University(北京航空航天大学卓越工程师学院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);DiDi(滴滴出行);State Key Laboratory of Media Convergence and Communication, Communication University of China(中国传媒大学媒体融合与传播国家重点实验室);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Cyber Science and Technology, Beihang University(北京航空航天大学网络安全科学与技术学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
提出DriveTeach-VLA框架,通过驾驶感知视觉蒸馏和2D轨迹引导提示,教VLA模型关注驾驶相关区域,实现端到端自动驾驶轨迹预测,在NAVSIM和nuScenes上达到最优性能。
2026-07-03 cs.CV
OpenCity3D: What do Vision-Language Models know about Urban Environments?
University of Zurich(苏黎世大学);Stanford University(斯坦福大学)
针对视觉语言模型多应用于室内或自动驾驶低层级任务的局限,研究提出OpenCity3D方法,借助多视角航空影像3D重建拓展至城市尺度高层级任务,具备优异的零样本、少样本能力,为语言驱动的城市分析建立新范式。
2025-03-21 cs.CV
Similarity-as-Evidence: Calibrating Overconfident VLMs for Interpretable and Label-Efficient Medical Active Learning
School of Electronic Technology and Engineering, Xiamen University, Xiamen, China(厦门大学电子技术与工程学院,厦门,中国);School of Informatics, Xiamen University, Xiamen, China(厦门大学信息学院,厦门,中国);School of Engineering, Case Western Reserve University, Cleveland, USA(凯斯西储大学工程学院,克利夫兰,美国)
SaE框架通过引入相似性证据头校准视觉语言模型,以提高医学主动学习的可解释性和标注效率。
2026-10-09 cs.CV
Are foundation models for computer vision good conformal predictors?
MICS, CentraleSupélec, Université Paris-Saclay(MICS、中央理工巴黎高等学院、巴黎-萨克雷大学);LIVIA, ILLS, ETS Montréal(LIVIA、ILLs、蒙特利尔工程师学院)
本文研究了计算机视觉基础模型在符合预测中的表现,发现其适合符合化过程,但校准置信度预测会降低效率,且视觉-语言模型在少样本适应中表现更优。
2026-02-16 cs.CV
What Does Prompt Learning Change? -A Natural-Language Concept Analysis of Vision-Language Models
Chiba University(千叶大学)
该研究提出PromptSpLiCE方法分析视觉-语言模型提示学习后的概念分布变化,发现概念分布变化与准确率提升正相关,还推导了局部梯度表达式解释相关几何直觉。
2026-08-26 cs.CV
What's left can't be right -- The remaining positional incompetence of contrastive vision-language models
SFI Centre for Research Training in Machine Learning at University College Dublin(都柏林大学学院SFI机器学习研究培训中心);School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院);School of Computer Science and Statistics, Trinity College Dublin(都柏林圣三一学院计算机科学与统计学院)
本文分析了CLIP等对比式视觉语言模型缺乏空间理解能力的成因,发现即使使用大规模数据集,其在左右位置关系上的缺陷仍可预测,并提出利用合成数据训练该能力,成功泛化至自然图像并提升了Visual Genome Relations上的性能。
2023-11-20 cs.CL cs.CV
Attention, Please! PixelSHAP Reveals What Vision-Language Models Actually Focus On
Nexar(奈克萨(Nexar))
PixelSHAP 是一个与模型无关的框架,通过扰动图像对象并量化其对视觉-语言模型响应的影响来增强可解释性,无需模型内部信息,已在自动驾驶中验证。
2025-03-09 cs.CL cs.CV
On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning
NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院AI)
针对当前视觉语言助手透明度不足、复杂视觉场景文本理解任务计算成本高的问题,研究通过策略构建数据集、优化视觉模块等方式,在受限推理成本下实现了性能与吞吐量的兼顾,并将开源相关资源。
2024-10-06 cs.CL cs.CV
What Does Vision Tool-Use Reinforcement Learning Really Learn? Disentangling Tool-Induced and Intrinsic Effects for Crop-and-Zoom
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
本文研究了视觉工具使用强化学习在作物和缩放任务中的学习机制,通过引入MED框架解耦内在能力变化与工具诱导效应,发现改进主要由内在学习驱动,而工具使用强化学习主要减少工具诱导的负面影响,而非掌握工具。
2026-05-21 cs.CV
What Are We Measuring When We Evaluate Large Vision-Language Models? An Analysis of Latent Factors and Biases
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Salesforce Research(Salesforce研究院)
本文通过大规模迁移学习和因子分析揭示大型视觉-语言模型评估中的潜在技能因素与长度偏差,并发布模拟真实指令的OLIVE数据集,以指导更均衡、广覆盖的基准设计。
2024-04-03 cs.CV
What matters when building vision-language models?
Hugging Face;Sorbonne Université(索邦大学)
本文通过系统实验探究视觉语言模型设计中的关键因素,并据此开发了80亿参数的高效基础模型Idefics2,在多个多模态基准上达到同规模最先进水平,性能常与四倍规模模型相当。
2024-05-03 cs.AI cs.CV
A Training-Free Guess What Vision Language Model from Snippets to Open-Vocabulary Object Detection
Aerospace and Informatics Domain(航空航天与信息领域);National Key Laboratory of Science and Technology on Space-Born Intelligent Information Processing(空间智能信息处理国家级重点实验室);School of Electronic(电子学院)
本文提出无需训练的Guess What视觉语言模型GW-VLM,通过多尺度视觉语言搜索与上下文概念提示实现开放词汇物体检测的高效检测性能。
2026-01-21 cs.CV
Focus on What Matters: Enhancing Medical Vision-Language Models with Automatic Attention Alignment Tuning
Pennsylvania State University(宾夕法尼亚州立大学);GE Healthcare(通用电气医疗集团)
针对医学视觉-语言模型注意力分布不佳导致幻觉的问题,提出A$^3$Tune微调框架,利用SAM和BioMedCLIP生成标签并选择性调整注意力头,配合A$^3$MoE模块,在医学VQA和报告生成任务上超越现有基线。
2025-05-24 cs.CV
What's in the Image? A Deep-Dive into the Vision of Vision Language Models
Weizmann Institute of Science(魏茨曼科学研究所)
本文针对视觉语言模型(VLMs)的视觉处理机制开展实证分析,揭示查询token存储全局图像信息、中间层主导跨模态信息流等关键见解,为VLMs高效视觉处理提供支撑。
2024-11-26 cs.AI cs.CV
Focusing on What Matters: Object-Agent-centric Tokenization for Vision Language Action models
Centre for Artificial Intelligence, UCL(人工智能中心,伦敦大学学院);Qualcomm AI Research(高通人工智能研究)
本文提出 Oat-VLA,通过以对象-智能体为中心的视觉分词显著减少 token 数量,使训练收敛至少比 OpenVLA 快两倍,并在真实拾取放置任务中取得更优性能。
2025-09-28 cs.AI cs.CV cs.LG
Frequency Is What You Need: Considering Word Frequency When Text Masking Benefits Vision-Language Model Pre-training
Institute for Computing and Information Sciences(计算与信息科学研究所);Radboud University(拉德堡德大学)
本文提出CLIPF方法,通过考虑词频提升视觉-语言模型预训练效果,实验显示其在减少输入token时表现更优。
2026-01-14 cs.CV
What Makes VLMs Robust? Towards Reconciling Robustness and Accuracy in Vision-Language Models
本文研究了视觉语言模型鲁棒性与准确性的平衡问题,通过分析对抗性微调模型,发现鲁棒性主要集中在浅层网络,提出Adversarial Robustness Adaptation框架以提升鲁棒性与准确性。
2026-03-13 cs.CV
What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior
University of Technology Nuremberg(纽伦堡工业大学);ETH Zürich(苏黎世联邦理工学院);Inria, Ecole Normale Supérieure, CNRS, PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学校,法国国家科学研究中心,巴黎文理研究大学)
本研究通过干预度量解释VLN模型依赖的模态,发现其编码进度并保留语义,进而利用激活向量实现零样本迁移,提升分布外场景性能。
2026-09-22 cs.CV cs.RO
FOCoOp: Enhancing Out-of-Distribution Robustness in Federated Prompt Learning for Vision-Language Models
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
针对现有联邦提示学习在分布外偏移下性能与鲁棒性难权衡的问题,提出FOCoOp框架,通过三类提示与双层分布鲁棒优化等技术提升异质分布下的分布外鲁棒性,实验验证有效。
2025-07-30 cs.CV
What Users Leave Unsaid: Under-Specified Queries Limit Vision-Language Models
AIM Intelligence;Yonsei University(延世大学);OneLineAI;Korea University(高丽大学);Doodlin Corp.(Doodlin公司);NAVER Cloud(NAVER云);Hankuk University of Foreign Studies(韩国外国语大学);Lablup Inc.(Lablup公司)
研究探讨了现实用户查询的不明确性对视觉语言模型的影响,通过HAERAE-Vision基准测试发现,即使使用先进模型,未指定查询的准确率仍低于50%,且明确化查询能显著提升性能,揭示了模型能力与实际应用间的差距。
2026-04-13 cs.AI cs.CV
VLIC: Vision-Language Models As Perceptual Judges for Human-Aligned Image Compression
Stanford University(斯坦福大学);Google Research(谷歌研究);Google DeepMind(谷歌DeepMind)
VLIC利用视觉-语言模型进行图像压缩,通过零样本推理实现人类感知对齐,提升压缩性能。
2025-12-17 cs.CV
Unified Generation and Self-Verification for Vision-Language Models via Advantage Decoupled Preference Optimization
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Venus Team, Ant Group(蚂蚁集团 Venus 团队)
ADPO通过统一生成与自验证的强化学习框架,提升视觉语言模型的验证性能和推理效率。
2026-01-04 cs.CV
Data or Language Supervision: What Makes CLIP Better than DINO?
Stanford University(斯坦福大学);Tsinghua University(清华大学)
本研究通过受控实验对比CLIP与DINO,发现CLIP的优势源于语言监督而非数据规模,其在文本密集型任务更优,而DINO在视觉中心任务略胜,为视觉编码器设计提供见解。
2025-10-13 cs.AI cs.CL cs.CV
What Makes Good Few-shot Examples for Vision-Language Models?
Fudan University(复旦大学);Bytedance(字节跳动);Sensetime Technology(商汤科技)
本研究提出REPRE和高斯蒙特卡洛两种示例选择方法,优于随机和主动学习策略,显著提升视觉-语言模型少样本训练效果,且模型无关。
2024-05-22 cs.CV
What Matters for Grocery Product Retrieval with Open Source Vision Language Models
AI Graduate Program, University of the Philippines, Diliman, Quezon City(菲律宾大学达林学院人工智能研究生项目);EEEI, University of the Philippines, Diliman, Quezon City(菲律宾大学达林学院电子工程系)
本文研究了开源视觉语言模型在杂货产品检索任务中的表现,发现数据质量比规模更重要,高效模型可以胜出,并且存在召回率差距的问题。
2026-05-18 cs.CV
What Do Vision-Language Models Encode for Personalized Image Aesthetics Assessment?
The University of Tokyo(东京大学);Riken(理化学研究所);Tohoku University(东北大学)
本文分析了视觉-语言模型内部表示中审美属性的分布,利用这些属性实现轻量级个性化图像审美评估,无需微调模型。
2026-04-13 cs.CL cs.CV
Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow
KAIST(韩国科学技术院);POSTECH
本文提出通过调节信息流提升视觉-语言模型的感知能力,通过动态令牌方法确定视觉令牌的重要性,从而提高视觉问答、视觉定位等任务的性能。
2026-04-17 cs.CV
Embodied4C: Measuring What Matters for Embodied Vision-Language Navigation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);UAS Esslingen(埃森嫩大学);TU Wien(维也纳技术大学);Dr. Ing. h.c. F. Porsche AG(保时捷股份有限公司);University of Michigan(密歇根大学);Voxel51 Inc.(Voxel51公司)
Embodied4C通过三种异构具身评估VLMs的具身能力,发现跨模态对齐和指令微调比规模更重要,而空间和时间推理是可靠具身能力的主要瓶颈。
2025-12-19 cs.CV cs.RO
Seeing What You Miss: Vision-Language Pre-training with Semantic Completion Learning
Tsinghua University(清华大学);Tencent(腾讯)
跨模态对齐对于视觉语言预训练(VLP)模型学习跨不同模态的正确对应信息至关重要。出于这个目的,受NLP预训练领域中掩蔽语言建模(MLM)任务成功的启发,已经为VLP提出了许多掩蔽建模任务,以进一步促进跨模态交互。以前的掩码建模任务的核心思想是专注于基于可见上下文重建掩码标记,以学习局部到局部对齐。然而,他们大多没有注意到的全局语义特征所产生的屏蔽数据,导致有限的跨模态对齐能力的全局表示。因此,在本文中,我们提出了一种新的语义完成学习(SCL)任务,补充现有的掩蔽建模任务,以促进全球到本地对齐。具体而言,SCL任务通过从其他模态捕获相应的信息来补充掩蔽数据的缺失语义,促进学习更具代表性的全局特征,这些特征对下游任务的性能有很大影响。此外,我们提出了一个灵活的视觉编码器,使我们的模型,以执行图像-文本和视频-文本多模态任务同时进行。实验结果表明,我们提出的方法获得了最先进的性能在各种视觉语言基准,如视觉问答,图像-文本检索,视频-文本检索。
2023-03-26 cs.CL cs.CV cs.MM
What does CLIP know about a red circle? Visual prompt engineering for VLMs
University of Oxford(牛津大学)
本文提出面向 VLM 的视觉提示工程,发现 CLIP 可通过红色圆圈引导视觉注意并保留全局信息,从而提升零样本指代表达理解与关键点定位性能。
2023-08-18 cs.CV
Visual Persuasion: What Influences Decisions of Vision-Language Models?
Massachusetts Institute of Technology(麻省理工学院);MIT Media Lab(MIT媒体实验室)
提出一个框架,通过控制图像选择任务并系统性地扰动输入,利用视觉提示优化方法推断视觉语言模型的潜在视觉效用,揭示影响模型决策的视觉偏好。
2026-05-31 cs.AI cs.CV
Learning What Not to Learn: Adversarial Disentangled Prompt Tuning for Robust Vision-Language Models
Southern University of Science and Technology(南方科技大学);City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
针对现有对抗性提示调优存在的鲁棒泛化过拟合问题,提出ADAPT框架,通过双提示机制解耦鲁棒与伪鲁棒特征,提升模型对未见类别对抗样本的鲁棒性。
2026-08-19 cs.AI cs.CV
What's the Catch? Evaluating Temporal Consistency in Vision-Language Models
University of Copenhagen(哥本哈根大学)
本研究提出TimeCatch基准,发现视觉-语言模型可检测单帧异常但难整合跨帧信息,在时间异常检测上表现接近随机水平。
2026-09-15 cs.AI cs.CL cs.CV
See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding
VCIP, CS, Nankai University(南开大学计算机科学与技术学院);Tongyi Lab, Alibaba Group(阿里云实验室);NKIARI, Shenzhen Futian(深圳福田国家信息研究所)
本文提出SWIM方法,通过对齐视觉和语言表示,仅从文本提示中实现细粒度物体理解,解决了传统方法需要显式视觉提示的问题,通过构建NL-Refer数据集和多层交叉注意力图提升文本-视觉对齐性能。
2026-05-18 cs.AI cs.CV cs.HC
Revisit What You See: Revealing Visual Semantics in Vision Tokens to Guide LVLM Decoding
Yonsei University(延世大学)
本文通过分析发现视觉token在幻觉中仍提供有效信息,提出ReVisiT方法通过参考视觉token引导LVLM解码,减少计算成本并提升性能。
2026-05-13 cs.AI cs.CL cs.CV
Self-Calibrating Anomaly and Change Detection for Autonomous Inspection Robots
University of Turku(图尔库大学)
在过去的几十年中,视觉异常和环境变化的自动检测一直是机器学习和计算机视觉领域中反复关注的话题。视觉异常或变化检测算法识别与参考图像或数据集不同的图像区域。大多数现有的方法集中在特定类别的图像或环境中的异常或故障检测,而通用的视觉异常检测算法在文献中较为稀缺。在本文中,我们提出了一个全面的深度学习框架,用于在收集参考数据集后检测先验未知环境中的异常和变化,而无需重新训练模型。我们使用SuperPoint和SuperGlue的特征提取和匹配方法来检测异常的基础上,从一个类似的位置,并与部分重叠的视场的参考图像。我们还介绍了一种自校准方法,以解决问题的敏感性,特征匹配阈值和环境条件的建议模型。为了评估所提出的框架,我们使用了地面机器人系统的参考和查询数据汇集的目的。我们表明,使用所提出的方法可以获得高精度。我们还表明,校准过程增强了变化和外国目标检测性能
2022-08-26 cs.CV cs.LG
Calibrating Higher-Order Statistics for Few-Shot Class-Incremental Learning with Pre-trained Vision Transformers
Universitat Autònoma de Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心);IDEAS-NCBR
本文面向基于预训练 ViT 的 FSCIL 低可塑性问题,提出依据新类与基类的语义相似性校准协方差矩阵,并与现有方法结合以显著提升持续分类性能。
2024-04-09 cs.CV
Multiclass Confidence and Localization Calibration for Object Detection
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对深度神经网络目标检测校准研究不足的问题,提出一种利用预测不确定性联合校准多类别置信度与边界框定位的训练时技术,在域内和域外基准上均优于基线方法。
2023-06-14 cs.CV
Calibrating Deep Neural Networks using Focal Loss
University of Oxford(牛津大学);FiveAI Ltd.(FiveAI有限公司);The Alan Turing Institute(艾伦·图灵研究所)
深度神经网络(DNN)的误校准(模型的置信度和正确性之间的不匹配)使得其预测难以依赖。理想情况下,我们希望网络准确、校准和自信。我们表明,相对于标准的交叉熵损失,焦点损失[Lin et.例如,2017]允许我们学习已经非常好校准的模型。当与温度缩放相结合时,在保持精度的同时,它会产生最先进的校准模型。我们提供了一个彻底的分析的因素,造成误校准,并使用我们从中收集的见解,以证明经验的优异性能的焦点损失。为了便于在实际中使用的焦点损失,我们还提供了一个原则性的方法来自动选择的超参数涉及的损失函数。我们对各种计算机视觉和NLP数据集以及各种网络架构进行了广泛的实验,并表明我们的方法在几乎所有情况下都实现了最先进的校准而不会影响准确性。代码可在https://github.com/torrvision/focal_calibration上获得。
2020-10-26 cs.CV cs.LG stat.ML
What Helps---and What Hurts: Bidirectional Explanations for Vision Transformers
Department of Electrical and Computer Engineering(电气与计算机工程系)
BiCAM通过双向类激活映射方法,提升视觉变换器的可解释性,通过保留正负属性并引入PNR比值,增强模型解释的完整性和对比性。
2026-03-02 cs.AI cs.CV cs.LG
Distinction Maximization Loss: Efficiently Improving Out-of-Distribution Detection and Uncertainty Estimation by Replacing the Loss and Calibrating
Universidade Federal de Pernambuco(伯南布哥联邦大学);Montreal Institute for Learning Algorithms, University of Montreal(蒙特利尔大学蒙特利尔学习算法研究所)
构建鲁棒的确定性神经网络仍然是一个挑战。一方面,某些方法在某些情况下以降低分类准确度为代价来改进分布外检测。另一方面,一些方法以降低推理效率为代价同时提高分类精度、不确定性估计和分布外检测。在本文中,我们提出使用DisMax损失来训练确定性神经网络,它可以作为通常SoftMax损失的替代品(即,线性输出层、SoftMax激活和交叉熵损失的组合)。从IsoMax+损失开始,我们根据到所有原型的距离创建每个logit,而不仅仅是与正确类相关的距离。我们还引入了一种机制来结合图像,构建我们所谓的分数概率正则化。此外,我们提出了一种快速的方法来校准后的网络训练。最后,我们提出了一个综合得分来执行分布外检测。我们的实验表明,DisMax通常优于目前的方法,同时在分类精度,不确定性估计,和分布外检测,同时保持确定性神经网络推理效率。重现结果的代码可在https://github.com/dlmacedo/distinction-maximization-loss上获得。
2022-08-05 cs.AI cs.CV cs.LG
Vision Transformer Visualization: What Neurons Tell and How Neurons Behave?
Monash University(莫纳什大学);OrientSoftware(东方软件公司);Adobe Research(奥多比研究院)
近年来,视觉Transformer(ViT)已成功地应用于计算机视觉的各种任务。然而,重要的问题,如它们为什么工作或它们如何行为仍然在很大程度上是未知的。在本文中,我们提出了一种有效的可视化技术,以帮助我们揭示神经元中携带的信息以及ViT层中的特征嵌入。我们的方法从ViTs的计算过程出发,专注于可视化输入图像中的局部和全局信息以及多层次的潜在特征嵌入。0级输入和嵌入的可视化揭示了有趣的发现,例如为为什么ViT通常对图像遮挡和补丁重排具有相当鲁棒性提供支持;或者与CNN不同,0级嵌入已经携带丰富的语义细节。接下来,我们开发了一个严格的框架来跨层执行有效的可视化,将ViTs过滤器和分组/聚类行为的效果暴露给对象补丁。最后,我们在真实数据集上提供了全面的实验,定性和定量地证明了我们提出的方法以及我们的研究结果的优点。https://github.com/byM1902/ViT_visualization
2022-10-18 cs.CV cs.LG
What Happens During Finetuning of Vision Transformers: An Invariance Based Investigation
MPI-SWS(马克斯·普朗克软件系统研究所);University of Maryland(马里兰大学)
本文提出衡量不变性保留与遗忘的新指标,通过多个基准任务分析视觉 Transformer 微调前后的表征变化,揭示浅层可迁移不变性及深层不变性向浅层压缩的现象。
2023-07-12 cs.CV cs.LG
Hard Vision, Easy Vision: What GPT-6 Astra Reveals Across Computer Vision
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Apertix
本文评估GPT-6 Astra等六个前沿通用系统在34项视觉能力上的表现,发现语义推理任务接近专用模型,而几何精度与保真感知仍具挑战。
2026-09-29 cs.CV
What Makes for Good Tokenizers in Vision Transformer?
The Chinese University of Hong Kong(香港中文大学);Amazon AI(亚马逊人工智能部门)
最近在视觉任务中蓬勃发展的Transformers架构已经转向了广泛的卷积范式。依赖于将输入分成多个令牌的令牌化过程,Transformers能够使用自我注意力提取它们的成对关系。虽然是Transformers的主干构建块,但在计算机视觉中,什么是好的标记器还没有得到很好的理解。在这项工作中,我们调查这个未知的问题,从信息权衡的角度。除了统一和理解现有的结构修改,我们的推导导致更好的视觉标记器的设计策略。所提出的跨令牌调制(MoTo)通过归一化结合了令牌间建模能力。此外,标准训练机制中包含正则化目标TokenProp。通过对各种Transformer架构进行广泛的实验,我们观察到这两种即插即用设计的性能提高和有趣的特性,计算开销可以忽略不计。这些观察结果进一步表明了在视觉Transformer中经常被忽略的标记器设计的重要性。
2022-12-21 cs.CV
Downscaling Attack and Defense: Turning What You See Back Into What You Get
Center for Security and Emerging Technology, Georgetown University(乔治敦大学安全与新兴技术中心);Georgetown University(乔治敦大学)
作为计算机视觉系统预处理的一部分,图像的嵌入易受攻击。可以创建图像,使得图像在机器视觉尺度下与其他尺度下完全不同,并且一些常见计算机视觉和机器学习系统的默认设置容易受到攻击。我们表明,防御是存在的,是微不足道的管理提供防御者意识到的威胁。这些攻击和防御有助于确立输入净化在机器学习中的作用。
2020-10-07 cs.AI cs.CR cs.CV