What is the State of the Art of Computer Vision-Assisted Cytology? A Systematic Literature Review
Federal University of Santa Catarina(圣卡塔琳娜联邦大学)
细胞学是一种低成本和非侵入性的诊断程序,用于支持广泛的病理诊断。计算机视觉技术通过自动生成对检查内容的定量和客观描述,可以帮助减少误诊的机会并缩短分析所需的时间。为了确定目前应用于细胞学的最新计算机视觉技术,我们进行了系统性文献综述。我们分析了过去5年发表的论文。初步检索于2020年9月执行,共检索到431篇文章。在应用纳入/排除标准后,剩下157篇论文,我们分析了这一研究领域存在的趋势和问题,突出了计算机视觉方法,染色技术,评估指标以及所用数据集和计算机代码的可用性。因此,我们发现分析的作品中使用最多的方法是基于深度学习的(70篇论文),而较少的作品仅采用经典的计算机视觉(101篇论文)。用于分类和目标检测的最经常使用的度量是准确度(33篇论文和5篇论文),而用于分割的是Dice相似系数(38篇论文)。关于染色技术,Papanicolaou是使用最多的(130篇),其次是H&E(20篇)和Feulgen(5篇)。论文中使用的12个数据集是公开的,DTU/Herlev数据集是使用最多的数据集。我们的结论是,仍然缺乏高质量的数据集,许多类型的染色和大多数的作品还不够成熟,可以应用于日常的临床诊断程序。我们还发现,越来越多的人倾向于采用基于深度学习的方法作为首选方法。
2021-05-24 cs.CV eess.IV
What Makes for Hierarchical Vision Transformer?
Huazhong University of Science & Technology(华中科技大学);Horizon Robotics(地平线机器人)
最近的研究表明,分层视觉Transformer与交错的非重叠的基于窗口的自注意\&移位窗口操作的宏架构,能够在各种视觉识别任务中实现最先进的性能,并挑战无处不在的卷积神经网络(CNN)使用密集滑动内核。大多数后续工作试图用其他跨窗口通信范式取代移位窗口操作,而将自我注意视为基于窗口的信息聚合的事实标准。在这篇文章中,我们质疑自我注意力是否是层次视觉Transformer获得强大性能的唯一选择,以及不同类型的跨窗口通信的效果。为此,我们用非常简单的线性映射层取代了自我注意层,由此产生的概念验证架构称为LinMapper,可以在ImageNet-1 k图像识别中实现非常强大的性能。此外,我们发现LinMapper能够更好地利用来自图像识别的预训练表示,并在下游密集预测任务(如目标检测和实例分割)上表现出出色的迁移学习特性。我们还实验了其他替代品,以自我注意力的内容聚合在每个非重叠的窗口内不同的跨窗口通信方法,这都给出了类似的竞争结果。我们的研究表明,Swin模型家族的\textbf{macro architecture},而不是特定的聚合层或跨窗口通信的特定手段,可能更负责其强大的性能,是无处不在的CNN的密集滑动窗口范式的真正挑战者。代码和模型将公开提供,以促进未来的研究。
2021-09-10 cs.AI cs.CV cs.LG
SpectFormer: Frequency and Attention is what you need in a Vision Transformer
Microsoft(微软);University of Bath(巴斯大学)
本文提出SpectFormer,将频谱层与多头注意力层结合用于视觉Transformer,在ImageNet-1K上小型版本达84.25%、基础版本达85.7%的top-1准确率,并在迁移学习和下游检测分割任务中表现优异。
2023-04-14 cs.AI cs.CL cs.CV
Computer Vision for Primate Behavior Analysis in the Wild
German Primate Center, Leibniz Institute for Primate Research(德国灵长类动物中心,莱布尼茨灵长类动物研究所);Max Planck Institute for Dynamics and Self-Organization(马克斯·普朗克动力学与自组织研究所)
该观点论文调研了面向基于视频的动物行为研究的计算机视觉前沿方法与高效学习方案,提出需统一相关任务到单视频框架,以缩小技术前景与野外实际应用的差距,推动跨领域研究。
2024-08-12 cs.CV q-bio.QM
What's in the Black Box? The False Negative Mechanisms Inside Object Detectors
Queensland University of Technology(昆士兰科技大学);DATA61, CSIRO(联邦科学与工业研究组织DATA61)
在目标检测中,当检测器未能检测到目标对象时,出现假阴性。为了理解为什么物体探测器会产生假阴性,我们确定了五个“假阴性机制”,其中每个机制描述了探测器架构内的特定组件如何失败。专注于两阶段和一阶段锚盒对象检测器架构,我们介绍了一个框架,量化这些假阴性机制。使用这个框架,我们研究了为什么Faster R-CNN和RetinaNet无法在基准视觉数据集和机器人数据集中检测到对象。我们发现,检测器的假阴性机制之间的计算机视觉基准数据集和机器人部署方案显着不同。这对为基准数据集开发的对象检测器到机器人应用程序的翻译具有影响。代码可在https://github.com/csiro-robotics/fn_mechanisms上公开获取
2022-08-01 cs.AI cs.CV cs.LG
Hard Vision, Easy Vision: What GPT-6 Astra Reveals Across Computer Vision
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Apertix
本文评估GPT-6 Astra等六个前沿通用系统在34项视觉能力上的表现,发现语义推理任务接近专用模型,而几何精度与保真感知仍具挑战。
2026-09-29 cs.CV
What Makes for Good Tokenizers in Vision Transformer?
The Chinese University of Hong Kong(香港中文大学);Amazon AI(亚马逊人工智能部门)
最近在视觉任务中蓬勃发展的Transformers架构已经转向了广泛的卷积范式。依赖于将输入分成多个令牌的令牌化过程,Transformers能够使用自我注意力提取它们的成对关系。虽然是Transformers的主干构建块,但在计算机视觉中,什么是好的标记器还没有得到很好的理解。在这项工作中,我们调查这个未知的问题,从信息权衡的角度。除了统一和理解现有的结构修改,我们的推导导致更好的视觉标记器的设计策略。所提出的跨令牌调制(MoTo)通过归一化结合了令牌间建模能力。此外,标准训练机制中包含正则化目标TokenProp。通过对各种Transformer架构进行广泛的实验,我们观察到这两种即插即用设计的性能提高和有趣的特性,计算开销可以忽略不计。这些观察结果进一步表明了在视觉Transformer中经常被忽略的标记器设计的重要性。
2022-12-21 cs.CV
Negative Results in Computer Vision: A Perspective
University of Central Florida(中佛罗里达大学)
负结果是指实验或模型的结果与预期不符,或者假设不成立。尽管在科学界经常被忽视,但负面结果是结果,它们具有价值。虽然这个主题在社会科学和生物科学等其他领域已经得到了广泛的讨论,但在计算机视觉界却很少有人关注。计算机视觉的独特性,特别是其实验方面,要求对这一问题进行特殊处理。在本文中,我将讨论是什么让负面结果变得重要,如何传播和激励它们,以及在这方面可以从认知视觉研究中吸取什么教训。此外,我将讨论的问题,如计算机视觉和人类视觉的相互作用,实验设计和统计假设检验,解释与预测建模,性能评估,模型比较,以及计算机视觉的研究文化。
2017-06-06 cs.CV
Focusing on what to decode and what to train: SOV Decoding with Specific Target Guided DeNoising and Vision Language Advisor
The University of Electro-Communications(电气通信大学)
针对人物-物体交互检测中检测与识别纠缠导致的训练慢、优化难问题,提出SOV-STG-VLA框架,通过SOV解码解耦任务、STG去噪引导训练及VLA融合视觉语言先验,仅用六分之一训练轮次即达SOTA。
2024-12-22 cs.CV
What Can Machine Vision Do for Lymphatic Histopathology Image Analysis: A Comprehensive Review
University of New South Wales(新南威尔士大学);University of Luebeck(吕贝克大学);Northeastern University(东北大学);China Medical University(中国医科大学)
近十年来,机器视觉(MV)的计算能力不断提高,图像分析算法发展迅速。同时,组织病理切片可以存储为数字图像。因此,MV算法可以为医生提供诊断参考。特别是深度学习算法的不断改进,进一步提高了MV在疾病检测和诊断中的准确性。本文综述了近年来基于MV的图像处理技术在淋巴瘤病理组织图像中的应用,包括分割、分类和检测。最后,对现有的方法进行了分析,提出了一些更有潜力的方法,并对进一步的研究进行了展望。
2022-05-08 cs.CV
What value do explicit high level concepts have in vision to language problems?
The University of Adelaide(阿德莱德大学)
视觉到语言(V2 L)问题的最新进展是通过卷积神经网络(CNN)和递归神经网络(RNN)的组合实现的。这种方法并不显式地表示高级语义概念,而是寻求直接从图像特征到文本的进展。我们在这里提出了一种将高级概念纳入非常成功的CNN-RNN方法的方法,并表明它在图像描述和视觉问答方面的最新性能上实现了显着改进。我们还表明,相同的机制可以用来引入外部语义信息,这样做进一步提高性能。在这样做的时候,我们提供了一个高层次的语义信息在V2 L问题的价值分析。
2016-04-28 cs.CV
Teaching Vision-Language-Action Models What to See and Where to Look
School of Electronic Information Engineering, Beihang University(北京航空航天大学电子信息工程学院);National College for Excellent Engineers, Beihang University(北京航空航天大学卓越工程师学院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);DiDi(滴滴出行);State Key Laboratory of Media Convergence and Communication, Communication University of China(中国传媒大学媒体融合与传播国家重点实验室);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Cyber Science and Technology, Beihang University(北京航空航天大学网络安全科学与技术学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
提出DriveTeach-VLA框架,通过驾驶感知视觉蒸馏和2D轨迹引导提示,教VLA模型关注驾驶相关区域,实现端到端自动驾驶轨迹预测,在NAVSIM和nuScenes上达到最优性能。
2026-07-03 cs.CV
OpenCity3D: What do Vision-Language Models know about Urban Environments?
University of Zurich(苏黎世大学);Stanford University(斯坦福大学)
针对视觉语言模型多应用于室内或自动驾驶低层级任务的局限,研究提出OpenCity3D方法,借助多视角航空影像3D重建拓展至城市尺度高层级任务,具备优异的零样本、少样本能力,为语言驱动的城市分析建立新范式。
2025-03-21 cs.CV
What are the visual features underlying human versus machine vision?
Brown University(布朗大学)
虽然深度卷积网络(DCN)在对象识别方面接近人类观察者的准确性,但尚不清楚它们是否利用类似的视觉表示来实现这一性能。为了解决这个问题,我们介绍了Clicktionary,一个基于网络的游戏,用于识别人类观察者在对象识别过程中使用的视觉特征。从游戏中得到的重要性地图在参与者之间是一致的,并且与图像显着性度量无关。这些结果表明,Clicktionary识别图像区域是有意义的和诊断的对象识别,但不同于那些驱动眼球运动。令人惊讶的是,Clicktionary重要性图与从对象识别训练的DCN中获得的相关性图只有弱相关性。我们的研究表明,人类观察者和DCN的对象识别精度之间的差距越来越小,掩盖了每个人为实现这一性能而使用的不同视觉策略。
2017-11-07 cs.CV
What do Vision Transformers Learn? A Visual Exploration
University of Maryland - College Park(马里兰大学帕克分校);New York University(纽约大学)
视觉Transformer(ViTs)正在迅速成为计算机视觉的事实上的架构,但我们对它们为什么工作以及它们学到了什么知之甚少。虽然现有的研究直观地分析了卷积神经网络的机制,但对ViTs的类似探索仍然具有挑战性。在本文中,我们首先解决在ViTs上执行可视化的障碍。在这些解决方案的帮助下,我们观察到用语言模型监督训练的ViT中的神经元(例如,CLIP)是由语义概念而不是视觉特征激活的。我们还探索了ViTs和CNN之间的潜在差异,我们发现Transformers检测图像背景特征,就像它们的卷积对应物一样,但它们的预测对高频信息的依赖要小得多。另一方面,这两种架构类型在特性从早期层中的抽象模式发展到后期层中的具体对象的方式上表现相似。此外,我们表明,ViTs保持空间信息在所有层,除了最后一层。与以前的作品相比,我们表明,最后一层最有可能放弃的空间信息,并表现为一个学习的全局池操作。最后,我们对各种ViT变体(包括DeiT、CoaT、ConViT、PiT、Swin和Twin)进行大规模可视化,以验证我们方法的有效性。
2022-12-13 cs.CV
What Does Prompt Learning Change? -A Natural-Language Concept Analysis of Vision-Language Models
Chiba University(千叶大学)
该研究提出PromptSpLiCE方法分析视觉-语言模型提示学习后的概念分布变化,发现概念分布变化与准确率提升正相关,还推导了局部梯度表达式解释相关几何直觉。
2026-08-26 cs.CV
What Does Vision Tool-Use Reinforcement Learning Really Learn? Disentangling Tool-Induced and Intrinsic Effects for Crop-and-Zoom
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
本文研究了视觉工具使用强化学习在作物和缩放任务中的学习机制,通过引入MED框架解耦内在能力变化与工具诱导效应,发现改进主要由内在学习驱动,而工具使用强化学习主要减少工具诱导的负面影响,而非掌握工具。
2026-05-21 cs.CV
What Demands Attention in Urban Street Scenes? From Scene Understanding towards Road Safety: A Survey of Vision-driven Datasets and Studies
Australian Centre For Robotics (ACFR), The University of Sydney(澳大利亚机器人中心(ACFR)、悉尼大学)
本文通过系统分类交通场景中需要关注的关键元素,全面分析35个视觉驱动任务和73个数据集,提出统一分析框架,旨在促进道路安全研究。
2026-05-26 cs.CV
What Are We Measuring When We Evaluate Large Vision-Language Models? An Analysis of Latent Factors and Biases
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Salesforce Research(Salesforce研究院)
本文通过大规模迁移学习和因子分析揭示大型视觉-语言模型评估中的潜在技能因素与长度偏差,并发布模拟真实指令的OLIVE数据集,以指导更均衡、广覆盖的基准设计。
2024-04-03 cs.CV
What can Computer Vision learn from Ranganathan?
University of Trento(特伦托大学)
本文提出利用Ranganathan的分类原则解决计算机视觉中的语义间隙问题,并通过实验验证了vTelos方法在CV注释和准确性上的改进。
2026-01-30 cs.AI cs.CV
A Training-Free Guess What Vision Language Model from Snippets to Open-Vocabulary Object Detection
Aerospace and Informatics Domain(航空航天与信息领域);National Key Laboratory of Science and Technology on Space-Born Intelligent Information Processing(空间智能信息处理国家级重点实验室);School of Electronic(电子学院)
本文提出无需训练的Guess What视觉语言模型GW-VLM,通过多尺度视觉语言搜索与上下文概念提示实现开放词汇物体检测的高效检测性能。
2026-01-21 cs.CV
Focus on What Matters: Enhancing Medical Vision-Language Models with Automatic Attention Alignment Tuning
Pennsylvania State University(宾夕法尼亚州立大学);GE Healthcare(通用电气医疗集团)
针对医学视觉-语言模型注意力分布不佳导致幻觉的问题,提出A$^3$Tune微调框架,利用SAM和BioMedCLIP生成标签并选择性调整注意力头,配合A$^3$MoE模块,在医学VQA和报告生成任务上超越现有基线。
2025-05-24 cs.CV
What Helps---and What Hurts: Bidirectional Explanations for Vision Transformers
Department of Electrical and Computer Engineering(电气与计算机工程系)
BiCAM通过双向类激活映射方法,提升视觉变换器的可解释性,通过保留正负属性并引入PNR比值,增强模型解释的完整性和对比性。
2026-03-02 cs.AI cs.CV cs.LG
Learning What Helps: Task-Aligned Context Selection for Vision Tasks
KTH Royal Institute of Technology(皇家理工学院);Science for Life Laboratory(生命科学实验室);Karolinska Institutet(卡罗林斯卡研究院);Pathology, Clinical Pharmacology and Safety Sciences, R&D AstraZeneca(病理学、临床药理学与安全性科学,阿斯利康研发部)
TACS通过联合训练选择器网络和任务模型,实现任务对齐的上下文选择,提升视觉任务性能,尤其在数据有限或挑战性场景中表现优异。
2025-11-29 cs.CV
What can robotics research learn from computer vision research?
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学)
计算机视觉和机器人研究社区都很强大。然而,近年来,由于大数据、GPU计算、新颖的学习算法和非常有效的研究方法论,计算机视觉的进展变得越来越快。相比之下,机器人技术的进展似乎较慢。的确,机器人技术后来才开始探索学习的潜力--尽管强化学习似乎提供了真正的潜力,但它相对于动力学、运动学、规划和控制等成熟知识体系的优势仍在争论之中。然而,相比机器人技术,计算机视觉的快速发展不能仅仅归功于前者采用了深度学习。在本文中,我们认为,计算机视觉的收益是由于研究方法论-严格限制下的评估与实验;大胆的数字与视频。
2020-06-12 cs.CV cs.RO
Frequency Is What You Need: Considering Word Frequency When Text Masking Benefits Vision-Language Model Pre-training
Institute for Computing and Information Sciences(计算与信息科学研究所);Radboud University(拉德堡德大学)
本文提出CLIPF方法,通过考虑词频提升视觉-语言模型预训练效果,实验显示其在减少输入token时表现更优。
2026-01-14 cs.CV
What Makes VLMs Robust? Towards Reconciling Robustness and Accuracy in Vision-Language Models
本文研究了视觉语言模型鲁棒性与准确性的平衡问题,通过分析对抗性微调模型,发现鲁棒性主要集中在浅层网络,提出Adversarial Robustness Adaptation框架以提升鲁棒性与准确性。
2026-03-13 cs.CV
What's left can't be right -- The remaining positional incompetence of contrastive vision-language models
SFI Centre for Research Training in Machine Learning at University College Dublin(都柏林大学学院SFI机器学习研究培训中心);School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院);School of Computer Science and Statistics, Trinity College Dublin(都柏林圣三一学院计算机科学与统计学院)
本文分析了CLIP等对比式视觉语言模型缺乏空间理解能力的成因,发现即使使用大规模数据集,其在左右位置关系上的缺陷仍可预测,并提出利用合成数据训练该能力,成功泛化至自然图像并提升了Visual Genome Relations上的性能。
2023-11-20 cs.CL cs.CV
Aligning What EEG Can See: Structural Representations for Brain-Vision Matching
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出EEG-可见层选择策略和分层互补融合框架,通过将EEG信号与中间视觉层对齐,解决跨模态信息不匹配问题,提升零样本视觉解码性能。
2026-03-07 cs.CV
What Makes Good Few-shot Examples for Vision-Language Models?
Fudan University(复旦大学);Bytedance(字节跳动);Sensetime Technology(商汤科技)
本研究提出REPRE和高斯蒙特卡洛两种示例选择方法,优于随机和主动学习策略,显著提升视觉-语言模型少样本训练效果,且模型无关。
2024-05-22 cs.CV
Attention, Please! PixelSHAP Reveals What Vision-Language Models Actually Focus On
Nexar(奈克萨(Nexar))
PixelSHAP 是一个与模型无关的框架,通过扰动图像对象并量化其对视觉-语言模型响应的影响来增强可解释性,无需模型内部信息,已在自动驾驶中验证。
2025-03-09 cs.CL cs.CV
On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning
NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院AI)
针对当前视觉语言助手透明度不足、复杂视觉场景文本理解任务计算成本高的问题,研究通过策略构建数据集、优化视觉模块等方式,在受限推理成本下实现了性能与吞吐量的兼顾,并将开源相关资源。
2024-10-06 cs.CL cs.CV
What Makes Good Examples for Visual In-Context Learning?
Nanyang Technological University(南洋理工大学)
在广泛数据上训练的大规模模型由于其强大的泛化性能,近年来已成为计算机视觉的主流体系结构。在本文中,主要关注的是大型视觉模型中的一种新兴能力,称为上下文学习,它允许通过对上下文示例进行条件化来推断看不见的任务(也称为~提示),而不更新模型参数。这个概念在自然语言处理中是众所周知的,但直到最近才针对大型视觉模型进行了研究。我们首次对计算机视觉中上下文样例的影响进行了全面的研究,发现上下文样例的选择对性能具有高度的敏感性。为了克服这个问题,我们提出了一个提示检索框架,自动选择的上下文中的例子。具体来说,我们提出了(1)一个无监督的提示检索方法的基础上最近的例子搜索使用现成的模型,和(2)监督提示检索方法,训练神经网络选择的例子,直接最大限度地提高上下文学习性能。实验结果表明,与常用的随机选择方法相比,我们的方法可以为视觉上下文学习带来显著的改进。
2023-02-01 cs.CV
What Matters for Grocery Product Retrieval with Open Source Vision Language Models
AI Graduate Program, University of the Philippines, Diliman, Quezon City(菲律宾大学达林学院人工智能研究生项目);EEEI, University of the Philippines, Diliman, Quezon City(菲律宾大学达林学院电子工程系)
本文研究了开源视觉语言模型在杂货产品检索任务中的表现,发现数据质量比规模更重要,高效模型可以胜出,并且存在召回率差距的问题。
2026-05-18 cs.CV
Downscaling Attack and Defense: Turning What You See Back Into What You Get
Center for Security and Emerging Technology, Georgetown University(乔治敦大学安全与新兴技术中心);Georgetown University(乔治敦大学)
作为计算机视觉系统预处理的一部分,图像的嵌入易受攻击。可以创建图像,使得图像在机器视觉尺度下与其他尺度下完全不同,并且一些常见计算机视觉和机器学习系统的默认设置容易受到攻击。我们表明,防御是存在的,是微不足道的管理提供防御者意识到的威胁。这些攻击和防御有助于确立输入净化在机器学习中的作用。
2020-10-07 cs.AI cs.CR cs.CV
What matters when building vision-language models?
Hugging Face;Sorbonne Université(索邦大学)
本文通过系统实验探究视觉语言模型设计中的关键因素,并据此开发了80亿参数的高效基础模型Idefics2,在多个多模态基准上达到同规模最先进水平,性能常与四倍规模模型相当。
2024-05-03 cs.AI cs.CV
Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow
KAIST(韩国科学技术院);POSTECH
本文提出通过调节信息流提升视觉-语言模型的感知能力,通过动态令牌方法确定视觉令牌的重要性,从而提高视觉问答、视觉定位等任务的性能。
2026-04-17 cs.CV
What Does Attention Transfer Transfer? Attention Structure and Robustness in Vision Transformers
Johns Hopkins University(约翰斯·霍普金斯大学)
该研究通过分析视觉Transformer的注意力结构,发现注意力迁移的差距源于特征而非注意力结构,且鲁棒性成熟晚于准确率,早停规则会对鲁棒性采样不足。
2026-08-20 cs.CV
What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers
本文研究了视觉变换器中的位置偏差问题,通过线性探测发现其普遍存在,并通过微调使用ALiBi相对位置编码来减少偏差,证明了无偏特征在复杂显微图像分割中的有效性。
2026-11-16 cond-mat.mtrl-sci cs.CV
What to Attend, What to Keep: Skill-Conditioned Visuotactile Representation with Progress-Guided Event Memory
University of Maryland(马里兰大学)
本研究提出技能条件化视觉触觉表征,通过进度引导的稀疏事件记忆,在接触密集型任务中显著降低滑移检测、扭转完成延迟及进度误差,揭示观察形成是多模态表征的核心挑战。
2026-10-01 cs.CV cs.RO
What's in the Image? A Deep-Dive into the Vision of Vision Language Models
Weizmann Institute of Science(魏茨曼科学研究所)
本文针对视觉语言模型(VLMs)的视觉处理机制开展实证分析,揭示查询token存储全局图像信息、中间层主导跨模态信息流等关键见解,为VLMs高效视觉处理提供支撑。
2024-11-26 cs.AI cs.CV
Focus on What Really Matters in Low-Altitude Governance: A Management-Centric Multi-Modal Benchmark with Implicitly Coordinated Vision-Language Reasoning Framework
National University of Defense Technology(国防科技大学);Zidong Taichu (Beijing) Technology Co., Ltd.(紫东太初(北京)科技有限公司);Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Wuhan AI Research(武汉人工智能研究院)
本文提出GovLA-10K多模态基准和GovLA-Reasoner框架,通过功能显著目标和隐式协调的视觉-语言推理提升低空治理中的管理需求理解与执行能力。
2026-04-08 cs.CV
What does CLIP know about a red circle? Visual prompt engineering for VLMs
University of Oxford(牛津大学)
本文提出面向 VLM 的视觉提示工程,发现 CLIP 可通过红色圆圈引导视觉注意并保留全局信息,从而提升零样本指代表达理解与关键点定位性能。
2023-08-18 cs.CV
Learning How Much, Not Just What: Cross-Patient Burden Order for CT Vision-Language Pretraining
本研究提出Spectrum框架,利用跨患者弱负担顺序补充解剖感知对应关系,无需纵向数据即可学习负担感知CT表示,在CT-RATE和RAD-ChestCT数据集上取得良好性能。
2026-09-17 cs.CV
What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior
University of Technology Nuremberg(纽伦堡工业大学);ETH Zürich(苏黎世联邦理工学院);Inria, Ecole Normale Supérieure, CNRS, PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学校,法国国家科学研究中心,巴黎文理研究大学)
本研究通过干预度量解释VLN模型依赖的模态,发现其编码进度并保留语义,进而利用激活向量实现零样本迁移,提升分布外场景性能。
2026-09-22 cs.CV cs.RO
What's Cookin'? Interpreting Cooking Videos using Text, Speech and Vision
Google(谷歌)
我们提出了一种新的方法,用于将指令序列与执行任务的人的视频对齐。特别是,我们专注于烹饪领域,其中的指令对应于食谱。我们的技术依赖于HMM来将配方步骤与(自动生成的)语音转录对齐。然后,我们使用基于深度卷积神经网络的最先进的视觉食物检测器来改进这种对齐。我们表明,我们的技术优于基于关键字定位的简单技术。它还支持有趣的应用程序,例如使用关键帧自动说明食谱,以及在视频中搜索感兴趣的事件。
2015-03-13 cs.CL cs.CV cs.IR
What and Where to Adapt: Structure-Semantics Co-Tuning for Machine Vision Compression via Synergistic Adapters
Xidian University(西安电子科技大学)
本文提出S2-CoT框架,通过结构和语义协同适配器提升图像压缩性能,实现高效参数调节与高质量编码。
2026-04-11 cs.CV
What Makes Synthetic Hard Negatives Work in Vision-Language Pretraining?
Imperial College London(伦敦帝国理工学院);Centre for Research and Technology Hellas(希腊研究与技术中心)
本文通过几何分析揭示合成困难负样本在视觉-语言预训练中的两种失败模式,提出SNAP方法生成不涉及正样本的模态内困难负样本,在CLIP和FLIP上带来零样本检索、分类和线性探针的稳定提升。
2026-10-27 cs.AI cs.CV
SideEye: A Generative Neural Network Based Simulator of Human Peripheral Vision
MIT(麻省理工学院);University of Bremen(不来梅大学)
中央凹视力占视野的不到1%。另外99%是周边视觉。人类在外围看到的东西既明显又神秘,因为我们用自己的眼睛看到它,但除了在受控的实验室实验中,我们无法想象我们看到的东西。周边信息的退化远比径向模糊所能模拟的要复杂得多。相反,行为验证的模型假设,周边视觉测量大量的局部纹理统计在池区域重叠和偏心增长。在这项工作中,我们开发了一种新的方法,周边视觉模拟训练生成神经网络的行为验证的全场合成模型。通过实现运行时间减少21,000倍,我们的方法是第一个将周边视觉模拟的真实性和速度结合起来的方法,提供了一种全新的视觉设计方法:通过周边可视化。
2017-10-23 cs.CV cs.NE q-bio.NC
What Users Leave Unsaid: Under-Specified Queries Limit Vision-Language Models
AIM Intelligence;Yonsei University(延世大学);OneLineAI;Korea University(高丽大学);Doodlin Corp.(Doodlin公司);NAVER Cloud(NAVER云);Hankuk University of Foreign Studies(韩国外国语大学);Lablup Inc.(Lablup公司)
研究探讨了现实用户查询的不明确性对视觉语言模型的影响,通过HAERAE-Vision基准测试发现,即使使用先进模型,未指定查询的准确率仍低于50%,且明确化查询能显著提升性能,揭示了模型能力与实际应用间的差距。
2026-04-13 cs.AI cs.CV
What Does the Caption Really Say? Counterfactual Phrase Intervention for Compositional Data Selection in Vision-Language Pretraining
Soongsil University(顺斯尔大学)
本文研究了在视觉语言预训练中如何通过反事实短语干预来改进组合数据选择,提出了CPI方法以解决现有方法中全局过滤信号失效的问题,从而提升模型在关系识别任务上的表现。
2026-05-21 cs.CV
Learning What Matters: Dynamic Dimension Selection and Aggregation for Interpretable Vision-Language Reward Modeling
Zhejiang University(浙江大学);Soochow Securities Co.,Ltd.(东吴证券股份有限公司);HKUST(GZ)(香港科技大学(广州));Nanjing University(南京大学)
本文提出VL-MDR框架,通过动态分解评价为细粒度可解释维度,提升视觉语言奖励建模的可解释性与效率,实验显示其在基准测试中优于现有模型,并有效缓解视觉幻觉。
2026-04-07 cs.AI cs.CL cs.CV
Vision Transformer Visualization: What Neurons Tell and How Neurons Behave?
Monash University(莫纳什大学);OrientSoftware(东方软件公司);Adobe Research(奥多比研究院)
近年来,视觉Transformer(ViT)已成功地应用于计算机视觉的各种任务。然而,重要的问题,如它们为什么工作或它们如何行为仍然在很大程度上是未知的。在本文中,我们提出了一种有效的可视化技术,以帮助我们揭示神经元中携带的信息以及ViT层中的特征嵌入。我们的方法从ViTs的计算过程出发,专注于可视化输入图像中的局部和全局信息以及多层次的潜在特征嵌入。0级输入和嵌入的可视化揭示了有趣的发现,例如为为什么ViT通常对图像遮挡和补丁重排具有相当鲁棒性提供支持;或者与CNN不同,0级嵌入已经携带丰富的语义细节。接下来,我们开发了一个严格的框架来跨层执行有效的可视化,将ViTs过滤器和分组/聚类行为的效果暴露给对象补丁。最后,我们在真实数据集上提供了全面的实验,定性和定量地证明了我们提出的方法以及我们的研究结果的优点。https://github.com/byM1902/ViT_visualization
2022-10-18 cs.CV cs.LG
Vision System for AGI: Problems and Directions
SingularityNET Foundation(奇点网基金会);ITMO University(圣彼得堡国立信息技术机械与光学大学);Novamente LLC(Novamente有限责任公司)
为AGI创建视觉系统需要哪些框架和架构?在本文中,我们提出了一个正式的模型,说明AGI内的感知任务。我们展示了判别和生成模型在实现这一任务的有效和一般解决方案中的作用,从而更详细地说明了任务。我们讨论了一些现有的生成和歧视的模型,并证明他们的不足之处,我们的目的。最后,我们讨论了一些建筑的困境和开放的问题。
2018-07-10 cs.CV