SAVER: Mitigating Hallucinations in Large Vision-Language Models via Style-Aware Visual Early Revision
ROSE Lab, Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore(南洋理工大学罗思实验室,跨学科研究生项目,新加坡);ROSE Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(南洋理工大学罗思实验室,电子与电气工程学院,新加坡);City University of Hong Kong, Hong Kong SAR(香港城市大学,香港特别行政区);Shanghai Jiao Tong University, China(上海交通大学,中国);Singapore University of Technology and Design, Singapore(新加坡科技设计大学,新加坡);VinUniversity, Hanoi, Vietnam(越南文大学,河内,越南)
研究大型视觉语言模型幻觉问题,构建含照片及风格化图像数据集并对比,提出SAVER机制,利用早期层反馈基于视觉注意力模式动态调整输出,减轻风格化图像引起的幻觉,实验证明其性能先进。
2026-07-07 cs.CV
Why Vision Fails as a Universal Bridge: Rectifying Modality Asynchrony in Multilingual MLLMs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Loop Area Institute(深圳河套学院);National Health Data Institute (Shenzhen)(国家健康数据研究院(深圳))
针对多语言MLLMs在非英语视觉推理中的性能下降问题,该研究发现其源于“幽灵锚点”模态异步性,提出ANCHOR训练框架,经实验验证可提升跨语言视觉推理性能。
2026-08-18 cs.CL
When Text Matters: Design Principles for Visual Token Pruning in Vision-Language Model
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Hanbat National University(韩巴国立大学)
本文提出一种无需训练的视觉令牌剪枝方法,通过分离早期视觉引导剪枝与延迟文本引导重新选择,在八个基准和三个模型上显著提升性能恢复,同时保持较低延迟。
2026-09-29 cs.CV cs.LG
Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow
KAIST(韩国科学技术院);POSTECH
本文提出通过调节信息流提升视觉-语言模型的感知能力,通过动态令牌方法确定视觉令牌的重要性,从而提高视觉问答、视觉定位等任务的性能。
2026-04-17 cs.CV
Gaslight, Gatekeep, V1-V3: Early Visual Cortex Alignment Shields Vision-Language Models from Sycophantic Manipulation
Indian Institute of Technology Gandhinagar(印度理工学院加尔各答分校);Asian Institute of Technology(亚洲理工学院)
本文研究了视觉语言模型在高风险场景中的脆弱性,通过评估12种模型的脑部对齐和顺从性,发现早期视觉皮层对齐能有效降低模型对阿谀操控的敏感性。
2026-04-15 cs.AI cs.CV
TokenFLEX: Unified VLM Training for Flexible Visual Tokens Inference
Li Auto(理想汽车)
提出TokenFLEX框架,通过随机调节token数量的训练范式和轻量级视觉token投影器,实现可变数量视觉tokens的高效推理,在多基准上显著优于固定tokens方法。
2025-04-04 cs.CV
Visual question answering: from early developments to recent advances -- a survey
Deakin University(迪肯大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of New South Wales(新南威尔士大学);Technology Innovation Institute(技术创新研究院)
该综述梳理视觉问答(VQA)领域从早期到最新的发展,提出架构分类法,回顾深度学习方法与新兴大型视觉语言模型,介绍相关数据集、评估指标及应用,指明现存挑战与未来方向。
2025-01-11 cs.CV cs.MM
Feather the Throttle: Revisiting Visual Token Pruning for Vision-Language Model Acceleration
Stanford University(斯坦福大学)
本研究发现现有视觉令牌早期剪枝加速法存在图像顶部令牌过度剪枝的问题,且现有基准难以检测该缺陷,据此提出FEATHER多阶段剪枝方法,在同等计算节省下将定位基准性能提升5倍以上。
2025-07-31 cs.CV
Not All Tokens and Heads Are Equally Important: Dual-Level Attention Intervention for Hallucination Mitigation
本文提出无需训练的 VisFlow 框架,通过 Token 级和 Head 级双层注意力干预修正 LVLMs 的注意力分配问题,以最小计算开销有效缓解视觉幻觉。
2025-08-18 cs.CV
A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise
Tencent Youtu Lab(腾讯优图实验室);Shanghai AI Laboratory(上海人工智能实验室);CUHK MMLab(香港中文大学多媒体实验室);ECNU(华东师范大学);USTC(中国科学技术大学);Peking University(北京大学)
本文初步探索Gemini Pro的视觉理解能力,与GPT-4V和Sphinx对比,发现Gemini在多个领域可与GPT-4V匹敌,但仍有差距,并指出MLLM的常见问题。
2023-12-20 cs.AI cs.CL cs.CV
LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression
The University of Queensland(昆士兰大学)
针对大型视觉语言模型在长序列解码中视觉遗忘的问题,提出LASER后训练框架,通过视觉接地奖励和沉没抑制奖励调节注意力轨迹与分布,在8个基准上超越强基线。
2026-07-03 cs.CV
Dynamically Modulating Visual Place Recognition Sequence Length For Minimum Acceptable Performance Scenarios
Queensland University of Technology(昆士兰科技大学);Ford Motor Company(福特汽车公司);QUT Centre for Robotics(昆士兰科技大学机器人中心)
本文提出利用粗略位置先验和外观变化相关性,通过校准数据拟合多层感知机动态调制视觉位置识别序列长度,以最小代价达到目标定位性能,并在多个数据集上验证其有效性。
2024-07-01 cs.CV
The Hidden Life of Tokens: Reducing Hallucination of Large Vision-Language Models via Visual Information Steering
Rutgers University(罗格斯大学);Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
本文通过分析token logits排名揭示LVLM幻觉的三种内部模式,提出无需训练的推理时干预框架VISTA,结合激活空间视觉信息强化与早期层激活利用,平均减少约40%幻觉并在多个基准上优于现有方法。
2025-07-01 cs.AI cs.CV cs.LG
Unleashing Diffusion Transformers for Visual Correspondence by Modulating Massive Activations
Shanghai Jiao Tong University(上海交通大学);Monash University(墨尔本大学);The University of Hong Kong(香港大学)
本文针对扩散Transformer中大规模激活导致表示退化的问题,提出无需训练的DiTF框架,利用AdaLN进行通道级调制与通道丢弃以提取判别特征,在多个视觉对应任务上取得最优性能。
2025-11-09 cs.CV
Guessing State Tracking for Visual Dialogue
Beijing University of Posts and Telecommunications(北京邮电大学)
猜猜是一个任务的视觉接地猜什么?!就像视觉对话。它在提问者和先知之间基于问答的对话中,将目标物体定位在先知自己想象的图像中。大多数现有的猜测者在接收到具有预定义轮数的对话中的所有问答对之后进行一次且仅一次猜测。本文提出了一种猜测者的猜测状态,并将猜测看作是通过对话改变猜测状态的过程。因此,提出了一种基于猜测状态跟踪的猜测模型。猜测状态被定义为图像中对象的分布。在此基础上,定义了两个损失函数作为模型训练的监督。早期监督在早期轮次对猜测者带来监督,增量监督给猜测状态带来单调性。GuessWhat上的实验结果?!实验结果表明,该模型的性能明显优于以往的模型,达到了新的水平,特别是猜测成功率为83.3%,接近人类水平的准确率84.4%。
2020-07-18 cs.CV
On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);East China Normal University(华东师范大学);GigaAI(极佳科技);The Chinese University of Hong Kong(香港中文大学)
本文系统评估了视觉-语言模型 GPT-4V 在自动驾驶场景中的能力,发现其在场景理解与因果推理上优于现有系统,但在方向辨别、交通灯识别、视觉定位和空间推理方面仍存在挑战。
2023-11-28 cs.AI cs.CL cs.CV
VisLens: Single-Pass Interpretable Visual Search for Multimodal LLMs
Technical University of Munich(慕尼黑工业大学);Helmholtz Munich(慕尼黑亥姆霍兹中心);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究针对多模态大语言模型的细粒度视觉搜索问题,提出VisLens方法,通过单次前向传播实现可解释的视觉搜索,性能优于或相当现有方法且推理速度大幅提升。
2026-09-01 cs.CV
Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models
Department of Computer Science, Hanyang University(汉阳大学计算机科学系);Department of Artificial Intelligence, Hanyang University(汉阳大学人工智能系)
本文针对扩散多模态语言模型在视觉推理中生成过早答案的问题,提出位置与步数惩罚和视觉推理引导方法,提升推理准确率并加快推理速度。
2026-04-07 cs.AI cs.CV
The Visual QA Devil in the Details: The Impact of Early Fusion and Batch Norm on CLEVR
DeepMind(深度思维)
视觉QA是高级推理的关键挑战,需要理解语言,视觉以及场景中许多对象之间的关系。虽然像CLEVR这样的数据集被设计成没有这种复杂的关系推理就无法解决,但一些令人惊讶的简单前馈,“整体”模型最近在这个数据集上表现出了强大的性能。这些模型缺乏任何一种明确的迭代,符号推理过程,这被假设为是必要的计数对象,缩小了一组相关的对象的基础上的几个属性等,这种强大的性能的原因是知之甚少。因此,我们的工作分析这样的模型,并发现小的架构元素是至关重要的性能。特别是,我们发现语言和视觉的\textit{early fusion}提供了很大的性能改进。这与Visual QA初期流行的后期融合方法形成了鲜明对比。我们提出了一个简单的模块,我们称之为多模态核心,我们假设执行多模态任务的基本操作。我们相信,了解为什么这些元素是如此重要的复杂的问答将有助于设计性能更好的算法的视觉QA,同时尽量减少手工工程的努力。
2018-09-11 cs.CL cs.CV cs.LG
Noninvasive precision modulation of high-level neural population activity via natural vision perturbations
McGovern Institute for Brain Research, Dept. of Brain and Cognitive Sciences, Massachusetts Institute of Technology(麦戈文脑科学研究所,脑科学与认知科学系,麻省理工学院);Center for Brains, Minds, and Machines, MIT(脑、心智与机器中心,麻省理工学院);MIT Quest for Intelligence(麻省理工学院智能探索计划)
本研究针对神经活动精准调控依赖侵入式技术的难题,提出通过自然视觉扰动无创调控灵长类高级腹侧视觉通路神经活动的方法,经猕猴IT神经群体实验验证效果与模型预测定量一致,可实现单神经元分辨率的无创神经干预。
2025-06-14 cs.CV cs.NE q-bio.NC
Can the early human visual system compete with Deep Neural Networks?
Arizona State University(亚利桑那州立大学)
我们研究和比较人类视觉系统和最先进的深度神经网络对失真图像的分类。与以往的工作不同,我们将显示时间限制在100毫秒,只测试人类视觉系统的早期机制,而不允许任何眼睛运动或其他更高级别的过程的时间。我们的研究结果表明,在模糊和嘈杂的图像下,人类视觉系统仍然优于现代深度神经网络。这些发现激励未来的研究开发更强大的深度网络。
2017-10-12 cs.CV
Unveiling the Power of Audio-Visual Early Fusion Transformers with Dense Interactions through Masked Modeling
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出利用掩码重建框架训练视听早期融合Transformer,并通过分解局部表示降低注意力融合的计算复杂度,在多个视听任务上取得优越性能。
2023-12-02 cs.AI cs.CV cs.LG
Rapid Visual Categorization is not Guided by Early Salience-Based Selection
Department of Electrical Engineering and Computer Science, York University(约克大学电气工程与计算机科学系);York University(约克大学);Toronto(多伦多(注:这里是城市名,按要求不提取,但原文中的机构是York University的部门,需保留部门名))
目前在人类和机器研究中占主导地位的视觉处理范式是前馈的,神经类处理元素的分层结构。在这种范式中,视觉显着性被许多人认为具有特定的作用,即早期选择。早期选择被认为通过将处理限制在图像的最显著的候选部分来实现非常快的视觉性能。这种策略导致了大量的显着性算法,这些算法确实提高了机器算法的处理时间效率,这反过来又加强了人类视觉也采用类似的早期选择策略的建议。然而,至少有一组关于这一想法的关键测试从未在人类视觉中早期选择的作用方面进行过。最早为这种视觉加工范式提供证据的实验者所使用的刺激,当前最好的显着性模型会如何表现?这些算法真的能提供正确的候选子图像来快速分类这些相同的图像吗?人类真的需要这种早期选择来获得令人印象深刻的表现吗?在这里,我们报告了一系列新的测试这些问题的结果表明,这是不太可能的,这样一个早期的选择过程中有任何作用,在人类的快速视觉分类。
2020-01-30 cs.CV q-bio.NC
Early Detection of Visual Impairments at Home Using a Smartphone Red-Eye Reflex Test
Health Access LLC(健康接入有限公司);Frankfurt Institute for Advanced Studies(法兰克福高级研究所)
本研究开发了KidsVisionCheck应用,利用智能手机和深度神经网络分析红眼反射图像进行儿童视力筛查,在测试数据上达90%准确率,推动了全球可及的早期干预。
2025-09-11 cs.CV cs.LG
Improving Streaming Video Segmentation with Early and Mid-Level Visual Processing
University of California San Diego(加州大学圣地亚哥分校);Korea Electronics Technology Institute(韩国电子技术研究院);Cornell NYC Tech(康奈尔纽约科技学院)
尽管最近在视频分割方面取得了进展,但仍然有许多机会使用各种低级别和中等级别的视觉线索来改进它。我们提出了改进的领先的基于流图的分层视频分割(streamGBH)方法的基础上早期和中期的视觉处理。我们的方法的广泛的实验分析验证了改进的分层超体素表示,将运动和颜色与有效的过滤。我们还提出并阐明了一些开放的问题,对中级视频分析作为进一步扩展streamGBH。我们利用超体素作为对占主导地位的仿射运动区域的估计的初始化,然后合并这样的运动区域,以分层分割的视频在一个新的运动分割框架,其目的是在后续的应用程序,如前景识别。
2014-02-14 cs.CV
Benchmarking and Enhancing Text-to-Image Models for Generating Visual Representations in Early Arithmetic Education
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);ETH AI Center(ETH人工智能中心)
针对早期算术教育中的方程到视觉生成任务,构建了E2V-Bench基准并评估了现有T2I模型,发现其在计数和关系结构上存在严重错误,进而探索了基准引导的增强策略。
2026-05-29 cs.AI cs.CL cs.CV
Physical Depth-aware Early Accident Anticipation: A Multi-dimensional Visual Feature Fusion Framework
School of Transportation, Southeast University(东南大学交通学院);The Hong Kong Polytechnic University(香港理工大学)
针对二维空间建模不足的问题,提出融合单目深度、交互与动态特征的多维视觉框架,并引入遮挡重建邻接矩阵,实现早期事故预判,性能达到最先进水平。
2025-02-19 cs.CV
Learning to See Through a Baby's Eyes: Early Visual Diets Enable Robust Visual Intelligence in Humans and Machines
Nanyang Technological University, Singapore(南洋理工大学,新加坡);Indian Institute Of Technology Madras(印度理工学院马德拉斯)
本文通过模拟婴儿视觉阶段的'视觉饮食',训练自监督学习模型,发现早期视觉经验能增强机器视觉鲁棒性,并在人类视觉发展方面提供新的理解框架。
2026-03-24 cs.CV
Sparse Deep Predictive Coding captures contour integration capabilities of the early visual system
Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Inst Neurosci Timone(蒂莫内神经科学研究所);ISM(ISM研究所)
神经生理学和心理物理学实验都指出,在早期视觉皮层中,循环连接和反馈连接在处理依赖于上下文的信息中起着至关重要的作用。虽然许多模型已经在神经或表征层面上解释了反馈效应,但没有一个模型能够将这两个层面的分析结合起来。是否可以用同一个模型来描述两个层次的反馈效应?我们通过将预测编码(PC)和稀疏编码(SC)结合到分层和卷积框架中来回答这个问题。在该稀疏深度预测编码(SDPC)模型中,SC组件对每个层内的内部递归处理进行建模,并且PC组件使用前馈和反馈连接来描述层之间的交互。在这里,我们在两个不同的图像数据库上训练一个2层SDPC,并将其解释为早期视觉系统(V1和V2)的模型。我们首先证明,一旦训练收敛,SDPC表现出导向和本地化的感受野在V1和V2更复杂的功能。第二,我们分析了反馈对V1神经元经典感受野以外的神经组织的影响。这些映射类似于联想场,反映了良好延续的完形原则。我们证明,反馈信号重组互动地图和调制神经活动,以促进轮廓整合。第三,我们证明了在代表性的水平,SDPC反馈连接能够克服输入图像中的噪声。因此,SDPC在神经水平上捕获了关联场原理,从而在代表性水平上更好地消除模糊图像的歧义。
2019-10-17 cs.AI cs.CV cs.LG
Robust Egocentric Visual Attention Prediction Through Language-guided Scene Context-aware Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出语言引导的场景上下文感知学习框架,通过上下文感知器和双训练目标提升自体视频中注意力预测的鲁棒性与准确性。
2026-01-05 cs.CV
Filter Early, Match Late: Improving Network-Based Visual Place Recognition
ARC Centre of Excellence for Robotic Vision(澳大利亚研究委员会机器人视觉卓越中心);Queensland University of Technology(昆士兰科技大学)
随着时间的推移,CNN在执行位置识别方面表现出色,特别是当神经网络在当前环境条件下针对定位进行优化时。在本文中,我们研究了特征图过滤的概念,其中,而不是使用卷积张量中的所有激活,只使用最有用的激活。由于特定的特征图编码不同的视觉特征,因此目标是去除有损于识别外观变化中的位置的能力的特征图。我们的关键创新是在早期卷积层中过滤特征图,然后继续运行网络,并使用同一网络中的后续层提取特征向量。通过过滤早期的视觉特征,并从一个更高的,更多的观点不变的后来层提取的特征向量,我们证明了改进的条件和观点不变性。我们的方法需要从部署环境中训练图像对,但我们表明,只需一个训练图像对就可以定期实现最先进的性能。进行详尽的实验分析,以确定早期层过滤和后期层提取之间的因果关系的全部范围。为了有效性,我们使用三个数据集:Oxford RobotCar、Nordland和Gardens Point,实现了优于NetVLAD的整体性能。这项工作为探索CNN优化提供了许多新的途径,而无需完全重新训练。
2019-06-21 cs.CV cs.RO
Visual Analytics for Early Detection of Retinal Diseases
University of Rostock(罗斯托克大学);Rostock University Medical Center(罗斯托克大学医学中心)
光学相干断层扫描(OCT)的进步使得能够以高空间分辨率对人类视网膜的子结构进行无创成像。OCT检查现在是临床的标准程序,也是眼科研究的组成部分。光学相干断层扫描的解释有助于眼科医生了解各种视网膜和系统性疾病对视网膜结构的影响,这在以前是不可能的。然而,在视网膜疾病的早期阶段,识别和分析视网膜中的小的和局部的亚结构变化仍然是一个挑战。我们提出了一个新的视觉分析方法的互动探索早期视网膜变化的单个和多个患者的概述,比较的变化与规范的数据,和自动量化和测量诊断相关的信息。我们与来自领先OCT设备制造商的眼科研究人员和行业专家密切合作开发了这些方法。因此,他们不仅大大减少了OCT数据分析所需的时间和精力,特别是在横断面研究的背景下,而且还导致了在生物医学期刊上发表的几项新发现。
2022-12-13 cs.CV cs.HC eess.IV
Multimodal Confidence Modeling in Audio-Visual Quality Assessment
Texas State University Department of Computer Science(德克萨斯州立大学计算机科学系)
本文提出MCM-AVQA框架,通过多模态置信度感知方法提升音频视频质量评估的准确性与可解释性,特别在处理不对称退化时表现更优。
2026-05-02 cs.CV cs.MM cs.SD
EVLF: Early Vision-Language Fusion for Generative Dataset Distillation
University of Toyama(东福冈大学);Hokkaido University(北海道大学);University of Fukui(福井大学)
EVLF通过早期视觉-语言融合提升生成数据集蒸馏的语义准确性和视觉一致性。
2026-03-08 cs.CV
RiskCueBench: Benchmarking Anticipatory Reasoning from Early Risk Cues in Video-Language Models
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of California San Diego(加州大学圣地亚哥分校)
RiskCueBench通过标注早期风险信号片段,评估视频语言模型在预测未来风险事件中的能力,揭示了现有系统在解读动态情境方面的不足。
2026-10-23 cs.CL cs.CV
An Early Evaluation of GPT-4V(ision)
Harbin Institute of Technology(哈尔滨工业大学)
本文通过手动构建656个测试实例早期评估GPT-4V,发现其在英文视觉任务上表现优异但中文识别差、敏感问题拒绝不一致、语言理解弱于GPT-4,并揭示其能力与局限。
2023-10-25 cs.CL cs.CV
Early Cue Precision Shapes Visual Shortcut Learning in Controlled Cue-Manipulation Benchmarks
Gwangju Institute of Science and Technology(全州科学技术院)
通过合成形状-纹理任务和CIFAR-10基准,研究早期线索精度如何影响视觉分类器依赖低级线索的捷径学习,发现线索去相关需在下游适应中持续维护。
2026-06-29 cs.AI cs.CV
High-Performance Transformers for Table Structure Recognition Need Early Convolutions
Georgia Institute of Technology(佐治亚理工学院);ADP, Inc.(ADP公司)
本研究针对表格结构识别中混合CNN-Transformer架构视觉编码器参数量大、速度慢的问题,提出轻量卷积茎视觉编码器,在保证性能的同时平衡感受野与序列长度,并开源代码以推动领域研究。
2023-11-09 cs.CV cs.LG
EarlyTom: Early Token Compression Completes Fast Video Understanding
Zhejiang University(浙江大学);Westlake University(西湖大学);Alibaba Cloud Computing(阿里云计算)
针对视频大语言模型中视觉编码阶段效率低下的问题,提出EarlyTom无训练令牌压缩框架,通过在视觉编码器内部进行早期压缩,显著降低首令牌延迟并提升吞吐量。
2026-05-28 cs.CV
Response-Aware Multimodal Learning for Post-Treatment Visual Acuity Forecasting
Research Convergence Institute(研究融合研究所);Sungkyunkwan University(全北大学);Dept. of AI Systems Engineering(人工智能系统工程系);Dept. of Ophthalmology(眼科系);Kyung Hee University Medical Center(庆熙大学医学院);Dept. of Electrical and Computer Engineering(电气与计算机工程系)
提出ReVA框架,利用基线与第1个月OCT影像及表格数据,通过多模态融合预测糖尿病性黄斑水肿患者抗VEGF治疗后3-24个月的视力轨迹。
2026-06-24 cs.CV
Early Warning Signals for OpenVLA Failure under Visual Distribution Shift
New York University(纽约大学)
研究在视觉分布偏移下,OpenVLA内部激活是否包含可线性解码的近期任务失败信息,通过LIBERO操作实验发现第16层逻辑探针在遮挡条件下预测失败AUROC达0.972。
2026-08-14 cs.AI cs.CV cs.RO
An Explainable Machine Learning Model for Early Detection of Parkinson's Disease using LIME on DaTscan Imagery
CMR Institute of Technology(CMR理工学院)
帕金森病(PD)是一种退行性和进行性神经系统疾病。早期诊断可以改善患者的治疗,并通过多巴胺能成像技术如SPECT DaTscan进行。在这项研究中,我们提出了一个机器学习模型,该模型可以准确地将任何给定的DaTscan分类为患有帕金森病或没有帕金森病,此外还提供了一个合理的预测原因。这种推理是通过使用本地可解释模型不可知解释器(LIME)方法生成的视觉指示器来完成的。DaTscans来自帕金森病进展标志物倡议数据库,并使用迁移学习在CNN(VGG 16)上进行训练,准确率为95.2%,灵敏度为97.5%,特异性为90.9%。保持模型的可解释性至关重要,特别是在医疗保健领域,本研究利用LIME解释区分PD与非PD,使用DaTscan上的视觉超像素。可以得出结论,该系统结合其测量的可解释性和准确性,可以有效地帮助医务工作者在帕金森病的早期诊断。
2020-08-01 cs.CV cs.LG eess.IV
Object recognition in primates: What can early visual areas contribute?
Laboratory of Sensorimotor Research, National Eye Institute, NIH(美国国立卫生研究院国家眼科研究所感觉运动研究实验室)
本文研究早期视觉区(LGN和V1)在外周物体识别中的作用,通过面孔与非面孔区分任务发现V1模型在现实场景中准确率超过80%,而LGN模型表现较差,提出物体识别应被视为中央凹高精度模块与外周低精度快速模块并行的过程,而非仅以IT为核心的分层系统。
2024-07-05 cs.CV cs.NE q-bio.NC
Visual stream connectivity predicts assessments of image quality
Dartmouth(达特茅斯学院)
一些早期视觉的生物学机制相对较好地理解,但它们尚未被评估其准确预测和解释人类对图像相似性的判断的能力。从研究简单的连接模式在早期的视觉,我们得到了一个新的形式化的心理物理学的相似性,显示微分几何,提供准确和解释性的帐户感知相似性的判断。然后,这些预测通过对人类行为报告的简单回归得到进一步改进,这些报告又被用来构建更复杂的假设神经连接模式。这两种方法优于标准的成功措施,从文献中感知图像保真度,以及提供解释性的相似性感知的原则。
2020-08-16 cs.CV q-bio.NC
Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes
FAIR, Meta(Meta FAIR研究院);Reality Labs, Meta(Meta Reality Labs);University of Oxford(牛津大学)
该研究探索多模态预训练的机制,得出知识流、模态协同等四个关键见解,推导高效预训练方法,为多模态预训练的理解与扩展提供基础。
2026-08-07 cs.CV cs.LG cs.MM
Automatic Screening of Parkinson's Disease from Visual Explorations
Escuela Técnica Superior de Ingenieros de Telecomunicación Universidad Politécnica de Madrid(电信工程高级学院,马德里理工大学)
本研究提出结合经典眼动特征与眼动簇特征的新方法,用专家混合集成模型整合多测试双眼数据,实现基于视觉探索的帕金森病非侵入性早期自动筛查,留出测试集AUC达0.95。
2025-09-01 cs.CV cs.LG q-bio.NC
A Computational Model of Early Word Learning from the Infant's Point of View
Luddy School of Informatics, Computing, and Engineering, Indiana University(印第安纳大学卢迪信息、计算与工程学院);Department of Psychological and Brain Sciences, Indiana University(印第安纳大学心理与脑科学系);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
人类婴儿具有非凡的能力,能够从固有的模糊经验中学习物体名称和视觉物体之间的联系。认知科学和发展心理学的研究人员已经建立了实现原则上的学习算法的形式化模型,然后使用预先选择和预先清理的数据集来测试模型在输入数据中找到统计数据的能力。与以前的建模方法相比,本研究使用以自我为中心的视频和凝视数据收集的婴儿学习者在自然的玩具玩他们的父母。这使我们能够从学习者自己的角度来捕捉学习环境。然后,我们使用卷积神经网络(CNN)模型从婴儿的角度处理感官数据,并从头开始学习名称-物体关联。作为第一个模型,以原始的自我为中心的视频来模拟婴儿的单词学习,本研究提供了一个原则证明,早期单词学习的问题可以解决,使用实际的视觉数据感知的婴儿学习者。此外,我们进行了模拟实验,以系统地确定如何视觉,知觉和注意力特性的婴儿的感官经验可能会影响单词学习。
2020-06-04 cs.CV
Neuro-inspired edge feature fusion using Choquet integrals
Universidad Publica de Navarra(纳瓦拉公立大学);Institute of Smart Cities, Universidad Publica de Navarra(纳瓦拉公立大学智慧城市研究所);NavarraBiomed, Complejo Hospitalario de Navarra(纳瓦拉生物医学研究所(纳瓦拉医院综合));Universidade Federal do Rio Grande(联邦里奥格兰德大学);Centro de Ciências Computacionais, Universidade Federal do Rio Grande(联邦里奥格兰德大学计算机科学中心);Dpto. Estadistica, Informatica y Matematicas, Universidad Publica de Navarra(纳瓦拉公立大学统计、信息与数学系);Programa de Pós-Graduação em Modelagem Computacional, Universidade Federal do Rio Grande(联邦里奥格兰德大学计算建模研究生项目)
众所周知,人类视觉系统执行分层信息处理,其中早期视觉线索(或基元)在视觉皮层中融合以组成复杂的形状和描述符。虽然该过程的不同方面已经被广泛研究,如镜头自适应或特征检测,但其他一些方面,如特征融合,大多被搁置一边。在这项工作中,我们详细介绍了早期视觉原语的融合,使用推广的Choquet积分,和新的聚合运营商,近年来已被广泛研究。我们建议使用广义的Choquet积分合理地融合基本的边缘线索,试图模拟早期视觉皮层神经元的行为。我们的建议导致了一个完整的帧边缘检测算法,其性能是在国家的最先进的边界检测数据集的测试。
2021-04-22 cs.AI cs.CV cs.LG
CHASE: Robust Visual Tracking via Cell-Level Differentiable Neural Architecture Search
University of Alberta(阿尔伯塔大学);Yazd University(亚兹德大学);Sharif University of Technology(谢里夫理工大学)
如今,强大的视觉对象跟踪器依赖于其精心制作的模块,这些模块通常由手动设计的网络架构组成,以提供高质量的跟踪结果。毫不奇怪,手工设计过程成为一个特别具有挑战性的障碍,因为它需要足够的经验,巨大的努力,直觉,也许还有一些好运气。与此同时,神经网络结构搜索作为解决可行网络结构自动搜索问题的一种很有前途的方法,在实际应用中获得了越来越多的基础。在这项工作中,我们提出了一种新的细胞级可区分的架构搜索机制,提前停止自动化的网络设计的跟踪模块,旨在适应骨干功能的暹罗跟踪网络的目标在离线训练。此外,所提出的提前停止策略避免了过度拟合和性能崩溃问题,从而提高了泛化能力。所提出的方法简单、高效,并且不需要堆叠一系列模块来构建网络。我们的方法很容易被纳入现有的跟踪器,这是经验验证使用不同的可区分的架构搜索为基础的方法和跟踪目标。广泛的实验评估表明,我们的方法优于五个常用的基准性能。
2021-10-26 cs.AI cs.CV cs.LG
Efficient Conditional Generation on Scale-based Visual Autoregressive Models
The University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学)
本文提出高效控制模型(ECM),通过轻量级分布式控制模块和早期中心采样策略,在基于尺度的视觉自回归模型中实现高保真、多样化的条件生成,同时显著提升训练和推理效率。
2025-10-07 cs.CV
PlantDoc: A Dataset for Visual Plant Disease Detection
Indian Institute of Technology Gandhinagar(甘地纳格尔印度理工学院)
由于植物病害,印度每年损失35%的农作物产量。由于缺乏实验室基础设施和专业知识,植物病害的早期检测仍然很困难。在本文中,我们探讨了计算机视觉方法的可扩展性和早期植物病害检测的可能性。缺乏足够大规模的非实验室数据集仍然是实现基于视觉的植物病害检测的主要挑战。在此背景下,我们提出了PlantDoc:一个用于视觉植物病害检测的数据集。我们的数据集包含13种植物物种和多达17类疾病的2,598个数据点,涉及大约300个人工小时的注释互联网抓取图像。为了展示我们的数据集的有效性,我们学习了3个用于植物病害分类任务的模型。我们的研究结果表明,使用我们的数据集建模可以将分类准确率提高高达31%。我们相信,我们的数据集可以帮助降低计算机视觉技术在植物病害检测中的准入门槛。
2019-11-23 cs.CV eess.IV
Predictive Coding for Dynamic Visual Processing: Development of Functional Hierarchy in a Multiple Spatio-Temporal Scales RNN Model
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Okinawa Institute of Science and Technology (OIST)(冲绳科学技术大学院大学)
提出了一种新的预测编码型神经网络模型--预测多时空尺度递归神经网络(P-MSTRNN)。P-MSTRNN通过利用对网络动态施加的多尺度时空约束,使用不同大小的感受野以及每个层的不同时间常数值,来学习预测视觉感知的人体全身周期性运动模式。在学习之后,网络能够通过预测误差的回归来推断或识别相应的意图,从而主动模仿目标的运动模式。结果表明,网络可以通过在每一层开发不同类型的动态结构来开发功能层次结构。本文研究了模式生成过程中的模型性能以及预测模仿如何根据学习阶段而变化。与目标运动模式对应的极限环吸引子的数量随着学习的进行而增加。而且,在学习过程早期发展的瞬态动力学成功地执行模式生成和预测模仿任务。本文的结论是,利用瞬态动力学促进成功的任务表现在早期学习阶段。
2017-09-06 cs.CV