Good Memory Has ECC: Evaluating the Memory of Vision-Language Models Beyond Accuracy
Princeton University(普林斯顿大学)
研究人员推出ECCBench基准与评估协议,从效率、压缩性、校准性三方面评估视觉-语言模型的记忆能力,发现预训练VLM对文本记忆可压缩但视频不行,部分非Transformer架构的压缩-校准权衡优于RoPE Transformer。
2026-10-20 cs.AI cs.LG
Beyond Self-Attention: Sub-Quadratic Vision Transformers for Fast Image Captioning
Department of Computer Science and Engineering(计算机科学与工程系);National Institute of Technology Durgapur(德里apur国立学院);Durgapur, India(印度德里apur)
提出基于高斯混合模型和EM算法的概率Transformer,将自注意力复杂度从二次降至线性,在Flickr30K上实现高效图像描述。
2026-06-16 cs.AI cs.CV
Can MLLMs Reason Beyond Language? VisReason: A Comprehensive Benchmark for Vision-Centric Reasoning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
提出 VisReason 基准,包含 1505 个日常场景问题,评估多模态大模型在视觉中心推理上的表现,揭示人类与模型间的显著差距。
2026-05-25 cs.CV
MultiModal Bias: Introducing a Framework for Stereotypical Bias Assessment beyond Gender and Race in Vision Language Models
Rutgers University(罗格斯大学);HPI / University of Potsdam(哈索·普拉特纳研究所/波茨坦大学)
自我监督训练的最新突破导致了一类新的预训练视觉语言模型。虽然对多模态模型中的偏见进行了调查,但它们大多集中在性别和种族偏见上,对其他相关群体的关注要少得多,例如宗教、国籍、性取向或残疾方面的少数群体。这主要是由于缺乏针对这些群体的适当基准。我们试图通过提供一个名为MMBias的视觉和文本偏见基准来解决这一差距,该基准由大约3,800个图像和短语组成,覆盖14个人群亚组。我们利用这个数据集来评估几个突出的自监督多模态模型的偏差,包括CLIP,ALBEF和ViLT。我们的研究结果表明,这些模型表现出有意义的偏见,有利于某些群体。最后,我们介绍了一种专门为这种大型预训练模型设计的去偏方法,该方法可以作为后处理步骤来减轻偏差,同时保持模型的剩余准确性。
2023-03-16 cs.CL cs.CV cs.LG
Beyond the Visible: Multispectral Vision-Language Learning for Earth Observation
IBM Germany(IBM德国分公司);IBM Research Europe(IBM欧洲研究院)
本文提出首个多光谱视觉-语言模型Llama3-MS-CLIP,利用大规模多光谱数据和对比学习,显著提升地球观测任务的零样本分类与检索性能。
2025-08-04 cs.AI cs.CV
Beyond Bag-of-Words: Diagnosing Compositional Binding Failures in Vision-Language Models
Politecnico di Milano(米兰理工学院);The University of Tokyo(东京大学)
Auto-Comp通过自动化生成可扩展基准,揭示了对比视觉-语言模型在组合推理中的普遍缺陷及视觉-语言上下文的权衡问题。
2026-09-28 cs.AI cs.CV
Beyond Visual Understanding: Introducing PARROT-360V for Vision Language Model Benchmarking
Redblock AI(雷德布洛克人工智能公司)
针对现有VLM基准测试缺乏复杂多模态推理评估的问题,本文提出包含2487个视觉谜题的PARROT-360V基准,并通过对GPT-4o等模型的评估揭示了当前模型在复杂推理上的显著不足。
2024-11-20 cs.AI cs.CV
Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models
CUNY Graduate Center(纽约大学研究生中心);Borough of Manhattan Community College(曼哈顿社区学院);The City College of New York(纽约城市学院)
该研究针对视觉语言模型空间推理能力不足的问题,通过三种可解释性工具揭示视觉词元范数过大抑制位置嵌入的机制,并通过干预验证可恢复位置敏感度,为多模态模型改进提供指导。
2025-10-01 cs.CV
Beyond Recognition: Evaluating Visual Perspective Taking in Vision Language Models
University of Warsaw(华沙大学);Polish Academy of Sciences(波兰科学院);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);IDEAS NCBR;Lute
本文通过144个视觉任务评估VLMs的视觉视角理解能力,发现模型在场景理解上表现优异,但在空间推理和视角理解上存在明显不足。
2026-03-28 cs.AI cs.CV
Beyond Symmetric Alignment: Spectral Diagnostics of Modality Imbalance in Vision-Language Models in the Medical Domain
NOVA School of Science and Technology(诺瓦科学与技术学校);Nova School of Business and Economics(诺瓦商业与经济学校);Carnegie Mellon University(卡内基梅隆大学)
提出非对称光谱对齐分数(SAS),通过特征值加权的特征模态相关性量化模态信息不平衡,并在医学图像-文本数据集上评估15个VLM,发现医学图像比临床报告保留更丰富的结构信息,且SAS与检索性能的相关性最强。
2026-06-03 cs.CV cs.LG
Beyond Compression: Quantifying Spectral Accessibility in Vision Representations
Fordham University(福特汉姆大学)
通过残差频谱损失(RSL)测量线性可恢复的带限傅里叶能量,研究视觉语言模型中投影层对表示频谱结构的影响,发现CLIP和DINOv2中频谱可访问性随深度非单调变化,中间层峰值后下降,且CLIP的投影是频谱中性的,而DINOv2的[CLS]池化导致频谱结构损失。
2026-06-02 cs.CV
Beyond Translation: Cross-Cultural Meme Transcreation with Vision-Language Models
Santa Clara University(圣克拉拉大学)
本文提出了一种基于视觉-语言模型的跨文化表情包再创作框架,通过大规模数据集和多维度评估,揭示了跨文化再创作中的方向性差异及挑战。
2026-01-23 cs.AI cs.CL cs.CV
Beyond Vision: How Large Language Models Interpret Facial Expressions from Valence-Arousal Values
Universidade Lusófona(卢索福纳大学);University of Cambridge(剑桥大学)
本研究针对LLMs依赖文本输入、视觉-语言模型资源密集且依赖语言先验的问题,提出让LLMs基于面部表情的效价-唤醒(VA)数值推断情感意义,发现其在语义描述任务中表现出与人类解释高度一致的能力。
2025-02-08 cs.AI cs.CL cs.CV
Beyond Static Artifacts: A Forensic Benchmark for Video Deepfake Reasoning in Vision Language Models
Institute of Artificial Intelligence, China Telecom (TeleAI)(人工智能研究院,中国电信(TeleAI));Peking University(北京大学);Fudan University(复旦大学)
本文提出FAQ基准,通过多选任务提升视觉语言模型对视频深度伪造的时间推理能力,并通过实验验证其有效性。
2026-02-25 cs.AI cs.CV
Balanced Token Pruning: Accelerating Vision Language Models Beyond Local Optimization
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);BNRist, Tsinghua University(清华大学北京研究院)
针对视觉语言模型令牌剪枝忽视局部与全局影响的问题,提出平衡令牌剪枝(BTP)方法,通过分阶段剪枝兼顾后续层与局部输出一致性,实现78%压缩率并保留96.7%性能。
2025-10-23 cs.AI cs.CV
Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学深圳学院);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室)
本文提出AGCI机制,通过动态注入全局视觉上下文缓解大视觉-语言模型中的空间偏差问题,提升模型的空间鲁棒性和下游任务表现。
2026-02-03 cs.CL cs.CV
Beyond General Prompts: Automated Prompt Refinement using Contrastive Class Alignment Scores for Disambiguating Objects in Vision-Language Models
University of California, Merced(加州大学默塞德分校)
本文提出 CCAS 指标,利用大型语言模型生成候选提示并依据目标与混淆类别的语义对齐进行筛选,从而在无需训练或标注数据的情况下提升 VLM 物体检测准确率。
2025-05-14 cs.CV
Beyond Memorization: A Multi-Modal Ordinal Regression Benchmark to Expose Popularity Bias in Vision-Language Models
National Yang Ming Chiao Tung University
本研究提出一个多模态序回归基准,揭示视觉-语言模型在流行度上的偏差,通过YearGuessr数据集验证模型在记忆化与未识别对象上的表现差异。
2025-12-24 cs.CV
Beyond Standard Benchmarks: A Systematic Audit of Vision-Language Model's Robustness to Natural Semantic Variation Across Diverse Tasks
Zhejiang University of Technology(浙江工业大学);National Institute of Informatics(国立信息学研究所)
本文系统评估了视觉-语言模型在自然对抗场景下的鲁棒性,分析了不同模型在零样本图像分类、语义分割和视觉问答中的表现,揭示了鲁棒CLIP模型放大对抗漏洞的问题。
2026-04-06 cs.CV
Lost in Translation: When GPT-4V(ision) Can't See Eye to Eye with Text. A Vision-Language-Consistency Analysis of VLLMs and Beyond
University of British Columbia(不列颠哥伦比亚大学);University of Alberta(阿尔伯塔大学)
本文针对视觉大语言模型跨模态交互缺乏评估的问题,提出系统框架量化模态间能力差异,发现任务变难时视觉模态可信度下降,并引入“视觉描述提示”方法有效提升复杂视觉任务性能。
2023-10-19 cs.CL cs.CV
Beyond Accuracy: A Qualitative Analysis of Vision-Language Models for Hate Speech Detection in Memes
Islamic University of Technology(伊斯兰科技大学)
本研究通过定性分析LLaVA-7B等四个VLMs在零样本、少样本设置下的表现,揭示其检测仇恨表情包时忽略关键语境线索的问题,为优化模型提供了更深入的理解。
2026-08-28 cs.AI cs.CL
Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models
Shenzhen University of Advanced Technology(深圳大学先进技术学院);CUHK MMLab(香港中文大学MMLab);CPII under InnoHK(创新工场CPII)
提出DiffPrune方法,通过将剪枝重新表述为令牌信息的连续控制而非离散选择学习,利用信息节流阀调节令牌,实现完全可微分的令牌重要性学习,在保持96.5%全模型精度的同时将LLM预填充加速2.85倍。
2026-05-27 cs.CV
Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
Alibaba Group(阿里巴巴集团)
Qwen-VL系列通过三阶段训练和视觉-文本对齐,实现图像理解、定位与文本阅读,在视觉基准和对话中表现优异。
2023-10-13 cs.CL cs.CV
Towards End-to-End Embodied Decision Making via Multi-modal Large Language Model: Explorations with GPT4-Vision and Beyond
Peking University(北京大学);Tencent Cloud AI(腾讯云人工智能)
本文提出PCA-EVAL基准和HOLMES多智能体协作框架,探索GPT4-Vision等MLLMs的端到端具身决策能力,发现其决策准确率比GPT4-HOLMES高3%,并显著优于开源MLLM。
2023-11-28 cs.AI cs.CL cs.CV
Beyond Blanket Masking: Examining Granularity for Privacy Protection in Images Captured by Blind and Low Vision Users
Stony Brook University(石溪大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Maryland(马里兰大学)
针对盲人及低视力用户图像隐私保护中粗粒度掩盖导致可用性下降的问题,提出细粒度隐私保护框架 FiGPriv,结合细粒度分割与风险评分机制,选择性掩盖高风险信息,在保护隐私的同时保留更多图像内容并提升 VLMs 响应能力。
2025-08-12 cs.CV
Beyond Accuracy: Robustness, Cost, and Governance Trade-offs for Vision-Language Models in Templated Document Extraction
John Hancock(约翰汉考克)
本研究通过测量11个视觉语言模型在模板化文档提取任务上的表现,提出一个基于任务概况(质量、延迟、治理、数量)的选择框架,指导实践者权衡鲁棒性、成本与治理,并开源发布相关资源。
2026-09-22 cs.AI
MAIScope: A low-cost portable microscope with built-in vision AI to automate microscopic diagnosis of diseases in remote rural settings
Foothill College(山麓学院)
根据世界卫生组织(WHO)的数据,仅在2020年,疟疾估计就造成62.7万人死亡,感染人数超过2.41亿,比2019年增加了12%。血细胞的显微镜诊断是诊断疟疾的标准测试程序。然而,这种类型的诊断是昂贵的,耗时的,并且非常主观的人为错误,特别是在缺乏训练有素的人员进行高质量的显微镜检查的发展中国家。本文提出了Mass-AI-Scope(MAIScope):一种新型、低成本、便携式设备,可以拍摄显微图像,并通过嵌入式AI自动检测疟疾寄生虫。该装置有两个子系统。第一个子系统是一个设备上的多层深度学习网络,它从显微图像中检测红细胞(RBC),然后是一个疟原虫分类器,它识别单个RBC中的疟原虫。测试和验证表明,使用TensorFlow Lite的分类平均准确率为89.9%,检测模型的平均精度为61.5%,同时解决了有限的存储和计算能力。该系统还具有云同步功能,当连接到互联网时,将图像发送到云,以进行分析和模型改进。第二个子系统是硬件,包括Raspberry Pi,摄像头,触摸屏显示器和创新的低成本微珠显微镜等组件。珠显微镜的评价表现出类似的图像质量与昂贵的光学显微镜。该设备设计为便携式,可在没有互联网或电源的远程环境中工作。该解决方案可扩展到其他需要显微镜检查的疾病,并有助于标准化发展中国家农村地区的疾病诊断自动化。
2022-08-12 cs.CV eess.IV
Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
CSE Department, HKUST(香港科技大学计算机科学与工程系)
本文研究了长上下文视觉-语言模型的持续预训练,通过平衡数据和检索优化,提出MMProLong模型在长文档VQA等任务中表现优异,且能扩展至更长上下文和多任务场景。
2026-10-20 cs.CV
GaussianVLM: Scene-centric 3D Vision-Language Models using Language-aligned Gaussian Splats for Embodied Reasoning and Beyond
ETH Zurich(苏黎世联邦理工学院);TU Munich(慕尼黑技术大学)
本文提出GaussianVLM,通过将语言特征嵌入三维高斯泼溅场景并利用双重稀疏化器生成任务感知令牌,构建了首个基于高斯泼溅的三维视觉-语言模型,在域外设置中将先前三维VLM性能提升五倍。
2025-07-01 cs.CV cs.RO
Beyond Patch Aggregation: 3-Pass Pyramid Indexing for Vision-Enhanced Document Retrieval
Inception AI;Mubadala
VisionRAG是一种无OCR、模型无关的多模态检索系统,通过三阶段金字塔索引提升文档检索效率和准确性。
2026-01-06 cs.AI cs.IR
Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学);Tsinghua University(清华大学)
针对大型视觉语言模型因语言偏差导致的幻觉问题,提出LACING框架,采用多模态双注意力机制和软图像引导策略,在不增加训练资源的情况下增强视觉理解并减少幻觉。
2026-05-28 cs.CL cs.CV
Automatic Tool Landmark Detection for Stereo Vision in Robot-Assisted Retinal Surgery
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
计算机视觉和机器人技术越来越多地应用于医疗干预。特别是在需要极其精确的干预措施中,它们可以发挥作用。一个这样的应用是机器人辅助视网膜显微手术。在最近的工作中,这种干预是在立体显微镜下进行的,并使用机器人控制的手术工具。然而,计算机视觉和机器人技术的互补性尚未得到充分利用。为了提高机器人控制,我们感兴趣的解剖结构的三维重建和自动工具定位使用立体显微镜。在本文中,我们解决了这个问题,第一次使用一个单一的管道,从未校准的相机,以达到度量三维重建和注册,在视网膜显微手术。我们的方法的关键组成部分是:(a)手术工具标志检测,和(b)三维重建与立体显微镜,使用检测到的标志。为了解决前者,我们提出了一种新的深度学习方法,该方法以高于实时速度的速度检测和识别高清图像中的关键点。我们使用检测到的2D关键点以及从机器人传感器获得的相应的3D坐标,使用仿射投影模型来校准立体显微镜。我们设计了一个在线3D重建管道,利用平滑度约束,并执行机器人到相机的注册。整个管道在开放天空猪眼序列上进行了广泛的验证。给出了所有步骤的定量和定性结果。
2017-11-20 cs.CV cs.RO
A deep learning framework for morphologic detail beyond the diffraction limit in infrared spectroscopic imaging
Beckman Institute for Advanced Science and Technology(贝克曼先进科学技术研究所);Cancer Center at Illinois(伊利诺伊癌症中心)
红外(IR)显微镜测量光谱信息,量化分子含量,以分配生物医学细胞的身份,但缺乏光学显微镜的空间质量来欣赏形态特征。在这里,我们提出了一种方法,在基于深度学习的图像超分辨率方法中利用来自IR成像的细胞身份的语义信息和病理图像的形态细节。使用生成对抗网络(GANs),我们增强了红外成像的空间细节,超出了衍射极限,同时保留了光谱对比度。这种技术可以快速集成与现代红外显微镜,提供一个框架,用于常规病理学。
2019-12-19 cs.CV cs.LG eess.IV
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST(韩国科学技术院)
掩码自编码器是可扩展的视觉学习器,如MAE \cite{he2022masked}的标题,这表明视觉中的自监督学习(SSL)可能会采取与NLP类似的轨迹。具体地,具有掩蔽预测的生成借口任务(例如,BERT)已经成为NLP中SSL实践的事实标准。相比之下,早期的视觉生成方法的尝试已经被它们的区别性对应物(如对比学习)所掩盖;然而,掩模图像建模的成功已经复兴了掩模自动编码器(过去通常称为去噪自动编码器)。作为弥合与BERT在自然语言处理领域差距的里程碑,掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查,掩码自编码器,以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器,这项工作的重点是它在视觉中的应用,讨论其历史发展,最近的进展,并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
SCENIC: A JAX Library for Computer Vision Research and Beyond
Google Brain(谷歌大脑);Google Research(谷歌研究院)
Scenic是一个开源JAX库,专注于基于transformer的模型,用于计算机视觉研究及其他领域。该工具包的目标是促进新视觉架构和模型的快速实验、原型设计和研究。Scenic支持各种视觉任务(例如,分类,分割,检测),并促进多模态问题的工作,以及GPU/TPU支持多主机,多设备的大规模训练。Scenic还提供最先进的研究模型的优化实施,涵盖广泛的模式。Scenic已成功用于许多项目和发表的论文,并继续作为快速原型设计和发表新研究想法的首选库。
2021-10-18 cs.AI cs.CL cs.CV
2D SEM images turn into 3D object models
PEC University of Technology(PEC技术大学)
扫描电子显微镜(SEM)可能是二十多年来用于微观物体详细检查的最迷人的检查方法之一。大多数扫描电子显微镜只能产生二维图像,无法辅助微观表面特性的操作分析。计算机视觉算法与非常先进的几何和数学方法相结合,将任何SEM变成一个完整的3D测量设备。这项工作的重点是一个有条不紊的文献综述自动三维表面重建扫描电子显微镜图像。
2016-02-17 cs.CV cs.GR
Darwin's Neural Network: AI-based Strategies for Rapid and Scalable Cell and Coronavirus Screening
Columbia University(哥伦比亚大学);Columbia University Medical Center(哥伦比亚大学医学中心)
机器感知,计算机视觉和生物医学工程的跨学科科学领域的最新进展支持了一系列机器学习算法,这些算法具有破译显微镜和纳米图像内容的卓越能力。机器学习算法正在通过与生物成像模式结合使用来改变显微镜和纳米镜成像数据的解释和分析。这些进步使研究人员能够进行以前被认为在计算上不可能的实时实验。在这里,我们采用计算机视觉和机器感知领域的优胜劣汰理论,引入多类实例分割深度学习的新框架,达尔文神经网络(DNN),对体内收集的COVID 19和MERS CoV以及体外收集的多种哺乳动物细胞类型进行形态计量分析和分类。
2020-07-22 cs.CV cs.LG eess.IV
Smart mobile microscopy: towards fully-automated digitization
Skoltech(斯科尔科沃科学技术学院);SPbU(圣彼得堡国立大学)
移动显微镜是一个新形成的领域,从光学显微镜的能力和移动设备的传播,功能和不断增加的计算资源的组合中出现。尽管创建一个系统,将成功地合并显微镜,许多计算机视觉方法,并定期检查移动终端的想法,所产生的实施仍然需要一个合格的操作员的存在来控制标本数字化。在本文中,我们解决的任务,超越这一限制,并提出了一个“智能”的移动显微镜的概念,旨在自动数字化的最有价值的视觉信息的标本。我们通过将自动显微镜设置控制和经典技术(如自动对焦、焦点内过滤和焦点堆叠)相结合来实现这一点,这些技术作为移动跨平台库的一部分进行了调整和优化。
2021-05-24 cs.CV eess.IV
Seeing Cells Clearly: Evaluating Machine Vision Strategies for Microglia Centroid Detection in 3D Images
CSC 249: Machine Vision University of Rochester(机器视觉课程249:罗切斯特大学)
本文评估了ilastik、3D Morph和Omnipose三种工具在3D图像中检测小胶质细胞质心的表现,发现不同工具的识别方式存在差异,会影响后续从图像中提取的信息。
2025-05-07 cs.CV
Bridging the Simulation-to-Reality Gap in Electron Microscope Calibration via VAE-EM Estimation
Control Systems Technology Section, Department of Mechanical Engineering, Eindhoven University of Technology(控制系统技术部,机械工程系,埃因霍温理工大学)
本文提出利用VAE-EM方法解决扫描透射电子显微镜的校准问题,通过学习低维图像表示和联合估计模型参数,实现更快速和一致的校准结果。
2026-03-19 cs.CV cs.LG
Automated Scoring System of HER2 in Pathological Images under the Microscope
Thorough Images;Macalester College(玛卡莱斯特学院)
乳腺癌是全世界妇女中最常见的癌症。人表皮生长因子受体2(HER2)的免疫组化(IHC)被广泛用于乳腺癌患者的病理评估,以提供适当的治疗。然而,缺乏病理学家和主观和易受观察者之间的视觉诊断的变化是主要的挑战。近年来,随着人工智能(AI)在疾病诊断中的快速发展,几种使用传统计算机视觉或机器学习方法的自动化HER2评分方法表明HER2诊断准确性的提高,但病理学中的不合理解释,以及注释的昂贵和伦理问题,使得这些方法在医院的推广,真正减轻病理医生的负担,还有很长的路要走。在本文中,我们提出了一个HER2自动评分系统,严格遵循HER2评分指南模拟病理学家的HER2评分诊断的真实工作流程。与以前的工作不同,我们的方法考虑了HER2的阳性对照,以确保每个载玻片的检测性能,消除了当前视场(FOV)和阳性对照FOV之间的重复比较工作,特别是对于临界情况。此外,对于显微镜下每个选定的FOV,我们的系统提供实时HER2评分分析和与细胞分类对应的膜染色强度和完整性的可视化。我们严格的工作流程以及灵活的交互式调整需求大大帮助病理学家更快地完成HER2诊断,并提高了鲁棒性和准确性。拟议的系统将嵌入我们的Thorough Eye平台,用于在医院部署。
2022-03-06 cs.AI cs.CV eess.IV
Beyond still images: Temporal features and input variance resilience
本研究受自然视觉启发,提出使用视频训练并融入时间特征的脑启发视觉模型,相比静态图像模型,对输入变化具有更强的鲁棒性。
2024-02-14 cs.AI cs.CV
Beyond ZOH: Advanced Discretization Strategies for Vision Mamba
Toronto Metropolitan University(多伦多 Metropolitan 大学)
本文对比了六种离散化方法,发现POL和HOH在精度上提升显著但计算成本高,而BIL在精度与效率间取得最佳平衡。
2026-04-22 cs.AI cs.CV
Beyond Color Geometry: Evaluating Human-Like Color Representations in Vision Models
研究视觉模型中类人颜色表示,通过基于人类调查数据的模糊感知模型评估,测量类别边界等三个属性,发现掩码自动编码器在超越颜色几何对齐上表现最强,不同模型在颜色表示方面有差异,类人颜色基础有多个方面不能简化为单一分数。
2026-07-16 cs.AI cs.CV
Beyond ImageNet: Understanding Cross-Dataset Robustness of Lightweight Vision Models
本文研究了轻量视觉模型在跨数据集的鲁棒性,提出xScore度量标准,揭示了架构组件对泛化能力的影响。
2025-11-01 cs.CV cs.LG
Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts
School of Psychology University of Auckland(心理学系奥克兰大学)
本文研究了视觉混合专家模型中专家调节与表示的特性,通过对比学习训练稀疏门控卷积MoE模型,并利用视觉神经科学工具分析专家的专业化,发现动植物区分主导专家划分,并揭示了专家在更广泛的连续视觉和语义维度上的调节。
2026-05-20 cs.AI cs.CV
Beyond MACs: Hardware Efficient Architecture Design for Vision Backbones
Machine Learning and Perception Lab, University of Udine(乌迪大学机器学习与感知实验室);Centre for Vision Research, York University(约克大学视觉研究中心)
针对MACs指标在边缘设备上的不足,提出基于硬件效率洞察的LowFormer骨干网络,通过轻量级Lowtention模块实现显著加速。
2026-06-17 cs.AI cs.CV
Beyond Inference: Performance Analysis of DNN Server Overheads for Computer Vision
Cornell University(康奈尔大学);Intel(英特尔公司)
本文全面评估了计算机视觉DNN推理请求中的服务器开销,发现数据处理与移动功能在端到端延迟和系统吞吐量中占主导地位,识别了关键性能瓶颈并实现了2.25倍的吞吐量提升。
2024-03-02 cs.AI cs.CV cs.DC
PixSet : An Opportunity for 3D Computer Vision to Go Beyond Point Clouds With a Full-Waveform LiDAR Dataset
LeddarTech(莱达科技)
Leddar PixSet是一个新的公开数据集(dataset.leddartech.com),用于自动驾驶研究和开发。该数据集的一个关键新颖之处是来自固态闪光激光雷达Leddar Pixell传感器的全波形数据。全波形数据已被证明可以提高机载应用中感知算法的性能,但尚未被证明用于自动驾驶等地面应用。PixSet数据集包含来自高密度城市地区记录的97个序列的大约29k帧,使用一组各种传感器(相机,LiDAR,雷达,IMU等)。每一帧都用3D边界框手动注释。
2021-07-05 cs.AI cs.CV cs.RO
Beyond Grids: Exploring Elastic Input Sampling for Vision Transformers
IDEAS NCBR;Jagiellonian University, Faculty of Mathematics and Computer Science(雅盖隆大学数学与计算机科学学院);Jagiellonian University, Doctoral School of Exact and Natural Sciences(雅盖隆大学精确与自然科学博士学院);University of Warsaw(华沙大学);Warsaw University of Technology(华沙技术大学);Tooploox
针对 Vision Transformer 固定网格采样难以适应多尺度、任意位置 patch 的问题,本文形式化输入弹性,提出评估协议、架构与训练改进,并通过实验揭示其机遇与挑战。
2024-11-26 cs.CV
Boosting 3D Neuron Segmentation with 2D Vision Transformer Pre-trained on Natural Images
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);SEU-ALLEN Joint Center, Institute for Brain and Intelligence, Southeast University(东南大学SEU-ALLEN联合中心脑与智能研究院)
针对神经元标注数据稀缺问题,本文提出利用自然图像预训练的2D视觉Transformer通过2D到3D权重迁移初始化3D神经元分割模型,在BigNeuron基准上比从头训练提升8.71%。
2024-05-04 cs.AI cs.CV
When Wireless Communications Meet Computer Vision in Beyond 5G
Tokyo Institute of Technology(东京工业大学);Kyoto University(京都大学);Deakin University(迪肯大学);University of Oulu(奥卢大学);Nokia Bell Labs(诺基亚贝尔实验室)
本文阐述了新兴的范式,坐在计算机视觉和无线通信的交汇处,以实现超越5G/6 G的关键任务应用(自主/远程控制车辆,视觉触觉VR和其他网络物理应用)。首先,利用机器学习的最新进展和非RF数据的可用性,视觉辅助无线网络被证明可以在不牺牲频谱效率的情况下显着提高无线通信的可靠性。特别是,我们演示了计算机视觉如何在毫米波信道阻塞情况下,在阻塞实际发生之前实现{前瞻}预测。从计算机视觉的角度来看,我们强调如何射频(RF)为基础的传感和成像的鲁棒性计算机视觉应用程序对闭塞和故障。这一点通过基于RF的图像重建用例得到了证实,该用例展示了接收器侧图像故障校正,从而减少了重传和延迟。综上所述,本文揭示了迫切需要的RF和非RF模式的融合,以实现超可靠的通信和真正智能的6 G网络。
2020-10-13 cs.CV cs.NI
Standard methods for inexpensive pollen loads authentication by means of computer vision and machine learning
European Centre for Soft Computing(欧洲软计算中心);Inspiralia Tecnologías Avanzadas(因斯皮拉利亚先进技术公司);Automatics and Robotics Center - Universidad Politécnica de Madrid(马德里理工大学自动化与机器人中心)
我们提出了一个完整的方法来验证当地的蜂花粉对欺诈性的样本,使用图像处理和机器学习技术。所提出的标准方法不需要昂贵的设备,如先进的显微镜,并可用于初步快速拒绝未知的花粉类型。该系统能够以廉价的硬件快速拒绝非本地花粉样品,而无需将产品送到实验室。方法是基于蜂花粉负荷图像的颜色特性和使用一类分类器,这是适当的拒绝未知的花粉样本时,有关于他们的数据有限。通过鉴定西班牙蜂花粉类型对该方法进行了验证。实验结果表明,所提出的方法可以获得94%的整体认证准确率。最后,我们说明了用户与软件的交互在一些实际情况下,通过显示开发的应用程序原型。
2015-11-13 cs.CV
Discovering Hidden Visual Concepts Beyond Linguistic Input in Infant Learning
Nanyang Technological University(南洋理工大学);The Max Planck Institute for Psycholinguistics(马克斯·普朗克心理学语言学研究所)
本研究通过分析婴儿学习计算模型的内部表征,发现其能发展出语言词汇外的视觉概念,对比了与CLIP等CV模型的表征差异,搭建了认知科学与计算机视觉的桥梁。
2025-06-13 cs.AI cs.CV