GSN: Generalisable Segmentation in Neural Radiance Field
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
针对传统辐射场需逐场景训练的问题,提出GSN方法,将语义特征蒸馏进泛化神经辐射场,实现新场景即时渲染与多视图分割,性能媲美传统RF。
2024-02-07 cs.CV cs.GR
Vision Remember: Recovering Visual Information in Efficient LVLM with Vision Feature Resampling
Southeast University(东南大学);Baidu VIS(百度视觉);The University of Hong Kong(香港大学);Jiangnan University(江南大学)
Vision Remember通过视觉特征采样在高效LVLM中恢复视觉信息,提升效率并优于现有方法。
2025-11-26 cs.CV
Binary Image Features Proposed to Empower Computer Vision
Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
该文献提出了三种快速且容易计算的图像特征,以通过提供更像人类的视觉能力来改善计算机视觉。这些特征不基于图像像素的绝对或相对强度;也不基于形状或颜色。因此,不需要复杂的逐像素计算。对于人眼来说,逐像素计算就像是看到一幅具有最大缩放的图像,只有在需要更高级别的细节时才进行这种计算。通常情况下,我们首先看一张图像,以了解它的整体概念,以知道它是否值得进一步研究。这种能力得到一个想法在一瞥进行了分析,并提出了三个基本特征,使计算机视觉。通过不同的医疗数据集测试和建立拟议功能的潜力。实现的分类精度证明了在图像处理中使用所提出的特征的可能性和潜力。
2018-08-14 cs.CV
High Precision Medicine Bottles Vision Online Inspection System and Classification Based on Multi-Features and Ensemble Learning via Independence Test
针对生产线上药液瓶的在线自动检测问题,设计了一种植入式视觉检测系统,提出了基于多特征融合的集成学习算法进行检测。视觉检测系统设计了一种隧道式结构,在不改变原瓶的情况下实现了自动化检测
2021-02-07 cs.CV
Features extraction for image identification using computer vision
Kenyatta University(肯雅塔大学);Pan-African University(泛非大学);Nankai University(南开大学)
该研究综述面向图像识别的计算机视觉特征提取方法,重点分析 ViT 架构及其相较 CNN 的优势,并通过实验比较各类深度与传统特征方法的优劣和应用价值。
2025-07-22 cs.CV
VisionLogic: Discovering and Grounding Decision-Relevant Visual Concepts
McGill University(麦吉尔大学);University of Toronto(多伦多大学)
VISIONLOGIC通过神经符号框架生成基于因果的视觉模型概念规则,提升模型可解释性与预测性能。
2026-09-29 cs.CV
A generalised pre-training strategy for deep learning networks in semantic segmentation of remotely sensed images
Department of Civil Engineering, Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学土木工程系);CSIRO Mineral Resources(澳大利亚联邦科学与工业研究组织矿物资源部门);Department of Infrastructure Engineering, The University of Melbourne(墨尔本大学基础设施工程系)
本文提出一种简单有效的预训练策略,通过引导模型避免学习领域特定特征,提升模型泛化能力,在四个不同场景和模态的语义分割数据集上取得最佳性能。
2026-04-30 cs.CV
FeatSharp: Your Vision Model Features, Sharper
NVIDIA
FeatSharp提出一种低成本上采样低分辨率视觉编码器特征图的新方法,能恢复细粒度细节,并在核心感知任务和RADIO聚合模型训练蒸馏中验证了有效性。
2025-07-02 cs.CV
VGSG: Vision-Guided Semantic-Group Network for Text-based Person Search
Nanyang Technological University (NTU)(南洋理工大学);Zhejiang University(浙江大学)
本文提出VGSG网络,通过语义组文本学习和视觉引导知识迁移模块,在视觉线索指导下提取并对齐细粒度跨模态特征,实现高效文本行人搜索,性能超越现有方法。
2023-11-13 cs.CV
Enhancing Features in Long-tailed Data Using Large Vision Model
Australian National University Canberra, Australia;The University of Hong Kong Hong Kong SAR;Chinese Academy of Sciences China;Australian National University\&CSIRO Canberra, Australia
本研究提出利用大视觉模型增强长尾数据特征,通过特征融合和原型损失函数提升模型性能。
2026-02-06 cs.CV
Towards Closing the Energy Gap Between HOG and CNN Features for Embedded Vision
Massachusetts Institute of Technology(麻省理工学院)
计算机视觉在机器人/无人机、自动驾驶汽车、智能物联网和便携式/可穿戴电子产品中实现了广泛的应用。对于这些应用中的许多应用,由于隐私和/或延迟问题,本地嵌入式处理是优选的。因此,提供实时和强大性能的节能嵌入式视觉硬件至关重要。虽然深度学习在几种计算机视觉算法中越来越受欢迎,但与传统的手工方法相比,存在显著的能耗差异。在本文中,我们深入分析了深度卷积神经网络(CNN)等学习特征和定向直方图(HOG)等手工特征之间的计算、能量和准确性权衡。这一分析得到了实现这些算法的两个芯片的测量结果的支持。我们的目标是了解这两种方法之间的能量差异的来源,并提供有关CNN可以改进的潜在领域的见解,并最终接近HOG的能量效率,同时保持其出色的性能准确性。
2017-03-17 cs.CV
MMFuser: Multimodal Multi-Layer Feature Fuser for Fine-Grained Vision-Language Understanding
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Chinese University of Hong Kong(香港中文大学)
针对多模态大语言模型忽略浅层细粒度视觉信息且多编码器方法存在冗余的问题,提出MMFuser,利用深层语义特征作为查询动态提取浅层细节,在LLaVA-1.5上显著提升了视觉表示与基准性能。
2024-10-15 cs.CV
Vision Transformer-based Feature Extraction for Generalized Zero-Shot Learning
Seoul National University(首尔国立大学)
广义零触发学习(Generalized zero-shot learning,GSTOL)是一种训练深度学习模型的技术,用于使用图像属性识别未见过的类。在本文中,我们提出了一种新的GREML方法,利用视觉Transformer(ViT),以最大限度地提高包含在图像特征的属性相关信息。在ViT中,整个图像区域被处理而不降低图像分辨率,并且局部图像信息被保留在补丁特征中。为了充分利用ViT的这些优点,我们利用补丁功能以及CLS功能提取属性相关的图像特征。特别是,我们提出了一种新的注意力为基础的模块,称为属性注意力模块(AAM),聚集的属性相关信息的补丁功能。在AAM中,每个块特征与合成图像属性之间的相关性被用作每个块的重要性权重。从基准数据集上的广泛实验,我们证明了所提出的技术优于国家的最先进的GALML方法的大幅度。
2023-02-02 cs.CV
Feature Coding for Scalable Machine Vision
Florida Atlantic University(佛罗里达大学)
本文提出了一种用于可扩展机器视觉的特征编码方法,通过压缩中间特征实现高效部署,实现在多个视觉任务中比特率减少达85.14%且保持准确性。
2025-12-11 cs.CV
Fuse & Calibrate: A bi-directional Vision-Language Guided Framework for Referring Image Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
针对指代表达图像分割中视觉与语言交互不足的问题,提出 FCNet 双向引导融合框架,通过视觉引导融合与语言引导校准生成高质量多模态特征,并在多个基准上超越现有方法。
2024-05-18 cs.CV
Image Reconstruction as a Tool for Feature Analysis
AIRI Moscow, Russia(莫斯科AIRI机构);MIPT Dolgoprudny, Russia(多尔戈普鲁德尼 MIPT)
提出利用图像重建解释视觉编码器特征的方法,比较 SigLIP 与 SigLIP2,量化不同编码器的信息保留程度,并发现正交旋转控制颜色编码。
2025-06-09 cs.CV
Enhancing Transformer-Based Vision Models: Addressing Feature Map Anomalies Through Novel Optimization Strategies
New York University(纽约大学)
针对视觉Transformer特征图中的噪声伪影问题,提出轻量级优化技术STA和ANF,在多个基准上提升视觉质量与任务性能。
2025-09-24 cs.CV
MPViT: Multi-Path Vision Transformer for Dense Prediction
Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
密集的计算机视觉任务,如目标检测和分割需要有效的多尺度特征表示,用于检测或分类具有不同大小的对象或区域。虽然卷积神经网络(CNN)一直是此类任务的主导架构,但最近推出的视觉Transformer(ViTs)旨在取代它们作为骨干。与CNN类似,ViT构建了一个简单的多级结构(即,从细到粗)用于具有单尺度片的多尺度表示。在这项工作中,与现有的Transformers不同的角度,我们探索多尺度补丁嵌入和多路径结构,构建多路径视觉Transformer(MPViT)。MPViT嵌入相同大小的特征~(即,序列长度)同时具有不同尺度的补丁。然后,不同尺度的令牌通过多个路径独立地馈送到Transformer编码器中,并且聚合所得到的特征,从而在相同的特征级别上实现精细和粗略的特征表示。得益于多样化的多尺度特征表示,我们的MPViT从微小的~(5 M)扩展到基本的~(73 M),在ImageNet分类、目标检测、实例分割和语义分割方面始终实现优于最先进的视觉Transformer的性能。这些广泛的结果表明,MPViT可以作为各种视觉任务的通用骨干网络。代码将在\url{https://git.io/MPViT}上公开。
2021-12-27 cs.CV
General Vision Encoder Features as Guidance in Medical Image Registration
Klinikum Rechts der Isar, Technical University of Munich(慕尼黑工业大学右岸医院);School of Computation, Information & Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich(亥姆霍兹慕尼黑中心生物医学影像机器学习研究所);Munich Center for Machine Learning(慕尼黑机器学习中心);Cancer Research UK Cambridge Institute, University of Cambridge(剑桥大学英国癌症研究剑桥研究所);Department of Oncology, University of Cambridge(剑桥大学肿瘤学系);German Cancer Consortium (DKTK), Partner Site Munich(德国癌症联盟慕尼黑合作站点);Department of Computing, Imperial College London(伦敦帝国理工学院计算机系)
本研究比较了通用视觉编码器特征在医学图像配准中的应用,发现将其作为传统度量的额外引导可提升配准质量。
2024-07-18 cs.CV
Limitations of NERF with pre-trained Vision Features for Few-Shot 3D Reconstruction
Department of Computer Science(计算机科学系);Fordham University(福尔敦大学)
本文系统评估DINO增强的NeRF模型,发现所有DINO变体在少样本三维重建中性能均低于基线(PSNR约12.9-13.0 vs 14.71),表明预训练视觉特征可能引入有害偏差,简单几何一致性架构更有效。
2025-06-22 cs.CV
ReViT: Enhancing Vision Transformers Feature Diversity with Attention Residual Connections
Sapienza University of Rome(罗马第一大学);University of Rome UnitelmaSapienza(罗马UnitelmaSapienza大学)
针对 ViT 深层低层特征坍缩问题,提出残差注意力学习方法 ReViT,以增强特征多样性与鲁棒性,并在多个分类、检测和分割基准上验证性能提升。
2024-08-02 cs.CV
High-for-Low and Low-for-High: Efficient Boundary Detection from Deep Object Features and its Applications to High-Level Vision
University of Pennsylvania(宾夕法尼亚大学);Dartmouth College(达特茅斯学院)
目前大多数边界检测系统只依赖于低级别的功能,如颜色和纹理。然而,感知研究表明,人类在判断特定像素是否是边界时采用对象级推理。受这一观察的启发,在这项工作中,我们展示了如何通过利用预训练的对象分类网络中的对象级特征来预测边界。我们的方法可以被看作是一个“高对低”的方法,其中高层次的对象特征通知低层次的边界检测过程。我们的模型在一个既定的边界检测基准上达到了最先进的性能,并且运行效率很高。此外,我们表明,由于我们的边界的语义性质,我们可以使用它们来帮助一些高层次的视觉任务。我们证明,使用我们的边界,我们提高了性能的最先进的方法的语义边界标记,语义分割和对象的建议生成的问题。我们可以把这个过程看作是一个“低对高”的方案,其中低层次的边界帮助高层次的视觉任务。因此,我们的贡献包括边界检测系统,该系统准确,高效,可以很好地推广到多个数据集,并且还可以在三个不同的任务上改进现有的最先进的高级视觉方法。
2015-09-21 cs.CV
vMFNet: Compositionality Meets Domain-generalised Segmentation
University of Edinburgh(爱丁堡大学);Canon Medical Research Europe Ltd.(佳能医疗欧洲研究有限公司);AC Codewheel Ltd(AC Codewheel有限公司);The Alan Turing Institute(艾伦·图灵研究所)
训练医学图像分割模型通常需要大量的标记数据。相比之下,人类可以在有限的指导下快速学习从医学(例如MRI和CT)图像中准确识别感兴趣的解剖结构。这种识别能力可以很容易地推广到来自不同临床中心的新图像。这种快速和可推广的学习能力主要是由于人脑中图像模式的组成结构,这在医学图像分割中较少被纳入。在本文中,我们将人体解剖结构的组成成分(即模式)建模为可学习的von-Mises-Fisher(vMF)内核,该内核对从不同领域(例如临床中心)收集的图像具有鲁棒性。图像特征可以通过合成操作分解为分量(或由分量合成),即vMF似然。vMF似然性告诉每个解剖部分在图像的每个位置处的可能性。因此,可以基于vMF似然来预测分割掩模。此外,通过重建模块,未标记的数据也可以用于通过重新组合它们来学习vMF内核和似然性以重建输入图像。大量的实验表明,建议vMFNet实现了改进的泛化性能的两个基准,特别是当注释是有限的。代码可在https://github.com/vios-s/vMFNet上公开获取。
2022-06-29 cs.CV
Exploring vision transformer layer choosing for semantic segmentation
Xinjiang University(新疆大学)
本文提出ViTController,一种动态自适应融合与特征选择的颈部网络,用于替代人工选择视觉Transformer层特征,在多个数据集和模型上超越现有最先进方法,并可作为插件模块使用。
2023-05-02 cs.CV
Enhancing Vision-Language Models Generalization via Diversity-Driven Novel Feature Synthesis
Monash University(莫纳什大学);Airdoc-Monash Research(Airdoc-莫纳什研究院)
针对CLIP等视觉语言模型下游微调易过拟合、未见过域泛化能力下降且新域标注数据难获取的问题,提出即插即用的LDFS方法,通过三类策略合成新域特征,无需新域数据即可有效提升模型泛化能力。
2024-08-13 cs.CV
Interpretable and Testable Vision Features via Sparse Autoencoders
The Ohio State University(俄亥俄州立大学)
通过稀疏自编码器揭示视觉模型中不同预训练目标的语义差异,并支持跨任务的因果编辑。
2025-11-21 cs.CV
Large Language Models Facilitate Vision Reflection in Image Classification
本文发现提示LMM验证专用视觉模型预测可提升ImageNet等基准的识别准确率,揭示视觉反思依赖提炼的文本表示,并提出无需训练的连接器增强细粒度识别性能。
2025-08-02 cs.CV
siftservice.com - Turning a Computer Vision algorithm into a World Wide Web Service
Department of Computer Science, University of Wisconsin -Milwaukee, WI, USA IEEE Member, Uppsala, Sweden
图像特征的检测和描述是计算机视觉和模式识别领域的一个长期研究课题。尺度不变特征变换(SIFT)可能是最流行和最广泛需求的特征描述符,其促进了各种计算机视觉应用,诸如图像配准、目标跟踪、图像伪造检测和3D表面重建。这项工作介绍了基于软件即服务(SaaS)的SIFT算法的实现,该算法可在http://siftservice.com上免费获得,用于任何学术,教育和研究目的。该服务提供应用程序到应用程序的交互,旨在为世界各地的计算机视觉学生和研究人员提供快速应用程序开发(RAD)和快速原型设计。互联网连接是他们所需要的一切!
2015-04-11 cs.CV
Complementary Feature Enhanced Network with Vision Transformer for Image Dehazing
State Key Laboratory of Virtual Reality Technology and Systems, School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院虚拟现实技术与系统国家重点实验室);Key Laboratory of Solar Activity, National Astronomical Observatories, Chinese Academy of Sciences(中国科学院国家天文台太阳活动重点实验室);Peng Cheng Laboratory(鹏城实验室)
传统的基于CNN的去雾模型存在两个基本问题:去雾框架(可解释性有限)和卷积层(内容无关且无法有效学习远程依赖信息)。在本文中,首先,我们提出了一个新的互补功能增强框架,其中的互补功能是由几个互补的子任务学习,然后一起服务,以提高性能的主要任务。新框架的一个突出优点是,有目的地选择的互补任务可以专注于学习弱依赖的互补特征,避免了网络的重复和无效学习。我们设计了一个新的去雾网络基于这样的框架。具体来说,我们选择固有图像分解作为补充任务,其中反射率和阴影预测子任务用于提取颜色和纹理方面的补充特征。为了有效地聚集这些互补特征,我们提出了一个互补特征选择模块(CFSM),以选择更有用的图像去雾的功能。此外,我们引入了一个新版本的视觉Transformer块,命名为混合局部-全局视觉Transformer(HyLoG-ViT),并将其纳入我们的去雾网络。HyLoG-ViT块由用于捕获局部和全局依赖关系的局部和全局视觉Transformer路径组成。因此,HyLoG-ViT在网络中引入了局部性,并捕获了全局和远程依赖性。对均匀,非均匀和夜间去雾任务的广泛实验表明,所提出的去雾网络可以实现与基于CNN的去雾模型相当甚至更好的性能。
2022-01-05 cs.CV
Learning to Decompose Visual Features with Latent Textual Prompts
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
最近在预训练视觉语言模型(如CLIP)方面的进展显示出在学习可转移视觉表示方面的巨大潜力。尽管如此,对于下游推理,CLIP类模型遭受1)在基于检索的推理期间不准确的文本描述的情况下降低的准确性和鲁棒性(zero-shot协议的挑战);或2)破坏良好建立的视觉语言对齐(线性探测的挑战)。为了解决这些问题,我们提出了分解特征提取(DeFo)。DeFo利用灵活数量的可学习嵌入作为文本输入,同时保持视觉语言双模型架构,使模型能够在特征级文本提示的帮助下学习分解的视觉特征。我们进一步使用一个额外的线性层来执行分类,允许语言输入的可扩展大小。我们的实证研究表明,DeFo在改进视觉语言模型方面具有重要意义。例如,DeFo在ResNet-50主干上的ImageNet上获得了73.2%的测试准确率,而无需调整视觉和语言编码器的任何预训练权重,比zero-shot CLIP的性能高出15.0%,比最先进的视觉语言提示微调方法高出7.6%。
2022-10-09 cs.CV
PatchRot: A Self-Supervised Technique for Training Vision Transformers
Arizona State University(亚利桑那州立大学);Georgia State University(佐治亚州立大学)
视觉Transformer需要大量的标记数据才能胜过卷积神经网络。然而,标记一个巨大的数据集是一个非常昂贵的过程。自监督学习技术通过以无监督的方式学习类似于监督学习的特征来缓解这个问题。在本文中,我们提出了一种自监督技术PatchRot,专为视觉Transformer。PatchRot旋转图像和图像补丁,并训练网络来预测旋转角度。该网络学习从图像中提取全局和局部特征。我们在不同数据集上的大量实验展示了PatchRot训练学习到的丰富特征,这些特征优于监督学习和基线比较。
2022-10-27 cs.CV
Feature Fusion Vision Transformer for Fine-Grained Visual Categorization
University of Warwick(华威大学);Griffith University(格里菲斯大学)
解决细粒度视觉分类问题的核心是学习细微而有区别的特征。以往的研究大多通过显式地选择有区别的部分或通过基于CNN的方法集成注意力机制来实现这一点,但这些方法增加了计算复杂性,使模型由包含大多数对象的区域所支配。最近,视觉转换器(ViT)在一般图像识别任务上实现了SOTA性能。自注意力机制将来自所有补丁的信息聚合并加权到分类令牌,使其非常适合FGVC。然而,深层的分类标记更多地关注全局信息,缺乏FGVC所必需的局部和低级特征。在这项工作中,我们提出了一个新的纯基于transformer的框架特征融合视觉Transformer(FFVT),我们聚集的重要令牌从每个Transformer层,以补偿本地,低级别和中间级别的信息。我们设计了一种新的标记选择模型,称为相互注意权重选择(MAWS),以指导网络有效地和高效地选择有区别的标记,而不引入额外的参数。我们在三个基准测试中验证了FFVT的有效性,其中FFVT达到了最先进的性能。
2022-02-28 cs.CV
A Vision-Language Framework for Multispectral Scene Representation Using Language-Grounded Features
AIST(日本国立先进工业科学技术研究所);Hacettepe University(哈杰泰佩大学);Koç University(科克大学)
针对遥感复杂场景表征难题,提出视觉-语言框架Spectral LLaVA,结合多光谱数据与对齐技术,在BigEarthNet v2数据集上验证了其在场景描述与分类上的显著提升效果。
2025-01-17 cs.CV
Vision Transformer with Convolutions Architecture Search
Donghua University(东华大学);University of Alberta(阿尔伯塔大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学);Polish Academy of Sciences(波兰科学院);CSIRO(联邦科学与工业研究组织)
Transformers在处理计算机视觉任务时表现出很大的优势。他们通过利用多头注意力机制来处理由分割图像组成的一系列补丁,从而对图像分类任务进行建模。然而,对于复杂的任务,计算机视觉中的Transformer不仅需要继承一点动态注意力和全局上下文,还需要引入关于对象的降噪、移位和缩放不变性的特征。因此,本文进一步研究了Transformer和卷积的结构特征,提出了一种基于卷积的视觉Transformer结构搜索方法(VTCAS)。VTCAS搜索的高性能骨干网络将卷积神经网络的理想特性引入到Transformer架构中,同时保持了多头注意力机制的优势。搜索的基于块的骨干网络可以提取不同尺度的特征图。这些功能与更广泛的视觉任务兼容,例如图像分类(32 M参数,ImageNet-1 K上的Top-1准确率为82.0%)和目标检测(COCO 2017上的mAP为50.4%)。该拓扑结构基于多头注意力机制和CNN自适应地将像素的关系特征与对象的多尺度特征相关联。该方法提高了神经网络在低照度室内场景下目标识别的鲁棒性。
2022-03-20 cs.CV
FeatEnHancer: Enhancing Hierarchical Features for Object Detection and Beyond Under Low-Light Vision
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心);RPTU Kaiserslautern(凯泽斯劳滕工业大学)
本文提出即插即用的 FeatEnHancer 模块,通过任务相关损失引导的多头注意力分层融合多尺度特征,在暗光目标检测、人脸检测、夜间语义分割和视频目标检测等多个低光照视觉任务中取得显著一致的性能提升。
2023-08-07 cs.CV
Aggregating Global Features into Local Vision Transformer
University of Kansas(堪萨斯大学);Ryerson University(瑞尔森大学)
基于局部变换器的分类模型最近取得了有希望的结果,相对较低的计算成本。然而,基于局部Transformer的架构在聚集空间全局信息方面的效果并不明显。本文研究了在每一个阶段之后,在局部窗口的Transformer中应用一个名为多分辨率重叠注意(MOA)的基于全局注意的模块的结果。所提出的MOA采用略大和重叠补丁的关键,使邻域像素信息的传输,这导致显着的性能增益。此外,我们通过大量的实验,深入研究的基本架构组件的尺寸的效果,并发现一个最佳的架构设计。大量的实验结果CIFAR-10,CIFAR-100和ImageNet-1 K数据集表明,所提出的方法优于以前的视觉Transformer与相对较少的参数。
2022-01-30 cs.CV
ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The University of California, San Diego(加利福尼亚大学圣迭戈分校);JD Explore Academy, JD.com Inc.(京东集团京东探索研究院)
许多现有的自动驾驶范例涉及多阶段离散的任务管道。为了更好地预测控制信号并增强用户安全性,需要一种受益于联合时空特征学习的端到端方法。虽然有一些基于激光雷达的输入或隐式设计的开创性工作,在本文中,我们制定了一个可解释的基于视觉的设置的问题。特别是,我们提出了一个时空特征学习方案,同时面向一组更有代表性的感知,预测和规划任务的功能,这是所谓的ST-P3。具体而言,自我中心对齐的积累技术,提出了保留在3D空间的几何信息之前的鸟瞰图变换的感知;双路径建模设计考虑到过去的运动变化,为未来的预测;一个基于时间的细化单元,以补偿识别视觉为基础的元素规划。据我们所知,我们是第一个系统地研究可解释的端到端基于视觉的自动驾驶系统的每个部分的公司。我们对我们的方法进行了基准测试,针对开环nuScenes数据集和闭环CARLA模拟的最新技术。实验结果表明了该方法的有效性。源代码、模型和协议详细信息可在https://github.com/OpenPerceptionX/ST-P3上公开获取。
2022-07-18 cs.CV
Leveraging Semantic Cues from Foundation Vision Models for Enhanced Local Feature Correspondence
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Université de Bourgogne(勃艮第大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);Microsoft(微软公司)
本文提出一种利用基础视觉模型(如DINOv2)语义线索增强局部特征匹配的方法,将语义推理融入现有描述子,实现无需图像对的快速特征缓存与相似性搜索,在相机定位中性能平均提升29%,准确率与LightGlue和LoFTR相当。
2024-10-12 cs.CV
HeightFormer: Learning Height Prediction in Voxel Features for Roadside Vision Centric 3D Object Detection via Transformer
Beijing Institute of Technology(北京理工大学);ETH Zurich(苏黎世联邦理工学院)
针对路侧视觉 3D 检测中图像透视失真、BEV 缺高度且体素计算昂贵的问题,提出 HeightFormer,用 Transformer 从局部高度序列预测高度分布并重建 3D 特征,在 DAIR-V2X-I 和 Rope3D 上达到最优。
2025-03-13 cs.CV
Examining Vision Language Models through Multi-dimensional Experiments with Vision and Text Features
School of Data Science, University of Virginia(数据科学学院,弗吉尼亚大学)
本研究通过多维实验框架,系统分析图像与提示特征对视觉语言模型性能的影响,发现微小改动即可显著改变模型行为与答案形成方式。
2025-09-10 cs.CV
Multi-View Relational Distillation for Spatial Reasoning with Vision-Language Models
KAIST(韩国科学技术院)
针对视觉语言模型空间推理的几何脆弱性问题,提出多视图关系蒸馏方法,在保留语言对齐的同时提升视觉空间推理性能,可泛化至3D场景理解任务。
2026-11-11 cs.CV
Spatiotemporal Feature Learning for Event-Based Vision
与传统的基于帧的传感器不同,基于事件的视觉传感器以高时间分辨率通过尖峰输出信息。通过仅对像素强度的变化进行编码,它们展示了一种低功耗、低延迟的视觉信息感知方法。为了将这些信息用于更高的感官任务,如对象识别和跟踪,一个重要的简化步骤是特征的提取和学习。一个理想的特征描述符必须对涉及(i)局部变换和(ii)局部事件模式的再现的变化具有鲁棒性。为此,我们提出了一种新的时空特征表示学习算法的基础上慢特征分析(SFA)。使用SFA,学习平滑变化的线性投影,这对局部视觉变换是鲁棒的。为了确定特征是否可以学习对各种视觉变换保持不变,使用特征点跟踪任务进行评估。在两个数据集上的大量实验表明,时空特征学习器对特征点的平移、缩放和旋转变换具有适应性。更重要的是,我们发现,所获得的特征表示能够利用这种基于事件的相机在生成更好的特征轨迹的高时间分辨率。
2019-03-16 cs.CV
Tac-DINO: Learning Tactile Features with Patch Alignment
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团);Shanghai Innovation Institute(上海创新研究院)
提出Tac-DINO方法,通过构建大规模触觉数据集和视觉-触觉全息匹配基准,利用补丁对齐学习局部到全局的视觉-触觉表征,性能优于无对齐方法。
2026-11-10 cs.CV
Efficient Language-to-Vision Feature Injection for Referring Single-Object Tracking
Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences(中国科学院空间应用工程与技术中心);University of Chinese Academy of Sciences(中国科学院大学)
本文提出LVTrack纯Transformer框架,通过模式条件门控特征注入器等设计缓解语义漂移,利用冻结的视觉-语言预训练模型降低训练成本,在指称单目标跟踪任务的标准基准上取得优异性能。
2026-09-01 cs.CV
Language Features Matter: Effective Language Representations for Vision-Language Tasks
Boston University(波士顿大学)
在视觉语言(VL)任务中,语言和视觉特征不应该被平等对待吗?许多VL方法将语言组件视为事后的想法,使用简单的语言模型,这些语言模型要么构建在纯文本数据上训练的固定词嵌入上,要么从头开始学习。我们认为,语言功能值得更多的关注,并进行实验,比较不同的词嵌入,语言模型,和嵌入增强步骤上五个常见的VL任务:图像句子检索,图像描述,视觉问答,短语接地,和文本到剪辑检索。我们的实验提供了一些惊人的结果;平均嵌入语言模型在检索式任务上的表现优于LSTM;最先进的表示,如BERT在视觉语言任务上的表现相对较差。从这个全面的实验,我们提出了一套最佳实践,将语言组件的VL任务。为了进一步提升语言功能,我们还表明,视觉语言问题中的知识可以跨任务转移,以通过多任务训练获得性能。这种多任务训练应用于新的面向图形的视觉语言嵌入(GrOVLE),我们使用WordNet和Visual Genome构建的原始视觉语言图从Word 2 Vec中进行了调整,提供了一个现成的视觉语言嵌入:http://ai.bu.edu/grovle。
2019-08-17 cs.CL cs.CV
Extracting Built Environment Features for Planning Research with Computer Vision: A Review and Discussion of State-of-the-Art Approaches
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
这是2021年6月第17届CUPUM国际会议-计算城市规划和城市管理演讲的扩展摘要。本研究提出了一个跨学科的综合国家的最先进的方法,在计算机视觉技术提取建成环境的功能,可以提高规划实证研究的鲁棒性。我们讨论了从规划和计算机科学的研究审查的结果。
2022-03-21 cs.CV cs.CY
Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models
School of Computer Science, Fudan University(复旦大学计算机科学学院);Institute of Big Data, Fudan University(复旦大学大数据研究院)
针对当前大视觉语言模型忽略浅层视觉特征互补信息、现有多层特征融合方法任务无关的问题,提出指令引导视觉聚合器,可依据文本指令动态融合多层特征且不增加视觉令牌,在18个基准上实现了更优性能。
2025-01-17 cs.CV cs.LG
Causal Interpretation of Sparse Autoencoder Features in Vision
Seoul National University(首尔国立大学)
针对视觉Transformer中稀疏自编码器特征仅靠激活位置易误解的问题,提出利用有效感受野的因果特征解释方法CaFE,通过输入归因识别因果驱动激活的图像块,实验证明其解释更忠实精准。
2025-08-31 cs.AI cs.CV
Shared Neural Space: Unified Precomputed Feature Encoding for Multi-Task and Cross Domain Vision
MPI Lab\ Research America 6105 Tennyson Parkway, TX, USA
提出一种基于CNN的轻量级编码器-解码器框架,构建共享神经空间,预计算可泛化特征,使多任务视觉模块(如去马赛克、去噪、深度估计和语义分割)共享同一特征空间,减少冗余并提升跨域泛化能力。
2025-09-24 cs.AI cs.CV
Training Feature Attribution for Vision Models
Orange Research Châtillon, France(法国夏特隆橙色研究机构);École polytechnique, Palaiseau, France(法国帕莱索高等理工学院)
本文提出训练特征归因方法,将测试预测链接到特定训练图像区域,揭示导致误分类的有害样本和虚假相关性,提供比传统方法更细粒度的解释。
2025-10-10 cs.CV cs.LG
OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction
University of California, Berkeley(加州大学伯克利分校);Meta AI
OTTER通过文本感知的视觉特征提取,提升视觉-语言-动作模型的零样本泛化能力。
2025-12-30 cs.CV cs.RO
Beyond still images: Temporal features and input variance resilience
本研究受自然视觉启发,提出使用视频训练并融入时间特征的脑启发视觉模型,相比静态图像模型,对输入变化具有更强的鲁棒性。
2024-02-14 cs.AI cs.CV
Where to Perch in a Tree: Vision-Guidance for Tree-Grasping Drones
Department of Civil, Aerospace and Design Engineering, University of Bristol(布里斯托大学土木、航空航天与设计工程系);Laboratory of Sustainability Robotics at Swiss Federal Laboratories for Materials Science and Technology (EMPA)(瑞士材料科学与技术联邦实验室可持续机器人实验室);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出一种视觉引导方法,用于确定树上理想的栖息点,通过图像处理算法评估树的形状和结构,基于枝条宽度、坡度和曲率选择适宜栖息的枝条。
2026-05-14 cs.CV cs.RO
SeeSE3: Emergence of 3D Space in Vision Features
Google DeepMind(谷歌DeepMind)
研究视觉基础模型构建的表征与3D欧几里得空间内在属性的关系,提出从拓扑和几何角度评估的探测器,发现自监督视觉模型有相关潜在子空间,并基于此提出“潜在空间导航”技术用于视觉里程计和定位。
2026-07-17 cs.AI cs.CV