SiRi: A Simple Selective Retraining Mechanism for Transformer-based Visual Grounding
Beijing Jiaotong University(北京交通大学);Princeton University(普林斯顿大学);JD Explore Academy(京东探索研究院);Sun Yat-sen University(中山大学)
在本文中,我们研究了如何使用现代视觉语言转换器实现更好的视觉基础,并提出了一种简单而强大的选择性再训练(SiRi)机制来完成这一具有挑战性的任务。特别是,SiRi传达了视觉背景研究的一个重要原则,即,更好的初始化视觉语言编码器将帮助模型收敛到更好的局部最小值,从而提高性能。具体来说,随着训练的进行,我们不断更新编码器的参数,同时定期重新初始化其余参数,以迫使模型基于增强的编码器进行更好的优化。SiRi可以在三个流行的基准上显着优于以前的方法。具体来说,我们的方法在RefCOCO + testA上达到了83.04%的Top1准确率,比最先进的方法(从头开始训练)高出10.21%以上。此外,我们发现,SiRi表现出惊人的优越性,即使有限的训练数据。我们还将其扩展到基于变压器的视觉接地模型和其他视觉语言任务,以验证其有效性。
2022-07-27 cs.CV
SIEVE: Selective attention-value Suppression for Vision-Language Models Unlearning
Nanyang Technological University(南洋理工大学)
SIEVE通过抑制遗忘样本的注意力值并匹配保留样本表示,实现了视觉-语言模型中对个人可识别信息的选择性遗忘,在保持保留知识的同时达到最先进性能。
2026-10-02 cs.CV cs.LG
SAUCE: Selective Concept Unlearning in Vision-Language Models with Sparse Autoencoders
针对视觉-语言模型现有遗忘方法粒度粗、易过度遗忘且需大量标注的问题,提出基于稀疏自编码器的SAUCE方法,实现细粒度选择性概念遗忘,性能优于SOTA且具鲁棒性与可扩展性。
2025-03-20 cs.AI cs.CV
Vision-Language Memory for Spatial Reasoning
University at Buffalo(布法罗大学);Stanford University(斯坦福大学)
研究针对当前视觉语言模型在视频空间推理中未达人类水平的问题,提出VLM²,通过双记忆模块,即工作记忆和情景记忆,实现固定成本下的高效空间推理,在多基准测试中取得最优性能,推动视觉空间智能发展。
2026-07-10 cs.CV
SCoPE VLM: Selective Context Processing for Efficient Document Navigation in Vision-Language Models
Georgia Institute of Technology(佐治亚理工学院);Konkuk University(韩国康克伦大学)
SCoPE VLM通过引入滚动链机制和定制强化学习方法,实现高效文档导航,提升视觉语言模型在多页文档问答中的代理阅读能力。
2026-01-27 cs.CL cs.CV
Leveraging Data to Say No: Memory Augmented Plug-and-Play Selective Prediction
University of Maryland, College Park(马里兰大学);University of California, San Diego(加州大学圣地亚哥分校);Qualcomm AI(高通人工智能);Yale University(耶鲁大学);Meta AI
本文提出基于记忆的插拔式选择预测方法,通过增强视觉语言嵌入来减少方差并改进分数校准,提升图像描述、匹配和细粒度分类性能。
2026-01-30 cs.CV cs.LG
Selective Channel Restoration for Backdoored Vision-Language Models
Southeast University(东南大学);The University of Queensland(昆士兰大学);University of Sydney(悉尼大学);A*STAR
提出PSR防御方法,利用投影脆弱性识别并恢复带后门视觉-语言模型中的敏感通道,将攻击成功率降至近零且不增加推理开销。
2026-09-30 cs.CR cs.CV
To Adapt or Not to Adapt? Selective Adaptation for Vision-Language Models
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉科学学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Nanjing University(南京大学)
针对测试时适应中的无效或有害适应问题,提出选择性适应方法CAS,通过跨增强相似度判断是否跳过适应,在跳过85%过程时仍保持或提升准确率。
2026-09-09 cs.CV cs.LG
Selective Vision-Language Subspace Projection for Few-shot CLIP
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
针对 CLIP 编码特征中存在模态差异导致分类性能受限的问题,提出免训练的选择性视觉-语言子空间投影(SSP)方法,利用局部图像特征构建子空间并设计双投影模块实现图文对齐,在 11 个数据集上优于现有 SOTA。
2024-07-26 cs.CV cs.MM
LinguDistill: Recovering Linguistic Ability in Vision-Language Models via Selective Cross-Modal Distillation
Mohamed bin Zayed University of Artificial Intelligence(莫莫德·本·扎耶德人工智能大学)
本文提出LinguDistill方法,通过利用冻结的原始语言模型作为教师,选择性蒸馏语言信号以恢复语言能力,同时保持视觉基础,提升了语言和知识基准性能。
2026-10-06 cs.CL cs.CV
Towards Fast, Memory-based and Data-Efficient Vision-Language Policy
School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院)
针对现有视觉语言策略推理昂贵、模态失配且经验处理能力有限的问题,本文提出基于10亿参数VLM微调的轻量记忆型策略模型LiteVLP,在VIMA-Bench和长时程任务中实现更高效率与性能。
2025-03-13 cs.CV
Not All Patches Are Equally Forgettable: Spatially Localized Domain Unlearning in Vision-Language Models
Indian Institute of Science Education and Research Bhopal(印度科学教育与研究学院博帕尔分校)
提出两阶段补丁选择框架,通过定位并抑制对遗忘领域预测贡献大的补丁,实现视觉-语言模型的空间局部化领域遗忘,在多个基准上改善遗忘-保留权衡并提升保留领域识别性能。
2026-09-17 cs.CV
Mema: Memory-Augmented Adapter for Enhanced Vision-Language Understanding
Beijing Institute of Technology(北京理工大学);Peking University(北京大学);Yangtze Delta Region Academy of Beijing Institude of Technology(北京理工大学长江三角洲地区研究院)
本文提出Mema适配器,通过维护状态记忆积累层次视觉表示,提升多模态理解性能,实验验证其在复杂任务中的有效性。
2026-04-14 cs.CV
StreamEMS: Streaming Video Understanding with Self-Evolving Memory Scheme for Vision-Language Models
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shanghai AI Laboratory(上海人工智能实验室)
本研究提出StreamEMS机制,通过语义与先验感知两个演进模块优化记忆表征,在OVO-Bench等数据集上优于现有方法,高token下降率下仍具优势。
2026-08-31 cs.CV
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
National University of Singapore(新加坡国立大学);Fudan University(复旦大学);Tsinghua University(清华大学);Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学);vivo
VisMem通过引入动态潜在视觉记忆模块,提升视觉-语言模型在复杂视觉任务中的性能,实现感知准确性和语义一致性之间的平衡。
2026-02-05 cs.AI cs.CV cs.LG
Think or Not? Selective Reasoning via Reinforcement Learning for Vision-Language Models
The Chinese University of Hong Kong(香港中文大学);Show Lab, National University of Singapore(新加坡国立大学Show实验室)
针对视觉语言模型推理成本高的问题,提出两阶段TON训练策略,通过思维丢弃冷启动和GRPO优化实现选择性推理,可大幅降低token消耗且不损失甚至提升性能,为类人推理模式提供新思路。
2025-10-29 cs.AI cs.CV
UniMem: Unifying Visual and Textual Memory in VLAs for Non-Markovian Tasks
Stanford University(斯坦福大学)
UniMem 是统一多模态记忆与控制的视觉-语言-动作模型框架,通过事件分类器、关键帧编码器等技术,在模拟和硬件任务中性能优于基线,推理更快、训练流程更简单。
2026-10-23 cs.CV cs.RO
Cross-Layer Vision Smoothing: Enhancing Visual Understanding via Sustained Focus on Key Objects in Large Vision-Language Models
Beijing Institute of Technology(北京理工大学);Zhongguancun Academy(中关村学院);Tsinghua University(清华大学)
本文提出CLVS方法,通过跨层视觉记忆平滑注意力分布,提升大视觉-语言模型对关键对象的持续聚焦能力,从而增强视觉理解性能。
2025-11-25 cs.AI cs.CV
FADA: Accessible fetal ultrasound interpretation and annotation with a selectively distilled unified vision-language model
Hamad Bin Khalifa University(哈马德·本·哈利法大学);HMC(哈马德医疗公司);Advanced AlRazi Diagnostic Center(高级阿尔拉齐诊断中心);Sidra Medicine(锡德拉医学)
提出统一视觉-语言模型FADA,通过选择性蒸馏从四个领域基础模型提取知识,实现胎儿超声的解读、分类、检测和分割,在单个消费级GPU上训练,无需外部标签,可在智能手机上离线运行。
2026-06-09 cs.AI cs.CV
Dual-Latent Memory Routing for Vision-Language Reasoning
Nanjing University(南京大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对多模态大模型长序列推理中视觉证据丢失问题,提出双潜记忆路由机制,通过视觉与推理记忆分离及动态路由,以少量参数提升推理性能。
2026-09-09 cs.AI cs.CV
Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding
Georgia Institute of Technology(佐治亚理工学院);Cisco Research(思科研究)
本文提出AttentionPack框架,通过紧凑注意力机制和解压机制提升大视觉-语言模型解码效率,实验表明内存效率提升8倍,支持更大批次和更快推理,同时保持输出质量。
2026-03-25 cs.CV cs.LG
Selective LoRA for Visual Tokens and Attention Heads
University of Michigan(密歇根大学);LG AI Research(LG人工智能研究)
本文提出Image-LoRA,通过选择性更新视觉标记和注意力头,减少参数和计算量,同时保持纯文本前向传递不变,在视觉定位任务中表现优异。
2026-05-11 cs.AI cs.CV
SAFER: Sharpness Aware layer-selective Finetuning for Enhanced Robustness in vision transformers
Duke University(杜克大学);University of California, Berkeley(加州大学伯克利分校)
SAFER提出一种分层选择性微调方法,仅对ViT中最易过拟合的少数层应用锐度感知最小化并冻结其余层,从而在多种架构和数据集上同时提升干净与对抗准确率,最高增益达20%。
2025-01-02 cs.CV
Select and Distill: Selective Dual-Teacher Knowledge Transfer for Continual Learning on Vision-Language Models
National Taiwan University(台湾大学);NVIDIA(英伟达)
提出选择性双教师知识迁移框架,利用微调和原始VLM作为双教师,通过特征差异进行选择性蒸馏,缓解持续学习中的灾难性遗忘并保持零样本能力。
2024-07-17 cs.CV
Selective Feature Adapter for Dense Vision Transformers
ByteDance(字节跳动);Hong Kong University of Science and Technology(香港科技大学)
针对预训练密集视觉Transformer微调参数量大的问题,提出由外部、内部适配器组成的选择性特征适配器SFA,通过选插MLP和彩票算法筛选关键参数变换,在任意参数预算下达SOTA,性能优于单模块适配器和全微调模型。
2023-10-03 cs.CV
Selective Distillation of Weakly Annotated GTD for Vision-based Slab Identification System
POSTECH(浦项科技大学);Korea Institute of Industrial Technology (KITECH)(韩国产业技术研究院)
提出了一种工厂场景中板坯识别号的识别算法。在开发基于深度学习的系统时,手动标记以生成地面实况数据(GTD)是一项重要但昂贵的任务。此外,GTD的质量与监督学习算法的性能密切相关。为了减少标记过程中的手动工作,我们通过仅标记字符质心来生成弱注释的GTD。字符的边界框至少需要一个拖放操作或两次单击来注释字符位置,而弱注释的GTD需要单击一次来记录字符位置。本文的主要贡献是选择蒸馏,以改善弱注释GTD的质量。因为手册GTD通常是由许多人生成的,它可能包含个人偏见或人为错误。为了解决这个问题,在手册GTD的信息是集成和选择性蒸馏精制。在选择性蒸馏过程中,使用弱注释的GTD训练全卷积网络,并选择性地使用其预测图来修改初始GTD中字符语义区域的位置和边界。在主训练阶段使用改进的GTD,并进行后处理以检索文本信息。通过对某炼钢厂的实际工业数据进行实验,验证了该方法的有效性。
2018-12-13 cs.CV
SLAP: Selective Local Vision-Language Alignment for Fish Re-Identification via Partial Optimal Transport
University of Verona(维罗纳大学);Institute of Marine Research(海洋研究所);University of Agder(阿格德大学)
针对鱼类重识别中全局对齐易引入噪声的问题,提出基于POT的选择性局部视觉-语言对齐框架,在多数据集上实现优于CLIP类方法的性能,泛化性良好。
2026-08-11 cs.CV
Keepsake: Selective Spatial Memory for Long-Horizon Video Generation
Institute of Artificial Intelligence, University of Central Florida(中佛罗里达大学人工智能研究所)
针对长时程视频生成中固定容量空间记忆的保留问题,提出Keepsake在线无训练控制模块,通过姿态-外观图动态评估观测可替代性,在MemCam和WorldMem上提升FVD和LPIPS,仅保留32/5397帧即降FVD 35.1%。
2026-10-06 cs.CV
HQ-SMem: Video Segmentation and Tracking Using Memory Efficient Object Embedding With Selective Update and Self-Supervised Distillation Feedback
提出HQ-SMem,通过SAM-HQ掩码细化、选择性智能内存和动态外观更新,提升长视频多对象分割与跟踪的边界质量、内存效率及抗漂移能力。
2025-07-25 cs.CV
Brain Tumor Classification using Vision Transformer with Selective Cross-Attention Mechanism and Feature Calibration
K.N. Toosi University of Technology(霍梅尼国际大学(K.N. Toosi理工大学));Indiana University-Purdue University(印第安纳大学-普渡大学);Shahed university(沙希德大学);University of Cincinnati(辛辛那提大学)
针对脑肿瘤分类这一医学图像分析挑战,提出结合特征校准机制(FCM)和选择性交叉注意力(SCA)的视觉Transformer方法,提升准确性与效率,机制可集成至其他Transformer架构,性能超越现有方法。
2024-11-25 cs.CV eess.IV
MCUFormer: Deploying Vision Transformers on Microcontrollers with Limited Memory
Tsinghua University(清华大学)
提出MCUFormer,通过硬件-算法协同优化(联合架构搜索与算子库构建)在内存有限的微控制器上高效部署视觉Transformer,在STM32F746上以320KB内存实现ImageNet 73.62% top-1准确率。
2023-12-21 cs.CV
ToSA: Token Selective Attention for Efficient Vision Transformers
Qualcomm AI Research(高通人工智能研究)
提出 ToSA token 选择性注意力,通过预测下一层注意力图筛选重要 token 并让其余 token 跳层,在保持精度的同时降低 ViT 计算成本并支持密集预测。
2024-06-13 cs.CV
PRISM: Progressive Reasoning through Iterative Slot Memory for Vision
Deep NeuroCognition Lab, Nanyang Technological University, Singapore(深神经认知实验室,南洋理工大学,新加坡)
提出PRISM架构,通过迭代槽记忆进行渐进推理,在图像分类、目标检测和语义分割等任务上取得竞争性能,并在遮挡等不完整观测下展现出更强的鲁棒性。
2026-05-29 cs.CV
COSMO: Combination of Selective Memorization for Low-cost Vision-and-Language Navigation
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Australian Institute for Machine Learning, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院)
为降低视觉与语言导航的计算成本,本文提出COSMO架构,结合状态空间与transformer模块并设计RSS和CS3模块增强跨模态交互,在保持高性能的同时显著降低计算开销。
2025-03-31 cs.CV cs.RO
Selective Visual Prompting in Vision Mamba
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
针对现有视觉提示方法不适配Vision Mamba特性的问题,提出带双路径结构的选择性视觉提示方法,通过逐token提示激活门控促进信息传播,在多个大规模基准上性能显著优于现有最优方法。
2024-12-12 cs.AI cs.CV
HiRISE: High-Resolution Image Scaling for Edge ML via In-Sensor Compression and Selective ROI
University of South Carolina(南卡罗来纳大学);University of Nebraska–Lincoln(内布拉斯加大学林肯分校);New Jersey Institute of Technology(新泽西理工学院)
本文提出HiRISE系统,通过模拟传感器内图像缩放与选择性ROI能力,在边缘ML高分辨率图像处理中显著降低峰值内存需求,并实现最高17.7倍的数据传输与能耗降低。
2024-07-23 cs.CV
Multimodal Aggregation Approach for Memory Vision-Voice Indoor Navigation with Meta-Learning
Fudan University(复旦大学);Westlake University(西湖大学);Purdue University(普渡大学)
视觉和声音是智能体交互和学习的两个关键。在本文中,我们提出了一种新的室内导航模型称为记忆视觉-语音室内导航(MVV-IN),它接收语音命令,并分析视觉观察的多模态信息,以提高机器人的环境理解。我们利用第一视角单目相机拍摄的单个RGB图像。我们还应用了自我注意力机制来保持智能体专注于关键区域。记忆对于代理避免不必要地重复某些任务并使其充分适应新场景非常重要,因此,我们使用元学习。我们已经实验了从视觉观察中提取的各种功能特征。对比实验证明,我们的方法优于国家的最先进的基线。
2020-09-01 cs.CV
LetheViT: Selective Machine Unlearning for Vision Transformers via Attention-Guided Contrastive Learning
针对视觉Transformer的随机数据遗忘难题,提出基于注意力引导对比学习的LetheViT方法,通过掩蔽图像生成正负逻辑值,在保留类别轮廓的同时遗忘特定样本,实现隐私合规与模型效能的平衡。
2025-08-03 cs.CV cs.LG
SAMed-2: Selective Memory Enhanced Medical Segment Anything Model
Lehigh University, Bethlehem, PA, USA(莱斯大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University of Georgia, Athens, GA, USA(佐治亚大学);University of Notre Dame, Notre Dame, IN, USA(Notre Dame 大学)
本文提出基于 SAM-2 的医学图像分割基础模型 SAMed-2,通过时间适配器和置信度驱动记忆机制缓解标注噪声与灾难性遗忘,并在构建的 MedBank-100k 数据集上取得优于现有方法的多任务分割性能。
2025-07-04 cs.CV
Selective Image Super-Resolution
National University of Singapore(新加坡国立大学)
在本文中,我们提出了一个视觉系统,执行图像超分辨率(SR)的选择性。传统的SR技术,无论是通过多图像融合或基于实例的建设,未能利用图像中的内在结构和语义上下文,并执行“盲”分辨率恢复到整个图像区域。通过比较,我们提倡基于示例的选择性SR,其中选择性体现在三个方面:区域选择性(SR仅在对象区域),源选择性(对象SR与训练对象字典),和细化选择性(对象边界细化使用抠图)。该系统以过分割的低分辨率图像作为输入,吸收了最近的稀疏编码(SC)和分组多任务套索(GMTL)的学习技术,并最终导致联合图形-地面分离和兴趣对象SR的框架。我们的框架的效率体现在我们的实验与VOC 2009和MSRC数据集的子集。我们还展示了几个有趣的视觉应用程序,可以建立在我们的系统。
2010-10-27 cs.CV
Beyond the Golden Data: Resolving the Motion-Vision Quality Dilemma via Timestep Selective Training
Tsinghua University(清华大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
本文提出TQD方法,通过时间步选择性训练解决视频生成中运动与视觉质量的矛盾,证明在不平衡数据上训练可超越传统高质量数据训练效果。
2026-04-01 cs.CV
EAGLE: Episodic Appearance- and Geometry-aware Memory for Unified 2D-3D Visual Query Localization in Egocentric Vision
针对第一视角视觉查询定位受相机运动等因素影响的挑战,提出EAGLE框架,通过情景化外观与几何感知记忆巩固机制及视觉几何接地Transformer,统一2D-3D定位并在Ego4D-VQ基准上实现最先进性能。
2025-11-12 cs.CV
FisherTune: Fisher-Guided Robust Tuning of Vision Foundation Models for Domain Generalized Segmentation
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);University of Trento(特伦托大学);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
针对视觉基础模型在领域泛化语义分割微调中难以兼顾泛化与适应性的问题,提出FisherTune方法,利用领域相关Fisher信息矩阵引导选择性参数更新,在保持泛化能力的同时显著提升跨域分割性能。
2025-04-01 cs.CV
QuadMamba: Learning Quadtree-based Selective Scan for Visual State Space Model
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对视觉Mamba适配视觉任务时破坏局部邻接性或长程建模受限的问题,提出QuadMamba模型,通过基于四叉树的自适应扫描与全向窗口偏移捕获多粒度局部依赖,结合Gumbel-Softmask实现端到端训练,在多项视觉任务达SOTA。
2024-10-10 cs.CV
Selective, Regularized, and Calibrated: Harnessing Vision Foundation Models for Cross-Domain Few-Shot Semantic Segmentation
Nanjing University(南京大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出HERA框架,通过选择性、正则化和校准的方法,有效利用视觉基础模型进行跨域少样本语义分割,提升了模型在新领域中的适应能力,并在多个基准上取得了更高的mIoU成绩。
2026-05-19 cs.CV
Selective Vision is the Challenge for Visual Reasoning: A Benchmark for Visual Argument Understanding
Yonsei University(延世大学);Seoul National University(首尔大学);Allen Institute for AI(艾伦人工智能研究所);Samaya AI(萨马亚人工智能公司)
本文提出VisArgs视觉论证理解基准,通过前提定位、识别和结论推导三项任务揭示现有AI在选择性视觉推理上的不足,并证明提供相关视觉前提可显著提升模型表现。
2024-10-23 cs.CL cs.CV
ShadowMamba: State-Space Model with Boundary-Region Selective Scan for Shadow Removal
Department of Electrical Engineering, Faculty of Engineering, Universiti Malaya(马来大学电气工程系);Faculty of Engineering and Information Technology, Southern University College(南方学院工程与信息技术学院)
本文提出首个基于Mamba的阴影去除模型ShadowMamba,通过边界区域选择性扫描机制和阴影掩码去噪方法,在保持线性复杂度的同时有效提升了阴影去除性能。
2025-08-08 cs.CV
Block Selective Reprogramming for On-device Training of Vision Transformers
Universiy of Southern California(南加利福尼亚大学);Intel Labs(英特尔实验室)
针对边缘设备端侧训练视觉Transformer内存与算力不足的问题,提出块选择性重编程方法,仅微调部分模型块并结合冻结层注意力分数丢弃token,在保精度的同时显著降低训练内存与计算成本,还适用于多任务MoE模型场景。
2024-03-25 cs.CV cs.LG
MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Long-Term Video Recognition
Facebook AI Research(脸书人工智能研究院);UC Berkeley(加州大学伯克利分校)
虽然今天的视频识别系统可以准确地解析快照或短片,但它们还不能在更长的时间范围内连接点和推理。大多数现有的视频架构只能处理<5秒的视频,而不会遇到计算或内存瓶颈。在本文中,我们提出了一个新的战略来克服这一挑战。我们不像大多数现有方法那样一次处理更多帧,而是建议以在线方式处理视频,并在每次迭代时缓存“内存”。通过记忆,模型可以参考先前的上下文进行长期建模,而只有边际成本。基于这一想法,我们构建了MeMViT,一种内存增强的多尺度视觉Transformer,它的时间支持比现有模型长30倍,计算量仅增加4.5%;传统方法需要多3,000%的计算量才能做到这一点。在广泛的设置中,MeMViT所支持的增加的时间支持一致地带来了识别准确性的大幅提高。MeMViT在AVA、EPIC-Kitchen-100动作分类和动作预测数据集上获得了最先进的结果。代码和模型可在https://github.com/facebookresearch/memvit上获得。
2022-11-30 cs.CV
Zero Memory Overhead Approach for Protecting Vision Transformer Parameters
Shiraz University(设拉子大学)
本文提出一种零内存开销的容错方法,通过用奇偶校验位替换ViT参数的最低有效位来检测位翻转故障,并对故障参数置零掩蔽,从而将参数鲁棒性提升最多三个数量级。
2025-07-04 cs.CV
Mix-Opt: Mixed Optimization for Memory-Efficient Personalization of Text-to-Image Diffusion Models
Qualcomm AI Research(高通人工智能研究)
针对文本到图像扩散模型的内存高效个性化需求,提出结合低分辨率反向传播与高分辨率零阶优化的选择性框架,辅以时间步感知策略,在降内存的同时实现有竞争力的设备端个性化性能。
2026-11-18 cs.CV cs.LG
Modulo Video Recovery via Selective Spatiotemporal Vision Transformer
针对传统图像传感器动态范围有限及模运算相机信号重建难题,提出首个模运算视频重建深度学习框架SSViT,通过令牌选择策略聚焦关键区域,从8位折叠视频生成高质量重建结果并达到最先进性能。
2025-11-09 cs.AI cs.CV eess.IV
ESceme: Vision-and-Language Navigation with Episodic Scene Memory
Shenzhen University(深圳大学);University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);DATA61, CSIRO(联邦科学与工业研究组织DATA61研究院)
针对视觉语言导航的泛化性与效率平衡问题,提出情景场景记忆机制ESceme,通过唤起过往场景记忆、动态更新信息辅助导航决策,在多类VLN任务上表现优异且登顶CVDN排行榜。
2024-07-15 cs.CV
Couplformer:Rethinking Vision Transformer with Coupling Attention Map
Technical University of Munich(慕尼黑工业大学);East China Normal University(华东师范大学)
随着自注意力机制的发展,Transformer模型在计算机视觉领域显示了其卓越的性能。然而,完全注意力机制带来的海量计算成为内存消耗的沉重负担。因此,内存的限制降低了改进Transformer模型的可能性。为了解决这个问题,我们提出了一种新的内存经济的注意力机制命名为耦合器,它将注意力映射成两个子矩阵,并从空间信息中生成对齐分数。一系列不同尺度的图像分类任务被用来评估我们的模型的有效性。实验结果表明,在ImageNet-1 k分类任务中,Couplformer在满足足够的精度要求的情况下,与常规Transformer相比,可以显著降低28%的内存消耗,并且在占用相同内存的情况下,Top-1精度优于0.92%。因此,耦合器可以作为视觉任务的有效骨干,并为研究者提供了一个新的视角来研究注意力机制。
2021-12-10 cs.CV