Mema: Memory-Augmented Adapter for Enhanced Vision-Language Understanding
Beijing Institute of Technology(北京理工大学);Peking University(北京大学);Yangtze Delta Region Academy of Beijing Institude of Technology(北京理工大学长江三角洲地区研究院)
本文提出Mema适配器,通过维护状态记忆积累层次视觉表示,提升多模态理解性能,实验验证其在复杂任务中的有效性。
2026-04-14 cs.CV
StreamEMS: Streaming Video Understanding with Self-Evolving Memory Scheme for Vision-Language Models
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shanghai AI Laboratory(上海人工智能实验室)
本研究提出StreamEMS机制,通过语义与先验感知两个演进模块优化记忆表征,在OVO-Bench等数据集上优于现有方法,高token下降率下仍具优势。
2026-08-31 cs.CV
Semi-off-Policy Reinforcement Learning for Vision-Language Slow-Thinking Reasoning
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);MMLab, The Chinese University of Hong Kong(香港中文大学MMLab)
针对同策略强化学习受限、离策略强化学习易引发视觉幻觉的问题,提出半离策略强化学习框架SOPHIA,结合同策略视觉理解与离策略推理,有效提升LVLM多模态推理性能,达到开源模型最优水平。
2025-10-22 cs.CV cs.LG
Decomposed On-Policy Distillation for Vision-Language Reasoning: Steering Gradients for Visual Grounding
University of California, Berkeley(加州大学伯克利分校)
通过将视觉-语言模型蒸馏损失分解为语言先验和视觉定位两个正交分量,提出视觉梯度引导(VGS)方法动态调整更新方向以优先优化视觉子空间,从而提升小模型在复杂多模态任务中的定位能力。
2026-05-30 cs.CL cs.CV
Skill-Decoupled On-Policy Expert Distillation for Unified Vision-Language Models
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Alibaba Group(阿里巴巴集团)
该研究针对视觉-语言模型联合优化的梯度冲突问题,提出SCOPED方法,经8个多模态基准测试验证其性能优于基线,可有效整合独立获取的专用能力。
2026-10-16 cs.AI cs.CV
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
National University of Singapore(新加坡国立大学);Fudan University(复旦大学);Tsinghua University(清华大学);Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学);vivo
VisMem通过引入动态潜在视觉记忆模块,提升视觉-语言模型在复杂视觉任务中的性能,实现感知准确性和语义一致性之间的平衡。
2026-02-05 cs.AI cs.CV cs.LG
MSR-Align: Policy-Grounded Multimodal Alignment for Safety-Aware Reasoning in Vision-Language Models
Future Lab, Alibaba Group(阿里巴巴集团未来实验室)
针对现有VLM安全对齐方法及数据集的不足,本研究提出高质量多模态安全推理数据集MSR-Align,实验证明其微调可提升VLM抗越狱鲁棒性且保留推理性能。
2025-10-21 cs.CL cs.CV
UniMem: Unifying Visual and Textual Memory in VLAs for Non-Markovian Tasks
Stanford University(斯坦福大学)
UniMem 是统一多模态记忆与控制的视觉-语言-动作模型框架,通过事件分类器、关键帧编码器等技术,在模拟和硬件任务中性能优于基线,推理更快、训练流程更简单。
2026-10-23 cs.CV cs.RO
K-OPSD: Verifiable On-Policy Self-Distillation for Post-Training Vision-Language Models on AEC Drawings
Amazon Web Services(亚马逊云服务)
提出K-OPSD方法,利用可验证监督的在线自蒸馏和交叉熵损失微调Qwen3-VL,提升AEC图纸理解,在AECV-Bench上取得最高评判分数和综合准确率。
2026-09-29 cs.AI cs.CV
Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy
Zhejiang University(浙江大学);UC Berkeley(伯克利大学)
本文提出BayesVLA,通过贝叶斯分解策略,解决VLA模型中因模态不平衡导致的灾难性遗忘问题,提升泛化能力和指令遵循性能。
2025-12-12 cs.CV cs.RO
Cross-Layer Vision Smoothing: Enhancing Visual Understanding via Sustained Focus on Key Objects in Large Vision-Language Models
Beijing Institute of Technology(北京理工大学);Zhongguancun Academy(中关村学院);Tsinghua University(清华大学)
本文提出CLVS方法,通过跨层视觉记忆平滑注意力分布,提升大视觉-语言模型对关键对象的持续聚焦能力,从而增强视觉理解性能。
2025-11-25 cs.AI cs.CV
Dual-Latent Memory Routing for Vision-Language Reasoning
Nanjing University(南京大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对多模态大模型长序列推理中视觉证据丢失问题,提出双潜记忆路由机制,通过视觉与推理记忆分离及动态路由,以少量参数提升推理性能。
2026-09-09 cs.AI cs.CV
Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding
Georgia Institute of Technology(佐治亚理工学院);Cisco Research(思科研究)
本文提出AttentionPack框架,通过紧凑注意力机制和解压机制提升大视觉-语言模型解码效率,实验表明内存效率提升8倍,支持更大批次和更快推理,同时保持输出质量。
2026-03-25 cs.CV cs.LG
What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior
University of Technology Nuremberg(纽伦堡工业大学);ETH Zürich(苏黎世联邦理工学院);Inria, Ecole Normale Supérieure, CNRS, PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学校,法国国家科学研究中心,巴黎文理研究大学)
本研究通过干预度量解释VLN模型依赖的模态,发现其编码进度并保留语义,进而利用激活向量实现零样本迁移,提升分布外场景性能。
2026-09-22 cs.CV cs.RO
LLaRA: Supercharging Robot Learning Data for Vision-Language Policy
Stony Brook University(石溪大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出LLaRA框架,通过自动化生成对话式指令微调数据并引入六个自监督辅助任务,将预训练VLM高效转化为VLA模型,在有限数据下实现了最先进的机器人控制性能并保持泛化能力。
2025-01-30 cs.AI cs.CL cs.CV
MCUFormer: Deploying Vision Transformers on Microcontrollers with Limited Memory
Tsinghua University(清华大学)
提出MCUFormer,通过硬件-算法协同优化(联合架构搜索与算子库构建)在内存有限的微控制器上高效部署视觉Transformer,在STM32F746上以320KB内存实现ImageNet 73.62% top-1准确率。
2023-12-21 cs.CV
PRISM: Progressive Reasoning through Iterative Slot Memory for Vision
Deep NeuroCognition Lab, Nanyang Technological University, Singapore(深神经认知实验室,南洋理工大学,新加坡)
提出PRISM架构,通过迭代槽记忆进行渐进推理,在图像分类、目标检测和语义分割等任务上取得竞争性能,并在遮挡等不完整观测下展现出更强的鲁棒性。
2026-05-29 cs.CV
Vision-Language Navigation with Energy-Based Policy
Zhejiang University(浙江大学)
本文提出基于能量的导航策略ENP,通过能量模型建模联合状态-动作分布以全局对齐专家策略,在多个VLN基准上显著提升现有模型性能。
2024-10-18 cs.CV
Multimodal Aggregation Approach for Memory Vision-Voice Indoor Navigation with Meta-Learning
Fudan University(复旦大学);Westlake University(西湖大学);Purdue University(普渡大学)
视觉和声音是智能体交互和学习的两个关键。在本文中,我们提出了一种新的室内导航模型称为记忆视觉-语音室内导航(MVV-IN),它接收语音命令,并分析视觉观察的多模态信息,以提高机器人的环境理解。我们利用第一视角单目相机拍摄的单个RGB图像。我们还应用了自我注意力机制来保持智能体专注于关键区域。记忆对于代理避免不必要地重复某些任务并使其充分适应新场景非常重要,因此,我们使用元学习。我们已经实验了从视觉观察中提取的各种功能特征。对比实验证明,我们的方法优于国家的最先进的基线。
2020-09-01 cs.CV
PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models
Sichuan University(四川大学);Adelaide University(阿德莱德大学);Beijing Institute of Technology(北京理工大学)
提出PolicyTrim框架,通过强化学习后训练扩展动作块可靠长度并减少冗余物理步骤,实现高达5.83倍的端到端部署加速且不降低任务成功率。
2026-06-26 cs.CV
EAGLE: Episodic Appearance- and Geometry-aware Memory for Unified 2D-3D Visual Query Localization in Egocentric Vision
针对第一视角视觉查询定位受相机运动等因素影响的挑战,提出EAGLE框架,通过情景化外观与几何感知记忆巩固机制及视觉几何接地Transformer,统一2D-3D定位并在Ego4D-VQ基准上实现最先进性能。
2025-11-12 cs.CV
MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Long-Term Video Recognition
Facebook AI Research(脸书人工智能研究院);UC Berkeley(加州大学伯克利分校)
虽然今天的视频识别系统可以准确地解析快照或短片,但它们还不能在更长的时间范围内连接点和推理。大多数现有的视频架构只能处理<5秒的视频,而不会遇到计算或内存瓶颈。在本文中,我们提出了一个新的战略来克服这一挑战。我们不像大多数现有方法那样一次处理更多帧,而是建议以在线方式处理视频,并在每次迭代时缓存“内存”。通过记忆,模型可以参考先前的上下文进行长期建模,而只有边际成本。基于这一想法,我们构建了MeMViT,一种内存增强的多尺度视觉Transformer,它的时间支持比现有模型长30倍,计算量仅增加4.5%;传统方法需要多3,000%的计算量才能做到这一点。在广泛的设置中,MeMViT所支持的增加的时间支持一致地带来了识别准确性的大幅提高。MeMViT在AVA、EPIC-Kitchen-100动作分类和动作预测数据集上获得了最先进的结果。代码和模型可在https://github.com/facebookresearch/memvit上获得。
2022-11-30 cs.CV
Zero Memory Overhead Approach for Protecting Vision Transformer Parameters
Shiraz University(设拉子大学)
本文提出一种零内存开销的容错方法,通过用奇偶校验位替换ViT参数的最低有效位来检测位翻转故障,并对故障参数置零掩蔽,从而将参数鲁棒性提升最多三个数量级。
2025-07-04 cs.CV
ESceme: Vision-and-Language Navigation with Episodic Scene Memory
Shenzhen University(深圳大学);University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);DATA61, CSIRO(联邦科学与工业研究组织DATA61研究院)
针对视觉语言导航的泛化性与效率平衡问题,提出情景场景记忆机制ESceme,通过唤起过往场景记忆、动态更新信息辅助导航决策,在多类VLN任务上表现优异且登顶CVDN排行榜。
2024-07-15 cs.CV
Couplformer:Rethinking Vision Transformer with Coupling Attention Map
Technical University of Munich(慕尼黑工业大学);East China Normal University(华东师范大学)
随着自注意力机制的发展,Transformer模型在计算机视觉领域显示了其卓越的性能。然而,完全注意力机制带来的海量计算成为内存消耗的沉重负担。因此,内存的限制降低了改进Transformer模型的可能性。为了解决这个问题,我们提出了一种新的内存经济的注意力机制命名为耦合器,它将注意力映射成两个子矩阵,并从空间信息中生成对齐分数。一系列不同尺度的图像分类任务被用来评估我们的模型的有效性。实验结果表明,在ImageNet-1 k分类任务中,Couplformer在满足足够的精度要求的情况下,与常规Transformer相比,可以显著降低28%的内存消耗,并且在占用相同内存的情况下,Top-1精度优于0.92%。因此,耦合器可以作为视觉任务的有效骨干,并为研究者提供了一个新的视角来研究注意力机制。
2021-12-10 cs.CV
Multimodal Transformer with Variable-length Memory for Vision-and-Language Navigation
Monash University(莫纳什大学);ByteDance(字节跳动)
视觉与语言导航(VLN)是指智能体在移动过程中,依靠与环境的交互,按照语言指令导航到目标位置的任务。近年来基于Transformer的VLN方法取得了很大进展,这得益于视觉观察和语言教学之间通过多模态交叉注意力机制的直接联系。然而,这些方法通常通过使用LSTM解码器或使用手动设计的隐藏状态来构建递归的Transformer,将时间上下文表示为固定长度的向量。考虑到单个固定长度的向量往往不足以捕获长期的时间上下文,在本文中,我们引入了多模态Transformer与可变长度内存(MTVM)的可视化接地自然语言导航建模的时间上下文显式。具体而言,MTVM使代理保持跟踪的导航轨迹直接存储在一个存储体先前的激活。为了进一步提高性能,我们提出了一个内存感知的一致性损失,以帮助学习一个更好的联合表示的时间上下文与随机掩码指令。我们在流行的R2R和CVDN数据集上评估了MTVM,我们的模型将R2R看不见的验证和测试集的成功率分别提高了2%,并将CVDN测试集的目标过程减少了1.6m。
2022-07-18 cs.CV
For Pre-Trained Vision Models in Motor Control, Not All Policy Learning Methods are Created Equal
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院);AWS AI, Amazon(亚马逊AWS人工智能)
本研究系统评估14个预训练视觉模型在3类策略学习方法下的表现,发现预训练有效性高度依赖下游算法,并提倡使用VRF和BC等稳健方法,同时发布21任务基准。
2023-06-20 cs.CV cs.RO
Vision-Dialog Navigation by Exploring Cross-modal Memory
University of Chinese Academy of Sciences(中国科学院大学);Monash University(莫纳什大学);Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
视觉对话导航是视觉语言学科的一个新的圣杯任务,其目标是学习一个具有与自然语言不断对话以寻求帮助并根据人类反应进行导航的能力的智能体。除了视觉语言导航所面临的共同挑战外,视觉对话导航还需要处理好对话历史中一系列关于时间语境的问题的语言意图,以及对话和视觉场景的共同推理。在本文中,我们提出了跨模态记忆网络(CMN)的记忆和理解丰富的信息相关的历史导航行动。我们的CMN由两个记忆模块组成,语言记忆模块(L-RNN)和视觉记忆模块(V-RNN)。具体而言,L-SVM通过采用多头注意力机制来学习当前语言交互与对话历史之间的潜在关系。V-mem学会将当前视觉视图与有关之前导航操作的跨模态记忆相关联。跨通道记忆通过视觉-语言注意和语言-视觉注意产生。受益于L-RNN和V-RNN的协作学习,我们的CMN能够探索关于当前步骤的历史导航动作的决策的记忆。在CVDN数据集上的实验表明,我们的CMN在可见和不可见环境中的性能都明显优于以前的最先进模型。
2020-03-15 cs.CL cs.CV
Where Should Experience Live? Hierarchical Hebbian Memory for Continual Vision Transformers
The University of Alabama(阿拉巴马大学)
本研究针对视觉Transformer难以在不同时间尺度组织新信息的问题,提出分层赫布记忆架构,在Omniglot、CORe50任务上取得优于基线的识别与关联准确率,验证了其组织在线视觉经验的有效性。
2026-09-02 cs.CV cs.NE
ESCAPE: Episodic Spatial Memory and Adaptive Execution Policy for Long-Horizon Mobile Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));LiAuto Inc.(LiAuto公司)
本文提出ESCAPE框架,通过融合感知-地面-执行流程,解决长周期移动操作中的鲁棒性、空间一致性及执行灵活性问题,在ALFRED基准测试中取得优异成绩。
2026-04-15 cs.CV cs.RO
Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation
Tsinghua University(清华大学)
提出Vision-OPD框架,通过在线策略自蒸馏将模型自身的局部区域感知能力迁移到全局图像策略,提升多模态大语言模型对细粒度视觉理解的准确性。
2026-06-02 cs.AI cs.CL cs.CV
Reversible Vision Transformers
UC Berkeley(加州大学伯克利分校);Meta AI
我们提出了可逆的视觉Transformer,视觉识别的内存效率架构设计。通过将GPU内存需求与模型深度分离,可逆视觉Transformer能够以高效的内存使用率扩展架构。我们适应两个流行的模型,即视觉变压器和多尺度视觉Transformer,可逆的变量和基准广泛跨越两个模型的大小和任务的图像分类,目标检测和视频分类。可逆视觉Transformer在大致相同的模型复杂性、参数和精度下,实现了高达15.5倍的内存占用减少,证明了可逆视觉Transformer作为硬件资源有限的训练机制的有效骨干的前景。最后,我们发现,重新计算激活的额外计算负担对于更深的模型来说是克服不了的,其中吞吐量可以增加到其不可逆对应物的2.3倍。完整的代码和训练模型可在https://github.com/facebookresearch/slowfast上获得。更简单、易于理解和修改的版本也可在https://github.com/karttikeya/minREV上获得
2023-02-09 cs.AI cs.CV
Bridging the Sim2Real Gap: Vision Encoder Pre-Training for Visuomotor Policy Transfer
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院)
本研究提出离线评估框架,通过动作分数和域不变性分数分析23个预训练视觉编码器,发现操作预训练编码器动作分数高、CNN域不变性强,二者互补预测Sim2Real迁移性能。
2025-09-07 cs.CV cs.RO
Inline Memory Meets Reusable Skills: Memory-centric Framework for Vision-Language-Action Model
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室)
针对VLA模型适配低效与灾难性遗忘问题,提出记忆中心框架Optimus-R,通过内联记忆接口、查询-技能记忆库及桥接-适配机制实现数据高效技能学习,实验验证其有效性。
2026-10-01 cs.CV cs.RO
Planning from Imagination: Episodic Simulation and Episodic Memory for Vision-and-Language Navigation
Shanghai Jiao Tong University(上海交通大学)
本文提出一种融合情景模拟与情景记忆的现实-想象混合记忆系统,通过预训练赋予视觉-语言导航智能体想象未来场景高保真RGB图像的能力,从而在SPL指标上达到最先进水平。
2024-12-25 cs.CV cs.LG cs.RO
ViViDex: Learning Vision-based Dexterous Manipulation from Human Videos
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出ViViDex框架,通过强化学习结合轨迹引导奖励训练基于状态的策略,再利用其成功片段训练无需特权信息的统一视觉策略,解决了人类视频中噪声和特权信息依赖的问题,在三个灵巧操作任务上超越现有方法。
2025-03-01 cs.CV cs.LG cs.RO
DAgger Diffusion Navigation: DAgger Boosted Diffusion Policy for Vision-Language Navigation
提出端到端优化的视觉语言导航策略 DifNav,将路径点生成与规划统一为单一条件扩散策略,并结合 DAgger 在线训练与专家轨迹增强,显著提升了导航性能与鲁棒性。
2025-08-13 cs.CV cs.RO
Vision-Language-Action Autonomous Driving Agent with Language-based Memory
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
本文提出AD-Memo,一种基于语言记忆的VLA自动驾驶智能体,通过将记忆作为思维链扩展输出,并采用SFT和半闭环RL算法训练,在全向停车场和一般驾驶场景中提升驾驶质量、问答能力,并提供可移植的记忆。
2026-10-01 cs.CV cs.RO
Active Vision Reinforcement Learning under Limited Visual Observability
Stony Brook University(石溪大学)
针对部分可观测环境下主动视觉强化学习的双策略协调难题,提出SUGARL框架,以可学习的内在感觉运动奖励联合训练运动与感知策略,在多可观测性条件下有效且适配现有RL算法。
2023-11-06 cs.CV cs.LG cs.RO
"Is a picture of a bird a bird": Policy recommendations for dealing with ambiguity in machine vision models
Google Research(谷歌研究院)
本文研究了机器视觉模型图像标注中主观判断引发的歧义问题,指出歧义主要源于图像描绘、标注者背景和任务定义,并基于实证结果提出了处理机器学习数据集标签歧义的最佳实践。
2023-06-27 cs.CV cs.CY cs.HC
MAP-VLA: Memory-Augmented Prompting for Vision-Language-Action Model in Robotic Manipulation
Nanyang Technological University(南洋理工大学);VinUniversity(文大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);South China University of Technology(华南理工大学)
针对预训练视觉-语言-动作(VLA)模型在长程机器人操作任务中因缺乏记忆表现不佳的问题,提出MAP-VLA框架,通过演示衍生的记忆提示增强动作生成,在仿真和真实机器人评估中分别取得7.0%和25.0%的性能提升。
2025-11-12 cs.CV cs.RO
Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation
Nanjing University of Science and Technology(南京理工大学);Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
研究针对主流VLA模型处理长期任务的不足,提出LaMem-VLA框架,通过四个协调组件将历史经验重构为潜记忆令牌并与VLA推理直接交织,实现在同一潜空间处理历史经验,经实验验证该框架具有优越性。
2026-07-09 cs.CV cs.RO
PRPO: Paragraph-level Policy Optimization for Vision-Language Deepfake Detection
Qatar Computing Research Institute, Hamad Bin Khalifa University, Doha, Qatar(卡塔尔计算研究所,哈马德·本·哈利法大学,多哈);New Jersey Institute of Technology, NJ, USA(新泽西理工学院)
本文提出PRPO算法,通过段级相对策略优化提升深度伪造检测的准确性与推理能力,实验显示其在检测准确率和推理评分上均显著优于现有方法。
2026-05-08 cs.CV cs.LG
TinyVLM: Zero-Shot Object Detection on Microcontrollers via Vision-Language Distillation with Matryoshka Embeddings
Independent Researcher(独立研究者)
TinyVLM通过Matryoshka嵌入和视觉-语言蒸馏,在微控制器上实现低内存的零样本目标检测
2026-02-24 cs.AI cs.CV
Vision Hopfield Memory Networks for Image Recognition
Department of Computer Science, University of Oxford(牛津大学计算机科学系);Faculty of Informatics, Vienna University of Technology(维也纳理工大学信息学院)
本文提出了一种受大脑启发的视觉Hopfield记忆网络(V-HMN),通过整合分层记忆机制和迭代细化更新,实现了统一框架下的局部和全局动态建模,提升了可解释性和数据效率。
2026-06-06 cs.AI cs.CV cs.LG
Offline Semantic Guidance for Efficient Vision-Language-Action Policy Distillation
Department of Mechanical Engineering(机械工程系);University College London(伦敦大学学院);Department of Engineering Science(工程科学系);University of Oxford(牛津大学)
本文提出VLA-AD框架,利用视觉-语言模型作为离线语义监督者,将大规模VLA教师模型蒸馏为轻量学生策略,通过高阶语义指导提升效率与鲁棒性。
2026-05-15 cs.AI cs.CV
Human-like working memory signatures emerge from intrinsically plastic artificial neurons for robust dynamic vision
Microelectronics Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州)微电子研究组)
本文提出基于物理的Intrinsic Plasticity Network (IPNet),通过磁隧道结的焦耳加热弛豫动态实现类人工作记忆,显著提升动态视觉任务的效率与精度。
2026-08-04 cs.AI cs.CV cs.ET
MemBodied: Recurrent Associative Memory for Vision-Language-Action Models
Nanyang Technological University(南洋理工大学);Griffin Labs(格里芬实验室);École Centrale de Lyon(里昂中央理工学院)
MemBodied提出固定大小的循环联想记忆,通过关联状态和回合锚点保留历史信息,在RMBench和LIBERO-Long任务上显著提升成功率,且参数开销小。
2026-09-24 cs.AI cs.CV cs.RO
Federated Subspace Guided Vision-Language-Action Policy Distillation for Non-IID Multi-Robot Manipulation
提出FedDRMan联邦子空间引导蒸馏框架,通过低秩多模态子空间蒸馏和基于更新兼容性的聚类聚合,解决非独立同分布多机器人操作中的表征漂移,在LIBERO上以80.7%成功率超越强基线11.6个百分点。
2026-09-29 cs.CV cs.DC cs.LG
UberNet: Training a `Universal' Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory
CentraleSupélec - INRIA(中央高等电力学院 - 法国国家信息与自动化研究所)
在这项工作中,我们介绍了一个卷积神经网络(CNN),它在一个统一的架构中联合处理低,中,高层次的视觉任务,该架构是端到端训练的。这样一个通用的网络可以像一个“瑞士刀”的视觉任务,我们称之为UberNet的架构,以表明其总体性质。我们解决了在扩大单个CNN处理的任务范围时出现的两个主要技术挑战:(i)在依赖于不同训练集的同时训练深度架构,以及(ii)用有限的内存预算训练许多(可能是无限的)任务。正确地解决这两个问题使我们能够训练准确的预测器,而不影响准确性。通过这些进步,我们以端到端的方式训练CNN,其同时解决(a)边界检测(b)正常估计(c)显著性估计(d)语义分割(e)人体部位分割(f)语义边界检测,(g)区域提议生成和目标检测。我们获得了具有竞争力的性能,同时在单个GPU上以每帧0.7秒的速度联合处理所有这些任务。这个系统的演示可以在http://cvn.ecp.fr/ubernet/上找到。
2016-09-07 cs.AI cs.CV cs.LG
Memento 2: Learning by Stateful Reflective Memory
UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心)
Memento 2通过状态化反思记忆机制,实现无需参数更新的持续学习,提升代理在开放任务中的泛化能力。
2026-01-29 cs.AI cs.CV cs.LG
VITA: Vision-to-Action Flow Matching Policy
University of California, Davis(加州大学戴维斯分校);University of California, Berkeley(加州大学伯克利分校)
VITA是一种无噪声、无条件的视觉到动作流匹配策略,通过动作自动编码器和流潜在解码技术,在9个模拟和5个现实任务中实现更快的推理速度和更优的性能。
2026-03-03 cs.AI cs.CV cs.RO
Legged Locomotion in Challenging Terrains using Egocentric Vision
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
动物能够利用视觉精确而敏捷地移动。复制这种能力一直是机器人技术的长期目标。传统的方法是将这个问题分解为高程映射和立足点规划阶段。然而,高程映射易受故障和大噪声伪影的影响,需要专门的硬件,并且在生物学上是不可信的。在本文中,我们提出了第一个端到端的运动系统能够穿越楼梯,路边石,踏脚石,和差距。我们展示了一个中型的四足机器人使用一个单一的前置深度摄像头的结果。机器人的小尺寸需要发现在其他地方看不到的特殊步态模式。自我中心的相机要求策略记住过去的信息,以估计其后脚下的地形。我们在模拟中训练我们的策略。训练有两个阶段-首先,我们使用强化学习和深度图像的廉价计算变体来训练策略,然后在阶段2中,使用监督学习将其提取为使用深度的最终策略。由此产生的政策转移到现实世界中,并能够在机器人的有限的计算实时运行。它可以穿越各种各样的地形,同时对推力,光滑表面和岩石地形等扰动具有鲁棒性。视频在https://vision-locomotion.github.io
2022-11-14 cs.AI cs.CV cs.LG