Video Enriched Retrieval Augmented Generation Using Aligned Video Captions
Snap Inc.(斯纳普公司)
本文提出利用对齐视觉字幕将视频内容整合进RAG聊天系统,以文本形式描述视频视觉和音频信息,减少上下文窗口占用,并支持定制化,同时提供数据集和自动评估方法。
2024-05-27 cs.AI cs.CV cs.IR
TDDN: Text-aligned Diffused DINO Network for Puzzle Understanding
Eightfold AI;Inception42;Indian Institute of Technology Kharagpur(印度理工学院卡哈尔普尔分校)
针对VLM细粒度视觉感知不足,提出融合DINOv3与CleanDIFT并文本对齐的TDDN模型,以少量对齐数据在检索和分割上超越CLIP,并引入Puzzle Perception数据集验证其优势。
2026-10-12 cs.AI cs.CV
REVEAL -- Reasoning and Evaluation of Visual Evidence through Aligned Language
Carnegie Mellon University(卡内基梅隆大学);VIT Bhopal(维捷商学院)
提出REVEAL框架,将图像伪造检测视为提示驱动的视觉推理任务,通过整体场景评估与区域异常检测两种方法,利用视觉-语言模型在跨域数据集上实现检测与推理。
2025-09-08 cs.CV
PaLMR: Towards Faithful Visual Reasoning via Multimodal Process Alignment
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);Data Science & Artificial Intelligence Research Institute, China Unicom(中国unicom数据科学与人工智能研究院);Unicom Data Intelligence, China Unicom(中国unicom数据智能)
提出PaLMR框架,通过感知对齐数据层和过程对齐优化层,减少推理幻觉并提升视觉推理忠实度,在多个基准上取得最优结果。
2026-06-12 cs.AI cs.CV
Bridging Writing Manner Gap in Visual Instruction Tuning by Creating LLM-aligned Instructions
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
该研究针对视觉指令与基础大语言模型间的写作风格差距导致模型能力退化的问题,提出用基础LLM对齐软格式视觉指令的写作风格,生成对齐指令,有效缩小差距并提升基线模型的抗幻觉能力与多基准综合性能。
2025-03-24 cs.AI cs.CL
DAVSP: Safety Alignment for Large Vision-Language Models via Deep Aligned Visual Safety Prompt
针对大型视觉语言模型易受视觉模态恶意查询攻击、现有对齐方法难以兼顾安全性与良性任务效用的问题,提出DAVSP方法,通过可训练视觉安全提示与激活空间深度对齐训练,实现安全对齐并具备跨模型迁移能力。
2025-11-16 cs.CR cs.CV
Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);University of Arizona(亚利桑那大学)
针对KB-VQA现有检索范式忽略实体语义对齐的缺陷,提出首个MLLM嵌入检索器KBMR,结合语义判别器与连续语义蒸馏目标,在Recall@1和VQA准确率上较CLIP基线实现显著提升。
2026-08-25 cs.CV
SeqAlign3DVG: A Sequence-Aligned Benchmark and Voxel Reasoning Framework for 3D Visual Grounding
The Hong Kong Polytechnic University(香港理工大学);Shanghai Jiao Tong University(上海交通大学)
针对现有3D视觉定位基准的文本-观测对齐松散、忽略时间顺序的问题,提出SeqAlign3DVG基准及含ROVM、PLVF的体素推理框架,在无深度协议下实现最优性能,提升复杂关系目标定位效果。
2026-09-01 cs.CV
Aligned Image-Word Representations Improve Inductive Transfer Across Vision-Language Tasks
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Inc.(谷歌公司)
计算机视觉的一个重要目标是构建能够随着时间的推移学习视觉表示的系统,这些系统可以应用于许多任务。在本文中,我们研究了视觉语言嵌入作为核心表示,并表明它比标准的多任务学习更好地实现了跨任务迁移。特别是,视觉识别的任务与视觉问答的任务是一致的,通过强制每个任务使用相同的词区域嵌入。我们表明,这导致更大的感应传输识别VQA比标准的多任务学习。视觉识别也得到了改善,特别是对于识别训练标签相对较少但经常出现在VQA设置中的类别。因此,我们的论文通过展示可解释、灵活和可训练的核心表示的好处,朝着创建更通用的视觉系统迈出了一小步。
2017-10-16 cs.AI cs.CV cs.LG
AdCare-VLM: Towards a Unified and Pre-aligned Latent Representation for Healthcare Video Understanding
University of Georgia(佐治亚大学)
针对慢性病患者服药依从性监测需求,提出基于LLaVA的专用多模态大模型AdCare-VLM,通过预对齐统一视觉潜在空间提升相关VQA性能,在肺结核服药监测任务上效果优于同类基线模型。
2025-11-19 cs.AI cs.CV
A$^2$Safe: Counterfactual Evidence-Aligned Adaptive Agent Collaboration for Safe and Effective Visual Question Answering
Macau University of Science and Technology(澳门科技大学);Wuhan University of Technology(武汉理工大学);Nanjing Institute of Technology(南京工程学院);National Tsing Hua University(国立清华大学)
针对多模态大模型视觉问答中安全决策依赖表面相关性的问题,提出A$^2$Safe框架,通过反事实证据对齐与自适应智能体协作,在安全关键和通用协议下分别达到95.72安全分数和78.34通用分数,显著降低良性拒绝率。
2026-09-22 cs.CV
E-MRL: Cross-view Aligned Evidence-driven Multimodal Reinforcement Learning for Reliable 3D Tumor Analysis
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hupan Lab(华平实验室);Huazhong University of Science and Technology(华中科技大学);East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
提出跨视图对齐的证据驱动多模态强化学习框架E-MRL,通过将生成过程建模为“诊断-定位-验证”的马尔可夫决策过程,并引入跨视图一致性奖励,减少视觉幻觉并提升3D CT肿瘤诊断准确性。
2026-06-24 cs.AI cs.CV eess.IV
MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings
ByteDance Seed(字节跳动种子)
MMCORE通过预训练视觉-语言模型生成语义视觉嵌入,结合扩散模型实现多模态图像生成与编辑,提升生成质量并降低计算开销。
2026-04-21 cs.AI cs.CV cs.LG
Harmonious Parameter Adaptation in Continual Visual Instruction Tuning for Safety-Aligned MLLMs
Hefei University of Technology(合肥工业大学);Tsinghua University(清华大学);University of Amsterdam(阿姆斯特丹大学)
本文研究了在安全对齐的连续视觉指令微调中如何平衡安全性和任务性能,提出了一种名为和谐参数适应(HPA)的后训练框架,通过参数分区、平衡选择和正交调整来缓解遗忘问题。
2026-06-04 cs.CV
PAIQ: Patch-Aligned Semantic Injection via Residual Rotation
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
PAIQ通过正交旋转注入补丁对齐语义,融合DINOv3和SigLIP特征,提升多模态理解正确性并减少幻觉。
2026-10-27 cs.CV
Instruction-Aligned Visual Attention for Mitigating Hallucinations in Large Vision-Language Models
School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);School of Cybersecurity, Northwestern Polytechnical University(西北工业大学网络空间安全学院);Alibaba Group(阿里巴巴集团);Zhejiang University of Technology(浙江工业大学);Binjiang Institute of Artificial Intelligence(滨江人工智能研究院)
针对大视觉语言模型因过度关注无关图像令牌而产生幻觉的问题,提出指令对齐视觉注意力方法,通过双指令注意力对比识别无关令牌,结合对比解码调整logits,在多个基准上优于现有解码技术。
2025-03-24 cs.CL cs.CV
StoryMovie: A Dataset for Semantic Alignment of Visual Stories with Movie Scripts and Subtitles
INESC-ID(INESC-ID研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学技术学院)
StoryMovie通过结合电影剧本和字幕,提升视觉叙事模型的语义对齐能力,使对话归属更准确。
2026-02-25 cs.AI cs.CV
VLIC: Vision-Language Models As Perceptual Judges for Human-Aligned Image Compression
Stanford University(斯坦福大学);Google Research(谷歌研究);Google DeepMind(谷歌DeepMind)
VLIC利用视觉-语言模型进行图像压缩,通过零样本推理实现人类感知对齐,提升压缩性能。
2025-12-17 cs.CV
Interpretable Zero-Shot Learning with Locally-Aligned Vision-Language Model
Mohamed bin Zayed University of AI(莫扎伊德大学人工智能学院);Huazhong University of Science and Technology(华中科技大学);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学)
提出LaZSL,一种基于最优传输的局部对齐视觉-语言模型,通过视觉区域与属性的交互实现无需额外训练的可解释零样本学习,提升准确性与泛化能力。
2025-06-30 cs.CV
Vision-aligned Latent Reasoning for Multi-modal Large Language Model
Byungwoo Jeon;Yoonwoo Jeong;Hyunseok Lee;Minsu Cho;Jinwoo Shin
本文提出视觉对齐潜在推理框架,通过动态生成视觉对齐的潜在标记,提升多模态大语言模型在长上下文理解和精确视觉感知任务中的表现。
2026-05-12 cs.CV
TextRegion: Text-Aligned Region Tokens from Frozen Image-Text Models
Siebel School of Computing and Data Science(塞比尔计算与数据科学学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出无需训练的TextRegion框架,结合图像-文本模型与SAM2分割模型生成文本对齐区域令牌,在开放世界语义分割、指代表达理解等任务上取得优越性能。
2025-11-06 cs.CV
Sightation Counts: Leveraging Sighted User Feedback in Building a BLV-aligned Dataset of Diagram Descriptions
KAIST AI(韩国科学技术院人工智能学院);Sungkyunkwan University(成均馆大学);Yonsei University(延世大学)
本文提出让有视力用户评估多轮推理 VLM 生成的图表描述,并发布涵盖 5k 图表、137k 样本的 Sightation 数据集,支持多种训练与下游微调。
2025-03-17 cs.AI cs.CV cs.HC
Through Their Eyes: Fixation-aligned Tuning for Personalized User Emulation
Singapore University of Technology and Design(新加坡科技设计大学);Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
本文提出FixATE方法,通过将视觉语言模型的视觉注意力与用户特定的注视模式对齐,提升推荐系统模拟的准确性,实验表明这种对齐能有效提高点击预测性能。
2026-04-10 cs.CV cs.MM
M^2ConceptBase: A Fine-Grained Aligned Concept-Centric Multimodal Knowledge Base
Fudan University(复旦大学);Soochow University(苏州大学);Zhejiang Lab(之江实验室)
本文提出首个以概念为中心的多模态知识库M^2ConceptBase,通过上下文感知符号接地实现概念-图像与描述对齐,提升多模态模型细粒度概念理解及VQA性能。
2025-01-24 cs.AI
WaveMind: Towards a Conversational EEG Foundation Model Aligned to Textual and Visual Modalities
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对EEG配对数据模态错配阻碍跨模态学习的问题,研究提出将EEG与对应模态映射到统一语义空间,并构建首个跨任务EEG指令微调数据集WaveMind-Instruct-338k,开发的WaveMind模型兼具高分类准确率与多任务对话能力。
2025-09-26 cs.AI cs.CL cs.LG
Fine-Grained Semantically Aligned Vision-Language Pre-Training
Zhejiang University(浙江大学);Huawei Cloud(华为云)
大规模的视觉语言预训练在广泛的下游任务中显示出令人印象深刻的进步。现有的方法主要是通过图像和文本的全局表示的相似性或对图像和文本特征的高级跨模态注意来建模跨模态对齐。然而,他们无法明确地学习视觉区域和文本短语之间的细粒度语义对齐,因为只有全局图文对齐信息可用。在本文中,我们介绍了LOUPE,一个细粒度的语义对齐语言PrE训练框架,学习细粒度的语义对齐从博弈论的互动的新视角。为了有效地计算博弈论交互,我们进一步提出了一个不确定性感知的神经Shapley交互学习模块。实验表明,LOUPE实现了各种视觉语言任务的最先进的性能。此外,在没有任何对象级人工注释和微调的情况下,LOUPE在目标检测和视觉基础上实现了具有竞争力的性能。更重要的是,LOUPE开辟了一个新的有前途的方向学习细粒度语义从大规模的原始图像-文本对。本作品的知识库在https://github.com/YYJMJC/LOUPE。
2022-09-19 cs.CV
Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning
University of California, Santa Barbara(加州大学圣巴巴拉分校)
视频描述的主要挑战是结合音频和视觉提示。现有的多模态融合方法在视频理解中取得了令人鼓舞的结果。然而,在不同粒度的多模态的时间结构很少探索,如何选择性地融合在不同层次的细节的多模态表示仍然是未知的。在本文中,我们提出了一种新的层次对齐的跨模态注意力(HACA)框架学习和选择性地融合不同模态的全局和局部时间动态。此外,我们首次验证了深度音频特征在视频描述任务上的优越性能。最后,我们的HACA模型显著优于以前的最佳系统,并在广泛使用的MSR-VTT数据集上取得了新的最先进的结果。
2018-04-15 cs.AI cs.CL cs.CV
FinCap: Topic-Aligned Captions for Short-Form Financial YouTube Videos
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
本文构建 FinCap 数据集,系统评估 MLLM 在金融短视频主题对齐字幕生成中的七种模态组合,发现单视频及选择性双模态常优于全模态。
2025-09-30 cs.CL cs.CV cs.MM
Personalized Cross-Modal Emotional Correlation Learning for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology(广东工业大学);South China University of Technology(华南理工大学);Peking University(北京大学);Sun Yat-Sen University(中山大学)
本文提出PCMECL算法,通过个性化提示和特征差分提升跨模态对齐,解决面部表情操控中情感操控的监督问题。
2026-04-28 cs.CV
From Consistency to Complementarity: Aligned and Disentangled Multi-modal Learning for Time Series Understanding and Reasoning
The Hong Kong University of Science(香港科学与技术大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
MADI通过细粒度对齐和解缠交互提升多模态时间序列理解和推理能力,实现更精确的数值-视觉模态整合。
2026-02-04 cs.AI cs.CL cs.CV
From EduVisBench to EduVisAgent: A Benchmark and Multi-Agent Framework for Reasoning-Driven Pedagogical Visualization
UNC-Chapel Hill(北卡罗来纳大学教堂山分校);University of Chicago(芝加哥大学);Rutgers University(罗格斯大学)
本文提出多领域多层次基准EduVisBench评估基础模型的教学视觉推理能力,并设计多智能体协作框架EduVisAgent,通过协调专门智能体进行推理分解与可视化设计,显著提升了生成教育一致性可视化的效果。
2025-05-27 cs.AI cs.CL cs.CV
Scene Graph Thinking: Reinforcing Structured Visual Reasoning for Multimodal Large Language Models
Fudan University(复旦大学)
针对多模态大语言模型忽视结构化关系的问题,提出场景图思维(SaGe)范式,通过自动数据引擎转换数据、构建训练数据,采用两阶段图对齐训练范式,在多模态基准测试中取得显著改进,提升细粒度感知和推理能力。
2026-07-14 cs.CV
Aligning Audio-Visual Joint Representations with an Agentic Workflow
Carnegie Mellon University(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Alibaba Group(阿里巴巴集团)
针对视听数据非严格对齐限制表征质量的问题,提出由LLM驱动的AVAgent智能体工作流,通过工具使用、规划、反思循环对齐音视频数据,提升视听联合表征效果,在多下游任务达SOTA性能。
2024-10-31 cs.AI cs.CV cs.LG
PISCES: Annotation-free Text-to-Video Post-Training via Optimal Transport-Aligned Rewards
Microsoft(微软);Stony Brook University(石溪大学)
提出PISCES算法,通过双重最优传输对齐奖励模块,无需人工标注即可提升文本生成视频的质量和语义对齐,在VBench上超越现有方法。
2026-06-23 cs.CV
PaLM2-VAdapter: Progressively Aligned Language Model Makes a Strong Vision-language Adapter
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
提出PaLM2-VAdapter,采用渐进对齐的语言模型作为视觉-语言适配器,有效连接冻结视觉编码器与LLMs,在VQA和图像描述任务上以更少参数实现最先进的视觉理解与多模态推理能力。
2024-06-01 cs.CV
When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models
该研究探究对齐视觉语言模型中安全诱导弃权的内部解码动态,发现安全对齐未抑制感知接地,抑制拒绝相关表征可恢复接地回答,揭示了其一种新的失败模式。
2026-08-20 cs.CL cs.CV
Latent-Aligned Reasoning for Multimodal Recommendation
Xiaohongshu Inc.(小红书公司);Nanjing University(南京大学)
针对多模态推荐中跨模态稀释问题,提出含互补对齐机制的两阶段隐式推理框架LARK,在多数据集上实现多种推荐架构的SOTA性能,各组件贡献经消融实验验证。
2026-09-07 cs.CL cs.CV cs.IR
Pixel Aligned Language Models
Google Research(谷歌研究院);UC San Diego(加州大学圣地亚哥分校)
针对大语言模型难以处理视觉定位任务的问题,提出像素对齐语言模型,支持位置输入输出,在多位置感知视觉任务上取得SOTA性能。
2023-12-14 cs.CV
Vision-driven Preference Synthesis for Mitigating Hallucinations in VLMs
提出ViPSy框架,通过视觉线索构建策略对齐且视觉 grounded 的偏好数据,显著降低VLM幻觉率,在AMBER和Object HalBench上分别降低35.7%和24.5%,并提升通用视觉基准性能。
2026-06-24 cs.CV cs.LG
CalliReader: Contextualizing Chinese Calligraphy via an Embedding-Aligned Vision-Language Model
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机技术研究院)
CalliReader通过字符级切片、视觉-文本对齐和嵌入指令微调,解决中文书法的上下文识别问题,实现比现有方法和专业书法家更高的准确性与更低的幻觉率。
2025-03-12 cs.CV cs.MM
OVIS: Open-Vocabulary Visual Instance Search via Visual-Semantic Aligned Representation Learning
University at Buffalo(布法罗大学);Microsoft(微软公司)
我们介绍了开放词汇可视化实例搜索(OVIS)的任务。给定任意文本搜索查询,开放词汇视觉实例搜索(OVIS)旨在返回视觉实例的排名列表,即,图像块,其满足来自图像数据库的搜索意图。术语“开放词汇表”意味着既不存在对要搜索的可视实例的限制,也不存在对可用于组成文本搜索查询的词的限制。我们建议通过视觉语义对齐的表示学习(ViSA)来解决这样的搜索挑战。ViSA利用大量图像-标题对作为弱图像级(而不是实例级)监督来学习丰富的跨模态语义空间,其中视觉实例(而不是图像)的表示和文本查询的表示对齐,从而使我们能够测量任何视觉实例和任意文本查询之间的相似性。为了评估ViSA的性能,我们构建了两个名为OVIS 40和OVIS 1600的数据集,并引入了一个用于错误分析的管道。通过对这两个数据集的广泛实验,我们证明了ViSA在训练过程中无法搜索图像中的视觉实例的能力,因为它提供了广泛的文本查询,包括由不常用词组成的文本查询。实验结果表明,在最具挑战性的设置下,ViSA在OVIS 40上实现了21.9%的mAP@50,在OVIS 1600数据集上实现了14.9%的mAP@6。
2021-08-08 cs.AI cs.CV
CogVLA: Cognition-Aligned Vision-Language-Action Model via Instruction-Driven Routing & Sparsification
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳校区计算机科学与技术学院)
提出CogVLA框架,通过指令驱动路由和稀疏化机制,在LIBERO基准和真实机器人任务上以2.5倍训练成本降低和2.8倍推理延迟降低实现97.4%和70.0%的成功率。
2026-05-27 cs.CV cs.RO
Feynman: Knowledge-Infused Diagramming Agent for Scalable Visual Designs
Carnegie Mellon University(卡内基梅隆大学)
本文提出Feynman代理,通过知识组件枚举和代码规划生成高质量图表-描述对,构建了可扩展的图表生成流水线,并创建了视觉语言基准Diagramma。
2026-03-13 cs.AI cs.HC cs.LG
SemanticControl: A Training-Free Approach for Handling Loosely Aligned Visual Conditions in ControlNet
Department of Computer Science and Engineering(计算机科学与工程系);Korea University(韩国大学);Electrical and Computer Engineering(电气与计算机工程系);University of Michigan(密歇根大学)
针对 ControlNet 难以利用与文本提示松散对齐的视觉条件的问题,本文提出无需训练的 SemanticControl 方法,通过辅助去噪过程提取注意力掩码来自适应抑制冲突的视觉条件并强化文本引导,在多种条件下优于现有基线。
2025-09-26 cs.AI cs.CV
Evidence-Aligned Multimodal On-Policy Self-Distillation for Fine-Grained Visual Understanding
Beihang University(北京航空航天大学);University of the Chinese Academy of Sciences(中国科学院大学)
针对细粒度视觉理解,提出证据对齐的多模态在线自蒸馏(EAD),通过构建证据参考加权教师修正,仅用6%监督质量超越现有方法。
2026-09-29 cs.AI cs.CV
Bridging the Visual-to-Physical Gap: Physically Aligned Representations for Fall Risk Analysis
本文提出PHARL方法,通过物理对齐约束学习具有物理意义的跌倒表示,无需临床结果标签,提升风险对齐表示质量并保持良好跌倒检测性能,同时展现零样本序数性。
2026-03-12 cs.AI cs.CV
LAViTeR: Learning Aligned Visual and Textual Representations Assisted by Image and Caption Generation
University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
本文提出LAViTeR架构,通过视觉文本对齐模块并辅以GAN图像合成和图像描述生成任务,学习对齐的视觉与文本表示,并在CUB和MS-COCO上验证了其优越的对齐效果。
2024-10-01 cs.AI cs.CL cs.CV
Self-supervised video pretraining yields robust and more human-aligned visual representations
Google DeepMind(谷歌DeepMind)
提出 VITO 自监督视频预训练框架,通过视频整理与对比学习获得跨图像和视频任务、鲁棒且更符合人类判断的统一视觉表征。
2025-01-10 cs.AI cs.CV cs.LG
Visually Aligned Word Embeddings for Improving Zero-shot Learning
零样本学习(Zero-shot learning,简称ZRL)高度依赖于一个良好的语义嵌入来连接可见类和不可见类。最近,从大型文本语料库中预训练的分布式词嵌入(DWE)已成为绘制这种连接的流行选择。与人类定义的属性相比,DWE具有更好的可扩展性和更容易获得。然而,它们被设计为反映语义相似性而不是视觉相似性,因此在CNOL中使用它们通常会导致较差的性能。为了克服这种视觉语义差异,这项工作提出了一个目标函数,通过学习神经网络将其映射到一个新的表示,称为视觉对齐的词嵌入(VAWE)的视觉信息重新对齐的分布式词嵌入。因此,VAWE的邻域结构变得类似于视觉域中的邻域结构。请注意,在这项工作中,我们没有设计一个将视觉特征和语义嵌入投影到共享空间上的方法,而只是对映射的词嵌入的结构提出了要求。该策略允许学习的VAWE推广到各种可编程语言方法和视觉特征。在四个基准数据集上通过四种最先进的VAWE方法进行评估,VAWE表现出一致的性能改善。
2017-07-18 cs.CV
Event-Aligned Visual Action Reasoning for World Action Models
Northeastern University(东北大学)
本文提出事件对齐的视觉动作推理框架,通过围绕交互事件组织视觉预测并引入执行有效性头,显著提升世界动作模型的动作生成性能,在DOMINO和RoboTwin基准上验证了有效性。
2026-10-08 cs.CV cs.RO
Align, Then Adapt: Few-Shot fMRI Visual Reconstruction For New Subjects
Department of Computer Science, University of California, Santa Barbara, USA(计算机科学系,加州大学圣芭芭拉分校)
本文提出一种基于fMRI的视觉重建方法,利用与受试者无关的公共表示空间对齐脑信号,通过将轻量级模块对齐到参考受试者实现高效训练,在低数据场景表现优异,且公共空间具有跨受试者和数据集的泛化性。
2026-10-27 cs.CV cs.LG eess.IV
Human-Aligned Image Models Improve Visual Decoding from the Brain
KTH Royal Institute of Technology, Stockholm, Sweden(皇家理工学院);Department of Information Technology, Uppsala University, Uppsala, Sweden(信息科技系)
本文提出利用人类对齐图像编码器将脑信号映射到图像,以更好捕捉快速视觉刺激的感知属性,实验表明其图像检索准确率较现有方法最高提升21%。
2025-06-10 cs.CV cs.LG
NOVA3R: Non-pixel-aligned Visual Transformer for Amodal 3D Reconstruction
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
NOVA3R通过非像素对齐的视觉变换器实现更准确的3D重建,解决了传统像素对齐方法在处理可见和不可见点及重叠区域结构上的局限。
2026-03-05 cs.CV
Predicting upcoming visual features during eye movements yields scene representations aligned with human visual cortex
Institute of Cognitive Science(认知科学研究所);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心);Lossfunk
本研究提出Glimpse Prediction Networks(GPNs)自监督预测眼动中下一瞥的嵌入,成功提取场景共现与空间结构,其表征与人脑视觉皮层fMRI响应高度对齐,为脑对齐场景表征提供生物合理路径。
2026-09-10 cs.CV q-bio.NC