VERSE: Visual Embedding Reduction and Space Exploration. Clustering-Guided Insights for Training Data Enhancement in Visually-Rich Document Understanding
Institute for Research in Technology, ICAI School of Engineering, Comillas Pontifical University(技术研究所、ICAI工程学院、科利马斯天主教大学)
VERSE通过探索视觉嵌入空间,提升视觉丰富文档理解的训练数据增强效果,使本地模型性能达到或超越SaaS解决方案。
2026-01-08 cs.AI cs.CV
Evaluating Multimodal Language Models as Visual Assistants for Visually Impaired Users
University of Copenhagen(哥本哈根大学);Heriot-Watt University(赫瑞瓦特大学)
本研究通过用户调查和五项任务评估十二个多模态大语言模型,发现其在文化、多语言、盲文识别及防幻觉方面存在局限,为无障碍视觉辅助技术发展指明方向。
2025-03-28 cs.AI cs.CL cs.CY
Image-based Prompt Injection: Hijacking Multimodal LLMs through Visually Embedded Adversarial Instructions
Northern Arizona University(北亚利桑那大学)
研究提出基于图像的提示注入攻击方法,通过视觉嵌入对抗性指令,成功操控多模态大语言模型输出,揭示了该攻击的有效性和潜在威胁。
2026-03-04 cs.AI cs.CR cs.CV
ChartAgent: A Multimodal Agent for Visually Grounded Reasoning in Complex Chart Question Answering
J.P. Morgan AI Research(摩根大通人工智能研究)
提出ChartAgent框架,通过迭代分解查询为视觉子任务并利用图表专用视觉工具(如绘制注释、裁剪区域)进行空间域推理,在ChartBench和ChartX上取得最先进性能,尤其对无标注图表提升显著。
2026-06-08 cs.AI cs.CE cs.CL
Perceiving Beyond Language Priors: Enhancing Visual Comprehension and Attention in Multimodal Models
AppliedML, Cerebras(应用机器学习,Cerebras)
本文研究多模态大语言模型过度依赖语言先验而忽视视觉输入的问题,提出增强视觉理解并引导语言生成的技术,在视觉依赖token预测和视觉挑战性任务上取得显著提升。
2025-07-02 cs.AI cs.CV
More Robots are Coming: Large Multimodal Models (ChatGPT) can Solve Visually Diverse Images of Parsons Problems
Temple University(天普大学)
本研究评估GPT-4V与Bard两种大语言模型解决多视觉形式帕森斯问题的能力,发现前者准确率达96.7%、后者仅69.2%,表明仅靠视觉编程题无法完全防范生成式AI带来的学术诚信问题。
2023-11-03 cs.AI cs.CL
PromptMoE: Generalizable Zero-Shot Anomaly Detection via Visually-Guided Prompt Mixtures
PromptMoE通过视觉引导的提示混合方法,实现了通用零样本异常检测,提升了模型对未见异常的泛化能力。
2025-11-22 cs.CV
Semantic visually-guided acoustic highlighting with large vision-language models
University of Rochester(罗切斯特大学)
本文提出利用大型视觉-语言模型提取视觉-语义特征,以提升音频混音质量,发现摄像机焦点、语气和场景背景对感知混音质量提升最显著。
2026-01-12 cs.AI cs.SD eess.AS
See It, Say It, Sorted: An Iterative Training-Free Framework for Visually-Grounded Multimodal Reasoning in LVLMs
Southeast University(东南大学);University of Oxford(牛津大学);AIIA, Ministry of Education, China(教育部人工智能研究院,中国)
本文提出无需训练的迭代框架,通过视觉证据监督推理步骤,减少多模态推理中的幻觉问题,提升推理准确性。
2026-03-07 cs.CV
Leveraging Entity Information for Cross-Modality Correlation Learning: The Entity-Guided Multimodal Summarization
University of Science and Technology of China(中国科学技术大学)
本文提出实体引导多模态摘要模型EGMS,通过双编码器融合文本-图像与实体-图像信息,结合门控机制和知识蒸馏,在MSMO任务上验证了引入实体信息的有效性。
2024-08-06 cs.CL cs.CV
DriftAD: Visually-Guided Text Drift for Few-Shot Industrial Anomaly Detection
Nanyang Technological University(南洋理工大学);Huazhong University of Science and Technology(华中科技大学)
针对现有小样本工业异常检测方法无法捕捉缺陷局部性与尺度依赖性的问题,提出含ASA、VGTD、DGSG模块及对应损失的DriftAD框架,在MVTec-AD和VisA数据集的1/2/4次设置下取得最优性能。
2026-08-26 cs.CV
ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP
Khalifa University(卡利法大学);University of Western Australia(西澳大学);The Chinese University of Hong Kong(香港中文大学);University of Melbourne(墨尔本大学);University of Central Florida(佛罗里达中央大学)
提出ReasonCLIP-58M框架,通过两阶段策略将大规模推理监督集成到CLIP模型中,构建ReasonLite-42M和ReasonPro-16M数据集及RCLIP-Bench基准,提升视觉基础常识推理和零样本检索性能。
2026-06-26 cs.AI cs.CV
Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
人类通过听、说、写、读以及与多模态现实世界的互动来学习语言。现有的语言预训练框架显示了纯文本自我监督的有效性,而我们在本文中探索了视觉监督语言模型的想法。我们发现阻碍这一探索的主要原因是视觉语言数据集和纯语言语料库之间在数量和分布上的巨大差异。因此,我们开发了一种名为“vokenization”的技术,通过将语言标记映射到其相关图像(我们称之为“vokens”),将多模态对齐外推到仅语言数据。“vokenizer”是在相对较小的图像描述数据集上训练的,然后我们将其应用于为大型语言语料库生成vokens。使用这些上下文生成的voken进行训练,我们的视觉监督语言模型在多个纯语言任务(如GLUE,SQuAD和SWAG)上显示出比自监督替代方案一致的改进。代码和预训练模型可在https://github.com/airsplay/vokenization上公开获取
2020-10-14 cs.AI cs.CL cs.CV
Expert-Guided Multimodal Fusion for Unified Emotion and Sentiment Analysis
School of Software, Dalian University of Technology, China(软件学院,大连理工大学,中国)
本文提出EGMF框架,通过专家引导的多模态融合与大语言模型结合,实现情绪识别与情感分析的统一处理,提升跨语言鲁棒性。
2026-08-11 cs.AI cs.CL
Token Activation Map to Visually Explain Multimodal LLMs
The Hong Kong University of Science and Technology(香港科技大学)
针对多模态LLMs生成token时上下文冗余干扰解释的问题,提出基于因果推断与rank Gaussian filter的Token Activation Map(TAM)方法,实现高质量多token可视化解释,显著优于SoTA方法并适用于多种场景。
2025-06-29 cs.AI cs.CV cs.LG
SemHiTok: A Unified Image Tokenizer via Semantic-Guided Hierarchical Codebook for Multimodal Understanding and Generation
Sun Yat-sen University(中山大学);Huawei Noah’s Ark Lab(华为诺亚实验室);University of Hong Kong(香港大学);South China University of Technology(华南理工大学)
SemHiTok通过语义引导的层次代码本实现统一图像分词器,提升多模态理解和生成性能。
2026-02-28 cs.AI cs.CV
iParaphrasing: Extracting Visually Grounded Paraphrases via an Image
Institute for Datability Science, Osaka University(大阪大学数据能力科学研究所);CyberAgent, Inc.(CyberAgent公司)
释义是用其他词语重述课文的意思。人们已经研究了释义以增强许多自然语言处理任务的性能。在本文中,我们提出了一个新的任务iParaphrasing提取视觉接地释义(VGP),这是不同的短语表达描述同一个视觉概念的图像。这些提取的VGP具有改善语言和图像多模态任务的潜力,例如视觉问答和图像描述。如何对VGP之间的相似性进行建模是iParaphrasing的关键。我们采用各种现有的方法,以及提出了一种新的神经网络为基础的方法与图像的注意,并报告的结果,第一次尝试对iParaphrasing。
2018-06-12 cs.AI cs.CL cs.CV
SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias
针对CLIP等视觉语言模型存在的多模态伪相关偏差问题,本文提出无需训练微调的SAGE提示探索方法,通过选择最优提示提升模型鲁棒性,在多基准实验中性能优于现有零样本方法。
2025-11-17 cs.AI cs.CV
SiGMA: Sign-Guided Merging and Adaptation for Multimodal Continual Instruction Tuning
Seoul National University(首尔国立大学)
研究多模态持续指令微调中存在的问题,提出SiGMA框架,通过训练时符号引导自适应调优、推理时符号引导合并减轻负面干扰,在相关基准实验中显著减少干扰且性能优于现有方法。
2026-07-24 cs.AI
EEG-VLM: A Hierarchical Vision-Language Model with Multi-Level Feature Alignment and Visually Enhanced Language-Guided Reasoning for EEG Image-Based Sleep Stage Prediction
School of Electronic and Electrical Engineering, Shanghai University of Engineering Science(上海工程技术大学电子与电气工程学院);Department of Control Science and Engineering, College of Electronics and Information Engineering, Tongji University(同济大学电子信息工程学院控制科学与工程系);Tencent Youtu Lab(腾讯云视觉实验室);Case Western Reserve University(凯斯西储大学)
EEG-VLM通过多级特征对齐和视觉增强语言引导推理,提升基于EEG图像的睡眠阶段分类的准确性和可解释性。
2025-11-24 cs.AI
Evaluating the Efficacy of Prompt-Engineered Large Multimodal Models Versus Fine-Tuned Vision Transformers in Image-Based Security Applications
Electrical and Computer Engineering(电气与计算机工程)
该研究对比了提示工程优化的大多模态模型与微调视觉Transformer在两类图像安全任务中的表现,明确了两类模型各自的优劣势,证实微调ViT在精准安全任务中效能更优。
2024-06-10 cs.AI cs.CR cs.CV
Entropy-Guided Data-Efficient Training for Multimodal Reasoning Reward Models
School of Software, Tsinghua University(清华大学软件学院);AMAP, Alibaba Group(阿里巴巴集团AMAP)
本文提出熵引导训练方法,通过熵指导数据筛选和训练策略提升多模态推理奖励模型的性能。
2026-02-02 cs.AI cs.LG
K-Gen: A Multimodal Language-Conditioned Approach for Interpretable Keypoint-Guided Trajectory Generation
Harbin Institute of Technology Chongqing Research Inst. of HIT(哈尔滨工业大学重庆研究院);Changan Automobile Co., Ltd Chongqing, China(长安汽车有限公司重庆)
K-Gen通过多模态语言模型结合关键点引导方法,提升自动驾驶轨迹生成的可解释性和准确性。
2026-03-05 cs.AI
DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
City University of Hong Kong(香港城市大学);Adobe Research(Adobe研究院)
DuetSVG通过端到端生成图像和SVG标记,结合内部视觉引导提升SVG生成质量,实现视觉忠实与语义一致的统一多模态生成。
2025-12-11 cs.CV
Reasoning Guided Embeddings: Leveraging MLLM Reasoning for Improved Multimodal Retrieval
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);Sensetime Research(商汤科技研究院);Beijing Institute of Technology(北京理工大学);Shanghai AI Lab(上海人工智能实验室)
本文提出基于推理的嵌入方法,利用多模态大语言模型的推理能力提升多模态检索性能。
2025-11-20 cs.CV
HANIA: Planner-Guided Multimodal Graph Evidence Selection for Grounded Question Answering
Southeast University(东南大学);Portland Institute(波特兰研究所);Aristotle University of Thessaloniki(亚里士多德大学);Shandong University(山东大学)
本文提出HANIA框架,通过规划器引导的多模态图证据选择处理ScienceQA问答任务,无需目标数据集微调或迭代检索即可实现具竞争力的多模态问答。
2026-09-24 cs.AI
A Multi-Granularity Retrieval Framework for Visually-Rich Documents
DP Technology(DP技术);School of Intelligent Systems Engineering, Sun Yat-Sen University, Shenzhen, China(中山大学智能系统工程学院,深圳,中国)
本文针对富视觉文档检索提出统一的多粒度多模态框架,融合分层编码、模态感知检索和 VLM 候选过滤,无需微调即在 MMDocIR 和 M2KR 上取得 65.56 的最高分。
2025-05-06 cs.CV cs.IR
DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models
研究针对多模态大语言模型的问题,提出双指标引导对比对齐方法(DICA),通过跟踪视觉注意力熵和输出图像相关性两个指标,根据异常情况触发对比对齐,实验证明该方法能提升模型可靠性,优于现有方法。
2026-07-28 cs.AI
Beyond Where to Look: Trajectory-Guided Reinforcement Learning for Multimodal RLVR
University of Science and Technology of China(中国科学技术大学);Pecking University(北京大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文提出轨迹引导强化学习(TGRL),通过专家推理轨迹引导策略模型整合视觉证据进行精细推理,提升多模态推理性能,弥合视觉感知与逻辑推理间的差距。
2026-03-27 cs.CV
FlowMM: Cross-Modal Information Flow Guided KV Cache Merging for Efficient Multimodal Context Inference
Zhejiang University(浙江大学);Huazhong Agricultural University(华中农业大学);Alibaba(阿里巴巴)
针对多模态场景下现有KV缓存合并方法受模态分布与注意力偏差限制效果不佳的问题,提出FlowMM框架,通过跨模态信息流引导的分层合并策略与敏感度自适应token匹配机制,在大幅降低KV缓存内存占用与解码延迟的同时保持模型任务性能。
2025-11-13 cs.CL
MoCA: Incorporating Multi-stage Domain Pretraining and Cross-guided Multimodal Attention for Textbook Question Answering
教科书问答(TQA)是一个复杂的多模态任务,以推断答案给定的大型上下文描述和丰富的图表。与可视化问答(VQA)相比,TQA包含了大量的非常用术语和各种图表输入。这对语言模型的跨领域表示能力提出了新的挑战。它也将多模态融合推向了一个更复杂的层次。为了解决上述问题,我们提出了一种名为MoCA的新模型,它结合了多阶段领域预训练和多模态交叉注意的TQA任务。首先,我们引入了一个多阶段的领域预训练模块进行无监督的后预训练与跨度掩模策略和监督预微调。特别是领域后预训练,我们提出了一个启发式生成算法,采用术语语料库。其次,为了充分考虑上下文和图表的丰富输入,我们提出了交叉引导的多模态注意,以更新文本,问题图和教学图的特征的基础上的渐进策略。此外,采用双选通机制来改善模型集成。实验结果表明,我们的模型的优越性,它优于国家的最先进的方法分别为2.21%和2.43%的验证和测试分裂。
2021-12-06 cs.AI cs.MM
ReFrame: Evidence-Guided Test-Time Safety Alignment in Multimodal Large Language Models
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院);State Key Laboratory of Complex & Critical Software Environment(复杂与关键软件环境国家重点实验室);School of Computer Science, Wuhan University(武汉大学计算机学院)
该研究针对现有多模态安全对齐方法不适用于闭源模型的问题,提出无需训练的ReFrame框架,通过两个智能体协作实现测试时安全对齐,在提升安全性能的同时保留多模态效用。
2026-08-24 cs.AI
MGDT: MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts for Multimodal Knowledge Graph Completion
Beijing University of Posts and Telecommunications(北京邮电大学);Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学);Communication University of China(中国传媒大学)
研究多模态知识图谱补全问题,提出MGDT框架,先通过RASR-MoE模块选路径、抑干扰,再用MLLM对齐表示,最后KGDT去噪生成,实验证明该框架在三个基准数据集上性能优于基线。
2026-07-20 cs.AI
DynaBridge: Dynamic Summary-Guided Cross-Task Multimodal Fusion for DASS-Structured Mental Health Assessment
研究针对心理健康评估中通用融合模型忽略问卷标签心理测量结构的问题,提出DynaBridge框架,通过编码多模态线索并结合语义摘要进行评估,在官方验证分割上优于基线和其他方法,展现了多模态融合与心理测量结构结合的价值。
2026-07-29 cs.AI cs.LG cs.MM
Vision-Guided Chunking Is All You Need: Enhancing RAG with Multimodal Document Understanding
针对传统文本分块在复杂文档结构上的不足,提出利用大型多模态模型进行视觉引导的文档分块方法,通过跨批次上下文保留准确处理多页表格等元素,显著提升了分块质量与下游RAG性能。
2025-07-13 cs.AI cs.IR cs.LG
Rationale-Guided Learning for Multimodal Emotion Recognition
针对多模态情感识别忽略人类因果推理的问题,提出理由引导学习框架,结合双加工理论与MLLM生成的理由训练模型,在IEMOCAP和MELD基准取得最优性能,且推理无额外开销。
2026-08-19 cs.AI
V*: Guided Visual Search as a Core Mechanism in Multimodal LLMs
UC San Diego(加州大学圣迭戈分校);New York University(纽约大学)
针对多模态大语言模型缺乏视觉搜索机制的问题,提出V*引导式视觉搜索机制及SEAL架构,并构建V*Bench基准,以增强高分辨率图像中视觉细节的聚焦能力。
2023-12-26 cs.CV
Reading Books is Great, But Not if You Are Driving! Visually Grounded Reasoning about Defeasible Commonsense Norms
Seoul National University(首尔大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Yonsei University(延世大学);University of Washington(华盛顿大学)
针对视觉情境下可废止常识规范推理的挑战,构建NORMLENS基准并发现现有模型与人类判断对齐不足,提出从大语言模型提炼社会常识知识以改进对齐。
2023-11-11 cs.AI cs.LG
Visual-Guided Key-Token Regularization for Multimodal Large Language Model Unlearning
The University of Melbourne(墨尔本大学);Google Research(谷歌研究);Hong Kong Baptist University(香港 Baptist 大学)
本文提出视觉引导的关键标记正则化方法,用于多模态大语言模型的去敏,通过信息熵定义关键标记并利用梯度重新加权提升去敏效果,实验表明能有效减少遗忘并保持响应一致性。
2026-01-29 cs.CV cs.LG
XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document Understanding
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
最近,各种多模态网络的视觉丰富的文档理解(VRDU)已被提出,显示促进Transformers集成视觉和布局信息与文本嵌入。然而,大多数现有的方法利用位置嵌入来合并序列信息,忽略了由OCR工具获得的噪声不正确的读取顺序。在本文中,我们提出了一个强大的布局感知多模态网络名为XYLayoutLM捕获和利用丰富的布局信息,从我们的增强XY切割产生的正确的阅读顺序。此外,一个扩展的条件位置编码模块被提出来处理输入序列的可变长度,它另外提取本地布局信息的文本和视觉模态,同时生成位置嵌入。实验结果表明,XYLayoutLM在文档理解任务上取得了较好的效果.
2022-03-15 cs.CL cs.CV
3MVRD: Multimodal Multi-task Multi-teacher Visually-Rich Form Document Understanding
The University of Sydney(悉尼大学);The University of Melbourne(墨尔本大学);Politecnico di Torino(都灵理工大学)
本文提出3MVRD,一种多模态多任务多教师联合粒度知识蒸馏模型,通过token与entity关联及新损失函数优化知识迁移,在表单文档理解任务上显著优于现有基线。
2024-07-26 cs.CL cs.CV
Hierarchical Multimodal Pre-training for Visually Rich Webpage Understanding
Shanghai Jiao Tong University(上海交通大学)
提出多模态预训练网络 WebLM,通过利用文档图像的层次结构并设计跨文本、结构与图像的预训练任务,提升网页理解性能并在多项任务上达到新最优。
2024-02-28 cs.CL cs.CV
LatteGAN: Visually Guided Language Attention for Multi-Turn Text-Conditioned Image Manipulation
Keio University(庆应义塾大学)
文本引导的图像处理任务最近在视觉和语言社区中引起了关注。虽然大多数以前的研究集中在单圈操作,我们在本文中的目标是解决更具挑战性的多圈图像处理(MTIM)任务。在给定一系列指令和先前生成的图像的情况下,此任务的先前模型成功地迭代生成图像。然而,这种方法遭受生成不足和缺乏在指令中描述的对象的生成质量,这因此降低了整体性能。为了克服这些问题,我们提出了一种新的架构称为视觉引导语言注意力GAN(LatteGAN)。在这里,我们通过引入一个视觉引导语言注意力(Latte)模块来解决以前方法的局限性,该模块为生成器提取细粒度的文本表示,以及一个文本条件化的U-Net结构,该结构可以区分假图像或真实图像的全局和局部表示。在两个不同的MTIM数据集CoDraw和i-CLEVR上进行的大量实验证明了该模型的最新性能。
2022-06-02 cs.CV
SpotEdit: Evaluating Visually-Guided Image Editing Methods
New York University, US(纽约大学);Adobe Inc(Adobe公司)
本文提出 SpotEdit 基准,系统评估跨扩散、自回归与混合模型的视觉引导图像编辑能力,并专门考察视觉线索幻觉导致的错误编辑问题。
2025-09-26 cs.CV cs.LG
Capturing Logical Structure of Visually Structured Documents with Multimodal Transition Parser
Stanford University(斯坦福大学);Hitachi America, Ltd(日立美国有限公司)
虽然许多NLP管道假设原始,干净的文本,但我们在野外遇到的许多文本,包括绝大多数法律文档,并不那么干净,其中许多是视觉结构化文档(VSD),如PDF。传统的VSD预处理工具主要集中在分词和粗略的布局分析,而细粒度的逻辑结构分析(如识别段落边界及其层次结构)的VSD是探索不足。为此,我们提出了将任务制定为文本片段之间的“转换标签”的预测,将片段映射到树,并开发了一个基于特征的机器学习系统,融合了视觉,文本和语义cue.Our系统是很容易定制为不同类型的VSD,它显着优于基线在VSD中识别不同的结构。例如,我们的系统获得了0.953的段落边界检测F1分数,这明显优于F1分数为0.739的流行PDF到文本工具。
2021-11-08 cs.CL cs.CV cs.IR
Visually Guided Generative Text-Layout Pre-training for Document Intelligence
The Chinese University of Hong Kong(香港中文大学)
提出视觉引导的生成式文本-版面预训练方法ViTLP,通过层次化建模与多段生成方案处理长文档,实现文本定位识别并提升多种文档理解任务性能。
2024-03-27 cs.CL cs.CV
MMCode: Benchmarking Multimodal Large Language Models for Code Generation with Visually Rich Programming Problems
National University of Singapore(新加坡国立大学);The University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学);Hong Kong Baptist University(香港浸会大学)
本文提出首个多模态编程数据集MMCode,包含3548个问题和6620张图像,用于评估多模态大语言模型在视觉丰富上下文中的算法问题解决能力,实验表明现有最先进模型在此类任务上表现不佳。
2024-09-26 cs.CL cs.CV cs.SE
WorldBench: A Challenging and Visually Diverse Multimodal Reasoning Benchmark
Princeton University(普林斯顿大学);NYU(纽约大学);University of Waterloo(滑铁卢大学);Meta, FAIR(Meta和FAIR)
提出WorldBench,通过构建多领域视觉概念分类法并收集多样化图像,设计前沿MLLM难以回答的问题,以评估多模态大语言模型的视觉理解能力,揭示其弱点。
2026-06-04 cs.CV
Visually Guided Sound Source Separation using Cascaded Opponent Filter Network
Tampere University(坦佩雷大学)
本文的目的是恢复原始分量信号的混合音频与声源的视觉线索的帮助下。这样的任务通常被称为视觉引导的声音声源分离。提出的级联对手过滤器(COF)框架由多个阶段组成,这些阶段递归地细化声源分离。COF中的一个关键元素是一个新的对手过滤器模块,识别和重新定位源之间的残留成分。该系统是由源的外观和运动,并为此目的,我们研究了不同的表示基于视频帧,光流,动态图像,以及它们的组合。最后,我们提出了一种声源位置掩蔽(SSLM)技术,它与COF一起产生源位置的像素级掩模。整个系统使用大量未标记的视频进行端到端训练。我们将COF与最近的基线进行比较,并在三个具有挑战性的数据集(MUSIC,A-MUSIC和A-NATURAL)中获得最先进的性能。项目页面:https://ly-zhu.github.io/cof-net。
2020-07-14 cs.CV
Reconstructing Perceived Images from Brain Activity by Visually-guided Cognitive Representation and Adversarial Learning
Xidian University(西安电子科技大学);IIAI;UPenn(宾夕法尼亚大学)
利用功能性磁共振成像(fMRI)测量的人脑活动来重建视觉刺激(图像)是人机协作中一项重要而有意义的任务。然而,fMRI信号与视觉图像之间的不一致分布和表示导致异质性差距。此外,fMRI数据通常是非常高维的,并且包含许多与视觉无关的信息。现有的方法通常遭受这些问题,使得令人满意的重建仍然是具有挑战性的。在本文中,我们表明,这是可能的,以克服这些挑战,通过学习视觉引导的认知潜在表征的功能磁共振成像信号,并逆解码它们的图像刺激。由此产生的框架被称为双变分自编码器/生成对抗网络(D-VAE/GAN),其结合了对抗表示学习与知识蒸馏的优点。此外,我们引入了一种新的三阶段学习方法,使(认知)编码器在学习过程中逐渐从配对(视觉)编码器中提取有用的知识。在人工和自然图像上的大量实验结果表明,我们的方法可以取得令人惊讶的好结果,优于所有其他替代方案。
2019-10-22 cs.CV
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
基于深度学习的视觉到声音生成系统本质上需要开发,特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中,我们引入了一个新的任务,指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列,从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集,以使用FoleyGAN进行训练,并通过人类调查评估我们的合成声音,该调查显示出值得注意的(平均81%)视听同步性能。与其他基线模型和视听数据集相比,我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
VisualSpeaker: Visually-Guided 3D Avatar Lip Synthesis
CVSSP, University of Surrey, United Kingdom(CVSSP,英国萨里大学)
本文提出VisualSpeaker方法,利用可微分3D高斯泼溅渲染和预训练视觉语音识别模型构建感知唇读损失,在MEAD数据集上将唇部顶点误差降低56.1%,同时保持网格驱动动画的可控性。
2025-07-21 cs.AI cs.CV
Graph Convolution for Multimodal Information Extraction from Visually Rich Documents
Alibaba Group(阿里巴巴集团)
视觉丰富文档(VRD)在日常商业和生活中无处不在。在VRD中,视觉和布局信息对于文档理解至关重要,并且此类文档中的文本无法在不丢失信息的情况下序列化为一维序列。经典的信息抽取模型,如BiLSTM-CRF,通常对文本序列进行操作,并且不包含视觉特征。在本文中,我们介绍了一个图形卷积为基础的模型,结合文字和视觉信息的VRD。图嵌入被训练来总结文档中文本段的上下文,并进一步与文本嵌入相结合以进行实体提取。已经进行了大量的实验,以表明我们的方法优于BiLSTM-CRF基线的显着利润率,在两个真实世界的数据集。此外,还进行了消融研究,以评估我们模型中每个组件的有效性。
2019-03-27 cs.CV cs.IR cs.LG
CrypticBio: A Large Multimodal Dataset for Visually Confusing Biodiversity
Fontys University of Applied Sciences(Fontys应用科学大学);Technical University of Eindhoven(埃因霍温技术大学)
本研究推出大型多模态隐存种数据集CrypticBio,含5.2万隐存种组、6.7万物种、1.66亿张图像及多模态标注,配套开源整理流水线,基准测试证明地理信息可显著提升隐存种零样本识别效果,助力真实场景生物多样性AI研发。
2025-05-16 cs.AI cs.CV cs.MM