SyCoCa: Symmetrizing Contrastive Captioners with Attentive Masking for Multimodal Alignment
Ant Group(蚂蚁集团)
本文提出SyCoCa方法,通过引入文本引导的掩码图像建模头和注意力掩码策略,在全局与局部层面实现图像与文本的双向交互,有效提升了多模态对齐在细粒度层面的理解能力。
2024-01-04 cs.AI cs.CV
EasyGen: Easing Multimodal Generation with BiDiffuser and LLMs
The Hong Kong Polytechnic University(香港理工大学)
针对现有多模态模型依赖特定编码器、训练数据需求大的问题,研究提出EasyGen模型,借助BiDiffuser与LLM,通过投影层、适配器实现模态交互,在数据效率、生成质量与扩展性上表现更优。
2024-05-17 cs.AI cs.CL cs.CV
End-to-end Generative Pretraining for Multimodal Video Captioning
Google Research(谷歌研究院)
最近的视频和语言预训练框架缺乏生成句子的能力。我们提出了多模态视频生成预训练(MV-GPT),一个新的预训练框架,用于从未标记的视频中学习,可有效地用于生成任务,如多模态视频描述。与最近的视频语言预训练框架不同,我们的框架同时训练多模式视频编码器和句子解码器。为了克服在无标签的视频字幕的缺乏,我们利用未来的话语作为一个额外的文本源,并提出了一个双向的生成目标-我们生成未来的话语给出了目前的多模态上下文,以及目前的话语给出了未来的观察。为此,我们训练了一个端到端的编码器-解码器模型,以直接从原始像素和转录的语音生成字幕。我们的模型在四个标准基准上实现了多模态视频描述的最新性能,以及其他视频理解任务,如VideoQA,视频检索和动作分类。
2022-05-10 cs.AI cs.CL cs.CV
NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference
H Company(H公司)
本文提出NeoMME,一款单塔多模态原生多语言基础编码器,通过预训练后微调得到的检索模型在ViDoRe v3等基准测试中表现优异,还实现了高效的压缩与编码,相关资源已开源。
2026-09-03 cs.AI cs.CV cs.IR
Adaptive Clinical-Aware Latent Diffusion for Multimodal Brain Image Generation and Missing Modality Imputation
ACADiff通过自适应临床感知扩散模型,实现多模态脑图像生成与缺失模态插值,提升阿尔茨海默病诊断的准确性和鲁棒性。
2026-03-10 cs.AI cs.CV
LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation
SII SJTU GAIR
本文提出LiveTalk系统,通过改进的在线策略蒸馏实现实时多模态交互视频生成,显著提升效率和质量。
2025-12-29 cs.CV
Timo: Taming Multimodal Diffusion Transformers for Human Motion Generation
LimX Dynamics
针对人体运动生成中文本理解不足和运动不协调问题,提出Timo框架,结合共享多模态注意力、流匹配和运动学监督,在基准上显著超越现有方法。
2026-10-14 cs.CV
PixelBytes: Catching Unified Representation for Multimodal Generation
Capgemini(凯捷咨询)
本文提出PixelBytes统一多模态表示方法,融合文本、音频、动作-状态和像素图像,通过PxBy嵌入及自回归模型实验证明其优于预测模型,并展示扩散模型在控制问题中的应用潜力。
2024-10-20 cs.AI cs.CV
Constructive Approach to Bidirectional Influence between Qualia Structure and Language Emergence
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);Research Organization of Science and Technology, Ritsumeikan University(立命馆大学科学技术研究机构);Graduate School of Arts and Sciences, The University of Tokyo(东京大学文理研究生院);Faculty of Human Science, Waseda University(早稻田大学人类科学学部);Graduate School of Engineering Science, Osaka University(大阪大学工程科学研究生院);School of Psychological Sciences, Monash University(莫纳什大学心理科学学院);Center for Information and Neural Networks (CiNet), National Institute of Information and Communications Technology (NICT)(信息与神经网络中心(CiNet),日本信息通信研究机构(NICT));ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室)
本文提出感受质结构与语言涌现之间存在双向影响,并借助集体预测编码等框架及神经网络语言模型证据,论证语言不仅创造交流工具,也促成对质性体验的共同理解,为意识、语言与认知科学提供建构性研究方向。
2025-05-05 cs.AI cs.CL
Analyzing Diffusion and Autoregressive Vision Language Models in Multimodal Embedding Space
Nanyang Technological University(南洋理工大学);Yale University(耶鲁大学);NYU Shanghai(纽约大学上海分校);Alibaba-NTU Singapore Joint Research Institute(阿里-国立新加坡大学联合研究机构);University of the Chinese Academy of Sciences(中国科学院大学);Center for Data Science(数据科学中心);New York University(纽约大学)
本文研究了多模态扩散模型在多模态嵌入任务中的表现,发现其在分类、VQA和检索任务中均逊于自回归VLM。
2026-01-19 cs.AI cs.CL cs.CV
SmartEdit: Exploring Complex Instruction-based Image Editing with Multimodal Large Language Models
University of Macau(澳门大学);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室);Tencent AI Lab(腾讯人工智能实验室);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Tsinghua University(清华大学)
针对现有基于指令的图像编辑方法在复杂场景下效果不佳的问题,提出融合多模态大语言模型与双向交互模块的SmartEdit方法,并构建Reason-Edit数据集,实验证明其性能优于现有方法。
2023-12-11 cs.CV
FullFlow: Upgrading Text-to-Image Flow Matching Models for Bidirectional Vision--Language Generation
ETH Zurich(苏黎世联邦理工学院);Google(谷歌)
本文提出FullFlow方法,通过仅训练LoRA适配器和轻量级文本头部,将预训练的rectified-flow文本到图像模型升级为双向视觉-语言生成器,从而在保持图像连续流的同时添加文本离散插入过程,提升文本到图像和图像到文本的生成质量。
2026-05-19 cs.AI cs.CV
VL-BEiT: Generative Vision-Language Pretraining
Microsoft Research(微软研究院)
我们引入了一个视觉语言基础模型VL-BEiT,它是一个通过生成式预训练学习的双向多模态Transformer。我们的极简解决方案使用共享的Transformer对单峰和多峰数据进行掩蔽预测。具体来说,我们执行掩蔽视觉语言建模的图像-文本对,掩蔽语言建模的文本,和掩码图像建模的图像。VL-BEiT是从头开始学习的,具有一个统一的预训练任务,一个共享的骨干和一个阶段的训练。我们的方法是概念简单,经验有效。实验结果表明,VL-BEiT在视觉问答、视觉推理和图文检索等视觉语言测试中均取得了较好的效果。此外,我们的方法学习可转移的视觉特征,在图像分类和语义分割方面取得了有竞争力的性能。
2022-09-03 cs.CL cs.CV
ResComEmb: Effective and Efficient Multimodal Embedding via Residual Homogeneity Compression
University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学);National University of Singapore(新加坡国立大学)
ResComEmb提出一种可训练的多向量多模态嵌入框架,通过残差同质性压缩减少冗余,并采用长度自适应双向后期交互匹配,在低视觉令牌预算下实现优于现有方法的检索性能。
2026-09-30 cs.AI cs.CV
Rethinking Visual Information Processing in Multimodal LLMs
Seoul National University(首尔国立大学);Amazon(亚马逊)
针对LLaVA架构在视觉-语言任务中因模态不匹配导致视觉特征整合困难的问题,提出LLaViT,通过三项关键修改让LLM同时充当视觉编码器,实验表明其显著优于基线方法,甚至超过参数翻倍的模型。
2025-11-13 cs.AI cs.CV
Learning Implicit Entity-object Relations by Bidirectional Generative Alignment for Multimodal NER
Ant Group(蚂蚁集团)
本文提出BGA-MNER方法,通过双向生成对齐和阶段细化上下文采样器学习隐式实体-对象关系,在推理时无需图像输入即可在多模态命名实体识别中取得最先进性能。
2023-08-03 cs.AI cs.CL cs.CV
JoyAI-Image: Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation
Joy Future Academy, JD(京东探索研究院)
本文提出JoyAI-Image,一种统一的多模态基础模型,用于视觉理解、文本到图像生成和指令引导的图像编辑。该模型结合了空间增强的多模态大语言模型(MLLM)和多模态扩散Transformer(MMDiT),通过共享的多模态接口实现感知与生成的交互。构建可扩展的训练配方,结合统一指令微调、长文本渲染监督、空间 grounded 数据和通用及空间编辑信号,使模型具备广泛的多模态能力,同时增强几何感知推理和可控视觉合成。实验表明,JoyAI-Image在理解、生成、长文本渲染和编辑基准上达到最先进的性能。更重要的是,增强的理解、可控的空间编辑和新视角辅助推理之间的双向循环使模型超越一般视觉能力,向更强的空间智能发展。
2026-05-20 cs.AI cs.CL cs.CV
TheoremExplainAgent: Towards Video-based Multimodal Explanations for LLM Theorem Understanding
University of Waterloo(滑铁卢大学);Votee AI;Vector Institute(向量研究所)
TheoremExplainAgent利用Manim动画生成长篇定理解释视频,通过TheoremExplainBench基准和5个评估指标验证,o3-mini智能体成功率93.8%,并揭示多模态解释能暴露更深推理缺陷。
2025-05-25 cs.AI cs.CL cs.CV
Salt++: Context-Aligned Post-Training for Few-Step Streaming Multimodal Generation
The Hong Kong University of Science and Technology(香港科技大学);Vivix Group Limited(Vivix集团有限公司);The University of Sydney(悉尼大学);Westlake University(西湖大学)
Salt++提出两阶段后训练框架,通过因果自流和上下文对齐的自回归DMD,解决少步流式多模态生成中的上下文不匹配问题,显著提升视觉与运动质量。
2026-09-30 cs.AI cs.CV eess.IV
MultiModal Bias: Introducing a Framework for Stereotypical Bias Assessment beyond Gender and Race in Vision Language Models
Rutgers University(罗格斯大学);HPI / University of Potsdam(哈索·普拉特纳研究所/波茨坦大学)
自我监督训练的最新突破导致了一类新的预训练视觉语言模型。虽然对多模态模型中的偏见进行了调查,但它们大多集中在性别和种族偏见上,对其他相关群体的关注要少得多,例如宗教、国籍、性取向或残疾方面的少数群体。这主要是由于缺乏针对这些群体的适当基准。我们试图通过提供一个名为MMBias的视觉和文本偏见基准来解决这一差距,该基准由大约3,800个图像和短语组成,覆盖14个人群亚组。我们利用这个数据集来评估几个突出的自监督多模态模型的偏差,包括CLIP,ALBEF和ViLT。我们的研究结果表明,这些模型表现出有意义的偏见,有利于某些群体。最后,我们介绍了一种专门为这种大型预训练模型设计的去偏方法,该方法可以作为后处理步骤来减轻偏差,同时保持模型的剩余准确性。
2023-03-16 cs.CL cs.CV cs.LG
M4V: Multimodal Mamba for Efficient Text-to-Video Generation
Meituan(美团);University of Technology Sydney(技术大学悉尼分校);Beijing Jiaotong University(北京交通大学)
研究针对文本到视频生成计算量大的问题,引入多模态曼巴框架M4V。设计MM-DiM块,采用多模态令牌重新组合设计,增强时空一致性。实验表明,该框架能在降计算成本的同时生成高质量视频。
2026-07-13 cs.AI cs.CV cs.LG
UniMIC: Token-Based Multimodal Interactive Coding for Human-AI Collaboration
State Key Laboratory of Media Convergence and Communication(媒体融合与传播国家重点实验室);Communication University of China(中国传媒大学);Microsoft Research Asia(微软亚洲研究院)
UniMIC提出基于令牌的统一多模态交互编码框架,用紧凑令牌化表示替代原始像素或文本传输,结合场景化轻量Transformer熵模型,在超低比特率下实现高效压缩且不损害下游任务性能。
2025-09-26 cs.AI
Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers for Text-to-Image Generation
University of Science and Technology of China(中国科学技术大学)
本研究针对多模态扩散变换器中提示遗忘问题,提出一种无需训练的提示重注入方法,通过将早期层的提示表示重新注入到后期层,以提升指令遵循能力和生成质量。
2026-08-03 cs.CV
Unsafe by Reciprocity: How Generation-Understanding Coupling Undermines Safety in Unified Multimodal Models
University of Maryland, College Park(马里兰大学帕克分校)
研究探讨了统一多模态模型中生成与理解之间的互惠关系可能成为安全漏洞的根源,提出RICE攻击方法,揭示了跨功能互惠对安全性的负面影响。
2026-09-16 cs.CV
Vision-Enhanced Large Language Models for High-Resolution Image Synthesis and Multimodal Data Interpretation
本研究提出了一种增强视觉能力的大型语言模型,通过整合修正流机制和混合序列建模方法,实现高分辨率图像合成和多模态数据解释的高效生成与高质量输出。
2026-01-03 cs.CV
Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition
SpeechX Limited(思必驰(深圳)有限公司);The Chinese University of Hong Kong(香港中文大学)
情感识别是一个具有挑战性和积极研究的研究领域,在情感感知的人机交互系统中起着至关重要的作用。在多模态环境中,不同模态之间的时间对齐尚未得到很好的研究。本文提出了一种名为Gated Bidirectional Alignment Network(GBAN)的新模型,该模型由基于LSTM隐藏状态的基于注意力的双向对齐网络组成,用于显式捕获语音和文本之间的对齐关系,以及一种新型的组门控融合(GGF)层,用于集成不同模态的表示。我们的经验表明,注意力对齐表示的性能明显优于LSTM的最后隐藏状态,并且所提出的GBAN模型在IEMOCAP数据集上的性能优于现有的最先进的多模态方法。
2022-01-17 cs.CL cs.SD eess.AS
Modality-Invariant Bidirectional Temporal Representation Distillation Network for Missing Multimodal Sentiment Analysis
School of Computer Science;Technology , Xinjiang University, Urumqi, China Email
针对模态随机缺失与多模态异构性问题,提出MITR-DNet,通过完整模态教师向缺失模态学生蒸馏双向时间表征,并引入MIB-TRL学习模态不变表示以提升鲁棒性。
2025-01-07 cs.AI cs.CL cs.LG
SalsaAgent: A multimodal embodied language model for interactive dance generation
Simon Fraser University(西蒙弗雷泽大学)
提出SalsaAgent语言模型,通过非语言运动令牌传递和两阶段令牌到扩散管道,生成与人类领舞者及音乐背景交互的全身萨尔萨舞蹈动作。
2026-09-18 cs.CV
Emu3.5: Native Multimodal Models are World Learners
BAAI(百度人工智能研究院)
我们引入了Emu3.5,这是一个大规模的多模态世界模型,可以在视觉和语言中预测下一个状态。Emu3.5是端到端预训练的,具有统一的下一个标记预测目标,该目标基于包含超过10万亿个标记的视觉语言交织数据语料库,主要来自互联网视频的顺序帧和转录。该模型自然地接受交错的视觉语言输入,并生成交错的视觉语言输出。Emu3.5进一步使用大规模强化学习进行后训练,以增强多模态推理和生成。为了提高推理效率,我们提出了离散扩散自适应(DiDA),它将逐令牌解码转换为双向并行预测,在不牺牲性能的情况下将每幅图像的推理速度提高了约20倍。Emu3.5具有强大的本地多模态功能,包括长视野视觉语言生成、任意图像(X2I)生成和复杂的富文本图像生成。它还表现出可推广的世界建模能力,使时空一致的世界探索和开放世界体现在不同的场景和任务的操纵。相比之下,Emu3.5在图像生成和编辑任务上实现了与Gemini 2.5 Flash Image(Nano Banana)相当的性能,并在一套交错生成任务上展示了优异的结果。我们在https://github.com/baaivision/Emu3.5上开源Emu3.5,以支持社区研究。
2025-10-30 cs.CV
Blockchain Meets LLMs: A Living Survey on Bidirectional Integration
Hainan University(海南大学)
本文针对大语言模型的安全隐私挑战与区块链的技术特性,综述两者双向集成的可能性与潜力,涵盖大语言模型赋能区块链及区块链优化大语言模型两大方向,旨在推动跨学科技术发展。
2024-11-25 cs.AI cs.CR
EMAC+: Embodied Multimodal Agent for Collaborative Planning with VLM+LLM
University of New South Wales(新南威尔士大学);Air Force Research Laboratory(空军研究实验室)
EMAC+通过双向训练范式协作整合LLM与VLM,利用视觉反馈动态优化文本规划,在ALFWorld和RT-1基准上显著提升任务性能与鲁棒性。
2025-10-16 cs.AI
Investigating the Invertibility of Multimodal Latent Spaces: Limitations of Optimization-Based Methods
该研究针对任务特定AI模型多模态潜在空间的逆映射能力展开探索,提出基于优化的双向逆推框架,验证了多模态潜在空间因前向任务优化而缺乏鲁棒可解释逆映射结构的假设,指出需研发语义更丰富的可逆多模态潜在空间。
2025-07-30 cs.AI cs.CV cs.LG
DoraCycle: Domain-Oriented Adaptation of Unified Generative Model in Multimodal Cycles
National University of Singapore(新加坡国立大学)
提出DoraCycle框架,利用统一生成模型在视觉与语言间的双向多模态循环,通过未配对数据实现领域适应,无需依赖标注配对数据。
2025-03-05 cs.CV
Exploring Multimodal Diffusion Transformers for Enhanced Prompt-based Image Editing
Seoul National University(首尔国立大学)
本文系统分析了多模态扩散 Transformer(MM-DiT)的注意力机制,并提出一种鲁棒的基于提示的图像编辑方法,支持跨各种 MM-DiT 变体的全局到局部编辑,弥合了现有 U-Net 方法与新兴架构的差距。
2025-08-11 cs.CV
MolEmb: Multimodal Large Language Models Can Be Strong Molecular Embedding Models
本文提出MolEmb框架,利用多模态大语言模型构建通用分子嵌入模型,在分子性质预测上具竞争力,还提出MolCAR基准验证上下文感知分子嵌入的特性。
2026-08-26 cs.AI cs.LG
A Generative Framework for Bidirectional Image-Report Understanding in Chest Radiography
Bandırma Onyedi Eylül University(班迪尔马奥涅迪埃伊吕勒大学)
针对LLMs应用于胸部X光片(CXR)时的视觉-文本对齐与诊断细节保留挑战,提出多阶段自适应视觉-语言调优(MAViLT)框架,在两个基准数据集上取得所有任务的最先进结果,验证其临床实用性。
2025-02-09 cs.CL cs.CV eess.IV
Multimodal Convolutional Neural Networks for Matching Image and Sentence
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
在本文中,我们提出了多模态卷积神经网络(m-CNN)的图像和句子匹配。我们的m-CNN提供了一个具有卷积架构的端到端框架,以利用图像表示,单词组成以及两种模式之间的匹配关系。更具体地说,它由一个图像CNN编码图像内容,和一个匹配CNN学习图像和句子的联合表示。匹配的CNN将词组合成不同的语义片段,并学习图像与不同层次的语义片段之间的模态间关系,从而充分利用图像与句子之间的匹配关系。在双向图像和句子检索的基准数据库上的实验结果表明,所提出的m-CNN可以有效地捕获图像和句子匹配所需的信息。具体来说,我们提出的m-CNN在Flickr 30 K和Microsoft COCO数据库上进行双向图像和句子检索,达到了最先进的性能。
2015-08-29 cs.CL cs.CV cs.NE
Joint Multimodal Entity-Relation Extraction Based on Edge-enhanced Graph Alignment Network and Word-pair Relation Tagging
South China University of Technology(华南理工大学);The Peng Cheng Laboratory(鹏城实验室);Yunnan University(云南大学);The Hong Kong Polytechnic University(香港理工大学)
多模态命名实体识别(MNER)和多模态关系抽取(MRE)是多模态知识图谱构建任务中的两个基本子任务。然而,现有的方法通常独立地处理两个任务,这忽略了它们之间的双向交互。本文首次提出联合执行MNER和MRE作为一个联合的多模态实体-关系抽取任务(JMERE)。此外,现有的MNER和MRE模型只考虑了视觉图形和文本图形中的视觉对象与文本实体的对齐,而忽略了实体与实体之间以及对象与对象之间的关系。为了解决上述挑战,我们提出了一个边缘增强的图对齐网络和词对关系标记(EEGA)的JMERE任务。具体来说,我们首先设计了一个词对关系标记,利用MNER和MRE之间的双向交互,并避免错误传播。然后,我们提出了一个边增强的图对齐网络,通过对齐交叉图中的节点和边来增强JMERE任务。与已有的方法相比,该方法能够利用边缘信息辅助实体与对象之间的对齐,并发现实体与实体之间以及对象与对象之间的关系。实验结果表明了该模型的有效性。
2023-02-18 cs.AI cs.CL cs.MM
Supervised Multimodal Bitransformers for Classifying Images and Text
Facebook AI(Facebook人工智能);NYU(纽约大学)
自监督双向Transformer模型,如BERT,在各种文本分类任务中取得了显著的改进。然而,现代数字世界越来越多模态,文本信息通常伴随着其他模态,如图像。我们引入了一个有监督的多模态bittransformer模型,该模型融合了来自文本和图像编码器的信息,并在各种多模态分类基准任务上获得了最先进的性能,超过了强基线,包括专门用于测量多模态性能的硬测试集。
2020-11-12 cs.CL cs.CV cs.LG
Quantifying the Gap between Understanding and Generation within Unified Multimodal Models
University of Maryland(马里兰大学);University of Waterloo(滑铁卢大学);MBZUAI
本研究通过GapEval基准量化统一多模态模型中理解与生成能力的差距,揭示当前模型仅实现表面层次的统一,而非深度认知融合。
2026-10-07 cs.CL
Less Is More? Selective Visual Attention to High-Importance Regions for Multimodal Radiology Summarization
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);BRAC University(布拉克大学);Curtin University(科廷大学)
本文通过MIMIC-CXR基准测试表明,选择性关注病理相关视觉区域比全图更有效,提出ViTAS模型在多模态放射学摘要中取得SOTA结果。
2026-03-31 cs.CL cs.CV
MULE: Multimodal Universal Language Embedding
Boston University(波士顿大学)
现有的视觉语言方法通常一次最多支持两种语言。在本文中,我们提出了一个模块化的方法,可以很容易地纳入现有的视觉语言的方法,以支持多种语言。我们通过学习一个共享的多模态通用语言嵌入(MULE)来实现这一点,该嵌入在所有语言中都是视觉语义对齐的。然后,我们学习将MULE与视觉数据联系起来,就好像它是一种语言一样。我们的方法不是特定于架构的,不像以前的工作,通常学习每种语言的单独分支,使我们的方法能够轻松地适应许多视觉语言的方法和任务。由于MULE在多模态模型中学习单个语言分支,因此我们还可以扩展以支持多种语言,并且具有较少注释的语言可以利用从其他(更丰富)语言数据中学习的良好表示。我们证明了MULE在双向图像-句子检索任务上的有效性,在单个模型中支持多达四种语言。此外,我们还表明,机器翻译可用于多语言学习中的数据增强,与MULE相结合,与先前的工作相比,单语言的平均召回率提高了21.9%,其中最显着的收益是在注释相对较少的语言上。我们的代码是公开的。
2019-12-28 cs.CL cs.CV
lamBERT: Language and Action Learning Using Multimodal BERT
Osaka University(大阪大学);The University of Electro-Communications(电气通信大学)
近年来,基于Transformers的双向编码表示(BERT)模型在自然语言处理领域引起了广泛的关注,因为它在语言理解相关任务中具有很高的性能。BERT模型通过使用大型语料库以无监督的方式进行预训练来学习可以适应各种任务的语言表示。本研究提出了使用多模态BERT(lamBERT)模型的语言和动作学习,该模型通过1)将BERT模型扩展到多模态表示和2)将其与强化学习相结合来学习语言和动作。为了验证所提出的模型,在网格环境中进行的实验,需要语言理解的代理,以正确地采取行动。因此,与其他模型(例如基于卷积神经网络的模型和没有预训练的lamBERT模型)相比,lamBERT模型在多任务设置和传输设置中获得了更高的回报。
2020-04-15 cs.CL cs.LG stat.ML
Multimodal Fake News Detection
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
在过去的几年里,假新闻出现了前所未有的泛滥。因此,我们更容易受到错误信息和虚假信息传播在我们社会不同阶层可能产生的有害影响。因此,虚假新闻自动检测工具的开发在预防其负面影响方面发挥着重要作用。大多数检测和分类虚假内容的尝试只关注使用文本信息。多模态方法不太常见,它们通常将新闻分类为真或假。在这项工作中,我们使用单峰和多峰方法对Fakeddit数据集上的假新闻进行细粒度分类。我们的实验表明,基于卷积神经网络(CNN)架构结合文本和图像数据的多模态方法达到了最佳效果,准确率为87%。一些假新闻类别,如操纵内容,讽刺或虚假联系,从图像的使用中受益匪浅。使用图像也可以改善其他类别的结果,但影响较小。关于仅使用文本的单模方法,来自Transformers的双向编码器表示(BERT)是最好的模型,准确度为78%。因此,同时利用文本和图像数据可以显著提高假新闻检测的性能。
2021-12-09 cs.CL
A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics
The University of Hong Kong(香港大学);West China Hospital, Sichuan University(四川大学华西医院);Deepwise Healthcare(深睿医疗);Zhuhai People’s Hospital and the First Affiliated Hospital of Faculty of Medicine, Macau University of Science and Technology and University Hospital(澳门科技大学医学院附属第一医院、珠海市人民医院及大学医院);Peking University(北京大学);Guangzhou Laboratory(广州实验室);Jinling Hospital, Nanjing University School of Medicine(南京大学医学院附属金陵医院)
本文提出一种基于 Transformer 的统一多模态表示学习模型,融合影像、主诉、病史及结构化临床信息,在肺病识别和 COVID-19 不良结局预测中显著优于仅图像及非统一多模态模型。
2023-06-01 cs.CL cs.CV cs.LG
Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion
Sun Yat-sen University(中山大学);Guangdong Key Lab of Big Data Analysis & Processing(广东省大数据分析与处理重点实验室);X-Era AI Lab(X-Era AI实验室)
CoM-DAD通过耦合流形离散吸收扩散框架,实现离散与连续数据的统一多模态生成,解决多模态对齐与训练稳定性问题。
2026-01-07 cs.CL
MERRY: Semantically Decoupled Evaluation of Multimodal Emotional and Role Consistencies of Role-Playing Agents
South China University of Technology(华南理工大学);Foshan University(佛山大学)
MERRY提出一种语义解耦的评估框架,用于评估多模态角色扮演代理的情感与角色一致性,通过改进的指标和双向证据寻找任务提升评估效果。
2026-02-24 cs.CL
Distilling Implicit Multimodal Knowledge into Large Language Models for Zero-Resource Dialogue Generation
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
本文提出视觉隐式知识蒸馏框架VIKDF,通过隐式查询Transformer和双向变分信息融合将图像隐式知识注入大语言模型,以提升零资源场景下的对话生成质量,并在两个数据集上验证其优于现有模型。
2025-02-05 cs.CL cs.MM
TopicVD: A Topic-Based Dataset of Video-Guided Multimodal Machine Translation for Documentaries
College of Application and Technology, Shenzhen University, China(应用技术学院,深圳大学,中国);College of Big Data and Internet, Shenzhen Technology University, China(大数据与互联网学院,深圳科技大学,中国)
本文构建了面向纪录片的基于主题的视频引导多模态机器翻译数据集TopicVD,并提出基于跨模态双向注意力的多模态机器翻译模型,实验证明视觉信息和全局上下文能有效提升纪录片翻译性能,同时揭示了领域自适应研究的必要性。
2025-05-09 cs.CL