Decoding Partial Differential Equations: Cross-Modal Adaptation of Decoder-only Models to PDEs
Saarland University(萨尔兰大学);DFKI;Heidelberg Institute for Theoretical Studies(海德堡理论研究所)
本文研究了解码器-only模型在偏微分方程时间依赖模拟任务中的跨模态适应,提出并行翻转和序列加倍两种方法,提升模型性能,缩小与编码器-only模型的差距。
2026-03-06 cs.CL cs.LG
Structured and Abstractive Reasoning on Multi-modal Relational Knowledge Images
Zhejiang University(浙江大学);Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室)
本文提出STAR-64K数据集及两阶段增强框架,通过合成多模态指令数据提升模型在抽象推理任务中的性能,实验表明小型模型在STAR任务中超越GPT-4o。
2026-04-29 cs.CL cs.CV
Sample-efficient Integration of New Modalities into Large Language Models
University of Edinburgh(爱丁堡大学);Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学技术学院);Unbabel
针对低资源模态集成大语言模型需大量配对数据的问题,提出SEMI方法,通过超网络基于少量新模态样本适配共享投影器,显著提升少样本集成的样本效率,有望扩展基础模型的模态覆盖。
2025-09-04 cs.AI cs.CL cs.CV
MoDAl: Self-Supervised Neural Modality Discovery via Decorrelation for Speech Neuroprosthesis
Dartmouth College(达特茅斯学院)
提出MoDAl框架,通过对比学习和对齐损失与去相关损失之间的协同作用,从多脑区发现互补神经模态,在Brain-to-Text Benchmark '24上将词错误率从26.3%降至21.6%。
2026-08-07 cs.CL cs.HC cs.LG
Diffusion-Link: Diffusion Probabilistic Model for Bridging the Audio-Text Modality Gap
Korea Advanced Institute of Science and Technology, South Korea(韩国科学技术院);University of Seoul, South Korea(首尔大学)
提出基于扩散的模态桥接模块Diffusion-Link,将音频嵌入映射至文本分布以弥合模态鸿沟,在AAC任务中显著提升多模态LLM的零样本与监督性能并达到SOTA。
2025-10-13 cs.AI cs.CL cs.LG
A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation
Xiamen University(厦门大学);Tencent Inc(腾讯公司);University of Rochester(罗切斯特大学)
多模态神经机器翻译(NMT)旨在将源语句翻译成与图像配对的目标语言。然而,占主导地位的多模态NMT模型没有充分利用不同模态的语义单元之间的细粒度语义对应关系,这有可能细化多模态表示学习。为了解决这个问题,在本文中,我们提出了一种新的基于图的NMT多模态融合编码器。具体来说,我们首先表示输入的句子和图像使用统一的多模态图,它捕捉多模态语义单位(单词和视觉对象)之间的各种语义关系。然后,我们堆叠多个基于图的多模态融合层,这些层迭代地执行语义交互以学习节点表示。最后,这些表示为解码器提供了基于注意力的上下文向量。我们在Multi30K数据集上评估了我们提出的编码器。实验结果和深入的分析表明了多模态NMT模型的优越性。
2020-07-17 cs.CL
Modelling Sentence Pairs with Tree-structured Attentive Encoder
Sun Yat-sen University(中山大学)
我们描述了一个细心的编码器,结合了树结构的递归神经网络和顺序递归神经网络建模的句子对。由于现有的注意力模型施加注意力的顺序结构,我们提出了一种方法,将注意力的树拓扑结构。特别地,给定一对句子,我们的细心编码器使用通过RNN生成的一个句子的表示来指导依赖解析树上另一个句子的结构编码。我们评估了三个任务:语义相似性,释义识别和真假问题选择拟议的专心编码器。实验结果表明,我们的编码器优于所有基线,并实现了国家的最先进的结果上的两个任务。
2016-10-10 cs.CL
Deep Graph Convolutional Encoders for Structured Data to Text Generation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
以前大多数关于从图结构数据生成神经文本的工作都依赖于标准的序列到序列方法。这些方法将输入图线性化以馈送到递归神经网络。在本文中,我们提出了一种替代的编码器的基础上图卷积网络,直接利用输入结构。我们报告了两个图到序列数据集的结果,这些数据集经验性地显示了显式编码输入图结构的好处。
2018-10-23 cs.CL
A Sequential Neural Encoder with Latent Structured Description for Modeling Sentences
University of Science and Technology of China(中国科学技术大学)
在本文中,我们提出了一个序列神经编码器与潜在结构化描述(SNELSD)建模的句子。该模型将潜在的块级表示引入到传统的顺序神经编码器中,即,具有长短期记忆(LSTM)单元的递归神经网络(RNN),以在语义建模中考虑语言的组合性。SNELSD模型具有包括检测层和描述层的分层结构。检测层预测输入句子中潜在词块的边界,并为每个词导出块级向量。描述层利用修改后的LSTM单元以递归方式处理这些块级向量,并产生顺序编码输出。这些输出向量进一步与词向量或链式LSTM编码器的输出连接,以获得最终的句子表示。所有的模型参数都是以端到端的方式学习的,而不依赖于额外的文本分块或语法解析。一个自然语言推理(NLI)任务和一个情感分析(SA)任务被用来评估我们提出的模型的性能。实验结果表明,所提出的SNELSD模型的有效性,探索任务相关的组块模式在语义建模的句子。此外,所提出的方法实现了更好的性能比传统的链LSTM和树结构的LSTM在这两个任务。
2017-11-15 cs.CL
Cross-stitched Multi-modal Encoders
Interactions Corp.(Interactions公司)
在本文中,我们提出了一种新的架构多模态语音和文本输入。我们使用多头交叉模态注意力将预训练的语音和文本编码器结合起来,并对目标问题进行联合微调。所得到的架构可以用于连续的令牌级分类或话语级预测作用于同时的文本和语音。所得到的编码器有效地捕获声学韵律和词汇信息。我们比较了多头注意力为基础的融合对一个简单的串联预池,模态特定的表示多模态话语级分类的好处。我们的模型架构紧凑,资源高效,可以在单个消费GPU卡上训练。
2022-04-20 cs.CL cs.SD eess.AS
LXMERT: Learning Cross-Modality Encoder Representations from Transformers
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
视觉和语言推理需要理解视觉概念,语言语义,最重要的是,这两种形式之间的对齐和关系。因此,我们提出了LXMERT(从Transformers学习跨模态编码器表示)框架来学习这些视觉和语言连接。在LXMERT中,我们构建了一个大规模的Transformer模型,该模型由三个编码器组成:对象关系编码器、语言编码器和跨模态编码器。接下来,为了赋予我们的模型连接视觉和语言语义的能力,我们通过五个不同的代表性预训练任务,用大量的图像和句子对预训练模型:掩蔽语言建模,掩蔽对象预测(特征回归和标签分类),跨模态匹配和图像问答。这些任务有助于学习模态内和跨模态的关系。在对我们的预训练参数进行微调后,我们的模型在两个视觉问答数据集上实现了最先进的结果(即,VQA和GQA)。我们还通过将预训练的跨模态模型适应于具有挑战性的视觉推理任务NLVR 2来展示其通用性,并将之前的最佳结果提高了22%(54%至76%)。最后,我们展示了详细的消融研究,以证明我们的新模型组件和预训练策略都对我们的强大结果做出了重大贡献;并且还为不同的编码器提供了几个注意力可视化。代码和预训练模型可在以下网址公开获取:https://github.com/airsplay/lxmert
2019-12-03 cs.CL cs.CV cs.LG
BridgeTower: Building Bridges Between Encoders in Vision-Language Representation Learning
Microsoft(微软公司)
提出BridgeTower模型,通过桥接层连接单模态编码器顶层与跨模态编码器各层,实现高效跨模态对齐与融合,仅用4M图像预训练即在VQAv2等下游任务上达到SOTA。
2024-03-27 cs.CL cs.CV cs.LG
Multi-modal Retrieval of Tables and Texts Using Tri-encoder Models
deepset
开放域抽取式问答通过首先检索候选文本,然后从这些候选文本中提取答案,在文本数据上工作得很好。然而,有些问题不能仅通过文本来回答,而是需要存储在表格中的信息。在本文中,我们提出了一种方法来检索文本和表格相关的问题,共同编码文本,表格和问题到一个单一的向量空间。为此,我们基于相关工作中的文本和表格数据集创建了一个新的多模态数据集,并比较了不同编码模式的检索性能。我们发现,Transformer模型的密集向量嵌入在六个评估数据集中的四个上优于稀疏嵌入。比较不同的密集嵌入模型,每个问题,文本和表格都有一个编码器的三编码器,与问题有一个编码器,文本和表格都有一个编码器的双编码器相比,提高了检索性能。我们将新创建的多模态数据集发布给社区,以便它可以用于训练和评估。
2021-10-19 cs.CL cs.IR
Bridging the Modality Gap for Speech-to-Text Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
端到端语音翻译是将一种语言的语音通过端到端的方式翻译成另一种语言的文本。现有的大多数方法都采用具有单个编码器的编码器-解码器结构来同时学习声学表示和语义信息,这忽略了语音和文本模态的差异,使编码器过载,导致学习这样的模型非常困难。为了解决这些问题,我们提出了一个语音到文本适配语音翻译(STAST)模型,其目的是通过弥合语音和文本之间的模态差距,以提高端到端的模型性能。具体来说,我们将语音翻译编码器解耦为三个部分,并引入收缩机制来匹配语音表示的长度与相应的文本转录。为了获得更好的语义表示,我们将基于文本的翻译模型完全集成到STAST中,以便在同一个潜在空间中训练两个任务。此外,我们引入了跨模态自适应方法来拉近语音和文本表示之间的距离。在英法和英德语音翻译语料库上的实验结果表明,该模型的性能明显优于强基线,达到了新的最先进的性能。
2020-10-28 cs.CL
Higher-order Comparisons of Sentence Encoder Representations
University of Copenhagen(哥本哈根大学);Uppsala University(乌普萨拉大学);DeepMind(深度思维);Harvard Medical School(哈佛医学院);MIT(麻省理工学院)
代表性相似性分析(RSA)是由神经科学家开发的一种技术,用于比较不同测量模式的活动模式(例如,fMRI、电生理学、行为学)。作为一个框架,RSA有几个优势,现有的方法来解释语言编码器的基础上探测或诊断分类:即,它不需要大的训练样本,不容易过拟合,它使不同的模型和模态的代表性几何之间的比较更加透明。我们通过眼动跟踪数据在广泛使用的预训练语言编码器和人类处理难度之间建立了一种以前未知的对应关系,展示了RSA的实用性,展示了其在神经模型可解释性工具箱中的潜力
2019-09-05 cs.CL
NASH: A Simple Unified Framework of Structured Pruning for Accelerating Encoder-Decoder Language Models
KAIST AI(韩国科学技术院人工智能研究院);Michigan State University(密歇根州立大学)
本研究提出NASH框架,通过分别剪枝编码器-解码器模型的编码器与解码器,发现解码器层数主导推理速度且编码器低稀疏度提升生成质量,从而窄化编码器、缩短解码器,在多种任务上实现加速并保持输出质量。
2023-10-16 cs.AI cs.CL cs.LG
One Single Hub Text Breaks CLIP: Identifying Vulnerabilities in Cross-Modal Encoders via Hubness
NTT, Inc.(NTT公司);Nara Institute of Science and Technology(奈良科学技术大学)
本文提出方法识别枢纽嵌入及其对应文本,揭示跨模态编码器的漏洞,实验显示单一枢纽文本在图像描述评估中表现优异,暴露了编码器的缺陷。
2026-04-30 cs.AI cs.CL cs.CR
On the Language Encoder of Contrastive Cross-modal Models
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
本文评估了句子嵌入训练对CLIP和CLAP等对比跨模态模型语言编码器的影响,发现其能提升VL任务性能与文本空间均匀性,但在AL任务中因数据量有限获益较少。
2023-10-20 cs.CL cs.CV cs.LG
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology(南方科技大学);The Hong Kong Polytechnic University(香港理工大学);Tongji University(同济大学);Microsoft(微软);Peng Cheng Laboratory(鹏城实验室)
受T5(Text-To-Text Transfer Transformer)在预训练自然语言处理模型中的成功启发,我们提出了一个统一模态SpeechT5框架,该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态(语音/文本)的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后,共享的编码器-解码器网络对序列到序列的变换进行建模,然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据,我们对SpeechT5进行了预训练,以学习统一的模态表示,希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中,我们提出了一种跨模态矢量量化方法,该方法将语音/文本状态与潜在单元随机混合,作为编码器和解码器之间的接口。广泛的评估表明,所提出的SpeechT5框架在各种各样的口头语言处理任务,包括自动语音识别,语音合成,语音翻译,语音转换,语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
Efficient Multi-Modal Embeddings from Structured Data
University of Cambridge(剑桥大学)
多模态词语义学的目标是增强嵌入与感知输入,假设人类的意义表示是基于感官经验。大多数研究集中在直接视觉输入的评价,然而,视觉背景也可以有助于语言应用。本文的另一个动机是越来越需要更多的可解释的模型,并评估模型的大小和性能的效率。这项工作探讨了视觉信息的语义的影响时,评价涉及没有直接的视觉输入,特别是语义相似性和相关性。我们研究了一种新的嵌入类型之间的语言和视觉模态,视觉基因组的结构化注释的基础上。我们比较了单模态和多模态模型,包括结构化,语言和基于图像的表示。我们衡量每个模型的效率方面的数据和模型的大小,模态/数据分布和信息增益。分析包括嵌入结构的解释。我们发现,这种新的嵌入传达了基于文本的嵌入的补充信息。它以一种经济的方式实现了相当的性能,使用的资源数量级低于可视化模型。
2021-10-06 cs.CL cs.CV
Distilled Dual-Encoder Model for Vision-Language Understanding
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院);Peng Cheng Laboratory(鹏城实验室)
我们提出了一个跨模态注意力蒸馏框架,用于训练视觉-语言理解任务的双编码器模型,例如视觉推理和视觉问答。双编码器模型比融合编码器模型具有更快的推理速度,并且能够在推理过程中对图像和文本进行预计算。然而,在双编码器模型中使用的浅层交互模块不足以处理复杂的视觉-语言理解任务。为了学习图像和文本的深度交互,我们引入了跨模态注意力蒸馏,它使用融合编码器模型的图像到文本和文本到图像的注意力分布来指导我们的双编码器模型的训练。此外,我们表明,在预训练和微调阶段应用跨模态注意力蒸馏可以实现进一步的改进。实验结果表明,在视觉推理、视觉蕴涵和视觉问答任务中,提取的双编码器模型在推理速度上比融合编码器模型有更快的表现.我们的代码和模型将在https://github.com/kugwzk/Distilled-DualEncoder上公开。
2022-10-17 cs.CL cs.CV
Tree-Structured Semantic Encoder with Knowledge Sharing for Domain Adaptation in Natural Language Generation
University of Cambridge(剑桥大学)
自然语言生成中的领域自适应由于输入语义跨领域的高度复杂性和目标领域的有限数据而仍然具有挑战性。对于对话系统尤其如此,我们希望能够将新的域无缝地包含到对话中。因此,它是至关重要的生成模型,以共享知识的领域有效地适应从一个领域到另一个。在这项研究中,我们利用一个树形结构的语义编码器来捕捉多域对话所需的复杂语义表示的内部结构,以促进跨领域的知识共享。此外,在树型编码器和解码器之间采用分层注意力机制,进一步提高了模型的性能。自动评估结果表明,我们的模型优于以前的方法在BLEU分数和插槽出错率,特别是当适应数据是有限的。在主观评价中,人类法官倾向于更喜欢我们的模型生成的句子,在信息量和自然性方面比其他系统更高。
2019-10-02 cs.CL cs.LG
Masked Audio Text Encoders are Effective Multi-Modal Rescorers
AWS AI Labs(AWS人工智能实验室)
本文提出多模态掩码语言模型重打分器 MATE,通过对比学习对齐声学与文本表示,在域内、域外及极少训练数据场景下均显著降低 ASR 词错误率。
2023-05-24 cs.CL cs.LG cs.SD
Modeling Paragraph-Level Vision-Language Semantic Alignment for Multi-Modal Summarization
Tencent Inc.(腾讯公司);Beihang University(北京航空航天大学)
本文提出ViL-Sum,通过联合多模态编码器及图像重排序和选择任务,建模段落级视觉-语言语义对齐,显著提升多模态摘要性能。
2023-05-10 cs.CL cs.CV
Sequence-to-Sequence Pre-training with Unified Modality Masking for Visual Document Understanding
ByteDance AI Lab(字节跳动人工智能实验室)
提出GenDoc,一个基于编码器-解码器架构的序列到序列文档理解模型,通过统一模态掩码预训练和混合模态专家策略,在多种下游任务上取得优异性能,并在OCR质量不佳时表现出更强鲁棒性。
2023-05-16 cs.AI cs.CL
A Hierarchical Multi-Modal Encoder for Moment Localization in Video Corpus
U. of Southern California(南加州大学);Google Research(谷歌研究院)
识别长视频中语义匹配文本查询的短片段是一项具有挑战性的任务,在基于语言的视频搜索,浏览和导航中具有重要的应用潜力。典型的检索系统响应查询的整个视频或预定义的视频片段,但它是具有挑战性的本地化未定义的片段在未修剪和未分割的视频,其中穷举搜索所有可能的片段是棘手的。突出的挑战是视频的表示必须考虑时间域中不同级别的粒度。为了解决这个问题,我们提出了分层多模态编码器(HAMMER),编码的视频在粗粒度的剪辑级别和细粒度的帧级别提取信息在不同的尺度上基于多个子任务,即,视频检索,段时间定位和掩蔽语言建模。我们进行了广泛的实验,以评估我们的模型在ActivityNet字幕和TVR数据集上的视频语料库中的时刻定位。我们的方法优于以前的方法以及强大的基线,为这项任务建立了新的最先进的技术。
2020-11-24 cs.CL cs.CV
A Mixed Hierarchical Attention based Encoder-Decoder Approach for Standard Table Summarization
IBM Research(IBM研究院);IIT Madras(印度理工学院马德拉斯分校)
结构化数据摘要涉及从结构化输入数据生成自然语言摘要。在这项工作中,我们考虑总结以表格形式出现的结构化数据,因为它们在各种各样的领域中普遍存在。我们制定了标准的表汇总问题,它处理表符合一个单一的预定义的模式。为此,我们提出了一个混合的分层注意的编码器-解码器模型,它能够利用的结构,除了表的内容。我们在公开的WEATHERGOV数据集上的实验显示,与当前最先进的技术相比,BLEU提高了约18(约30%)。
2018-04-20 cs.AI cs.CL
VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts
Microsoft(微软)
我们提出了一个统一的视觉语言预训练模型(VLMo),该模型通过模块化Transformer网络联合学习双编码器和融合编码器。具体来说,我们引入了混合模态专家(MoME)Transformer,其中每个块包含一个模态特定专家池和一个共享的自我注意力层。由于MoME的建模灵活性,预训练的VLMo可以作为视觉语言分类任务的融合编码器进行微调,或者用作高效图像-文本检索的双重编码器。此外,我们提出了一种分阶段的预训练策略,除了图像-文本对之外,该策略还有效地利用了大规模的纯图像和纯文本数据。实验结果表明,VLMo在各种视觉语言任务上取得了最先进的结果,包括VQA,NLVR 2和图像-文本检索。代码和预训练模型可在https://aka.ms/vlmo上获得。
2022-05-27 cs.CL cs.CV cs.LG
Logically at Factify 2: A Multi-Modal Fact Checking System Based on Evidence Retrieval techniques and Transformer Encoder Architecture
Logically
在本文中,我们介绍了在多模态事实检查的任务1上对De-FACTIFY 2挑战(DE-FACTIFY 2023)的逻辑提交。我们描述了我们对这一挑战的提交,包括探索的证据检索和选择技术,预训练的跨模态和单峰模型,以及基于完善的Transformer编码器(TE)架构的跨模态准确性模型,该架构严重依赖于自我注意力的概念。探索性分析还进行了这个Factify 2数据集,揭示了显着的多模态模式和假设,激励在这项工作中提出的架构。进行了一系列初步实验,以研究和基准测试不同的预训练嵌入模型,证据检索设置和阈值。最后的系统,一个标准的两阶段证据为基础的准确性检测系统,产生加权平均。0.79在任务1上的val集合和最终盲测试集合上,其在9个参与者中以小幅度达到排行榜上的最高性能系统的第三名。
2023-02-03 cs.AI cs.CL cs.CV
Abstractive Visual Understanding of Multi-modal Structured Knowledge: A New Perspective for MLLM Evaluation
Zhejiang University(浙江大学);Tianjin University(天津大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出M3STR基准,利用多模态知识图谱合成图像以评估MLLMs对视觉形式结构化知识的抽象理解能力,并通过26个模型的实验揭示了现有方法在关系拓扑推理上的不足。
2025-06-02 cs.AI cs.CL cs.CV
Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network
JD AI Research(京东人工智能研究院);Sun Yat-sen University(中山大学)
尽管使用基于BERT的编码器进行视觉语言(VL)预训练以用于VL理解,但用于VL理解和生成的通用编码器-解码器的预训练仍然具有挑战性。困难源于这两个学科固有的不同特点,例如,VL理解任务利用跨模态的不受限制的消息传递,而生成任务仅采用视觉到文本的消息传递。在本文中,我们开始与两个流解耦设计的编码器-解码器结构,其中两个解耦的跨模态编码器和解码器涉及到单独执行每种类型的代理任务,同时VL理解和生成预训练。此外,对于VL预训练,主要方式是用掩码令牌替换一些输入视觉/单词令牌,并强制多模态编码器/解码器重建原始令牌,但在下游任务上进行微调时不涉及掩码令牌。作为替代方案,我们提出了一个主要的预定采样策略,优雅地减轻这种差异,通过预训练编码器-解码器在一个两遍的方式。大量的实验证明了我们的预训练编码器-解码器通过对四个VL理解和生成下游任务进行微调而具有令人信服的普遍性。源代码可从\url{https://github.com/YehLi/TDEN}获得。
2021-01-27 cs.CL cs.CV
Uni-EDEN: Universal Encoder-Decoder Network by Multi-Granular Vision-Language Pre-training
JD AI Research(京东人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
视觉语言预训练是一个新兴且发展迅速的研究课题,它将多通道知识从资源丰富的预训练任务转移到资源有限的下游任务。与主要学习单个通用编码器的现有作品不同,我们提出了一个可预训练的通用编码器-解码器网络(Uni-EDEN),以促进视觉语言感知(例如,视觉问答)和生成(例如,图像描述)。Uni-EDEN是一个基于双流Transformer的结构,由三个模块组成:对象和句子编码器,分别学习每个模态的表示,句子解码器,通过模态间的交互实现多模态推理和句子生成。考虑到每个图像的语言表示可以跨越这个层次结构中的不同粒度,包括从简单到全面的单个标签,短语和自然句子,我们通过多粒度视觉语言代理任务预训练Uni-EDEN:掩蔽对象分类(MOC),掩蔽区域短语生成(MRPG),图像-句子匹配(ISM)和掩蔽句子生成(MSG)。通过这种方式,Uni-EDEN被赋予了多模态表示提取和语言建模的能力。大量的实验表明,令人信服的概括性的Uni-EDEN微调到四个视觉语言感知和生成下游任务。
2022-01-11 cs.CL cs.CV cs.MM
Boosting Masked ECG-Text Auto-Encoders as Discriminative Learners
Singapore Management University(新加坡管理大学)
本文提出D-BETA框架,通过对比掩码自编码器结合生成与判别能力预训练ECG和文本数据,在五个数据集上以极少训练数据显著提升跨模态诊断性能。
2025-05-07 cs.CL cs.LG
MoMo: A shared encoder Model for text, image and multi-Modal representations
Amazon Alexa AI(亚马逊Alexa人工智能);University of Southern California(南加州大学)
MoMo提出一种共享编码器自监督模型,通过单Transformer处理文本和图像、分阶段训练及多模态梯度同步更新,在更少参数和数据下取得与强模型相当的多模态、纯图像和纯文本性能。
2023-04-11 cs.AI cs.CL cs.CV
Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);Georgia Institute of Technology(佐治亚理工学院)
针对低质量视频下端到端视听语音识别性能提升有限的问题,提出基于唇形-音节子词关联的视觉预训练与音频引导跨模态融合编码器,在少量数据下实现优于当前最优系统的性能。
2024-03-09 cs.AI cs.CL cs.SD
Enhancing Multi-modal and Multi-hop Question Answering via Structured Knowledge and Unified Retrieval-Generation
Harbin Institute of Technology(哈尔滨工业大学)
本文提出SKURG方法,通过实体中心融合编码器和统一检索-生成解码器解决多模态多跳问答中检索与生成割裂的问题,在MultimodalQA和WebQA上以更少参数超越现有最优模型。
2023-08-07 cs.CL cs.CV
Graph-Text Multi-Modal Pre-training for Medical Representation Learning
KAIST(韩国科学技术院);Seoul National University Bundang Hospital(首尔大学盆唐医院)
随着电子健康记录(EHR)数量的急剧增长,人们对学习EHR在医疗保健应用中的表示产生了兴趣。EHR的表示学习需要对EHR中的两种主要模态进行适当的建模:结构化数据和非结构化文本。在本文中,我们提出了MedGTX,一个预训练模型的结构化和文本EHR数据的多模态表示学习。MedGTX使用一种新的图形编码器来利用结构化EHR数据的图形特性,使用一个文本编码器来处理非结构化文本,使用一个跨模态编码器来学习联合表示空间。我们通过MIMIC-III(一种开源EHR数据)上的四个代理任务对我们的模型进行了预训练,并在两个临床基准和三个新的下游任务上对我们的模型进行了评估,这些任务解决了EHR数据中的现实问题。结果一致表明,预训练模型的有效性,从EHR的结构化和非结构化信息的联合表示。鉴于MedGTX的良好表现,我们相信这项工作为共同理解EHR数据的两种基本模式打开了一扇新的大门。
2022-03-18 cs.CL cs.LG
Languages are Modalities: Cross-Lingual Alignment via Encoder Injection
University of Waterloo(多伦多大学)
针对LLM在低资源非拉丁语种上表现不佳的问题,提出LLINK方法,通过轻量级对比投影器将冻结多语言编码器的句子嵌入注入解码器,无需重训解码器即可显著提升跨语言对齐与问答性能。
2025-10-31 cs.AI cs.CL cs.LG
StrucTexT: Structured Text Understanding with Multi-Modal Transformers
Baidu Inc.(百度公司);Beijing University of Posts and Telecommunications(北京邮电大学);Taikang Insurance Group(泰康保险集团)
视觉丰富文档(VRD)上的结构化文本理解是文档智能的重要组成部分。由于虚拟现实中内容和布局的复杂性,结构化文本的理解一直是一个具有挑战性的任务。大多数现有的研究将这个问题分解为两个子任务:实体标记和实体链接,这需要在令牌和段级别上对文档的上下文有全面的理解。然而,很少有工作一直关注的解决方案,有效地从不同层次的结构化数据提取。本文提出了一个统一的框架名为StructTexT,这是灵活和有效的处理这两个子任务。具体地说,在Transformer的基础上,我们引入了一个分段标记对齐的编码器来处理不同粒度级别的实体标记和实体链接任务。此外,我们设计了一种新的预训练策略,具有三个自监督任务,以学习更丰富的表示。StructTexT使用现有的掩蔽视觉语言建模任务和新的句子长度预测和成对框方向任务来整合跨文本、图像和布局的多模态信息。我们评估了我们的方法在段级和标记级的结构化文本理解,并显示它优于最先进的同行,在FUNSD,SROIE和EPHOIE数据集上具有显着优越的性能。
2021-11-08 cs.CL cs.CV
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
针对汉语自动语音识别(ASR)提出了一种新的多模态多任务编码解码器预训练框架(MMSpeech),该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异,特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同,普通话使用表意书写系统,其中字符和声音并不紧密地相互映射。因此,我们建议将音素模态引入预训练,这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说,我们采用了一个多任务学习框架,包括五个自我监督和监督任务,语音和文本数据。对于端到端预训练,我们引入了利用未标记语音和文本数据的自监督语音到伪代码(S2 C)和音素到文本(P2 T)任务,其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示,我们引入了自监督掩蔽语音预测(MSP)和监督音素预测(PP)任务来学习将语音映射到音素。此外,我们直接将下游有监督的语音到文本(S2 T)任务添加到预训练过程中,这可以进一步提高预训练性能,即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明,该方法具有最佳的性能,与其他预训练方法相比,相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
Cross-Modal State-Space Graph Reasoning for Structured Summarization
针对现有跨模态摘要方法计算开销高、可解释性有限的问题,提出融合状态空间模型与图消息传递的CSS-GR框架,通过构建捕捉模态间/内关系的图实现全面推理,在标准基准上兼顾效率、摘要质量与可解释性。
2025-07-30 cs.CL cs.GR
Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval
Technical University of Darmstadt(达姆施塔特工业大学);University of Cambridge(剑桥大学)
当前最先进的跨模态检索方法联合处理文本和视觉输入,依赖于具有跨注意力机制的基于变换器的架构,该跨注意力机制关注图像中的所有单词和对象。虽然提供了无与伦比的检索性能,但这些模型:1)通常从头开始进行预训练,因此可扩展性较差,2)存在巨大的检索延迟和效率低下的问题,这使得它们在现实应用中不切实际。为了解决这些关键的差距,以改善和有效的跨模态检索,我们提出了一种新的微调框架,把任何预训练的文本图像多模态模型变成一个有效的检索模型。该框架基于合作检索和重新排序方法,该方法结合:1)孪生网络(即,双向编码器)以单独地对语料库的所有项进行编码,从而实现有效的初始检索,以及2)用于更细微差别的交叉编码器组件(即,更聪明的)检索到的小项目集的排序。我们还建议联合微调共享权重的两个组件,从而产生一个更有效的参数模型。我们在单语,多语言和zero-shot设置中对一系列标准跨模态检索基准进行的实验表明,与最先进的交叉编码器相比,该方法提高了准确性和巨大的效率优势。
2022-02-19 cs.CL cs.CV
Leveraging Acoustic Contextual Representation by Audio-textual Cross-modal Learning for Conversational ASR
Northwestern Polytechnical University(西北工业大学);Tencent(腾讯)
利用上下文信息是提高会话式自动语音识别(ASR)性能的直观想法。以往的著作通常采用历史话语的公认假设作为前语境,由于历史认知错误的不可避免,这可能会使当前公认的假设产生偏差。为了避免这个问题,我们提出了一个音频文本跨模态表示提取器,直接从前面的语音学习上下文表示。具体来说,它由两个模态相关编码器和一个跨模态编码器组成,前者从语音和相应的文本中提取高级潜在特征,后者旨在学习语音和文本之间的相关性。我们随机屏蔽一些输入令牌和每个模态的输入序列。然后在交叉模态编码器上执行具有模态级CTC损失的令牌缺失或模态缺失预测。因此,该模型不仅捕获特定模态中的双向上下文依赖性,而且捕获不同模态之间的关系。然后,在会话式ASR系统的训练期间,提取器将被冻结以提取先前语音的文本表示,而这样的表示被用作通过注意机制馈送到ASR解码器的上下文。在几个普通话会话语料库上验证了该方法的有效性,并在MagicData数据集上实现了高达16%的字符错误率(CER)降低。
2022-07-03 cs.CL cs.SD eess.AS
Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations
Zhejiang University(浙江大学);Netease Inc.(网易公司)
针对现有多模态预训练模型结构化表示能力不足的问题,提出整合场景图知识的Structure-CLIP框架,通过场景图引导负样本构建和知识增强编码器,在相关数据集上取得SOTA性能并兼顾通用表示能力。
2023-12-13 cs.AI cs.CL cs.MM
Domain-Adaptive Small Language Models for Structured Tax Code Prediction
Dell Technologies(戴尔技术)
本文提出一种基于编码器-解码器架构的领域自适应小型语言模型,通过顺序生成方式捕捉税码层级依赖,在HSN税码预测上优于扁平分类器及仅编码器/仅解码器架构,并可扩展至UNSPSC、NCM等编码体系。
2026-11-05 cs.CL cs.LG
SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training
University of Science and Technology of China(中国科学技术大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
单通道预训练的快速发展促使研究者更加关注跨通道预训练方法。在本文中,我们提出了一个统一的模态语音单元文本预训练模型,SpeechUT,连接语音编码器和文本解码器的表示与共享的单元编码器。利用隐藏单元作为对齐语音和文本的接口,我们可以将语音到文本模型分解为语音到单元模型和单元到文本模型,它们可以分别使用未配对的语音和文本数据进行联合预训练。我们提出的SpeechUT是微调和自动语音识别(ASR)和语音翻译(ST)的任务进行评估。实验结果表明,SpeechUT在强基线上得到了实质性的改进,并在LibriSpeech ASR和MuST-C ST任务上实现了最先进的性能。为了更好地理解建议的演讲稿,进行了详细的分析。代码和预训练模型可在https://aka.ms/SpeechUT上获得。
2022-10-07 cs.CL eess.AS
Randomized Deep Structured Prediction for Discourse-Level Processing
University of Salzburg(萨尔茨堡大学);Purdue University(普渡大学)
表达性文本编码器,如RNN和Transformer Networks,在最近的工作中一直是NLP模型的中心。大部分的努力都集中在句子级别的任务上,捕捉单个句子或成对句子中单词之间的依赖关系。然而,某些任务,如论证挖掘,需要考虑较长的文本和它们之间复杂的结构依赖关系。深度结构化预测是一个通用框架,它结合了表达性神经编码器和高度结构化领域的结构化推理的互补优势。然而,当需要超越句子时,大多数工作依赖于组合独立训练的分类器的输出分数。其中一个主要原因是约束推理的计算成本很高。在本文中,我们探索使用随机推理来缓解这种担忧,并表明我们可以有效地利用深度结构化预测和表达性神经编码器来完成一组涉及复杂论证结构的任务。
2021-01-25 cs.AI cs.CL cs.LG
Interpreting the structure of multi-object representations in vision encoders
Institute of Computer Science, University of Tartu(塔尔图大学计算机科学学院)
本文通过定义和量化结构化表征的两个关键属性,比较了多种视觉编码器在多物体场景中的表征能力,发现结构化程度更高的网络能更好保留个体物体信息。
2025-04-06 cs.CL cs.CV q-bio.NC
Multimodal Adaptive Distillation for Leveraging Unimodal Encoders for Vision-Language Tasks
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
视觉语言(VL)任务的跨模态编码器通常使用精心策划的视觉语言数据集进行预训练。虽然这些数据集达到了1000万个样本的数量级,但劳动力成本无法进一步扩大。相反,单峰编码器使用更简单的注释进行预训练,成本更低,实现了数亿到数十亿的规模。因此,单峰编码器在许多下游任务上实现了最先进的(SOTA)。然而,在应用于VL任务时仍然存在挑战。预训练数据对于跨模态架构不是最佳的,并且需要大量的计算资源。此外,单模态架构缺乏跨模态交互,这已经证明了VL任务的显着好处。因此,如何最好地利用预训练的单峰编码器进行VL任务仍然是一个活跃的研究领域。在这项工作中,我们提出了一种方法来利用单峰视觉和文本编码器的VL任务,增强现有的VL方法,同时保存计算复杂性。具体来说,我们提出了多模态自适应蒸馏(MAD),它自适应地从预训练的编码器中提取有用的知识到跨模态VL编码器。其次,为了更好地捕捉VL任务性能的细微差别的影响,我们引入了一个评估协议,包括视觉常识推理(VCR),视觉蕴涵(SNLI-VE),和视觉问答(VQA),在各种数据约束和条件的域转移。实验表明,MAD在VCR、SNLI-VE和VQA的低拍摄、域偏移和全监督条件下获得了一致的增益,与其他使用图像-文本数据预训练的单一模型相比,在VCR上实现了SOTA性能。最后,MAD使用CLIP的预训练视觉编码器优于并行工作。代码将提供。
2022-04-28 cs.AI cs.CL cs.CV
Speech-text based multi-modal training with bidirectional attention for improved speech recognition
Xinjiang University(新疆大学);Bytedance AI Lab(字节跳动人工智能实验室);Nanyang Technological University(南洋理工大学);National Institute of Information and Communications Technology(日本国立信息与通信技术研究所)
为了让最先进的端到端ASR模型享受数据效率,以及通过多模式训练获得更多的未配对文本数据,需要解决两个问题:1)语音和语言(又名文本数据)之间特征采样率的同步性; 2)来自两个编码器的学习表示的同质性。在本文中,我们提出采用一种新的双向注意机制(BiAM),共同学习ASR编码器(底层)和文本编码器的多模态学习方法。BiAM是为了方便特征采样率的交换,实现转换后的一种特征在另一个空间中的测量质量,具有多样化的目标函数。因此,语音表示富含更多的语言信息,而文本编码器生成的表示与相应的语音表示更相似,因此共享的ASR模型更适合于不成对的文本数据预训练。为了验证所提出的方法的有效性,我们进行了两类实验,有或没有额外的不成对的文本数据。在Librispeech语料库上的实验结果表明,该方法在仅使用配对数据学习的情况下,可以达到6.15%的词错误率降低,而在使用更多的非配对文本数据学习的情况下,可以达到9.23%的词错误率降低。
2022-11-01 cs.CL cs.SD eess.AS
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
基于转换器的模型广泛用于自然语言理解(NLU)任务,多模态Transformers在视觉语言任务中非常有效。本研究探讨了从预训练的多模态Transformers到预训练的语言编码器的视觉信息提取。我们的框架的灵感来自于跨模态编码器在视觉语言任务中的成功,同时我们改变了学习目标以迎合NLU的语言重特性。经过少量额外的自适应步骤和微调训练后,所提出的XDBERT(跨模态蒸馏BERT)在一般语言理解评估(GLUE),对抗生成(SWAG)基准测试和可读性基准测试中的性能优于预训练的BERT。我们分析了XDBERT在GLUE上的性能,以表明这种改进可能是视觉上的。
2022-05-03 cs.AI cs.CL cs.LG
Zero-resource Machine Translation by Multimodal Encoder-decoder Network with Multimedia Pivot
The University of Tokyo(东京大学)
我们提出了一种方法来构建一个没有监督资源的神经机器翻译系统(即,没有平行语料库),其使用文本和图像上的多模态嵌入式表示。基于文本文档通常可能与其他多媒体信息(例如,图像)与内容有些关系,我们试图间接估计两种语言之间的相关性。使用多媒体作为“支点”,我们项目的所有形式到一个共同的隐藏空间,属于相似的语义概念的样本应该接近彼此,无论每个样本的观察空间。这种模态不可知的表示是弥合不同模态之间差距的关键。在其上放置一个解码器,我们的网络可以灵活地从任何输入模态中提取输出。值得注意的是,在测试阶段,我们只需要源语言文本作为翻译的输入。在实验中,我们在两个基准测试中测试了我们的方法,以表明它可以实现合理的翻译性能。我们比较和研究了几种可能的实现方式,发现同时优化多模态编码器中的秩损失和解码器中的交叉熵损失的端到端模型表现最好。
2017-07-23 cs.AI cs.CL cs.CV