Difficulty-Focused Contrastive Learning for Knowledge Tracing with a Large Language Model-Based Difficulty Prediction
Korea University(高丽大学);i-Scream Edu(i-Scream教育);The University of Missouri System(密苏里大学系统)
本研究针对以往知识追踪研究未挖掘难度优化潜力、难预测未知数据难度的问题,提出以难度为中心的对比学习方法和基于大语言模型的难度预测框架,提升了知识追踪模型性能。
2023-12-19 cs.CL cs.SI
Bi-Link: Bridging Inductive Link Predictions from Text via Contrastive Learning of Transformers and Prompts
Modelbest;Tsinghua University(清华大学);University College London(伦敦大学学院)
归纳知识图谱完备化要求模型理解关系的底层语义和逻辑模式。随着预训练语言模型的发展,最近的研究已经为链接预测任务设计了Transformers。然而,实证研究表明,线性化三元组会影响关系模式的学习,如反转和对称。在本文中,我们提出了双链接,一个对比学习框架与概率语法提示链接预测。使用语法知识的BERT,我们有效地搜索关系提示,根据学习的语法模式,推广到大型知识图谱。为了更好地表达对称关系,我们设计了一个对称链接预测模型,在前向预测和后向预测之间建立双向链接。这种双向链接在测试时提供灵活的自集成策略。在我们的实验中,Bi-Link在链接预测数据集(WN 18 RR,FB 15 K-237和Wikidata 5 M)上的表现优于最近的基线。此外,我们构造Zeshel-Ind作为一个域内的归纳实体连接的环境,以评估双链接。实验结果表明,我们的方法产生鲁棒的表示,可以推广下域移位。
2022-10-26 cs.CL
Atom-Motif Contrastive Transformer for Molecular Property Prediction
Nanjing University of Science and Technology(南京理工大学);RIKEN(理化学研究所);The University of Tokyo(东京大学)
提出原子-基序对比Transformer(AMCT),同时建模原子与基序交互,利用自监督对齐和跨分子对比损失及性质感知注意力,在七个基准上超越现有方法。
2023-10-11 cs.LG
DETQUS: Decomposition-Enhanced Transformers for QUery-focused Summarization
University of Florida(佛罗里达大学)
本文提出DETQUS系统,通过大型语言模型对表格进行查询相关的列分解并结合微调的编码器-解码器模型,在查询聚焦表格摘要任务上以ROUGE-L 0.4437超越REFACTOR模型,实现了可扩展且高效的摘要生成。
2025-03-07 cs.CL
Controllable Topic-Focused Abstractive Summarization
University of Tuebingen(图宾根大学);EPFL(洛桑联邦理工学院)
本文提出一种基于Transformer的交叉注意力修改机制,在不增加参数的情况下实现可控主题聚焦摘要,在NEWTS数据集上达到新最优,并可微调提升BART和T5在CNN/Dailymail及XSum上的性能,生成更忠实的摘要。
2023-11-12 cs.CL cs.LG
Reducing Distraction in Long-Context Language Models by Focused Learning
University of Alberta(阿尔伯塔大学);AWS AI Labs(亚马逊云科技人工智能实验室)
针对长上下文语言模型中的干扰问题,提出结合检索增强与对比学习的训练方法,提升模型聚焦相关信息的能力,并在长文档问答基准上验证有效性。
2024-11-08 cs.CL
Data Fusion and Contrastive Alignment for Unconstrained IR Molecular Structure Elucidation
University of Missouri(密苏里大学)
本研究针对无约束红外分子结构解析的局限性,改进Transformer并引入MoE解码器与对比对齐损失,使Top-K预测准确率提升超10个百分点,拓宽了AI在分析化学的应用。
2026-07-30 cs.LG
Q-STRUM Debate: Query-Driven Contrastive Summarization for Recommendation Comparison
University of Toronto(多伦多大学)
本文提出 Q-STRUM Debate,通过辩论式提示扩展 STRUM-LLM,利用大语言模型生成查询相关的聚焦对比摘要,在三个数据集上显著提升了查询驱动对比摘要的性能。
2025-06-02 cs.CL
mCPT at SemEval-2023 Task 3: Multilingual Label-Aware Contrastive Pre-Training of Transformers for Few- and Zero-shot Framing Detection
Graz University of Technology(格拉茨技术大学)
本文提出基于多语言Transformers和标签感知对比损失函数的预训练系统,解决多语言少样本与零样本框架检测问题,在零样本西班牙语任务中获胜并在8种语言中表现优异。
2023-08-01 cs.AI cs.CL cs.LG
An Enhanced Dual Transformer Contrastive Network for Multimodal Sentiment Analysis
Ho Chi Minh City Open University, Ho Chi Minh, Vietnam Insight Centre for Data Analytics \& School of Computing, Dublin City University, Dublin, Ireland
针对多模态情感分析任务,本文提出基于早期融合的BERT-ViT-EF模型及扩展的DTCN模型,通过新增Transformer层优化文本上下文、结合对比学习对齐模态表征,在两个基准数据集上取得了优异性能。
2025-10-20 cs.AI cs.CL cs.LG
Contrastive Triple Extraction with Generative Transformer
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
三元抽取是信息抽取中自然语言处理和知识图谱构建的一项重要任务。在本文中,我们重新审视了端到端的三重提取任务的序列生成。由于生成三元组提取可能难以捕获长期依赖关系并生成不忠实的三元组,因此我们引入了一种新的模型,具有生成Transformer的对比三元组提取。具体来说,我们引入了一个共享的Transformer模块,用于基于编码器-解码器的生成。为了生成可靠的结果,我们提出了一种新的三元组对比训练对象。此外,我们引入了两种机制来进一步提高模型性能(即,分批动态注意力掩蔽和三重校准)。三个数据集(即,NYT,WebNLG和MIE)表明,我们的方法比基线实现了更好的性能。
2022-07-21 cs.AI cs.CL cs.DB
Integrating Contrastive Learning into a Multitask Transformer Model for Effective Domain Adaptation
Nanyang Technological University(南洋理工大学);University of Southern Queensland(南昆士兰大学)
针对语音情感识别跨语料库泛化难题,提出融合对比学习与信息最大化损失的多任务Transformer域适配方法,经IEMOCAP等数据集验证,在跨语料库SER任务上达当前最优性能。
2023-10-07 cs.CL cs.HC cs.LG
A Transformer-Based Contrastive Learning Approach for Few-Shot Sign Language Recognition
Universidade Federal do Rio Grande do Norte(联邦大学-里约格朗德杜北州分校);CESAR;Lenovo(联想)
针对单目视频或2D姿态序列的手语识别难题,提出基于对比Transformer的模型,学习身体关键点序列的丰富表示,支持训练中未见手语的单样本和少样本分类任务,在LSA64数据集上效果良好。
2026-07-07 cs.AI cs.CL cs.CV
Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization
Dialpad Canada Inc.(Dialpad加拿大公司);Information Retrieval & Knowledge Management Research Lab, York University(约克大学信息检索与知识管理研究实验室);School of Information Technology, York University(约克大学信息技术学院)
以查询为中心的文本摘要(QFTS)任务旨在构建基于给定查询生成文本文档摘要的系统。解决此任务的一个关键挑战是缺乏用于训练摘要模型的大型标记数据。在本文中,我们通过探索一系列领域自适应技术来应对这一挑战。鉴于最近成功的预训练的Transformer模型在广泛的自然语言处理任务,我们利用这样的模型生成抽象摘要的QFTS任务的单文档和多文档的情况。对于领域自适应,我们使用预先训练的基于transformer的摘要模型应用各种技术,包括迁移学习,弱监督学习和远程监督。在六个数据集上进行的大量实验表明,我们提出的方法在为QFTS任务生成抽象摘要方面非常有效,同时在一组自动和人工评估指标的多个数据集中设置了一个新的最先进的结果。
2021-12-22 cs.AI cs.CL cs.LG
Assessing the Capacity of Transformer to Abstract Syntactic Representations: A Contrastive Analysis Based on Long-distance Agreement
Université Paris Cité(巴黎西岱大学);LLF(语言学形式实验室);CNRS(法国国家科学研究中心)
长距离一致性作为句法结构的证据,越来越多地被用来评估神经语言模型的句法泛化能力。许多工作表明,Transformers能够在不同的协议任务的高精度,但该模型实现这种行为的机制仍然没有得到很好的理解。为了更好地理解Transformers的内部工作,这项工作对比了他们如何处理两个表面上相似但理论上不同的一致现象:法语中的主语-动词和宾语-过去分词一致。使用探测和反事实分析方法,我们的实验表明,i)协议任务遭受了一些混淆,部分质疑迄今为止得出的结论和ii)Transformers处理主语-动词和宾语-过去分词协议的方式是一致的,与他们的建模在理论语言学。
2023-01-04 cs.CL
Contrastive Out-of-Distribution Detection for Pretrained Transformers
University of Southern California(南加州大学);University of Cambridge(剑桥大学)
当训练数据和测试数据来自相同的分布时,预训练的Transformers实现显著的性能。然而,在现实世界的场景中,模型经常面临的分布(OOD)的实例,可能会导致严重的语义转换问题在推理时。因此,在实践中,一个可靠的模型应该识别这样的实例,然后在推理过程中拒绝它们,或者将它们传递给处理另一个分布的模型。在本文中,我们开发了一个无监督的OOD检测方法,其中只有在分布(ID)数据用于训练。我们建议微调的Transformers与对比损失,提高了紧凑性的表示,这样OOD实例可以更好地区分ID的。这些OOD实例可以使用模型的倒数第二层中的Mahalanobis距离精确地检测出来。我们使用全面的设置进行实验,并实现了近乎完美的OOD检测性能,大大优于基线。我们进一步研究了改进背后的原理,发现通过基于边缘的对比学习进行更紧凑的表示可以带来改进。我们向社区发布代码以供将来研究。
2021-09-08 cs.CL
Contrastive Representation Learning for Cross-Document Coreference Resolution of Events and Entities
AWS AI Labs(亚马逊云科技人工智能实验室)
识别文档内和跨文档的相关实体和事件是自然语言理解的基础。本文提出了一种基于对比表示学习的实体和事件共指消解方法。早期的最先进的方法已经将这个问题公式化为二进制分类问题,并在交叉编码器架构中利用大型Transformers来实现其结果。对于文档的大集合和$n$提及的对应集合,在这些早期方法中执行$n^{2}$ Transformer计算的必要性可能是计算密集型的。我们表明,通过应用仅需要在推理时进行$n$ Transformer计算的对比学习技术,可以减轻这种负担。我们的方法在ECB+语料库的一些关键指标上取得了最先进的结果,并且在其他方面具有竞争力。
2022-05-23 cs.CL
Optimizing Non-Autoregressive Transformers with Contrastive Learning
The University of Hong Kong(香港大学);Fudan University(复旦大学);Tsinghua University(清华大学)
针对非自回归 Transformer 的多模态学习难题,本文提出从模型分布采样并引入对比约束,结合 DA-Transformer,在翻译、摘要和释义的 5 个基准上取得新 SOTA。
2023-06-02 cs.CL
Neighborhood Contrastive Transformer for Change Captioning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室)
变化字幕是用自然语言描述一对相似图像之间的语义变化。它比一般的图像描述更具挑战性,因为它需要捕获细粒度的变化信息,同时不受无关视点变化的影响,并解决变化描述中的语法歧义。本文提出了一种邻域对比变换器Transformer,以提高模型对不同场景下各种变化的感知能力和对复杂句法结构的认知能力。具体地说,我们首先设计了一个邻近特征聚合,将邻近上下文集成到每个特征中,这有助于在显著参照物的指导下快速定位不显著的变化。然后,我们设计了一个共同特征提取方法,在邻域水平上对两幅图像进行比较,从每幅图像中提取共同的属性,从而学习它们之间有效的对比信息。最后,我们引入单词之间的显式依赖来校准Transformer解码器,这有助于在训练期间更好地理解复杂的语法结构。大量的实验结果表明,所提出的方法实现了国家的最先进的性能在三个公共数据集与不同的变化场景。该代码可在https://github.com/tuyunbin/NCT上获得。
2023-03-06 cs.CL cs.CV cs.MM
Multi-Level Attention and Contrastive Learning for Enhanced Text Classification with an Optimized Transformer
Stevens Institute of Technology(史蒂文斯理工学院);San Francisco State University(旧金山州立大学);University of Minnesota(明尼苏达大学);The Chinese University of Hong Kong(香港中文大学);New York University(纽约大学)
本文提出一种改进的Transformer文本分类模型,通过多层级注意力机制和对比学习增强语义建模,并设计轻量模块降低计算成本,在多个数据集上优于BiLSTM、CNN、标准Transformer和BERT,具有良好应用潜力。
2025-01-23 cs.CL
Combining Denoising Autoencoders with Contrastive Learning to fine-tune Transformer Models
Huawei London Research Centre(华为伦敦研究中心);Huawei Ireland Research Center(华为爱尔兰研究中心)
提出三阶段微调方法,结合去噪自编码器、对比学习与微调,并引入数据增强以处理不平衡数据,在多个数据集上验证了有效性。
2024-05-23 cs.CL
Contrastive Document Representation Learning with Graph Attention Networks
Amazon(亚马逊);AWS AI Labs(AWS AI 实验室)
基于transformer的语言模型在学习文本的上下文表示方面取得了巨大的成功。然而,由于二次自我注意复杂度,大多数预训练的Transformers模型只能处理相对较短的文本。当涉及到建模非常长的文档时,这仍然是一个挑战。在这项工作中,我们建议在可用的预训练Transformers模型之上使用图形注意力网络来学习文档嵌入。这个图形注意力网络允许我们利用文档的高级语义结构。此外,基于我们的图文档模型,我们设计了一个简单的对比学习策略,在大量未标记的语料库上对我们的模型进行预训练。经验上,我们证明了我们的方法在文档分类和文档检索任务的有效性。
2021-10-20 cs.CL
Adaptive Contrastive Learning on Multimodal Transformer for Review Helpfulness Predictions
National University of Singapore(国立新加坡大学);VinAI Research(VinAI研究院);Nanyang Technological University(南洋理工大学);DAMO Academy(达摩院)
本文提出多模态对比学习方法,通过增强跨模态关系和自适应加权方案提升多模态评论有用性预测性能,实验证明优于现有方法。
2026-05-12 cs.CL
ORACLE: Orchestrate NPC Daily Activities using Contrastive Learning with Transformer-CVAE
Korea University(韩国大学)
ORACLE通过对比学习与Transformer-CVAE生成逼真室内日常活动计划,解决数据不平衡、样本稀缺和缺乏预训练模型的问题,提升NPC在数字环境中的真实性。
2026-03-25 cs.CL cs.CV cs.GR
Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings
Dartmouth College(达特茅斯学院);Northwestern University(西北大学)
句子的语义表示学习是自然语言处理中的一个重要研究课题。该任务的当前趋势涉及通过与文本的对比目标来训练基于transformer的句子编码器,即,聚类语义相似的句子,分散其他句子。在这项工作中,我们发现Transformer模型作为句子编码器的性能可以通过使用来自另一种模态的未配对示例(例如,句子和不相关的图像/音频数据)。特别是,除了通过文本的对比损失进行学习之外,我们的模型还对来自非语言领域的示例进行聚类(例如,视觉/听觉)与此同时具有类似的对比度损失。我们的框架对非成对非语言数据的依赖使其与语言无关,使其能够广泛应用于英语NLP之外。在7个语义文本相似性基准上的实验表明,使用额外的非语言(图像/音频)对比目标训练的模型导致更高质量的句子嵌入。这表明Transformer模型能够通过执行类似的任务(即,聚类)与来自多任务方式的不同模态的未配对示例。
2022-09-20 cs.CL
Multimodal Prompt Transformer with Hybrid Contrastive Learning for Emotion Recognition in Conversation
Chongqing University of Technology(重庆理工大学)
针对多模态对话情绪识别中跨模态融合噪声和少样本标签预测难题,提出融合混合对比学习的多模态提示Transformer,通过提示增强与分层融合及混合对比优化,在两个基准数据集上取得SOTA表现。
2023-10-04 cs.CL cs.SD eess.AS
Exploring ChatGPT-based Augmentation Strategies for Contrastive Aspect-based Sentiment Analysis
Hong Kong Metropolitan University(香港都会大学);Lingnan University(岭南大学);University of Southern Queensland(南昆士兰大学)
针对方面级情感分析中标注数据稀缺的问题,提出三种基于ChatGPT的数据增强策略并结合对比学习,实验验证其均能提升性能,其中上下文-方面增强策略效果最优。
2024-09-17 cs.CL
MedCPT: Contrastive Pre-trained Transformers with Large-scale PubMed Search Logs for Zero-shot Biomedical Information Retrieval
National Center for Biotechnology Information (NCBI)(国家生物技术信息中心);National Library of Medicine (NLM)(国家医学图书馆);National Institutes of Health (NIH)(国立卫生研究院)
MedCPT 利用 2.55 亿条 PubMed 点击日志进行对比预训练,首次实现生物医学零样本语义检索,并在六个 IR 任务上超越 GPT-3 规模基线模型。
2023-10-04 cs.AI cs.CL cs.IR
Interpretability in Activation Space Analysis of Transformers: A Focused Survey
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
本文综述transformer前馈层神经元激活所构成激活空间的可解释性方法,梳理有限现有工作并指出未来方向。
2023-01-22 cs.AI cs.CL
Contrastive Learning for API Aspect Analysis
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);York University(约克大学)
本文提出 CLAA,用有监督对比损失训练 transformer 以检测 API 评论方面,并在 Stack Overflow 数据和开发者研究中验证其优于 SOTA。
2023-08-14 cs.AI cs.CL cs.SE
RadBERT-CL: Factually-Aware Contrastive Learning For Radiology Report Classification
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Central University of Gujarat(古吉拉特中央大学);Dell Medical School(戴尔医学院);Weill Cornell Medicine(威尔康奈尔医学院)
放射学报告是非结构化的,并且包含由放射科医师转录的成像发现和相应的诊断,其包括临床事实和否定和/或不确定的陈述。从放射学报告中提取病理学发现和诊断对于质量控制、人群健康和疾病进展的监测是重要的。现有的工作,主要依赖于基于规则的系统或基于变压器的预训练模型微调,但不能考虑到事实和不确定的信息,因此产生假阳性输出。在这项工作中,我们介绍了三个刻意增强技术,保留事实和关键的信息,同时产生增强对比学习。我们引入RadBERT-CL,它通过自监督对比损失将这些信息融合到BlueBert中。我们在MIMIC-CXR上的实验显示了RadBERT-CL在多类、多标签报告分类的微调方面的优越性能。我们说明,当很少标记的数据是可用的,RadBERT-CL优于传统的SOTA Transformers(BERT/BlueBert)显着更大的利润率(6-11%)。我们还表明,RadBERT-CL学习的表示可以捕获潜在空间中的关键医学信息。
2021-11-19 cs.CL cs.LG
Skim-Aware Contrastive Learning for Efficient Document Representation
CDEP - UR 2471, Univ Artois, France(阿托斯大学);CRIL - CNRS, Univ Artois, France(阿托斯大学)
本文提出一种基于 skim-aware 策略的对比学习框架,通过随机遮蔽文档部分并利用 NLI 对比目标,提升长文档表示的准确性和效率。
2025-12-30 cs.AI cs.CL
Towards Skeletal and Signer Noise Reduction in Sign Language Production via Quaternion-Based Pose Encoding and Contrastive Learning
Université de Lorraine, CNRS, Inria, LORIA(洛林大学、国家科学研究中心、法国国家信息与自动化研究所、LORIA)
针对神经手语生成中手势类内高变异性问题,提出基于四元数的姿态编码(结合测地线损失)和对比损失两项改进,在Phoenix14T数据集上提升了正确关键点概率并降低角度误差,验证了方法有效性。
2025-08-20 cs.CL cs.LG
Contrastive Projection: Reading Transformer Internals by Differencing Logit Lenses
Evident Solutions Oy(Evident Solutions 公司)
通过差分对数透镜读取Transformer内部状态,提出对比投影方法,无需训练即可追踪复合名词链,并揭示区分是跨架构稳定的,而词元表示则因网络而异。
2026-09-10 cs.CL
Self-Segregating and Coordinated-Segregating Transformer for Focused Deep Multi-Modular Network for Visual Question Answering
University of Florida(佛罗里达大学)
注意力机制由于其在不同领域实现高准确性的有效性而获得了巨大的普及。但是注意力是机会主义的,并不是由内容或内容的可用性来证明的。Transformer类结构创建所有/任何可能的注意力。我们定义的隔离策略,可以优先考虑的内容,为应用程序的性能增强。我们定义了两个策略:自隔离Transformer(SST)和协调隔离Transformer(CST),并使用它来解决视觉问答应用。注意的自我隔离策略有助于更好地理解和过滤最有助于回答问题的信息,并创造注意的视觉推理的多样性。这项工作可以很容易地用于许多其他应用程序,涉及重复和多帧的功能,并会减少在很大程度上的关注的共性。视觉问答(VQA)需要理解和协调图像和文本的解释。实验结果表明,级联多头Transformer注意力的分离策略优于许多以前的工作,并在VQA-v2数据集基准测试中取得了相当大的改进。
2020-06-25 cs.CL cs.CV cs.NE
Advances and Challenges in Semantic Textual Similarity: A Comprehensive Survey
本文综述了语义文本相似性在变压器模型、对比学习、领域适应等六个方面的最新进展,探讨了多模态、图方法和知识增强技术,并指出现有挑战与未来发展方向。
2025-12-19 cs.AI cs.CL math.OC
Generating Query Focused Summaries without Fine-tuning the Transformer-based Pre-trained Models
University of Lethbridge(莱斯布里奇大学)
为每个新数据集微调自然语言处理(NLP)模型需要更长的计算时间,这与增加的碳足迹和成本相关。然而,微调有助于预训练的模型适应最新的数据集;如果我们避免微调步骤,并尝试仅使用预训练的模型来生成摘要,以减少计算时间和成本,会怎么样?在本文中,我们试图省略微调步骤,并研究基于边际最大相关性(MMR)的方法是否可以帮助预训练模型直接从未用于预训练模型的新数据集获得以查询为中心的摘要。首先,我们在维基百科时事门户(WCEP)和Debatepedia数据集上使用主题建模来生成摘要任务的查询。然后,使用MMR,我们根据查询对文档的句子进行排序。接下来,我们将排名的句子传递给七个基于transformer的预训练模型来执行摘要任务。最后,我们再次使用MMR方法从各个预训练模型生成的摘要中选择查询相关句子,并构建最终摘要。正如实验结果所示,我们基于MMR的方法成功地排名并选择了最相关的句子作为摘要,并且表现出比单独的预训练模型更好的性能。
2023-03-10 cs.CL
Novelty-focused R&D landscaping using transformer and local outlier factor
Korea Institute of Science and Technology(韩国科学技术研究院)
本研究提出一种结合Transformer语言模型与局部离群因子的系统性方法,构建研发景观并数值化评估新研究提案的新颖性,以辅助研发规划决策。
2024-11-05 cs.CL
VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
Facebook AI(脸书人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了VideoCLIP,这是一种对比方法,用于预训练zero-shot视频和文本理解的统一模型,而无需在下游任务上使用任何标签。VideoCLIP通过将时间上重叠的正视频-文本对与最近邻检索的硬否定进行对比,来训练视频和文本的Transformer。我们对一系列下游任务的实验,包括序列级文本视频检索,VideoQA,令牌级动作定位和动作分割,揭示了最先进的性能,超过了先前的工作,在某些情况下甚至优于监督方法。代码可在https://github.com/pytorch/fairseq/tree/main/examples/MMPT上获得。
2021-10-01 cs.CL cs.CV
Learning Visual Representation from Modality-Shared Contrastive Language-Image Pre-training
Columbia University(哥伦比亚大学);Microsoft Cloud and AI(微软云与人工智能部门);Microsoft Research(微软研究院)
大规模多模态对比预训练已经证明了通过将多个模态映射到共享嵌入空间中来学习一系列下游任务的可转移特征的巨大效用。通常,这已经针对每种模态采用了单独的编码器。然而,最近的工作表明,Transformers可以支持跨多种模式的学习,并允许知识共享。受此启发,我们研究了各种模态共享对比图像预训练(MS-CLIP)框架。更具体地说,我们质疑在对比预训练期间,Transformer模型的多少参数可以在模态之间共享,并严格检查沿着频谱定位共享参数比例的架构设计选择。在研究的条件下,我们观察到,一个基本统一的编码器的视觉和语言信号优于所有其他的变化,分离更多的参数。此外,我们发现,轻量级的特定模态的并行模块进一步提高性能。实验结果表明,MS-CLIP方法在zero-shot ImageNet分类(在YFCC-100 M上进行预训练)中的相对性能比vanilla CLIP高出13%,同时支持参数的减少。此外,我们的方法在24个下游视觉任务的线性探测中优于vanilla CLIP 1.6个点。此外,我们发现共享参数导致来自不同模态的语义概念在嵌入空间中被更紧密地编码,从而促进公共语义结构的转移(例如,注意力模式(从语言到视觉)。代码可在\href{https://github.com/Hxyou/MSCLIP}{URL}上获得。
2022-07-26 cs.CL cs.CV