Bilingual Dual-Head Deep Model for Parkinson's Disease Detection from Speech
Kore University of Enna(恩纳大学);University of Antioquia(安蒂奥基亚大学)
本研究提出一种双语双头深度模型,通过专用头处理交替运动和自然语音模式,结合自监督学习等技术减少跨语言变异,在斯洛伐克语和西班牙语数据集上同时提升帕金森病检测的跨语言泛化能力。
2025-03-13 cs.AI eess.AS
TACo: Token-aware Cascade Contrastive Learning for Video-Text Alignment
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
对比学习已被广泛用于训练基于变换的视觉语言模型,用于视频-文本对齐和多模态表示学习。本文提出了一种新的算法称为令牌感知级联对比学习(TACo),提高了对比学习使用两种新的技术。第一种是标记感知的对比损失,它是通过考虑单词的句法类别来计算的。这是由以下观察所激发的:对于视频-文本对,文本中的内容词(诸如名词和动词)比功能词更可能与视频中的视觉内容对齐。其次,级联采样方法被施加到生成一个小的硬负的例子,多模态融合层的有效损失估计。为了验证TACo的有效性,在我们的实验中,我们对一组下游任务的预训练模型进行了微调,包括文本视频检索(YouCook 2,MSR-VTT和ActivityNet),视频动作步骤定位(CrossTask),视频动作分割(COIN)。结果表明,我们的模型在不同的实验设置中比以前的方法获得了一致的改进,在YouCook 2,MSR-VTT和ActivityNet三个公共文本视频检索基准上设置了新的最先进水平。
2021-08-23 cs.AI cs.CV cs.LG
Contrastive Token-level Explanations for Graph-based Rumour Detection
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出 CT-LRP 框架,通过词元级对比解释增强基于 GNN 的谣言检测可解释性,并在多个公开数据集上验证其能生成高保真解释。
2025-02-05 cs.AI cs.CL cs.LG
VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Huggingface
视频理解依赖于感知全局内容并对其内部连接建模(例如,因果关系、运动和时空对应)。为了学习这些交互,我们对通过VQ-VAE生成的离散化视频令牌应用了一个mask-then-predict预训练任务。与文本令牌更加独立的语言不同,相邻的视频令牌通常具有强相关性(例如,连续的视频帧通常看起来非常相似),并且因此均匀地掩蔽各个标记将使得任务对于学习有用的表示来说太微不足道。为了解决这个问题,我们提出了一个块的屏蔽策略,我们屏蔽相邻的视频令牌在空间和时间域。我们还增加了一个增强免费的对比学习方法,以进一步捕捉全局内容,通过预测是否从同一个视频采样的视频剪辑。我们在未经策划的视频上预训练我们的模型,并表明我们的预训练模型可以在几个视频理解数据集上达到最先进的结果(例如,SSV2,Diving48)。最后,我们对模型的可扩展性和预训练方法设计进行了详细的分析。代码发布于https://github.com/airsplay/vimpac。
2021-06-21 cs.AI cs.CV cs.LG
Improving Word Translation via Two-Stage Contrastive Learning
University of Cambridge(剑桥大学)
本文提出两阶段对比学习框架用于双语词典归纳,先精化静态词嵌入的跨语言映射,再对 mBERT 进行面向 BLI 的对比微调,在 28 个语言对的 112 个设置上均取得提升。
2024-10-17 cs.AI cs.CL cs.IR
TCMM: Token Constraint and Multi-Scale Memory Bank of Contrastive Learning for Unsupervised Person Re-identification
National Chung Cheng University(中正大学)
针对无监督行人重识别中的块噪声、特征不一致及离群样本浪费问题,提出带Token约束与多尺度记忆库的TCMM方法,在常用基准上取得SOTA性能。
2025-01-15 cs.AI cs.CV
On Isotropy, Contextualization and Learning Dynamics of Contrastive-based Sentence Representation Learning
Durham University(杜伦大学)
本文从各向同性、语境化和学习动态角度分析对比学习在句子表示学习中的作用机制,揭示其促进表示各向同性、提高句内相似性并缓解虚假语境化,为未来方法设计提供依据。
2023-05-26 cs.AI cs.CL
Learning Speech Representation From Contrastive Token-Acoustic Pretraining
Tianjin University(天津大学);Kuaishou Technology Co., Ltd(快手科技有限公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对细粒度语音任务中中间表示冗余且现有对比学习不适用的问题,提出 CTAP,在帧级对齐音素与语音,并基于 21 万对数据实现最小监督 TTS、VC 和 ASR。
2023-12-18 cs.AI cs.CL cs.SD
Template-assisted Contrastive Learning of Task-oriented Dialogue Sentence Embeddings
Stanford University(斯坦福大学);Zhejiang University(浙江大学);Alibaba Qwen Pilot(阿里巴巴Qwen Pilot)
本文提出TaDSE方法,利用模板信息通过自监督对比学习学习对话句嵌入,通过合成数据集增强效果,并在五个对话基准数据集上验证了其有效性。
2026-04-12 cs.AI cs.CL
CLMLF:A Contrastive Learning and Multi-Layer Fusion Method for Multimodal Sentiment Detection
Harbin Institute of Technology(哈尔滨工业大学)
与单峰数据相比,多模态数据可以提供更多的特征来帮助模型分析数据的情感。以往的研究工作很少考虑标记级的特征融合,也很少有研究探索学习多模态数据中与情感相关的共同特征来帮助模型融合多模态特征。在本文中,我们提出了一个对比学习和多层融合(CLMLF)方法的多模态情感检测。具体来说,我们首先对文本和图像进行编码以获得隐藏表示,然后使用多层融合模块来对齐和融合文本和图像的标记级特征。除了情感分析任务,我们还设计了两个对比学习任务,基于标签的对比学习和基于数据的对比学习任务,这将有助于模型学习多模态数据中与情感相关的常见特征。在三个公开的多模态数据集上进行的大量实验表明,与现有方法相比,我们的方法对多模态情感检测是有效的。这些代码可在https://github.com/Link-Li/CLMLF上使用
2022-06-14 cs.CL
Self-Guided Contrastive Learning for BERT Sentence Representations
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室)
尽管BERT及其变体已经重塑了NLP的格局,但如何从这种预先训练的Transformers中最好地获得句子嵌入仍然不清楚。在这项工作中,我们提出了一个对比学习方法,利用自我指导,以提高质量的BERT句子表示。我们的方法以自我监督的方式微调BERT,不依赖于数据增强,并使通常的[CLS]令牌嵌入作为句子向量。此外,我们重新设计了对比学习目标(NT-Xent),并将其应用于句子表示学习。我们用大量的实验证明,我们的方法是更有效的竞争力的基线上不同的业务相关的任务。我们还表明,它是有效的推理和鲁棒域转移。
2021-06-03 cs.AI cs.CL
Supervised Graph Contrastive Pretraining for Text Classification
IIT Hyderabad(印度理工学院海得拉巴分校);Amazon(亚马逊)
文本分类的对比预训练技术在无监督环境中得到了大量研究。然而,通常来自与当前任务共享标签语义的相关任务的标记数据是可用的。我们假设,有效地使用这些标记的数据可以导致更好的概括当前任务。在本文中,我们提出了一种新的方法,有效地利用标记数据的相关任务与基于图的监督对比学习方法。我们制定了一个令牌图外推的监督信息从例子到令牌。我们的公式导致嵌入空间,其中具有高/低概率属于同一类的令牌彼此接近/远离。我们还开发了详细的理论见解,作为我们的方法的动机。在我们的实验与$13$数据集,我们表明我们的方法优于预训练方案的$2.5\%$,也是基于示例级对比学习的配方平均$1.8\%$。此外,我们展示了跨域的有效性,我们的方法在zero-shot设置由$3.91\%$平均。最后,我们还证明了我们的方法可以作为一个嘈杂的教师在知识蒸馏设置显着提高性能的Transformer为基础的模型在低标记的数据制度平均$4.57\%$。
2021-12-21 cs.CL cs.LG
Large-scale Bilingual Language-Image Contrastive Learning
NAVER Vision(NAVER视觉)
本文是一份技术报告,分享我们的经验和发现,建立一个韩英双语多模态模型。虽然许多多模态数据集专注于英语和多语言多模态研究使用机器翻译的文本,但使用这种机器翻译的文本仅限于描述英语以外的语言中的独特表达,文化信息和专有名词。在这项工作中,我们收集了11亿图像-文本对(7.08亿韩语和4.76亿英语)和训练一个双语多模态模型KELIP。我们引入简单而有效的培训计划,包括MAE预培训和多作物扩增。大量的实验表明,用这种训练方案训练的模型在两种语言中都表现出竞争力。此外,我们还讨论了多模态相关的研究问题:1)基于强增强的方法会分散模型学习正确的多模态关系的注意力; 2)训练没有跨语言关系的多模态模型可以通过视觉语义来学习多模态关系; 3)我们的双语KELIP可以捕捉相同词义的视觉语义的文化差异; 4)大规模多模态模型可用于多模态特征类比。我们希望这项工作将为未来的研究提供有益的经验和发现。我们提供一个开源的预训练KELIP。
2022-04-15 cs.CL cs.CV
Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,令牌级自适应训练在机器翻译中取得了有希望的改进,其中通过为不同的令牌分配不同的训练权重来调整交叉熵损失函数,以减轻令牌不平衡问题。然而,以前的方法只使用目标语言中的静态词频信息,而不考虑源语言,这对于像机器翻译这样的双语任务是不够的。在本文中,我们提出了一种新的双语互信息(BMI)为基础的自适应目标,从双语的角度来衡量每个目标令牌的学习难度,并相应地分配一个自适应权重,以提高令牌级自适应训练。该方法将较大的训练权值分配给BMI值较高的标记,使得容易的标记以粗粒度更新,而困难的标记以细粒度更新。在WMT 14英-德和WMT 19中-英两种语言上的实验结果表明,与Transformer基线和以往的标记级自适应训练方法相比,该方法具有更好的性能。进一步的分析表明,该方法可以提高词汇的多样性。
2021-05-27 cs.CL
CoJEPA: Combining Contrastive Learning and JEPA for Global-Local Music Representations
本研究提出CoJEPA,将对比学习与JEPA结合,在MIR任务上性能优于或匹配单独方法,无需额外参数或任务特定架构改动,鼓励关注智能训练目标而非增大模型规模。
2026-09-09 cs.AI cs.LG cs.SD
From English-Centric to Effective Bilingual: LLMs with Custom Tokenizers for Underrepresented Languages
OpenBabylon;ARG-Tech, University of Dundee(邓迪大学ARG-Tech公司);Georg-August Universität Göttingen(哥廷根大学);Doha Institute for Graduate Studies(多哈研究生学院);Arab Center for Research and Policy Studies(阿拉伯研究与政策研究中心);Google(谷歌);PolyAgent
本文提出模型无关的双语LLM构建流程,通过定制词表与嵌入初始化等步骤,在三种非拉丁文字语言上以更低成本提升性能并减少语码转换等问题。
2024-10-24 cs.AI cs.CL
Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning
Scatterlab(Scatterlab公司);POSTECH(浦项科技大学);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校(UIUC))
最近,微调预训练的语言模型来捕获句子嵌入之间的相似性已经显示了语义文本相似性(STS)任务的最新性能。然而,缺乏一个解释方法的句子相似性,使得它很难解释模型输出。在这项工作中,我们明确地描述句子距离的加权和的上下文中的令牌距离的基础上的运输问题,然后提出了最佳的基于运输的距离测量,命名为RCMD;它识别和利用语义对齐的令牌对。最后,我们提出了一个对比学习框架CLRCMD,它优化了句子对的RCMD,从而提高了句子相似度和句子解释的质量。大量的实验表明,我们的学习框架在STS和可解释的STS基准测试中的表现优于其他基线,这表明它计算了有效的句子相似性,并提供了与人类判断一致的解释。代码和检查点可在https://github.com/sh0416/clrcmd上公开获取。
2022-04-14 cs.AI
Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats
本文提出一种基于机器遗忘的令牌级部分遗忘方法 UBT,通过少量可疑样本快速消除多模态对比学习中的后门效应,在 CLIP 上实现最低攻击成功率并保持较高干净准确率。
2024-09-29 cs.AI cs.CR cs.CV
H3Former: Hypergraph-based Semantic-Aware Aggregation via Hyperbolic Hierarchical Contrastive Loss for Fine-Grained Visual Classification
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);College of Software, Jilin University(吉林大学软件学院);School of Software, Tsinghua University(清华大学软件学院)
针对细粒度视觉分类难题,提出H3Former框架,通过语义感知聚合模块利用多尺度上下文线索构建加权超图捕捉高阶语义依赖,引入双曲层次对比损失增强语义约束,实验验证了该框架在FGVC任务中的优越性。
2026-07-13 cs.AI cs.CV
Training a Bilingual Language Model by Mapping Tokens onto a Shared Character Space
Reichman University(赖希曼大学)
本文通过将阿拉伯语文本转写为希伯来文字,在共享字符空间上训练双语语言模型,以较小数据集在阿-希双向机器翻译中取得与更大模型可比的效果。
2024-02-25 cs.CL cs.LG
TMCIR: Token Merge Benefits Composed Image Retrieval
Central South University(中南大学);The Australian National University(澳大利亚国立大学);Wuhan University(武汉大学);Tsinghua University(清华大学)
针对组合图像检索(CIR)中跨模态融合存在视觉/文本主导偏差的问题,提出TMCIR框架,通过意图感知跨模态对齐和自适应Token融合优化特征表示,在Fashion-IQ和CIRR数据集上显著提升检索性能。
2025-04-15 cs.AI cs.CV
Conjuring Positive Pairs for Efficient Unification of Representation Learning and Image Synthesis
Universitat de Barcelona(巴塞罗那大学);NVIDIA Computing(NVIDIA计算);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
针对现有统一自监督学习方法依赖外部令牌器、计算开销大的问题,提出融合对比-重建目标的Sorcen框架,通过生成回声样本构建正样本对,在多项任务上性能更优且效率大幅提升。
2025-05-20 cs.AI cs.CV
Myna: Masking-Based Contrastive Learning of Musical Representations
Department of Computer Science, Texas A\&M University, College Station, TX, USA
本文提出自监督音乐表征学习方法 Myna,通过 ViT 骨干、90% token 掩码和垂直 patch 设计,以 22M 参数及单 GPU 训练达到公开数据模型最优性能。
2025-02-19 cs.AI cs.LG cs.SD
Improving low-resource ASR using bilingual fine-tuning with language identification: a cross-linguistic evaluation
University of Groningen(格罗宁根大学);Fryske Akademy(弗里斯兰科学院);Vrije Universiteit Brussel(布鲁塞尔自由大学)
研究双语微调对低资源语言语音识别的影响,在九种语言对中评估,通过语言识别令牌区分语言,发现高语言识别准确率时双语微调有效,低准确率时推理时加入令牌可提升性能。
2026-06-17 cs.CL
Dictionaries to the Rescue: Cross-Lingual Vocabulary Transfer for Low-Resource Languages Using Bilingual Dictionaries
Nara Institute of Science and Technology(奈良科学技术大学);Sakana AI
本文提出利用双语词典进行跨语言词表迁移,通过逐步移除 BPE 子词并迭代估计嵌入,在低资源语言上优于现有方法。
2025-06-02 cs.AI cs.CL
Conditional Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
令牌级自适应训练方法可以缓解令牌不平衡问题,从而通过基于特定统计度量(例如,令牌频率或互信息)。鉴于标准的翻译模型预测的条件下,以前的目标上下文,我们认为,上述统计指标忽略了目标上下文信息,并可能分配不适当的权重目标令牌。虽然一种可能的解决方案是直接将目标上下文纳入这些统计度量中,但目标上下文感知统计计算是极其昂贵的,并且相应的存储开销是不现实的。为了解决上述问题,我们提出了一个目标上下文感知的度量,命名为条件双语互信息(CBMI),这使得它可行的补充目标上下文信息的统计度量。特别地,我们的CBMI可以通过分解条件联合分布形式化为翻译模型概率和语言模型概率的对数商。因此,CBMI可以在模型训练期间有效地计算,而无需任何预先特定的统计计算和大量的存储开销。此外,我们提出了一个有效的自适应训练方法的基础上的令牌和令牌级CBMI。在WMT 14英-德和WMT 19中-英任务上的实验结果表明,该方法的性能明显优于Transformer基线和其他相关方法。
2022-03-06 cs.CL
TuGeBiC: A Turkish German Bilingual Code-Switching Corpus
University of Reading(雷丁大学);University of Stuttgart(斯图加特大学)
在本文中,我们描述的过程中,收集,转录和注释的录音自发语音样本从土耳其-德国双语,和汇编的语料库称为TuGeBiC。研究的参与者是在20世纪90年代上半年记录时居住在德国或土耳其的成年土耳其-德国双语者。这些数据被手动标记和规范化,所有专有名称(对话中提到的参与者和地点的名称)都被替换为专有名词。进行了标记级的自动语言识别,这使得有可能确定每种语言的单词比例。语料库在两种语言之间大致平衡。我们还提供了关于语码转换数量的定量信息,并给出了在数据中发现的不同类型的语码转换的例子。由此产生的语料库已免费提供给研究界。
2022-05-02 cs.CL
Arkios: An Open Bilingual English-Nepali Language Model Trained From Scratch, with a Devanagari-Aware Tokenizer
Karela Technologies Inc.(卡雷拉科技公司)
本文提出从零训练的10.4亿参数英尼双语语言模型Arkios,其在ARC数据集上表现优于同规模模型,揭示了低资源语言模型评估的格式偏差问题,并开源了模型权重。
2026-09-02 cs.AI cs.CL
Merging External Bilingual Pairs into Neural Machine Translation
Soochow University(苏州大学);University of Lisbon(里斯本大学)
由于神经机器翻译(NMT)不容易明确纠正错误,因此将预先指定的翻译合并到NMT中被广泛认为是一个不平凡的挑战。在本文中,我们提出并探讨了三种方法来赋予NMT与预先指定的双语对。例如,在解码过程中修改束搜索算法或对注意力机制进行复杂的修改-解决这一挑战的主流方法-,我们对训练数据进行了适当的预处理,以添加有关预先指定的翻译的信息。额外的嵌入也用于区分预先指定的令牌和其他令牌。大量的实验和分析表明,超过99%的预先指定的短语被成功翻译(给定85%的基线),并且使用本文探讨的方法,翻译质量也有实质性的提高。
2019-12-02 cs.CL
Making Better Use of Bilingual Information for Cross-Lingual AMR Parsing
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
抽象语义表示(AMR)是一种表示自然语言语义的带根、带标号的无环图。正如以前的工作表明,虽然AMR最初是为英语设计的,但它也可以表示其他语言的语义。然而,他们发现他们预测的AMR图中的概念不太具体。我们认为,概念的错误预测是由于英语标记和AMR概念之间的高度相关性。在这项工作中,我们引入双语输入,即翻译文本以及非英语文本,以使模型能够预测更准确的概念。此外,我们还引入了一个辅助任务,要求解码器同时预测英语序列。辅助任务可以帮助解码器理解对应的英语标记到底是什么。我们提出的跨语言AMR解析器在Smatch F1得分上超过了以前最先进的解析器10.6分。消融研究也证明了我们提出的模块的有效性。
2021-06-09 cs.CL
MiLQ: Benchmarking IR Models for Bilingual Web Search with Mixed Language Queries
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea(POSTECH人工智能研究生院);Department of Computer Science and Engineering, POSTECH, Republic of Korea(POSTECH计算机科学与工程系);Lilt, Inc.(Lilt公司)
本文提出首个真实且较受偏好的混合语言查询公开基准 MiLQ,评估多语言 IR 模型并揭示其表现不一致,同时验证英语混用可通过增强 token 匹配改善英文文档检索。
2025-10-19 cs.CL cs.IR
VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning
Alibaba DAMO Academy(阿里巴巴达摩院)
本文提出VECO 2.0跨语言预训练模型,通过句子级和词元级多粒度对比学习对齐双语语料,在XTREME基准上验证了其有效性。
2023-04-17 cs.CL
Double Trouble: Bilingual Pretraining Leaves Language-Conditioned Effects in Shared-Language Representations
George Mason University(乔治梅森大学)
该研究发现仅解码器多语言模型中,双语预训练会使共享语言的深层隐藏状态表征存在差异,嵌入对齐无法掩盖该差异,这对依赖对齐模型的下游研究有重要影响。
2026-09-01 cs.CL
Skywork: A More Open Bilingual Foundation Model
Kunlun Inc(昆仑万维)
Skywork-13B是一个在超3.2万亿token中英文语料上训练的双语基础模型,采用两阶段训练方法,在中文语言建模上达到最先进水平,并开源模型、中间检查点及1500亿token的SkyPile中文语料库。
2023-10-30 cs.AI cs.CL
Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data
本文提出利用双语翻译数据提升大规模多语言大语言模型在500种语言上的适应性能,通过构建MaLA语料库和开发EMMA-500模型,验证了双语数据对语言迁移和低资源语言性能的积极影响。
2025-12-04 cs.CL
RUBERT: A Bilingual Roman Urdu BERT Using Cross Lingual Transfer Learning
NUCES (FAST)(巴基斯坦国家计算机与新兴科学大学(FAST))
在最近的研究中,已经表明,多语言语言模型表现不如单语言模型。众所周知,为每种语言训练和维护单语模型是一个昂贵且耗时的过程。罗马乌尔都语是一种资源匮乏的语言,在社交媒体平台和聊天应用程序上流行。在这项研究中,我们提出了一个新的数据集,其中包含5400万个令牌和300万个句子。此外,我们还提出了RUBERT一个双语罗马乌尔都语模型创建额外的预训练英语BERT。我们将其性能与从头开始训练的单语罗马乌尔都语BERT和通过多语言BERT的额外预训练创建的多语言罗马乌尔都语BERT进行比较。我们通过我们的实验表明,额外的预训练的英语BERT产生最显着的性能改善。
2021-02-22 cs.CL
Crosslingual Structural Priming and the Pre-Training Dynamics of Bilingual Language Models
University of California San Diego(加州大学圣地亚哥分校)
本研究通过结构启动测试双语语言模型,发现跨语言抽象语法表征在接触第二语言早期(不足100万词元)即涌现,并探讨其对数据污染和低资源迁移的意义。
2023-10-11 cs.CL
TiTok: Transfer Token-level Knowledge via Contrastive Excess to Transplant LoRA
Yonsei University(延世大学)
TiTok通过token级知识迁移实现有效LoRA迁移,利用源模型有无LoRA的token对比超额提取任务相关信息,无需额外模型即可选择性过滤合成数据,在多个迁移设置中实现平均+4~10%的性能提升。
2026-05-14 cs.AI cs.CL
Beetle: A Bilingual Model Suite for Modelling Second-Language Processing
University of Cambridge(剑桥大学);EleutherAI;MIT(麻省理工学院)
Beetle是一个受控的双语语言模型预训练框架,通过独立操控训练条件,训练并发布了330个模型,发现分阶段课程优于平衡双语训练,为计算心理语言学提供了双语加工研究工具。
2026-09-22 cs.CL
LC-Eval: A Bilingual Multi-Task Evaluation Benchmark for Long-Context Understanding
HUMAIN;Saudi Data and AI Authority(沙特数据与人工智能管理局);King Saud University(沙特国王大学)
本文提出涵盖英语与阿拉伯语、上下文长度达 128k tokens 的 LC-Eval 长上下文理解基准,通过四类任务评估多种开放与封闭 LLM,揭示即使 GPT-4o 仍面临挑战。
2025-10-19 cs.AI cs.CL
Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability
Tencent AI Lab(腾讯AI实验室)
本研究提出关键令牌概念与令牌级对比估计框架cDPO,通过识别替换推理轨迹中的关键令牌优化LLM训练,在多个基准和模型上验证了其提升数学推理能力的有效性。
2025-01-13 cs.AI cs.CL cs.LG
Bilingual Text Extraction as Reading Comprehension
NTT Corporation(日本电信电话株式会社)
在本文中,我们提出了一种方法来自动提取双语文本从嘈杂的平行语料库框架的问题作为一个标记级的跨度预测,如SQuAD风格的阅读理解。为了提取目标文档的跨度,即给定源句子(跨度)的翻译,我们使用QANet或多语言BERT。QANet可以从头开始针对特定的并行语料库进行训练,而多语言BERT可以利用预先训练的多语言表示。对于使用QANet的跨度预测方法,我们引入了一种使用整数线性规划的总体优化方法,以实现预测并行跨度的一致性。我们使用具有两种语言对(En-Fr和En-Ja)的模拟嘈杂并行语料库进行并行句子提取实验,发现使用QANet的方法比使用两个双向RNN编码器的基线方法实现了更好的准确性,特别是对于遥远的语言对(En-Ja)。我们还进行了一个句子对齐实验,使用En-Ja报纸的文章,发现所提出的方法,使用多语言BERT实现了显着更好的准确性比基线方法,使用双语词典和动态规划。
2020-04-29 cs.CL
Bilingual Adaptation of Monolingual Foundation Models
Cerebras Systems(瑟雷布拉斯系统公司);G42;Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出一种将单语LLM适应到另一语言的高效两阶段方法,通过扩展词汇表和双语持续预训练,在保留原语言能力的同时获得新语言能力,实现成本效益的跨语言迁移。
2024-07-25 cs.AI cs.CL
A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration
University of Amsterdam(阿姆斯特丹大学);Amazon(亚马逊)
交叉熵目标已被证明是自回归语言模型(LM)的通用训练目标。然而,在不考虑有问题的令牌的惩罚的情况下,使用交叉熵训练的LM表现出文本退化。为了解决这个问题,已经提出了非似然训练来降低LM预测的不太可能的令牌的概率。但是不可能性不考虑标签标记和不可能标记候选者之间的关系,因此在退化方面显示出边际改善。我们提出了一种新的对比令牌学习目标,继承了交叉熵和非似然训练的优点,并避免了它们的局限性。关键思想是教LM生成标签标记的高概率和负候选的低概率。语言建模和开放域对话生成任务的综合实验表明,所提出的对比令牌目标产生更少的重复文本,具有更高的生成质量比基线方法,实现了新的国家的最先进的性能对文本退化。
2022-05-19 cs.CL
Contrastive Token Learning with Similarity Decay for Repetition Suppression in Machine Translation
Alibaba Group(阿里巴巴集团);Northwestern Polytechnical University(西北工业大学);Zhejiang Gongshang University(浙江工商大学)
本文提出CTSD算法,通过信息熵分析重复成因,利用注意力权重与token距离动态抑制重复,并在自建电商标题数据集及阿里巴巴国际站八个站点全量上线中验证了其优于现有方法的翻译精确度、泛化性和商业转化效果。
2024-09-30 cs.AI cs.CL
TaCL: Improving BERT Pre-training with Token-aware Contrastive Learning
University of Cambridge(剑桥大学);Beijing Institute of Technology(北京理工大学);Amazon(亚马逊);Monash University(莫纳什大学)
在过去的几年里,BERT和RoBERTa等掩蔽语言模型(Masked language models,MLMs)彻底改变了自然语言理解领域。然而,现有的预先训练的MLM通常输出令牌表示的各向异性分布,其占据整个表示空间的窄子集。这样的标记表示并不理想,特别是对于需要不同标记的区别性语义的任务。在这项工作中,我们提出了TaCL(令牌感知对比学习),一种新的连续预训练方法,鼓励BERT学习令牌表示的各向同性和歧视性分布。TaCL是完全无监督的,不需要额外的数据。我们在广泛的英语和中文基准上广泛测试我们的方法。实验结果表明,TaCL模型较之原有的BERT模型有了一致的、显著的改进。此外,我们进行详细的分析,以揭示我们的方法的优点和内部工作。
2022-04-28 cs.CL
A Token-level Contrastive Framework for Sign Language Translation
Xiamen University(厦门大学);Ministry of Culture and Tourism(文化和旅游部)
手语翻译是一项很有前途的技术,可以弥补聋人和听力正常人之间的沟通障碍。近年来,研究者采用神经机器翻译(NMT)方法来实现翻译,但NMT方法通常需要大规模的语料库进行训练。然而,公开可用的标记语料库非常有限,这导致标记表示的崩溃和生成的标记的不准确性。为了缓解这个问题,我们提出了CONSTRUCTION,一个新的令牌级\textbf{Con} transative学习框架\textbf{S} ign \textbf{L}语言\textbf{T} translation,学习有效的令牌表示,通过将令牌级对比学习到的解码过程。具体地说,Concrete在解码过程中将每一个token及其对应的dropout掩码作为正对,然后随机抽取词汇表中当前句子中没有的$K$ token构建反例。我们在两个基准测试(PHOENIX 14 T和CSL-Daily)上针对端到端和级联设置进行了全面的实验。实验结果表明,与强基线相比,Concrete可以获得更好的翻译质量。
2023-03-21 cs.CL
Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering
Deakin University(德肯大学)
提出CADE框架,通过逐点线性编码器直接嵌入每个时间步,避免分词瓶颈,并利用单向监督对比损失对齐时间序列与文本锚点,在Time-MQA基准上提升六项TSQA任务性能。
2026-10-19 cs.AI cs.CL
Thinking by Subtraction: Confidence-Driven Contrastive Decoding for LLM Reasoning
Peking University, Beijing, China(北京大学);University of Edinburgh, Edinburgh, UK(爱丁堡大学)
通过置信度驱动的对比解码方法提升大语言模型推理可靠性,减少输出长度并提高准确性。
2026-02-20 cs.AI cs.CL
Token-Level Supervised Contrastive Learning for Punctuation Restoration
Southern University of Science and Technology(南方科技大学);University of Surrey(萨里大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
标点符号对于理解自然语言文本至关重要。当前,大多数自动语音识别(ASR)系统不生成标点,这影响了下游任务(诸如意图检测和槽填充)的性能。这就需要恢复标点符号。最近的标点符号恢复工作大量利用预训练的语言模型,而不考虑预测标点符号类时的数据不平衡。在这项工作中,我们解决这个问题,提出了一个令牌级监督对比学习方法,旨在最大限度地提高不同的标点符号在嵌入空间中的表示的距离。结果表明,使用标记级监督对比学习的训练在测试集上获得了高达3.2%的绝对F1改进。
2023-03-03 cs.CL cs.LG
CroissantLLM: A Truly Bilingual French-English Language Model
Illuin Technology(伊卢因科技);Unbabel(昂巴贝尔公司);Equall(伊阔尔公司);Diabolocom(迪亚博洛科姆公司);MICS, CentraleSupélec(中央理工学院MICS实验室);Instituto de Telecomunicações, Lisboa(里斯本电信研究所);INESC-ID, Lisboa(里斯本INESC-ID研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Sorbonne Université, CNRS, ISIR, Paris(巴黎索邦大学法国国家科学研究中心智能与机器人系统研究所);Imperial College London(伦敦帝国学院);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
CroissantLLM是一个在3T英法token上以1:1比例预训练的1.3B开源双语模型,通过自定义分词器、双语微调数据集及FrenchBench基准,在消费级硬件上实现高性能法语-英语能力并验证81%透明度标准。
2025-04-09 cs.CL cs.LG
Speaker-Specific and Language-Dependent Temporal Organization in Bilingual Political Speech
University of Luxembourg(卢森堡大学);Radio Télévision Luxembourg (RTL)(卢森堡广播电视台(RTL));Shiraz University(设拉子大学);University of Southern Denmark(南丹麦大学)
本研究分析十位政治家的双语演讲,发现辅音节奏体现说话者特征,元音节奏受语言影响,语言选择系统重组双语公共演讲的节奏时间。
2026-09-16 cs.CL
TokAlign++: Advancing Vocabulary Adaptation via Better Token Alignment
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, CAS, Beijing, China(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院,北京,中国);School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学人工智能学院,北京,中国)
TokAlign++通过学习更好的词 token 对齐词典,提升多语言模型的词汇适应性能,实验显示其能提升多语言文本压缩率并保持模型能力,仅需1k步即可恢复基础模型性能。
2026-05-13 cs.CL
Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks
Southern University of Science and Technology(南方科技大学);Microsoft(微软)
本文研究了对比归因作为分析LLM在现实场景中失败的实用工具,通过对比错误输出与正确替代输出的logit差异,揭示了归因方法在不同数据集、模型规模和训练检查点上的表现,展示了其在某些失败案例中的有效性及局限性。
2026-04-20 cs.AI cs.CL