Cross-lingual Inflection as a Data Augmentation Method for Parsing
Universidade da Coruña(拉科鲁尼亚大学);CITIC(信息与通信技术研究中心)
提出了一种基于形态学的低资源(LR)依存句法分析方法。我们训练的目标LR语言的形态屈折,并将其应用到相关的丰富资源(RR)树库创建跨语言(x-屈折)树库,类似于目标LR语言。我们使用这种变形树库来训练零(在x变形树库上训练)和Few-Shot(在x变形树库和目标语言树库上训练)设置中的解析器。结果表明,该方法有时会改善基线,但并不一致。
2022-05-20 cs.CL
When Language Shapes Thought: Cross-Lingual Transfer of Factual Knowledge in Question Answering
Hankuk University of Foreign Studies(韩国外国语大学)
本文基于语言与思维理论提出Language-to-Thought提示方法,使模型内部思维语言与知识来源对齐,在三种语言和四个模型上证明其优于英语提示推理,逆转了英语提示的优势假设。
2025-11-10 cs.AI cs.CL
UniPSDA: Unsupervised Pseudo Semantic Data Augmentation for Zero-Shot Cross-Lingual Natural Language Understanding
Alibaba Group(阿里巴巴集团)
针对跨语言表示学习中浅层无监督数据缺乏全局上下文语义的问题,提出三阶段聚类的无监督伪语义数据增强机制UniPSDA,通过多语系知识替换句子关键成分并去偏,在多类零样本跨语言理解任务上提升性能。
2024-06-24 cs.CL
Effectively Prompting Small-sized Language Models for Cross-lingual Tasks via Winning Tickets
本文提出彩票提示学习框架,通过选择微调中变化最大的参数子集并结合软提示,仅更新20%参数即可在低资源跨语言任务上超越基线。
2024-04-01 cs.CL
ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion
Coqui(Coqui公司);QuintoAndar(QuintoAndar公司);Darmstadt University of Applied Sciences(达姆施塔特应用技术大学);São Paulo State University(圣保罗州立大学);Federal University of Goiás(戈亚斯联邦大学);Mercado Livre(自由市场公司)
本文提出在低/中等资源场景下,利用跨语言多说话人语音合成和跨语言语音转换进行ASR数据增强,仅需单一目标语言说话人即可有效提升ASR系统性能并缩小合成与真实语音间的差距。
2023-05-20 cs.CL cs.SD eess.AS
Synthetic Data Augmentation for Zero-Shot Cross-Lingual Question Answering
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);reciTAL(reciTAL公司)
再加上大规模数据集的可用性,深度学习架构使问答任务取得了快速进展。然而,这些数据集中的大多数都是英语,并且在非英语数据上进行评估时,最先进的多语言模型的性能显着降低。由于高数据汇集成本,获得希望支持的每种语言的注释数据是不现实的。我们提出了一种方法来提高跨语言问答性能,而不需要额外的注释数据,利用问题生成模型,以跨语言的方式产生合成样本。我们表明,所提出的方法允许显着优于仅在英语数据上训练的基线。我们报告了四个多语言数据集的最新技术水平:MLQA,XQuAD,SQuAD-it和PIAF(fr)。
2021-10-14 cs.CL
UXLA: A Robust Unsupervised Data Augmentation Framework for Zero-Resource Cross-Lingual NLP
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
迁移学习已经在许多有监督的NLP任务中产生了最先进的(SoTA)结果。然而,在每一种目标语言中的每一个目标任务的注释数据是罕见的,特别是对于低资源语言。我们提出了UXLA,一种新的无监督数据增强框架的零资源迁移学习的情况下。特别地,UXLA旨在解决从源语言任务分布到未知目标语言任务分布的跨语言适应问题,假设目标语言中没有训练标签。在其核心,UXLA执行同时自我训练与数据增强和无监督的样本选择。为了证明其有效性,我们进行了广泛的实验上三个不同的零资源跨语言迁移任务。UXLA在所有任务中都实现了SoTA结果,远远优于基线。通过深入的框架解剖,我们展示了不同组件对其成功的累积贡献。
2021-06-26 cs.CL cs.LG
Adversarial Augmentation Policy Search for Domain and Cross-Lingual Generalization in Reading Comprehension
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
阅读理解模型通常过度拟合训练数据集的细微差别,并且在对抗性评估中失败。使用对抗性增强的数据集进行训练可以提高对这些对抗攻击的鲁棒性,但会损害模型的泛化。在这项工作中,我们提出了几个有效的对手和自动化的数据增强策略搜索方法,其目标是使阅读理解模型对对抗性评估更加鲁棒,同时也提高了对源域以及新领域和语言的泛化能力。我们首先提出了三种新的方法来生成QA对手,在上下文中引入多个混淆点,依赖于干扰物的插入位置,并揭示了混合对抗策略与句法和语义释义方法的复合效果。接下来,我们发现用均匀采样的对手来增强训练数据集可以提高对对抗攻击的鲁棒性,但会导致原始未增强数据集的性能下降。我们解决这个问题,通过RL和更有效的贝叶斯策略搜索方法,自动学习的最佳增强策略组合的转换概率为每个对手在一个大的搜索空间。使用这些习得的策略,我们表明对抗性训练可以显着改善域内、域外和跨语言(德语、俄语、土耳其语)的泛化能力。
2020-11-17 cs.AI cs.CL cs.LG
Data Augmentation with Unsupervised Machine Translation Improves the Structural Similarity of Cross-lingual Word Embeddings
The University of Tokyo(东京大学)
无监督跨语言词嵌入(CLWE)方法学习线性变换矩阵,该矩阵映射两个用单语语料库单独训练的单语嵌入空间。该方法依赖于两个嵌入空间在结构上相似的假设,这通常不一定成立。在本文中,我们认为,使用一个伪平行语料库生成的无监督机器翻译模型有利于两个嵌入空间的结构相似性,提高质量的CLWEs在无监督映射方法。我们表明,在相同的数据量下,我们的方法优于其他替代方法,并且,通过详细的分析,我们表明,使用来自无监督机器翻译的伪数据的数据增强对于基于映射的CLWE特别有效,因为(1)伪数据使源语料库和目标语料库(部分)并行;(2)伪数据包含关于原始语言的信息,其有助于学习源语言和目标语言之间的类似嵌入空间。
2021-06-03 cs.CL
Comparing LLM prompting with Cross-lingual transfer performance on Indigenous and Low-resource Brazilian Languages
University College London(伦敦大学学院);Universiteit Gent(根特大学);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);University of Galway(戈尔韦大学)
本文比较了 LLM 提示与跨语言迁移在巴西及非洲低资源语言词性标注上的表现,发现 LLM 在低资源语言上效果较差,并通过错误分析揭示了失败原因。
2024-04-30 cs.CL
Cross-lingual Back-Parsing: Utterance Synthesis from Meaning Representation for Zero-Resource Semantic Parsing
POSTECH(浦项科技大学);aiXplain, Inc.(aiXplain公司)
本文提出跨语言回解析(CBP)方法,利用多语言预训练语言模型的表示几何结构,从源语言意义表示合成目标语言话语,在零资源条件下有效提升语义解析的跨语言迁移性能。
2024-10-01 cs.AI cs.CL
CLASP: Few-Shot Cross-Lingual Data Augmentation for Semantic Parsing
Amazon(亚马逊)
开发语义解析(SP)模型的瓶颈是需要大量人工标注的训练数据。鉴于人工标注SP的复杂性和成本,标记数据通常很少,特别是在多语言环境中。大语言模型(LLM)在SP上表现出色,仅给出了几个例子,但是LLM不适合需要低延迟的运行时系统。在这项工作中,我们提出了CLASP,一种简单的方法来改善中等规模模型的低资源SP:我们从AlexaTM 20 B生成合成数据,以增加模型的训练集小40倍(500 M参数)。我们在低资源环境下对两个数据集进行评估:英语PIZZA,包含348或16个真实示例,以及mTOP跨语言zero-shot,其中训练数据仅以英语提供,并且模型必须推广到四种新语言。在这两个数据集上,我们都显示出比强基线方法有显着改进。
2022-10-14 cs.AI cs.CL cs.LG
Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity
CyberAgent(赛博代理)
针对非英语单语语义文本相似度性能落后的问题,对比跨语言迁移与机器翻译两种数据增强技术,发现二者性能相当,且维基百科领域数据优于NLI领域数据,结合后可提升单语STS性能。
2024-03-08 cs.CL
Vicinal Risk Minimization for Few-Shot Cross-lingual Transfer in Abusive Language Detection
Universitat Politècnica de València(瓦伦西亚理工大学);LMU Munich(慕尼黑大学);University of Würzburg(维尔茨堡大学);University of Mannheim(曼海姆大学)
本文提出基于表示角度插值的数据增强方法 MIXAG,并结合持续预训练领域适应,在七种语言、三个领域中显著提升少样本跨语言辱骂检测。
2023-11-03 cs.CL
Cross-Lingual Attention Distillation with Personality-Informed Generative Augmentation for Multilingual Personality Recognition
Universiti Tunku Abdul Rahman(拉曼大学);Kanagawa Institute of Technology(神奈川工科大学);Université Sorbonne Paris Nord(索邦巴黎北大学)
本文提出ADAM方法,通过跨语言注意力蒸馏和基于个性引导的生成增强,提升多语言个性识别性能,实验表明CLAD在多种语言和个性特征上均优于标准BCE模型。
2026-04-10 cs.CL
Brotherhood at WMT 2024: Leveraging LLM-Generated Contextual Conversations for Cross-Lingual Image Captioning
本文提出利用 GPT-4o 和 Claude 3.5 Sonnet 等 LLM 生成上下文对话并结合加权提示策略,在无需训练或微调的情况下提升跨语言图像描述性能,并在 WMT 2024 低资源多模态翻译任务中取得领先结果。
2024-09-23 cs.AI cs.CL
Translate or Simplify First: An Analysis of Cross-lingual Text Simplification in English and French
Faculty of Computer and Information Science, Institute for Applied AI Research(计算机与信息科学系,应用人工智能研究所);Department of Hebrew Language and Sociolinguistics(希伯来语言与社会语言学系);Department of Politics and Government(政治与政府系);The Simone Veil Research Centre for Contemporary European Studies(当代欧洲研究西蒙·维尔研究中心)
本文研究了英语和法语间跨语言文本简化的方法,通过不同提示策略评估其效果,发现翻译后简化方法在简洁性上表现最佳。
2026-04-26 cs.CL
LACA: Improving Cross-lingual Aspect-Based Sentiment Analysis with LLM Data Augmentation
Department of Computer Science and Engineering(计算机科学与工程系);NTIS – New Technologies for the Information Society University of West Bohemia in Pilsen, Faculty of Applied Sciences(新信息技术社会大学西波希米亚大学皮尔森分校应用科学学院)
提出LACA框架,利用LLM生成高质量伪标注数据替代翻译工具,通过训练ABSA模型预测并生成自然句子进行微调,在六种语言和五个模型上超越现有翻译方法。
2025-08-13 cs.CL
XITE: Cross-lingual Interpolation for Transfer using Embeddings
Indian Institute of Technology Bombay(印度理工学院孟买学院)
本文提出XITE方法,通过嵌入插值提升多语言模型的跨语言迁移能力,在情感分析和自然语言推理任务中取得显著提升。
2026-04-26 cs.CL
KIT's Submission to Cross-Lingual Voice Cloning in IWSLT 2026
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Carnegie Mellon University (CMU)(卡内基梅隆大学);KIT Campus Transfer (KCT)(KIT校区转移)
针对跨语言语音克隆中的口音变化和领域词汇问题,基于FishAudio-S2-Pro多语言文本转语音模型,引入语言标签提示、强化学习微调和参考条件词汇匹配方法,提升可懂度和自然度。
2026-06-05 cs.CL cs.SD
LLM-powered Data Augmentation for Enhanced Cross-lingual Performance
City, University of London(伦敦城市大学);Microsoft(微软);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文利用大语言模型对多语言常识推理数据集进行数据增强,通过微调较小多语言模型验证其有效性,发现LLM生成数据能显著提升性能,并评估了生成文本的自然度与逻辑一致性。
2023-10-22 cs.CL
GlobeSumm: A Challenging Benchmark Towards Unifying Multi-lingual, Cross-lingual and Multi-document News Summarization
Harbin Institute of Technology(哈尔滨工业大学);The University of Hong Kong(香港大学);Peng Cheng Laboratory(鹏城实验室);Central South University(中南大学);Du Xiaoman Financial(度小满金融)
针对现有新闻摘要研究脱离真实多语言多源场景的问题,本文提出统一的MCMS任务,构建了以事件为中心的GLOBESUMM基准数据集,提出协议引导提示标注方法,验证了数据集质量并明确了任务挑战,助力多语言研究与LLM评估。
2024-10-05 cs.AI cs.CL
Consistency Regularization for Cross-Lingual Fine-Tuning
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
微调预训练的跨语言语言模型可以将特定于任务的监督从一种语言转移到其他语言。在这项工作中,我们建议用一致性正则化来改进跨语言微调。具体地,我们使用示例一致性正则化来惩罚预测对四种类型的数据增强的敏感性,即,子字采样、高斯噪声、代码转换替换和机器翻译。此外,我们使用模型一致性来正则化用同一训练集的两个增强版本训练的模型。XTREME基准测试的实验结果表明,我们的方法显着提高了跨语言的微调在各种任务,包括文本分类,问答,和序列标记。
2021-06-15 cs.CL
CC-Tuning: A Cross-Lingual Connection Mechanism for Improving Joint Multilingual Supervised Fine-Tuning
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);The University of Hong Kong(香港大学);Central South University(中南大学)
本文提出CC-Tuning,通过在潜在层面显式融合英与非英输入的前馈激活并利用决策器和变换矩阵,改进多语言监督微调,在22种语言的六个基准上超越普通SFT。
2025-06-01 cs.CL
Cross-Lingual Exploration for Parametric Knowledge
The Hebrew University of Jerusalem(海法大学);Google Research(谷歌研究);MIT, IBM-MIT Watson AI Lab(麻省理工学院与IBM-麻省理工 Watson人工智能实验室)
本文研究通过跨语言提示策略探索大型语言模型中的隐藏事实知识,发现跨语言探索能显著提升知识迁移和事实召回,比单语言扩展更高效,并改善跨语言一致性。
2026-06-24 cs.CL
BioELX: Context-Aware Cross-lingual Biomedical Entity Linking without Task-Specific Supervision
University of Stuttgart, Germany(斯图加特大学);Technical University of Berlin, Germany(柏林技术大学)
提出BioELX两阶段框架,通过维基数据多语言别名增强SapBERT检索器,并利用预训练LLM排序器进行上下文感知消歧,无需标注数据即在多个基准上取得最佳性能。
2026-09-03 cs.AI cs.CL
PMIndiaSum: Multilingual and Cross-lingual Headline Summarization for Languages in India
University of Edinburgh(爱丁堡大学);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
本文提出PMIndiaSum,一个覆盖4个语系、14种语言和196个语言对的大规模平行多语言摘要语料库,通过微调、提示等方法构建基准,证实了该数据在辅助印度语言间摘要任务中的关键作用。
2023-10-20 cs.CL
Cross-lingual Prompting: Improving Zero-shot Chain-of-Thought Reasoning across Languages
Central South University(中南大学);Harbin Institute of Technology(哈尔滨工业大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对零样本思维链推理局限于单一语言的问题,提出跨语言提示CLP及跨语言自洽提示CLSP,通过跨语言对齐与任务特定求解生成推理路径,在多个基准上达到最先进性能。
2023-10-23 cs.AI cs.CL
Cross-Lingual Approaches to Reference Resolution in Dialogue Systems
University of Maryland(马里兰大学);Amazon Alexa AI(亚马逊Alexa AI)
在槽填充范例中,其中用户可以在会话期间在上下文中回指槽,上下文理解系统的目标是将指代表达解析为上下文中的适当槽。在本文中,我们建立在上下文携带系统~ \citep{Naik2018ContextualSC},它提供了一个可扩展的多域框架,解决参考。然而,由于在目标语言中获取注释数据的需求很大,因此跨语言扩展这种方法并不是一项简单的任务。我们的主要重点是跨语言的方法参考决议作为一种方式,以减轻在目标语言的注释数据的需要。在跨语言设置中,我们假设可以访问源语言中的注释资源以及经过良好训练的模型,而目标语言中几乎没有注释数据。在本文中,我们探讨了三种不同的跨语言迁移\textemdash ~\去词汇化的方法,数据增强,多语言嵌入和机器翻译。我们比较这些方法都在低资源设置以及一个大的资源设置。我们的实验表明,通过数据增强的多语言嵌入和去词汇化在低资源设置中具有显著影响,但随着目标语言中可用数据量的增加,收益会减少。此外,当与机器翻译相结合时,我们可以获得非常接近目标语言的实际实时数据的性能,只有25%的数据被投射到目标语言中。
2018-11-27 cs.CL
Multilingual Transfer Learning for QA Using Translation as Data Augmentation
IBM Research AI Thomas J. Watson Research Center(IBM研究AI托马斯·J·沃森研究中心)
之前关于多语言问答的工作主要集中在使用大型多语言预训练语言模型(LM)来执行zero-shot语言学习:训练英语QA模型并测试其他语言。在这项工作中,我们探索的策略,提高跨语言迁移,使多语言嵌入更接近的语义空间。我们的第一个策略是用机器翻译生成的数据来增强原始的英语训练数据。这导致多语言银标记QA对的语料库比原始训练集大14倍。此外,我们提出了两种新的策略,语言对抗训练和语言仲裁框架,显着提高(零资源)跨语言迁移的性能,并导致LM嵌入的语言变量较少。从经验上讲,我们表明,所提出的模型优于以前的zero-shot基线上最近推出的多语言MLQA和TyDiQA数据集。
2020-12-10 cs.CL
Cross-lingual QA: A Key to Unlocking In-context Cross-lingual Performance
LG AI Research(LG AI研究院);University of Maryland(马里兰大学)
提出跨语言问答提示法,仅翻译问答部分以降低成本,在四个多语言基准上优于单语提示,并随模型规模增大性能提升。
2024-07-16 cs.AI cs.CL
NLPDove at SemEval-2020 Task 12: Improving Offensive Language Detection with Cross-lingual Transfer
Sogang University(西江大学);Seoul National University(首尔大学);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文介绍了我们的方法来识别攻击性语言在多语言环境中的任务。我们研究了两种数据增强策略:使用具有不同阈值的附加半监督标签和具有数据选择的跨语言迁移。与仅使用手动注释的数据集训练的基线相比,利用半监督数据集导致性能提高。我们提出了一个新的度量,翻译嵌入距离,以衡量跨语言数据选择的实例的可移植性。我们还介绍了为社交媒体文本量身定制的各种预处理步骤,以及微调预训练的多语言BERT(mBERT)以进行攻击性语言识别的方法。我们的多语言系统在2020年的OffensEval上取得了希腊语,丹麦语和土耳其语的竞争结果。
2020-08-04 cs.CL
Bridging the domain gap in cross-lingual document classification
Carnegie Mellon University(卡内基梅隆大学);Facebook AI(Facebook人工智能)
标记的训练数据的稀缺性通常阻碍了NLP模型到多种语言的国际化。跨语言理解(XLU)的最新发展在这一领域取得了进展,试图使用语言通用表示来弥合语言障碍。然而,即使语言问题得到解决,由于跨语言和文化的自然领域漂移,用一种语言训练的模型也不会完美地转移到另一种语言。我们考虑半监督跨语言理解的设置,其中标记的数据在源语言(英语)中可用,但只有未标记的数据在目标语言中可用。我们将最先进的跨语言方法与最近提出的弱监督学习方法(如无监督预训练和无监督数据增强)相结合,以同时缩小XLU中的语言差距和领域差距。我们表明,解决域的差距是至关重要的。我们在强大的基线上进行了改进,并实现了跨语言文档分类的新的最先进技术。
2019-09-20 cs.CL
Argument Mining in Data Scarce Settings: Cross-lingual Transfer and Few-shot Techniques
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU HiTZ中心 - Ixa)
本文实证表明,在数据稀缺的论点挖掘任务中,数据迁移优于模型迁移,微调优于小样本方法,且数据集领域、任务类型和采样方法是关键因素。
2024-07-04 cs.AI cs.CL
CIBuzzBench: A Benchmark for Cross-Lingual Understanding of Chinese Internet Buzzwords
Dalian University of Technology(大连理工大学);Meta AI;Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团);Beijing Police College(北京警察学院)
针对大语言模型跨语言理解中文网络流行语能力不足的问题,构建首个中译英基准CIBuzzBench,包含3001个流行语及多维度标注,设计含义解释、对应匹配和危害检测三项任务,实验表明现有模型在非字面解释、稳健匹配和危害检测上仍存在显著困难。
2026-09-21 cs.AI cs.CL
Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出利用最优传输对齐概率潜变量以最小化跨语言散度,从而在少样本条件下实现跨语言语义解析,并在MTOP和MultiATIS++SQL上取得最先进结果。
2023-07-09 cs.CL
AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness
Saarland University(萨尔大学);Bosch Center for AI(博世人工智能中心);LMU Munich(慕尼黑大学)
本文提出 AAdaM 系统,通过机器翻译数据增强和任务自适应预训练解决低资源语言语义相关性任务,并采用适配器框架实现零样本跨语言迁移,在 SemEval-2024 任务 1 的两个子任务中均取得第一名。
2024-06-07 cs.CL
Towards Cross-lingual Values Judgment: A Consensus-Pluralism Perspective
State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高科技园区(滨江)区块链与数据安全研究院);Tongyi Lab, Alibaba Group(阿里集团通义实验室);Nanyang Technological University(南洋理工大学)
本文提出X-Value基准,用于评估LLM跨语言判断内容深层价值的能力,通过两阶段人机协作标注框架解决文化多样性和学科复杂性挑战,涵盖14种语言7大全球议题类别。
2026-05-10 cs.AI cs.CL
MT4CrossOIE: Multi-stage Tuning for Cross-lingual Open Information Extraction
Beijing Information Science and Technology University(北京信息科技大学);Beihang University(北京航空航天大学);The University of Hong Kong(香港大学)
本文提出多阶段调优框架MT4CrossIE,通过注入语言特定模块并结合基于模型与数据的跨语言迁移,提升跨语言开放信息抽取性能。
2023-09-20 cs.CL
Language-Specific versus Cross-Lingual Knowledge Graphs for Implicit Aspect Identification in Arabic: A Comparative Study of Reasoning and Adaptation Strategies
Saudi Electronic University(沙特电子大学)
研究阿拉伯语隐式方面识别中特定语言与跨语言知识图谱策略,在混合管道中比较两种策略及生成提取器的零样本提示和特定任务微调两种适应策略,发现阿拉伯语本地KG效果更好,特定任务微调提升显著。
2026-07-23 cs.AI cs.CL
Translation Deserves Better: Analyzing Translation Artifacts in Cross-lingual Visual Question Answering
KAIST AI(韩国科学技术院人工智能学院);KT Corporation(KT公司)
本文分析了跨语言视觉问答任务中机器翻译文本产生的翻译伪影对模型性能的影响,并提出一种简单的数据增强策略以缓解其不利影响。
2024-06-04 cs.CL
Prompting Large Language Model for Machine Translation: A Case Study
University of Edinburgh(爱丁堡大学)
关于激励的研究表明,在许多任务中,很少或甚至没有监督训练的情况下表现出色。然而,机器翻译的提示在文献中仍然是探索不足。本文通过对翻译提示策略的系统研究、对提示模板的各种影响因素的考察以及对例证的选择,填补了这一空白。我们进一步探讨了单语数据的使用以及跨语言、跨领域和文档到文档迁移学习在提示中的可行性。使用GLM-130 B的广泛实验(Zeng等人,2022)的实验结果表明:(1)提示性实例的数量和质量都很重要,使用次优实例会降低翻译质量;(2)提示性实例的语义相似度等特征与其提示性表现出显著的Spearman相关性,但相关性都不够强; 3)使用通过zero-shot提示从单语数据构建的伪并行提示示例可以改进翻译;以及4)通过从在其他设置中选择的提示示例转移知识可以实现改进的性能。最后对模型的输出结果进行了分析,并讨论了激励中存在的几个问题。
2023-01-18 cs.CL cs.LG
Cross-Lingual Text Classification of Transliterated Hindi and Malayalam
George Mason University(乔治梅森大学)
音译在社交媒体上非常常见,但音译文本并没有被现代神经模型充分处理,无法用于各种NLP任务。在这项工作中,我们将数据增强方法与教师-学生培训计划相结合,以解决跨语言迁移设置中的这个问题,以微调最先进的预训练多语言语言模型,如mBERT和XLM-R。我们在音译印地语和马拉雅拉姆语上评估了我们的方法,还引入了新的数据集用于对真实世界场景进行基准测试:一个是音译马拉雅拉姆语的情绪分类,另一个是音译印地语和马拉雅拉姆语的危机推文分类(与2013年北印度和2018年喀拉拉邦洪水有关)。我们的方法在mBERT和XLM-R上的F1分数比其强基线平均提高了+5.6%和4.7%。
2021-08-31 cs.CL cs.LG
Cross Lingual Speech Emotion Recognition: Urdu vs. Western Languages
Information Technology University (ITU)-Punjab(旁遮普信息技术大学);COMSATS University Islamabad (CUI)(伊斯兰堡COMSATS大学)
跨语言语音情感识别是一个重要的实际应用课题。自动语音情感识别系统的性能在跨语料库的情况下会下降,特别是在涉及多种语言或以前看不见的语言(如乌尔都语)的情况下,这些语言的数据有限或没有数据可用。在这项研究中,我们研究了跨语言的乌尔都语情感识别问题,并贡献了URDU-第一个自发的乌尔都语语音情感数据库。使用三种不同的西方语言对乌尔都语和不同的可能的情况下的实验结果进行评估,提出了各种有趣的方面,设计更自适应的情感识别系统,这种有限的语言。在结果中,选择多种语言的训练实例可以提供与基线相当的结果,并增加一部分测试语言数据,而训练可以帮助提高语音情感识别的准确性。URDU数据可供进一步研究。
2020-07-28 cs.CL cs.CV
CLaS-Bench: A Cross-Lingual Alignment and Steering Benchmark
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Centre for European Research in Trusted AI (CERTAIN)(可信AI欧洲研究中心(CERTAIN));University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);TU Darmstadt(德累斯顿技术大学);Mila - Quebec Artificial Intelligence Institute(魁北克人工智能研究所(Mila));McGill University(麦吉尔大学)
CLaS-Bench是首个多语言引导基准,通过评估32种语言中的语言强制行为,验证了残差基于DiffMean方法在跨语言引导中的有效性。
2026-01-13 cs.CL
Mitigating Cross-Lingual Cultural Inconsistencies in LLMs via Consensus-Driven Preference Optimisation
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);University of Copenhagen(哥本哈根大学)
提出C-3PO框架,通过共识驱动的偏好优化,缓解多语言大模型在用户身份明确时因提示语言变化导致的跨语言文化不一致问题,显著提升一致性指标κ_S。
2026-10-19 cs.CL
Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency
SAP;School of Computing, National University of Singapore(国立新加坡大学计算机学院)
提出一种自监督框架,利用多语言自一致性和自我批评机制,从本地语言表示中提取文化知识并迁移到英语,以缩小跨语言文化知识差距,在BLEnD基准上平均提升英语查询性能5.03%。
2026-05-25 cs.CL
Enhancing LLM Language Adaption through Cross-lingual In-Context Pre-training
Zhejiang University(浙江大学);Tongyi Lab, Alibaba Group(阿里巴巴集团 Tongyi 实验室)
本文提出跨语言上下文预训练方法CrossIC-PT,通过交错排列语义相关的双语文档并进行下一个词预测,在不依赖平行语料的情况下增强大语言模型的多语言迁移能力,在多个模型和语言上取得显著性能提升。
2025-09-19 cs.CL
ReadMe++: Benchmarking Multilingual Language Models for Multi-Domain Readability Assessment
College of Computing(计算机学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出了多语言多领域可读性评估基准ReadMe++,包含9757个句子的人工标注,用于全面评估大型语言模型在有监督、无监督和少样本提示设置下的表现,并发现其具有出色的领域泛化和跨语言迁移能力。
2024-10-16 cs.AI cs.CL cs.LG
One Voice, Many Tongues: Cross-Lingual Voice Cloning for Scientific Speech
Shaggar Institute of Technology(谢加尔技术学院);Trinity College Dublin(都柏林三一学院)
本文针对跨语言科学演讲语音生成中的声音身份保持问题,提出基于OmniVoice基础模型的语音克隆系统,通过多模型集成蒸馏提升生成语音的可懂度和说话人相似性。
2026-06-26 cs.CL eess.AS
X-PARADE: Cross-Lingual Textual Entailment and Information Divergence across Paragraphs
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文构建首个跨语言段落级信息分歧数据集 X-PARADE,并评估机器翻译对齐、文本蕴含和 LLM 提示等方法,发现其均落后于人类表现。
2024-04-15 cs.CL
Enhancing Cross-lingual Natural Language Inference by Soft Prompting with Multilingual Verbalizer
Tsinghua University(清华大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对跨语言自然语言推理中离散提示依赖专家设计且不可训练的问题,提出带多语言 Verbalizer 的软提示框架 SoftMV,通过双语词典生成增强多语言问题并利用一致性正则化对齐语义空间,在少样本和全样本设置下取得 SOTA 性能。
2023-05-22 cs.AI cs.CL
MaiNLP at SemEval-2024 Task 1: Analyzing Source Language Selection in Cross-Lingual Textual Relatedness
MaiNLP(迈NLP);Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
该研究面向零样本跨语言语义文本相关性任务,在 XLM-R 与 Furina 上比较单源、多源及数据增强等源语言选择策略,并在 C8 卢旺达语测试集取得第一名。
2024-04-03 cs.CL
Data Augmentation for Maltese NLP using Transliterated and Machine Translated Arabic Data
University of Malta(马耳他大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
针对马耳他语与阿拉伯语系亲属语言存在的正字法差距,本文提出利用阿拉伯语资源通过音译方案、机器翻译方法及新型音译系统进行跨语言数据增强,显著提升了马耳他语NLP任务中单语和多语模型的性能。
2025-09-20 cs.CL