Language-Specific Sentiment Polarity Biases in Encoder and Large Language Model Classification of Product Reviews
John P. Stevens High School(约翰·皮·斯蒂文斯高中);Ford Foundation(福特基金会);NC State University(北卡罗来纳州立大学)
研究AI模型跨语言和架构对正负评论分类准确率的差异,发现大语言模型在法语中有负向偏差,编码器模型在日语中有正向偏差。
2026-06-23 cs.CL
Locating Language-Specific Information in Contextualized Embeddings
Center for Information and Language Processing (CIS)(信息与语言处理中心(CIS));LMU Munich(慕尼黑大学)
多语言预训练语言模型(MPLM)具有多语言性,非常适合跨语言传输。大多数MPLM都是在无人监督的情况下训练的,其目标和多语言性之间的关系尚不清楚。更具体地说,问题是MPLM表示是语言无关的,还是它们只是与学习的任务预测头很好地交织在一起。在这项工作中,我们在MPLM中定位特定语言的信息,并确定其维度和这些信息发生的层。我们表明,语言特定的信息是分散在许多方面,可以投影到一个线性子空间。我们的研究有助于更好地理解MPLM表示,而不仅仅是将它们视为不可分析的信息。
2021-09-16 cs.CL
Sparse Autoencoders Can Capture Language-Specific Concepts Across Diverse Languages
Universitas Indonesia(印度尼西亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本研究利用稀疏自编码器识别语言特定的特征,揭示其在多语言处理中的作用及可解释性优势。
2026-10-06 cs.CL
LangFIR: Discovering Sparse Language-Specific Features from Monolingual Data for Language Steering
University of Kentucky(肯塔基大学);Dalhousie University(达尔豪斯大学)
LangFIR通过仅使用少量单语数据和随机令牌序列,发现稀疏语言特定特征,从而在多语言生成控制中实现高准确率,优于单语基线和依赖平行数据的方法。
2026-08-04 cs.AI cs.CL cs.LG
On the Multilingual Ability of Decoder-based Pre-trained Language Models: Finding and Controlling Language-Specific Neurons
The University of Tokyo(东京大学)
本文研究多语言解码器PLM的语言处理机制,通过六种语言识别出低重叠、集中于首尾层的语言特定神经元,并用少于1%的神经元篡改显著控制生成语言概率。
2024-04-03 cs.CL
ConCodeEval: Evaluating Large Language Models for Code Constraints in Domain-Specific Languages
IBM
针对大语言模型在代码约束理解上缺乏评估的问题,提出首个覆盖五种表示、含两项新任务的ConCodeEval基准,发现LLMs处理代码约束能力不足,常规代码表现好的语言在细粒度约束任务中表现不佳。
2025-03-24 cs.AI cs.CL cs.SE
Efficiently Building a Domain-Specific Large Language Model from Scratch: A Case Study of a Classical Chinese Large Language Model
Beijing Normal University(北京师范大学)
本研究从零构建了仅18亿参数的古典中文专用大语言模型AI Taiyan,在标点、典故识别、词义解释和古今翻译等任务上优于通用模型和传统领域模型,接近或超越人类水平,为高效构建领域专用大模型提供了参考。
2025-06-18 cs.CL
Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models
Microsoft Research Asia(微软亚洲研究院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院)
本文提出语言激活概率熵(LAPE)方法识别大语言模型中的语言特定神经元,发现多语言能力主要依赖顶层和底层的少量神经元,并证明可通过调控这些神经元引导输出语言。
2024-06-06 cs.CL
Distribution-aware Language Neuron Identification in Multilingual Large Language Models
KAIST(韩国科学技术院);InnoCORE PRISM-AI Center(InnoCORE PRISM-AI中心)
针对多语言大模型语言特异性神经元识别不足的问题,提出分布感知选择方法,利用激活分布成对重叠聚类,提升目标语言损害达4.9倍且不损其他语言。
2026-09-11 cs.CL
LMPriors: Pre-Trained Language Models as Task-Specific Priors
Stanford University(斯坦福大学)
特别是在低数据的情况下,机器学习的一个突出挑战是开发原则性技术,用合适的先验知识来增强我们的模型。这是为了鼓励他们以符合我们对世界的理解的方式学习。但与收缩或稀疏等通用先验相比,我们从最近大规模语言模型(LM)的成功中汲取灵感,从LM的丰富知识中提取特定于任务的先验。我们的方法,语言模型先验(LMPriors),结合了关于任务的辅助自然语言元数据-例如变量名称和描述-以鼓励下游模型输出与LM基于元数据的常识推理一致。从经验上讲,我们证明了LMPriors在有这种自然语言描述的环境中提高了模型性能,并且在受益于这种先验知识的几个任务上表现良好,例如特征选择,因果推理和安全的强化学习。
2022-10-22 cs.AI cs.CL cs.LG
Neural Correlates of Language Models Are Specific to Human Language
Department of Linguistics University of California, Berkeley(语言学系加州大学伯克利分校)
本研究通过四项测试验证了大型语言模型隐藏状态与人类fMRI脑响应关联的稳健性,发现该关联特定于人类语言训练的模型且依赖位置编码,强化了模型与大脑表征相似性的证据。
2025-11-13 cs.CL
MiningGPT -- A Domain-Specific Large Language Model for the Mining Industry
University of Queensland(昆士兰大学)
本文针对通用大语言模型缺乏矿业领域理解的问题,构建并报告了 7B 参数、遵循指令的 MiningGPT,且其矿业知识测试成绩较 Mistral 7B instruct 提升 14%。
2024-12-02 cs.CL
Unveiling Language-Specific Features in Large Language Models via Sparse Autoencoders
University of Science and Technology of China(中国科学技术大学);Sichuan University(四川大学)
本研究利用稀疏自编码器识别大型语言模型中的语言特定特征,通过新度量评估单语性,并证明消融这些特征可定向削弱单一语言能力,同时利用它们增强转向向量以控制生成语言。
2025-05-27 cs.CL
Domain-specific Continued Pretraining of Language Models for Capturing Long Context in Mental Health
University of Helsinki(赫尔辛基大学);The University of Manchester(曼彻斯特大学);Nanyang Technological University(南洋理工大学)
针对心理健康领域缺少长序列预训练模型的问题,本文基于 XLNet 和 Longformer 持续预训练并发布 MentalXLNet 与 MentalLongformer,用于提升长上下文分类与长距离依赖建模能力。
2023-04-20 cs.CL
K-PLUG: Knowledge-injected Pre-trained Language Model for Natural Language Understanding and Generation in E-Commerce
JD AI Research(京东AI研究院);University of California, Berkeley(加利福尼亚大学伯克利分校);Renmin University of China(中国人民大学)
现有的预训练语言模型(PLM)已经证明了自监督学习对广泛的自然语言处理(NLP)任务的有效性。然而,他们中的大多数并没有明确地意识到特定领域的知识,这是必不可少的下游任务在许多领域,如任务中的电子商业场景。在本文中,我们提出了K-PLUG,知识注入预训练的语言模型的基础上的编码器-解码器Transformer,可以转移到自然语言理解和生成任务。我们验证我们的方法在不同的范围内的电子商业的情况下,需要特定领域的知识。具体而言,我们提出了五个知识感知的自我监督的预训练目标,制定特定领域的知识,包括电子商业领域的知识库,产品实体的方面,产品实体的类别,和独特的销售主张的产品实体的学习。K-PLUG在一系列特定领域的NLP任务上取得了新的最先进的结果,包括产品知识库完成,抽象的产品摘要和多轮对话,全面显著优于基线,这表明所提出的方法有效地学习了语言理解和生成任务的各种特定领域的知识。
2021-09-27 cs.CL
How does a Language-Specific Tokenizer affect LLMs?
Seoul National University(首尔国立大学)
本研究以韩语为案例,开发韩语专属扩展分词器并通过下一词元预测任务对比实验,发现其能降低大语言模型错误预测置信度与复杂任务交叉熵,提升生成稳定性,有望优化下游任务表现。
2025-02-21 cs.CL
Position: Natural Language Should Not Fully Replace Formal Languages
针对自然语言能否完全取代形式语言的争议,引入基于“任务特异性”的形式框架并证明“特异性交叉定理”,通过跨模态案例分析表明二者各有优势,是互补工具,倡导开发混合系统。
2026-07-24 cs.CL cs.PL
Understanding the effects of language-specific class imbalance in multilingual fine-tuning
Idiap Research Institute(Idiap研究所)
本文研究多语言分类中标签跨语言分布不均对LLM微调的影响,提出按语言分别计算类别权重的方法,有效缓解了性能下降和语言分离加剧等问题。
2024-02-20 cs.CL
Task-specific Pre-training and Prompt Decomposition for Knowledge Graph Population with Language Models
University of Edinburgh(爱丁堡大学);Huawei Edinburgh Research Centre(华为爱丁堡研究中心)
我们提出了一个用于知识图谱人口与语言模型的系统,在ISWC 2022的知识库构建预训练语言模型(LM-KBC)挑战中进行了评估。我们的系统涉及特定于任务的预训练,以改善被掩蔽对象标记的LM表示,提示分解以逐步生成候选对象,以及其他用于更高质量检索的方法。基于BERT LM,我们的系统是LM-KBC挑战赛第一轮的获胜者;它在挑战赛的隐藏测试集上获得了55.0%的F-1分数。
2022-08-31 cs.CL
Do We Need Language-Specific Fact-Checking Models? The Case of Chinese
University of Cambridge(剑桥大学)
本文针对中文事实核查,提出融合上下文以改进证据检索的系统,并基于 CHEF 构建对抗数据集,证明其优于翻译方法和多语言 LLM 且更鲁棒。
2024-10-04 cs.CL
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing
Microsoft Research(微软研究院)
预训练大型神经语言模型,如BERT,已经在许多自然语言处理(NLP)任务上取得了令人印象深刻的进展。然而,大多数预训练工作集中在一般领域语料库,如新闻专线和Web。一个普遍的假设是,即使是特定领域的预训练也可以从通用领域的语言模型开始。在本文中,我们挑战了这一假设,证明了对于具有大量未标记文本的领域,如生物医学,从头开始预训练语言模型比一般领域语言模型的持续预训练有很大的收益。为了促进这项调查,我们从公开的数据集中编译了一个全面的生物医学NLP基准。我们的实验表明,特定于领域的预训练为广泛的生物医学NLP任务奠定了坚实的基础,从而全面带来了新的最先进的结果。此外,在对建模选择进行彻底评估时,无论是预训练还是特定于任务的微调,我们发现BERT模型中的一些常见做法是不必要的,例如在命名实体识别(NER)中使用复杂的标记方案。为了帮助加速生物医学NLP的研究,我们为社区发布了最先进的预训练和特定任务模型,并在https://aka.ms/BLURB上创建了一个排行榜,其中包括我们的BLURB基准(生物医学语言理解和推理基准的缩写)。
2021-09-16 cs.CL cs.LG
Isolating Culture Neurons in Multilingual Large Language Models
University of Tehran(德黑兰大学);University of Southern Denmark(南丹麦大学)
本研究基于语言特异性神经元识别方法定位并分离多语言大语言模型中的文化特异性神经元,通过构建MUREL数据集发现其主要位于上层且可独立于语言特异性神经元调制,为文化知识编辑提供基础。
2025-11-11 cs.CL
Domain-Specific Fine-Tuning of Large Language Models for Interactive Robot Programming
Artiminds(阿蒂姆因兹)
针对工业机器人编程局限于专家的问题,提出基于自然语言的编程助手,并研究在有限数据和算力下对基础模型进行领域特定微调的策略。
2024-04-21 cs.AI cs.CL cs.HC
Domain Specific Question Answering Over Knowledge Graphs Using Logical Programming and Large Language Models
University at Buffalo(布法罗大学)
本研究针对领域特定知识图谱问答的特殊性,将Prolog逻辑编程与大语言模型结合生成程序推导答案,在MetaQA数据集上仅用少量标注数据即实现所有测试问题的准确回答,提供了可解释且鲁棒的解决方案。
2023-08-23 cs.CL cs.LG
Beyond Early-Token Bias: Model-Specific and Language-Specific Position Effects in Multilingual LLMs
ITMO Applied AI(ITMO应用人工智能);SberAI;Applied AI(应用人工智能);Lomonosov MSU(罗蒙诺索夫莫斯科国立大学);HSE University(俄罗斯高等经济大学)
研究揭示了多语言大语言模型中位置偏见的模型和语言特异性,发现部分模型偏好后期位置,提示策略影响准确性,且中间上下文信息对模型输出熵无显著影响。
2025-12-11 cs.CL cs.LG
Task-Specific Efficiency Analysis: When Small Language Models Outperform Large Language Models
San Francisco State University - Department of Computer Science(旧金山州立大学-计算机科学系);Carnegie Mellon University - Department of Computer Science(卡内基梅隆大学-计算机科学系);Columbia University - Department of Computer Science(哥伦比亚大学-计算机科学系);Cornell University - Department of Computer Science(康奈尔大学-计算机科学系);Pennsylvania State University - Department of Biochemistry and Molecular Biology(宾夕法尼亚州立大学-生物化学与分子生物学系)
本文通过对比16个模型在五个NLP任务上的效率,提出PER指标,发现小型模型在效率上表现更优,为高效推理场景提供依据。
2026-03-22 cs.CL cs.LG
Task-specific Compression for Multi-task Language Models using Attribution-based Pruning
Seoul National University(首尔国立大学);Chung-Ang University(中央大学);Hyundai Motor Group(现代汽车集团);dot Inc(42dot公司)
多任务语言模型仅用一个模型就能完成各种自然语言理解任务,表现出优异的性能。然而,这些语言模型利用了不必要的大量模型参数,即使仅用于特定任务。提出了一种新的基于剪枝方法的多任务语言模型压缩方法。具体来说,我们使用归因方法来确定哪些神经元对于执行特定任务是必不可少的。我们针对特定任务修剪不重要的神经元,只留下特定任务的参数。此外,我们将我们的方法扩展到适用于低资源和无监督的环境。由于我们的压缩方法是免训练的,因此它使用很少的计算资源,并且不会破坏语言模型的预训练知识。在六个广泛使用的数据集上的实验结果表明,我们提出的剪枝方法显着优于基线剪枝方法。此外,我们还证明了我们的方法即使在看不见的域设置中也能保持性能。
2023-02-11 cs.AI cs.CL
Data-Driven Approach for Formality-Sensitive Machine Translation: Language-Specific Handling and Synthetic Data Generation
Korea University(高丽大学);Upstage
本文提出一种面向形式敏感性机器翻译的数据驱动方法,通过特定语言数据处理与基于大模型的合成数据生成两项核心策略,显著超越基线并提升翻译性能。
2023-06-27 cs.AI cs.CL
The advantages of context specific language models: the case of the Erasmian Language Model
Erasmus University Rotterdam(埃拉斯马大学鹿特丹分校)
本文提出伊拉斯谟语言模型(ELM),一个9亿参数的上下文特定模型,在课堂写作和相关学科中表现优越,为资源受限和隐私敏感场景提供可行替代方案。
2025-04-23 cs.AI cs.CL
Fence - An Efficient Parser with Ambiguity Support for Model-Driven Language Specification
University of Granada(格拉纳达大学)
基于模型的语言规范在语言处理器的实现、特定领域语言的设计、模型驱动的软件开发、数据集成、文本挖掘、自然语言处理和基于语料库的模型归纳中有应用。基于模型的语言规范将语言设计从语言处理中分离出来,与传统的语法驱动方法不同,它将语言设计者限制在特定类型的语法中,它需要能够处理歧义的通用解析器生成器。在本文中,我们提出了围栏,一个有效的自下而上的解析算法,词汇和句法歧义的支持,使使用基于模型的语言规范在实践中。
2011-10-07 cs.CL
LAE: Language-Aware Encoder for Monolingual and Multilingual ASR
Tencent AI Lab(腾讯人工智能实验室)
尽管自动语音识别(ASR)研究进展迅速,但使用统一的ASR系统识别多语言语音仍然具有很大的挑战性。多语种语音识别的研究主要集中在两个方面:识别多个单语语音和识别在同一个话语中交替使用不同语言的代码转换语音。然而,一个实用的多语言识别器预计将兼容这两个方向。在这项工作中,提出了一种新的语言感知编码器(LAE)架构来处理这两种情况下,通过解开特定于语言的信息,并在编码过程中生成帧级的语言感知表示。在LAE中,主要编码由共享块实现,而语言特定块用于提取每种语言的特定表示。为了区分性地学习语言特定信息,提出了一种语言感知的训练方法来优化LAE中的语言特定块。在普通话-英语码转换语音上进行的实验表明,所提出的LAE能够在帧级区分不同的语言,并且在单语和多语ASR任务上都表现出优异的性能。无论是一个真实记录或模拟的代码切换数据集,建议LAE实现统计上显着的改善CTC和神经传感器系统。代码已发布
2022-06-05 cs.AI cs.CL
Language-specific Neurons Do Not Facilitate Cross-Lingual Transfer
Indian Institute of Technology Bombay(印度理工学院孟买分校);Amazon Alexa(亚马逊Alexa部门)
本研究针对多语言大语言模型低资源语言性能下降问题,探究语言特异性神经元识别技术结合神经元级LoRA微调能否提升跨语言任务表现,实验发现这类干预无法带来下游任务提升,为多语言LLM研究提供关键参考。
2025-03-21 cs.AI cs.CL cs.LG
Adapting general-purpose speech recognition engine output for domain-specific natural language question answering
TCS Innovation Labs - Delhi(塔塔咨询服务创新实验室 - 德里);TCS Innovation Labs - Mumbai(塔塔咨询服务创新实验室 - 孟买)
面向企业系统的基于语音的自然语言问答界面正受到广泛关注。通用语音引擎可以与NLP系统集成以提供这样的接口。通常,通用语音引擎是在大型“通用”语料库上训练的。然而,当这样的引擎用于特定领域时,它们可能不能很好地识别特定领域的单词,并且可能产生错误的输出。此外,说话者说出句子的口音和环境条件可能导致语音引擎不准确地识别某些单词。随后的自然语言问答不会产生必要的结果,因为问题没有准确地表示说话者的意图。因此,在执行进一步的自然语言处理之前,语音引擎的输出可能需要适合于某个领域。我们提出了两种适应机制,一种是基于进化发展的,另一种是基于机器学习的,并展示了我们如何修复语音输出,使随后的自然语言问答更好。
2017-10-12 cs.AI cs.CL
LaSER: Language-Specific Event Recommendation
L3S Research Center(L3S研究中心);Leibniz Universität Hannover(汉诺威莱布尼茨大学);University of Bonn(波恩大学)
虽然社会事件经常影响世界各地的人们,但很大一部分事件的焦点主要是影响特定语言社区的地方焦点。例子包括全国选举、不同国家的冠状病毒大流行的发展,以及当地的电影节,如法国的塞萨尔奖和俄罗斯的莫斯科国际电影节。然而,现有的实体推荐方法没有充分解决推荐的语言环境。本文介绍了一种新的任务,特定语言的事件推荐,其目的是推荐相关的用户查询在特定语言的上下文事件。此任务可以支持基本的信息检索活动,包括Web导航和探索性搜索,考虑到用户信息需求的语言环境。我们提出了激光,一种新的方法对特定语言的事件推荐。Laser在学习排序模型中融合了实体和事件的语言特定潜在表示(嵌入)以及时空事件特征。这个模型是在公开的维基百科点击流数据上训练的。我们的用户研究结果表明,在MAP@5中,关于推荐事件的特定语言相关性,Laser的性能超过最先进的推荐基线高达33个百分点。
2023-02-24 cs.AI cs.CL cs.IR
HLT-MT: High-resource Language-specific Training for Multilingual Neural Machine Translation
Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
基于多语言对的多语言神经机器翻译(MNMT)具有模型参数少、多语言知识共享、训练成本低等优点,受到了广泛关注。然而,由于不同翻译方向之间的负干扰,特别是在高资源语言上,多语言训练受到共享参数中语言干扰退化的困扰。本文提出了一种多语言翻译模型--高资源特定语言训练模型(HLT-MT),采用两阶段训练和特定语言选择机制来减轻负面干扰。具体来说,我们首先只使用高资源对训练多语言模型,并在解码器的顶部选择语言特定的模块,以提高高资源方向的翻译质量。接下来,该模型在所有可用的语料库上进行进一步训练,以将知识从高资源语言(HRL)转移到低资源语言(LRL)。实验结果表明,HLT-MT在WMT-10和OPUS-100基准测试中优于各种强基线。此外,分析实验验证了我们的方法在减轻多语言训练中的负面干扰的有效性。
2022-07-15 cs.AI cs.CL cs.LG
Computational Representation of Linguistic Structures using Domain-Specific Languages
University of Cologne(科隆大学);German Institute of Medical Documentation and Information(德国医学文献与信息研究所)
我们描述了一个模块化的系统,用于从使用特定领域的语言的基本语言结构的正式定义生成句子。该系统一般使用Java,用于词条的Prolog和基于功能语法和功能语篇语法符号的自定义域特定语言,使用ANTLR解析器生成器实现。我们展示了如何在一个自然语言处理系统中将语言和技术部分结合在一起,以及如何将特定领域的语言用作语言描述中一致的正式符号的工具。
2008-05-21 cs.CL
Computational Lesions in Multilingual Language Models Separate Shared and Language-specific Brain Alignment
The University of Manchester(曼彻斯特大学);City University of Hong Kong(香港城市大学);The Hong Kong Polytechnic University(香港理工大学);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Johns Hopkins University(约翰霍普金斯大学)
研究通过多语言大语言模型创建计算病变,揭示语言处理的共享与特定机制,发现共享核心减少整体脑编码相关性,而语言特定病变保持跨语言分离但削弱匹配母语的脑预测性。
2026-04-12 cs.AI cs.CE cs.CL
Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction
University of Liverpool(利物浦大学);Amazon(亚马逊公司)
不需要标记语言资源或词典的独立标记化(LIT)方法最近因其在资源贫乏语言中的适用性而受到欢迎。此外,它们使用固定大小的词汇表来表示一种语言,并且可以有效地处理看不见的或罕见的单词。另一方面,语言特定的标记化(LST)方法有着悠久的历史,并且是使用精心创建的词汇和培训资源开发的。与LIT方法产生的子标记不同,LST方法产生有效的形态子字。尽管LIT与LST方法之间存在对比,但它们在下游NLP任务上的性能仍然不清楚。在本文中,我们经验比较这两种方法使用语义相似性测量作为评估任务,在不同的语言。我们的实验结果涵盖八种语言表明,LST一贯优于LIT时,词汇量大,但LIT可以产生可比或更好的结果比LST在许多语言相对较小(即小于10万字)的词汇量,鼓励使用LIT时,语言特定的资源不可用,不完整或需要一个较小的模型。此外,我们发现,平滑逆频率(SIF)是一个准确的方法来创建词嵌入从子词嵌入的多语言语义相似度预测任务。进一步分析的最近邻的令牌表明,语义和句法相关的令牌紧密嵌入子词嵌入空间
2020-02-25 cs.AI cs.CL cs.LG
Contextual Information and Specific Language Models for Spoken Language Understanding
在本文中,我们将解释如何上下文的预期产生和使用的任务导向的口语理解系统Dialogos。识别电话上的自发语音的艰巨任务可以极大地受益于在识别呼叫者的话语期间使用特定的语言模型。通过“特定语言模型”,我们指的是一组语言模型,这些语言模型是在上下文适当的数据上训练的,并且基于由对话管理模块发送到声学级的信息在对话的不同状态期间使用。在本文中,我们描述了特定的语言模型是如何获得的上下文信息的基础上。我们报告的实验结果表明,由于使用特定的语言模型,识别和理解性能得到提高。
1997-11-19 cmp-lg cs.CL
Continual Learning in Multilingual NMT via Language-Specific Embeddings
NAVER LABS Europe(NAVER LABS 欧洲)
本文提出了一种新的源语言或目标语言添加到现有的多语言NMT模型,而无需重新训练它的初始语言集的技术。它包括用一个小的特定于语言的词汇表替换共享词汇表,并在新语言的并行数据上微调新嵌入。可以训练一些附加的语言特定组件以提高性能(例如,Transformer层或适配器模块)。由于原始模型的参数未被修改,因此其在初始语言上的性能不会降低。我们在两组实验(TED Talks上的小规模实验和ParaCrawl上的大规模实验)中表明,这种方法的性能与成本更高的替代方案一样好或更好;并且它具有出色的zero-shot性能:以英语为中心的数据的训练足以在新语言和任何初始语言之间进行翻译。
2021-10-20 cs.CL
Domain-specific MT for Low-resource Languages: The case of Bambara-French
Centre National Collaboratif de l’Education en Robotique et en Intelligence Artificielle (RobotsMali)(国家机器人与人工智能教育合作中心(RobotsMali));Orange Silicon Valley(Orange硅谷);Rochester Institute of Technology(罗切斯特理工学院)
由于缺乏并行数据,翻译成低资源语言和从低资源语言翻译是机器翻译(MT)系统的挑战。在本文中,我们解决的问题,特定领域的MT班巴拉,在马里讲的资源不足的曼德语。我们提出了第一个特定领域的并行数据集MT班巴拉到法国和从法国。我们讨论了在低资源语言中处理少量特定于域的数据的挑战,并给出了在这些数据上进行机器学习实验的结果。
2021-03-31 cs.CL
Language-Specific Layer Matters: Efficient Multilingual Enhancement for Large Vision-Language Models
Northeastern University(东北大学);NiuTrans Research(小牛翻译研究院);Meituan Inc.(美团公司);Harbin Institute of Technology(哈尔滨工业大学)
本研究提出PLAST方法,通过识别并微调语言特定层,仅调整14%参数即可高效增强大型视觉-语言模型的多语言能力,并在多语言基准上验证其有效性。
2025-08-25 cs.CL
Exploiting Domain-Specific Parallel Data on Multilingual Language Models for Low-resource Language Translation
School of Mathematical and Computational Sciences, Massey University(马歇尔大学数学与计算科学学院);Mila – Quebec AI Institutes(魁北克人工智能研究院);Computer Science, Ontario Technology University and University of Toronto(安大略技术大学与多伦多大学计算机科学系)
本文研究了如何通过领域特定平行数据提升低资源语言翻译效果,探讨了预训练和微调技术对模型性能的影响,并提出优化策略。
2026-03-26 cs.CL
EstBERT: A Pretrained Language-Specific BERT for Estonian
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
本文介绍了EstBERT,一个大型的预训练的基于transformer的语言特定的BERT模型爱沙尼亚语。最近的工作评估了爱沙尼亚任务的多语言BERT模型,发现它们的表现优于基线。尽管如此,基于对其他语言的现有研究,特定于语言的BERT模型预计将优于多语言模型。我们首先描述了EstBERT的预训练过程,然后提出了基于微调的EstBERT模型的多个NLP任务的结果,包括POS和形态标记,命名实体识别和文本分类。评估结果表明,基于EstBERT的模型在六个任务中的五个任务上优于多语言BERT模型,进一步证明了即使多语言模型可用,训练特定语言的BERT模型仍然有用。
2021-04-28 cs.CL
Data-Efficient Cross-Lingual Transfer with Language-Specific Subnetworks
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
大型多语言语言模型通常在所有语言之间共享其参数,这使得跨语言任务转移成为可能,但当来自不同语言的训练更新发生冲突时,学习也会受到阻碍。在本文中,我们提出了新的方法,使用特定语言的子网络,控制跨语言的参数共享,以减少冲突,增加微调过程中的正迁移。我们引入动态子网络,这是共同更新的模型,我们结合我们的方法与元学习,一个既定的,但互补的,技术,以提高跨语言迁移。最后,我们对我们的每种方法如何影响模型进行了广泛的分析。
2022-10-31 cs.CL
Exploring Intrinsic Language-specific Subspaces in Fine-tuning Multilingual Neural Machine Translation
Nara Institute of Science and Technology(奈良科学技术研究所)
本文提出语言特定 LoRA、架构学习与渐进剪枝,以隔离并探索多语言 NMT 微调中的最小语言子空间,在 FLORES-101 上提升 spBLEU 并大幅减少可训练参数。
2024-09-08 cs.CL
What the [MASK]? Making Sense of Language-Specific BERT Models
Bocconi University(博科尼大学)
近年来,自然语言处理(NLP)在许多领域都取得了令人瞩目的进展,这是由于新的、预先训练的上下文表示模型的出现。特别是,Devlin等人(2019)提出了一种称为BERT(来自Transformers的双向编码器表示)的模型,该模型使研究人员能够通过微调其数据集和任务的表示来获得众多NLP任务的最先进性能,而无需开发和训练高度特定的架构。作者还发布了多语言BERT(mBERT),这是一个在104种语言的语料库上训练的模型,可以作为一个通用的语言模型。该模型在一个zero-shot跨语言自然推理任务上取得了令人印象深刻的结果。在BERT模型潜力的推动下,NLP社区已经开始研究和生成大量的BERT模型,这些模型在特定的语言上进行训练,并在特定的数据域和任务上进行测试。这使我们能够通过将mBERT与这些更具体的模型的性能进行比较来评估mBERT作为通用语言模型的真正潜力。本文介绍了语言特定的BERT模型的最新技术水平,提供了一个关于不同维度(即架构,数据域和任务)的整体画面。我们的目标是提供一个直接和直接的概述特定于语言的BERT模型和mBERT之间的共性和差异。我们还提供了一个互动和不断更新的网站,可用于探索我们收集的信息,在https://bertlang.unibocconi.it。
2020-03-05 cs.CL
Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
最先进的多语言机器翻译依赖于通用的编码器-解码器,这需要重新训练整个系统以添加新的语言。在本文中,我们提出了一种替代方法,是基于特定语言的编码器-解码器,因此可以更容易地扩展到新的语言,通过学习其相应的模块。为了鼓励共同的中间语言表示,我们同时训练N种初始语言。我们的实验表明,所提出的方法比通用编码器-解码器平均高出3.28个BLEU点,并且在添加新语言时,不需要重新训练其余模块。总而言之,我们的工作缩小了共享和特定语言编码器-解码器之间的差距,朝着模块化多语言机器翻译系统迈进,可以在终身学习环境中灵活扩展。
2020-04-14 cs.CL
Learning Language Specific Sub-network for Multilingual Machine Translation
ByteDance AI Lab(字节跳动人工智能实验室)
多语言神经机器翻译旨在学习多种语言的单一翻译模型。这些联合训练的模型通常会在资源丰富的语言对上性能下降。我们把这种退化归因于参数干扰。在本文中,我们提出了LaSS联合训练一个统一的多语言MT模型。LaSS为每个语言对学习语言特定子网络(LaSS)以对抗参数干扰。在具有各种Transformer架构的IWSTs和WMT数据集上的综合实验表明,LaSS在36种语言对上获得了高达1.2 BLEU的增益。此外,LaSS在易于扩展到新的语言对和zero-shot翻译方面表现出了很强的泛化性能,LaSS在30个语言对上的平均BLEU为8.3,提高了zero-shot翻译。代码和训练模型可在https://github.com/NLP-Playground/LaSS上获得。
2021-07-23 cs.CL
What do self-supervised speech models know about Dutch? Analyzing advantages of language-specific pre-training
Institute for Logic, Language and Computation(逻辑、语言和计算研究所);Centre for Language Studies(语言研究学院)
研究测试了自监督Wav2Vec2模型对荷兰语语音和词汇信息的编码,发现仅在荷兰语上预训练相比英语或多语言数据能更好地改善其语言特征表征,且此优势与自动语音识别的下游性能一致。
2025-07-10 cs.AI cs.CL cs.SD
On the Language-specificity of Multilingual BERT and the Impact of Fine-tuning
University of Malta(马耳他大学);Idiap Research Institute(伊迪亚普研究所);Utrecht University(乌得勒支大学)
最近的研究表明,多语言BERT(mBERT)获得的知识有两个组成部分:语言特定的和语言中立的。本文分析了它们之间的关系,在两个任务的微调-词性标注和自然语言推理-这需要模型承担不同程度的语言特定的知识。可视化显示,mBERT在微调后失去了按语言聚类表征的能力,这一结果得到了语言识别实验证据的支持。然而,使用梯度反转和迭代对抗学习的“unlearning”语言特定表示的进一步实验表明,除了微调的效果之外,不会进一步改善语言独立组件。这里提出的结果表明,微调的过程导致重组模型的有限的代表性的能力,提高语言独立的代表性,在牺牲特定语言的。
2021-12-26 cs.CL cs.NE
Cross-Lingual Generalization and Compression: From Language-Specific to Shared Neurons
Department of Computational Linguistics(计算语言学系);Heidelberg University(海德堡大学)
本文通过分析三个多语言语言模型的参数空间,揭示预训练中语言特定表示逐渐压缩为跨语言共享神经元的过程,并识别出能跨语言预测相同概念的特定神经元。
2025-06-02 cs.CL
Language-specific Characteristic Assistance for Code-switching Speech Recognition
Tianjin University(天津大学);National University of Singapore(新加坡国立大学);Kyoto University(京都大学);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
双编码器结构成功地利用了两个语言特定的编码器(LSE)的代码切换语音识别。由于LSE由两个预先训练的语言特定模型(LSM)初始化,因此双编码器结构可以利用足够的单语数据并捕获各个语言属性。然而,大多数现有的方法对LSE没有语言限制,并且未充分利用LSM的语言特定知识。在本文中,我们提出了一种语言特定的特征辅助(LSCA)的方法,以减轻上述问题。具体来说,在训练过程中,我们引入两个特定于语言的损失作为语言约束,并为它们生成相应的特定于语言的目标。在解码过程中,我们考虑到最小二乘模型的解码能力,通过结合两个最小二乘模型的输出概率和混合模型,以获得最终的预测。实验表明,LSCA的训练和解码方法都能提高模型的性能。此外,最好的结果可以获得高达15.4%的相对错误减少的代码转换测试集,通过结合LSCA的训练和解码方法。此外,该系统可以处理代码切换语音识别任务,没有额外的共享参数,甚至重新训练的基础上,两个预先训练的LSM使用我们的方法。
2022-07-12 cs.CL eess.AS
Universal or Language-Family-Specific Script Unification for Cross-Lingual Transfer? A Case Study on Turkic Languages
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本研究以突厥语族为例,对比通用uroman与语族特定CTS两种文字统一方法的跨语言迁移效果,发现二者在NER任务表现相当且均优于基线,POS任务效果受语言、子词重叠和监督数据影响,fastText系统具竞争力。
2026-08-11 cs.CL