Millions of States: Designing a Scalable MoE Architecture with RWKV-7 Meta-learner
本文提出Meta-State,通过自状态编码器机制扩展RWKV-7,以状态驱动方式实现令牌-参数交互和无需重训练的渐进式扩展,构建线性复杂度、恒定内存的可扩展序列建模框架。
2025-04-11 cs.CL cs.LG
Aligning Sentence Simplification with ESL Learner's Proficiency for Language Acquisition
Telecom SudParis, Institut Polytechnique de Paris(巴黎综合理工大学电信高等学院);School of Computing, Institute of Science Tokyo(东京科学大学计算机学院)
本研究提出一种无需平行语料库的强化学习方法,通过词元级和句子级奖励迭代训练大型语言模型,将复杂句子简化到ESL学习者目标水平并提升该水平词汇覆盖率,实验表明其在词汇频率和多样性上较基线提升超20%且保持简化质量。
2025-02-17 cs.AI cs.CL
NSP-BERT: A Prompt-based Few-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction
Army Engineering University of PLA(中国人民解放军陆军工程大学)
使用提示来利用语言模型来执行各种下游任务,也称为基于提示的学习或基于提示的学习,与预训练和微调范例相比,最近取得了显著的成功。尽管如此,实际上所有的基于完形填空的方法都是标记级的,这意味着它们都利用GPT的从左到右的语言模型或BERT的掩码语言模型来执行完形填空式的任务。在本文中,我们尝试在zero-shot场景中使用RoBERTa和其他模型放弃的BERT原始预训练任务-下一句预测(NSP)来完成几个NLP任务。与token级别的技术不同,我们的基于提示符级别的方法NSP-BERT不需要固定提示符的长度或要预测的位置,使其能够轻松处理实体链接等任务。基于NSP-BERT的特点,我们为各种下游任务提供了几个快速构建模板。我们提出了一个两阶段的提示方法,特别是词义消歧任务。我们的标签映射策略显着提高了模型在句子对任务上的表现。在FewCLUE基准测试中,我们的NSP-BERT在大多数任务上都优于其他zero-shot方法,并接近于Few-Shot方法。
2022-10-18 cs.AI cs.CL
Not All Options Are Created Equal: Textual Option Weighting for Token-Efficient LLM-Based Knowledge Tracing
KAIST(韩国科学技术院)
本文提出LOKT框架,通过将示例学习者交互历史编码为文本类别选项权重(TCOW),在令牌约束下实现可扩展且高效的大语言模型知识追踪,并在冷启动和热启动设置中均优于现有模型。
2025-06-05 cs.AI cs.CL cs.CY
Transformers are Universal In-context Learners
Shimane Univ.(岛根大学);Rice Univ.(莱斯大学);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);PSL Univ.(巴黎文理研究大学)
本文从 Wasserstein 连续性角度证明深层 Transformer 是通用上下文学习器,可在固定嵌入维度和头数下以任意精度逼近连续上下文映射,并能处理任意甚至无限数量的 token。
2024-10-03 cs.CL stat.ML
Abstraction via exemplars? A representational case study on lexical category inference in BERT
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Purdue University(普渡大学);Boston University(波士顿大学)
本文改编单次暴露的新 token 词汇范畴实验,分析 BERT 表征,证明模型可通过将新 token 移向已知范畴范例而产生类抽象泛化。
2023-11-03 cs.AI cs.CL
AraELECTRA: Pre-Training Text Discriminators for Arabic Language Understanding
American University of Beirut(贝鲁特美国大学)
英语语言表示的进步通过有效学习准确分类令牌替换的编码器(ELECTRA)实现了更有效的样本预训练任务。它不是训练一个模型来恢复被屏蔽的令牌,而是训练一个递归模型来区分真正的输入令牌和被生成器网络替换的损坏令牌。另一方面,目前的阿拉伯语表示方法仅依赖于通过掩码语言建模进行预训练。在本文中,我们开发了一个阿拉伯语表示模型,我们命名为AraELECTRA。我们的模型使用大型阿拉伯语文本语料库上的替换标记检测目标进行预训练。我们在多个阿拉伯语NLP任务上评估了我们的模型,包括阅读理解,情感分析和命名实体识别,我们表明,AraELECTRA优于当前最先进的阿拉伯语表示模型,给定相同的预训练数据和更小的模型大小。
2021-03-07 cs.CL
SpacTor-T5: Pre-training T5 Models with Span Corruption and Replaced Token Detection
Google Research(谷歌研究院)
本文提出 SpacTor 两阶段混合预训练流程,将 SC 与 RTD 结合用于 T5,在保持下游性能的同时减少 50% 迭代和 40% FLOPs,或在同等预算下提升基准表现。
2024-01-24 cs.CL cs.LG
Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal
Qatar Computing Research Institute, Doha, Qatar(卡塔尔计算研究所,多哈,卡塔尔)
提出仅使用母语语音资源训练的轻量级发音评估框架,通过离散化语音标记和语言模型计算意外度,结合文本引导对齐特征,在无监督或少量校准下达到接近监督方法的性能。
2026-06-24 cs.CL cs.SD eess.AS
XLM-E: Cross-lingual Language Model Pre-training via ELECTRA
Microsoft Corporation(微软公司);Beijing Institute of Technology(北京理工大学)
在本文中,我们引入ELECTRA风格的任务,跨语言的语言模型预训练。具体来说,我们提出了两个预训练任务,即多语言替换标记检测和翻译替换标记检测。此外,我们预训练模型,命名为XLM-E,在多语言和平行语料库。我们的模型在各种跨语言理解任务上的性能优于基线模型,并且计算成本更低。此外,分析表明,XLM-E倾向于获得更好的跨语言迁移。
2022-04-19 cs.CL
What Makes Diffusion Language Models Super Data Learners?
Ubiquant
本研究通过消融实验揭示扩散语言模型数据效率主要源于输入令牌随机掩码,并发现MLP丢弃和权重衰减等随机正则化也能提升多轮训练的数据效率。
2025-10-05 cs.CL
GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator
Microsoft Research Asia(微软亚洲研究院);The University of Hong Kong(香港大学);Beihang University(北京航空航天大学)
针对现有预训练方法未充分利用语言理解促进生成的问题,提出GanLM模型,引入辅助判别器统一理解与生成能力,通过替换词检测与去噪目标训练,在语言生成基准上取得最优性能。
2023-05-09 cs.CL
Assessing Phrase Break of ESL speech with Pre-trained Language Models
Microsoft Research Asia(微软亚洲研究院)
本文介绍了一种基于预训练的语言模型(PLMs)来评估ESL学习者语音中的短语断裂的方法。与传统方法不同,该方案将语音转换为令牌序列,然后利用PLM的功能。有两个子任务:对语音片段的短语中断的总体评估;对每个可能的短语中断位置的细粒度评估。语音输入首先与文本强制对齐,然后预处理为令牌序列,包括单词和相关联的短语中断信息。然后,令牌序列被馈送到预训练和微调流水线中。在预训练中,用令牌数据训练替换的中断令牌检测模块,其中每个令牌具有被随机替换的特定百分比机会。在微调中,分别使用文本分类和序列标记管道优化整体和细粒度评分。随着PLM的引入,对标记训练数据的依赖性大大降低,性能也得到了提高。
2022-10-28 cs.CL cs.SD eess.AS
Language Models are Symbolic Learners in Arithmetic
Department of Computer Science(计算机科学系);Rice University(里士满大学);College of Computing(计算学院);Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
本文研究语言模型在算术运算中通过学习符号捷径而非算法来掌握算术能力。
2026-01-26 cs.CL cs.LG
Focused Large Language Models are Stable Many-Shot Learners
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Xiaohongshu Inc(小红书公司)
针对ICL在多样本设置下性能无法有效扩展的问题,提出无需训练的FocusICL方法,通过琐碎性过滤和分层注意力确保模型聚焦查询,实现5.2%的平均性能提升且扩展良好。
2024-08-26 cs.AI cs.CL
Training ELECTRA Augmented with Multi-word Selection
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
预训练的文本编码器,如BERT及其变体,最近在许多NLP任务上取得了最先进的性能。虽然有效,但这些预训练方法通常需要大量的计算资源。为了加速预训练,ELECTRA训练了一个预测器,该预测器预测每个输入令牌是否被生成器替换。然而,这个新的任务,作为一个二元分类,是语义信息较少。在这项研究中,我们提出了一种新的文本编码器预训练方法,改进了基于多任务学习的ELECTRA。具体来说,我们训练的搜索引擎,同时检测替换令牌和选择原始令牌从候选集。我们进一步开发了两种技术来有效地结合所有预训练任务:(1)针对特定任务的头部使用基于注意力的网络,以及(2)共享生成器和训练器的底层。在GLUE和SQuAD数据集上的大量实验证明了该方法的有效性和效率。
2022-03-03 cs.CL
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
诸如BERT之类的掩蔽语言建模(MLM)预训练方法通过用[MASK]替换一些标记来破坏输入,然后训练模型以重构原始标记。虽然它们在转移到下游NLP任务时会产生良好的结果,但它们通常需要大量的计算才能有效。作为替代方案,我们提出了一种更有效的样本预训练任务,称为替换令牌检测。我们的方法不是屏蔽输入,而是通过用从小型生成器网络中采样的看似合理的替代品替换一些令牌来破坏它。然后,我们不是训练一个预测损坏令牌的原始身份的模型,而是训练一个判别模型,该模型预测损坏输入中的每个令牌是否被生成器样本替换。彻底的实验表明,这种新的预训练任务比MLM更有效,因为该任务是在所有输入令牌上定义的,而不仅仅是被屏蔽的小子集。因此,在相同的模型大小、数据和计算条件下,通过我们的方法学习的上下文表示大大优于通过BERT学习的上下文表示。对于小型模型来说,这种优势尤其明显;例如,我们在一个GPU上对一个模型进行了为期4天的训练,该模型在GLUE自然语言理解基准测试中的性能优于GPT(使用30倍以上的计算进行训练)。我们的方法在大规模上也能很好地工作,它在使用不到1/4的计算量的情况下执行Roberta和XLNet,并且在使用相同的计算量时优于它们。
2020-03-23 cs.CL
Predicting CEFRL levels in learner English on the basis of metrics and full texts
University of Richmond(里士满大学);Université Paris Diderot(巴黎狄德罗大学);The Insight Centre for Data Analytics NUI Galway(爱尔兰国立大学戈尔韦分校洞察数据分析中心)
本文分析了语言指标的贡献,并可能,语言结构,分类法国英语学习者根据欧洲共同语言参考框架(CEFRL)的水平。其目的是建立一个模型,作为语言复杂性功能的学习者水平的预测。我们使用了EFCAMDAT语料库,这是一个包含一百万份学习者书面作业的数据库。在对文本应用语言复杂性度量之后,我们构建了一个表示,将文本的语言度量与其分配的CEFRL级别相匹配。词汇和句法指标计算LCA,LSA和koRpus。通过使用梯度提升树和Keras神经网络方法并通过对比CEFRL水平对来构建几个监督学习模型。结果表明,有可能实现成对区分,特别是对于A1至B1范围内的水平(A1=>A2:0.916 AUC和A2=>B1:0.904 AUC)。模式解释揭示了语料库中预测性的重要语言特征。单词标记和单词类型似乎在确定水平方面起着重要作用。这表明级别高度依赖于特定的语义配置文件。
2018-06-28 cs.CL
FAER: Auditable Utility-Aligned Trajectory Replay for Language Model Post-Training
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
针对重放选择与学习效用脱节的问题,提出可审计的FAER框架,通过学习器感知选择器与审计契约提升后训练质量,在GSM8K上达到0.6624。
2026-10-19 cs.AI cs.CL cs.LG
Toward Beginner-Friendly LLMs for Language Learning: Controlling Difficulty in Conversation
University of Pennsylvania(宾夕法尼亚大学)
本文提出通过可控生成技术提升初学者与LLM对话的可理解性,实验表明该方法能显著提高输出清晰度,并引入新的评估指标支持语言学习研究。
2026-02-18 cs.CL cs.HC
Targeted Remasking: Replacing Token Editing with Token-to-Mask Refinement in Discrete Diffusion Language Models
针对离散掩码扩散语言模型中令牌编辑机制的局限性,提出无训练的令牌到掩码重掩码方法,通过将疑似错误令牌重置为掩码状态,利用扩散过程在更干净上下文中重新预测,显著提升数学等任务的性能。
2026-05-31 cs.AI cs.CL
RTD-Guard: A Black-Box Textual Adversarial Detection Framework via Replacement Token Detection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
本文提出RTD-Guard框架,利用替换词检测器识别对抗样本,无需对抗数据或模型调优,仅需两次黑盒查询,有效检测多种先进攻击方法生成的对抗文本。
2026-03-13 cs.CL cs.CR
Concept Tokens: Learning Behavioral Embeddings Through Concept Definitions
Instituto de Computación, Facultad de Ingeniería, Universidad de la República(共和国大学工程学院计算研究所)
Concept Tokens通过概念定义学习行为嵌入,能有效控制冻结语言模型的行为,减少幻觉并提升合规性。
2026-01-08 cs.AI cs.CL cs.LG
mGPT: Few-Shot Learners Go Multilingual
SaluteDevices;HSE University(高等经济大学);University of Oslo(奥斯陆大学);AIRI;NUST MISiS(国立科技研究大学“莫斯科国立钢铁合金学院”);Institute of Linguistics RAS(俄罗斯科学院语言学研究所)
本文提出mGPT,两个基于GPT架构的多语言模型(13亿和130亿参数),在60种语言上训练,性能与XGLM相当,覆盖更多低资源语言,并开源了代码和模型。
2023-10-12 cs.AI cs.CL
KItCAT: Knowledge Injection via Input Corruption for Auto-regressive Training
IBM(国际商业机器公司);Amazon Books Science(亚马逊图书科学部门)
本研究提出轻量级知识注入策略KItCAT,通过随机损坏输入序列实现低成本数据增强,在多个数据集和模型系列上的表现优于持续预训练。
2026-09-02 cs.AI cs.CL
MC-BERT: Efficient Language Pre-Training via a Meta Controller
Peking University(北京大学);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
预先训练的上下文表示(例如,BERT)已经成为在许多NLP任务上实现最先进结果的基础。然而,大规模的预训练在计算上是昂贵的。ELECTRA是加速预训练的早期尝试,它训练了一个判别模型,预测每个输入标记是否被生成器替换。我们的研究表明,ELECTRA的成功主要是由于它降低了预训练任务的复杂性:二进制分类(替换标记检测)比生成任务(掩蔽语言建模)更有效。然而,这种简化的任务在语义上信息量较少。为了实现更好的效率和效果,我们提出了一种新的元学习框架,MC-BERT。预训练任务是一个带有拒绝选项的多项选择完形填空测试,其中Meta控制器网络提供训练输入和候选项。在GLUE自然语言理解基准测试上的结果表明,我们提出的方法是高效和有效的:在相同的计算预算下,它在GLUE语义任务上的性能优于基线。
2020-06-16 cs.CL cs.LG
Unsupervised Text Style Transfer with Padded Masked Language Models
Google Research(谷歌研究院)
我们提出了Masker,一种用于风格转移的无监督文本编辑方法。为了解决没有并行源-目标对可用的情况,我们为源和目标域都训练训练掩蔽的语言模型(MLM)。然后,我们找到两个模型在可能性方面最不一致的文本跨度。这使我们能够识别要删除的源标记,以转换源文本,使其与目标域的样式相匹配。删除的令牌被替换为目标MLM,并且通过使用填充的MLM变体,我们避免了必须预先确定插入令牌的数量。我们对句子融合和情感转移的实验表明,Masker在完全无监督的环境中表现出竞争力。此外,在低资源环境中,当在Masker生成的银训练数据上进行预训练时,它将监督方法的准确性提高了10个百分点以上。
2020-10-02 cs.CL
Towards Modeling Learner Performance with Large Language Models
EPFL(洛桑联邦理工学院)
本文探讨将大型语言模型(LLMs)的模式识别与序列建模能力扩展至知识追踪领域,通过比较零样本提示和微调方法,发现微调LLMs优于朴素基线且媲美标准贝叶斯方法,为LLMs在教育情境中的应用开辟了新途径。
2024-02-29 cs.CL cs.CY cs.LG
Learning to Sample Replacements for ELECTRA Pre-Training
Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
ELECTRA预训练一个机器人来检测替换的标记,其中替换是从一个用掩码语言建模训练的生成器中采样的。尽管有令人信服的性能,ELECTRA遭受以下两个问题。第一,不存在从采样器到发生器的直接反馈回路,这使得替换采样效率低下。其次,生成器的预测往往在训练过程中过于自信,使得替换偏向于正确的标记。在本文中,我们提出了两种方法来改进ELECTRA预训练的替换采样。具体来说,我们用硬度预测机制来增强采样,这样生成器就可以鼓励机器学习它还没有获得的东西。我们还证明了有效的采样减少了训练方差的训练。此外,我们建议使用一个焦点损失的发电机,以减轻过采样的正确令牌作为替代品。实验结果表明,我们的方法提高了ELECTRA预训练的各种下游任务。
2021-06-25 cs.CL
Frustratingly Simple Pretraining Alternatives to Masked Language Modeling
Hitachi, Ltd.(日立制作所);University of Sheffield(谢菲尔德大学)
掩蔽语言模型(MLM)是一种自监督的预训练目标,广泛应用于自然语言处理中学习文本表示。MLM训练一个模型来预测输入标记的随机样本,这些标记在整个词汇表的多类设置中被[MASK]占位符替换。在预训练时,通常在标记或序列级别上使用MLM其他辅助目标来提高下游性能(例如下一句预测)。然而,到目前为止,还没有以前的工作试图在检查是否其他简单的语言直观的目标可以单独作为主要的预训练目标。在本文中,我们探索了五个简单的预训练目标的基础上标记级分类任务的MLM的替代品。在GLUE和SQuAD上的实验结果表明,我们提出的方法使用BERT-BASE架构实现了与MLM相当或更好的性能。我们使用更小的模型进一步验证了我们的方法,结果表明,使用BERT-BASE的41%参数预训练模型,BERT-MEDIUM只会导致我们最好目标的GLUE分数下降1%。
2021-09-04 cs.AI cs.CL cs.LG
Evil twins are not that evil: Qualitative insights into machine-generated prompts
Universitat Pompeu Fabra(庞培法布拉大学);ICREA
本研究首次全面分析机器生成提示(自动提示),发现其末标记可理解且影响大,部分标记可剪枝,其余分为填充和关键词,且非完全不透明,并揭示其与自然语言处理机制的关联。
2025-10-08 cs.AI cs.CL cs.LG
Robustness of Demonstration-based Learning Under Limited Data Scenario
Shanghai Jiao Tong University(上海交通大学);Georgia Institute of Technology(佐治亚理工学院);Adobe Research(Adobe研究院);Stanford University(斯坦福大学)
基于演示的学习在有限数据场景下激发预先训练好的语言模型的能力方面显示出巨大的潜力。通过一些演示简单地增加输入可以显著提高Few-Shot NER的性能。然而,为什么这样的演示是有益的学习过程仍然不清楚,因为没有明确的示威和预测之间的一致性。本文通过逐步去除标准样本中直观有用的信息来设计病态样本,深入研究了基于样本的序列标注的鲁棒性,结果表明:(1)由随机标记组成的样本仍然使模型成为更好的Few-Shot学习器;(2)随机样本的长度和随机标记的相关性是影响性能的主要因素;(3)演示增加了模型预测对捕获的表面模式的置信度。我们已在https://github.com/SALT-NLP/RobustDemo上公开发布了我们的代码。
2022-10-19 cs.AI cs.CL cs.LG
Defensive Dual Masking for Robust Adversarial Defense
School of Computing and Information Technology, University of Wollongong(伍伦贡大学计算与信息技术学院);School of Computer, Data and Mathematical Sciences, Western Sydney University(西悉尼大学计算机、数据与数学学院);NVIDIA(英伟达公司)
本文提出防御性双重掩码(DDM)算法,通过训练时插入[MASK]与推理时动态掩码潜在对抗标记,提升NLP模型及LLM的对抗鲁棒性。
2024-12-10 cs.AI cs.CL
HSKBenchmark: Modeling and Benchmarking Chinese Second Language Acquisition in Large Language Models through Curriculum Tuning
HSKBenchmark通过课程调优构建首个中文SLA大语言模型基准,涵盖HSK 3-6级,提供教学文本、合成指令和评估系统,验证LLMs在写作和语法上的表现。
2025-11-19 cs.AI cs.CL
Sharp Nearby, Fuzzy Far Away: How Neural Language Models Use Context
Stanford University(斯坦福大学)
我们对神经语言模型(LM)如何使用先前的语言上下文知之甚少。在本文中,我们通过消融研究来研究上下文在LSTM LM中的作用。具体来说,我们分析了增加的困惑时,先前的上下文单词被洗牌,替换,或下降。在Penn Treebank和WikiText-2两个标准数据集上,我们发现该模型平均能够使用大约200个上下文标记,但可以将附近的上下文(最近的50个标记)与遥远的历史区分开来。该模型对最近句子中的单词顺序高度敏感,但忽略了长范围上下文(超过50个标记)中的单词顺序,这表明遥远的过去仅被建模为粗略的语义场或主题。我们进一步发现,神经缓存模型(Grave等人,2017 b)特别有助于LSTM从这个遥远的上下文中复制单词。总的来说,我们的分析不仅提供了对神经LM如何使用其上下文的更好理解,而且还揭示了基于缓存的模型最近的成功。
2018-05-12 cs.CL
Decoupled DiLoCo for Resilient Distributed Pre-training
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究)
本文提出解耦DiLoCo,通过打破锁步同步障碍,提升分布式预训练效率,在高故障率环境中实现零全局停机,保持模型性能。
2026-04-23 cs.CL
BudgetLongformer: Can we Cheaply Pretrain a SotA Legal Language Model From Scratch?
Thomson Reuters Labs(汤森路透实验室)
预训练的Transformer模型在最近的许多任务和基准测试中取得了最先进的结果。然而,许多最先进的语言模型(LM)不能很好地扩展到512个输入标记的阈值以上。然而,在专业领域(如法律、科学或生物医学),模型通常需要处理很长的文本(有时远远超过10000个令牌)。尽管已经提出了许多有效的Transformers(如Longformer,BigBird或FNet),但到目前为止,只有很少的有效模型可用于特定领域。此外,由于预训练过程通常非常昂贵-但随着序列长度的增加甚至更昂贵-它通常只有大型研究实验室才能达到。使预训练更便宜的一种方法是替换令牌检测(RTD)任务,通过在训练期间提供更多的信号,因为可以在所有令牌上计算损失。在这项工作中,我们训练Longformer模型与有效的RTD任务的法律数据,以展示预训练有效的LM是可能的,使用更少的计算。我们在具有挑战性的摘要任务上评估训练好的模型,这些任务要求模型总结长文本,以显示模型在下游任务上可以达到何种程度的良好性能。我们发现,无论是小的和基本的模型优于其基线上的域BillSum和域外PubMed任务在各自的参数范围。我们发布代码和模型用于研究目的。
2022-11-30 cs.AI cs.CL cs.LG
Learning Mechanism Underlying NLP Pre-Training and Fine-Tuning
Bar-Ilan University(巴伊兰大学)
本研究基于BERT-6架构探究NLP预训练与微调的内在机制,发现平均逐词准确率可作为预训练序参量,预训练会形成强匹配词元簇并沿Transformer块强化,且该机制与图像分类微调机制具有相似性。
2025-09-03 cs.CL
Replacing Language Model for Style Transfer
Tencent AI Lab(腾讯AI实验室);Columbia University(哥伦比亚大学)
提出用于文本风格迁移的替换语言模型 RLM,结合自回归与非自回归生成,并通过 token 级风格-内容解耦提升风格控制和迁移效果。
2024-02-28 cs.CL cs.LG
ReAGent: A Model-agnostic Feature Attribution Method for Generative Language Models
University of Sheffield(谢菲尔德大学)
针对现有特征归因方法在生成式语言模型上不忠实且计算昂贵的问题,提出模型无关的递归归因生成器(ReAGent),通过递归更新令牌重要性分布,在六个解码器模型上优于七种基线方法。
2024-02-07 cs.AI cs.CL cs.LG
COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软)
我们提出了一个自监督学习框架COCO-LM,它通过校正和对比损坏的文本序列来预训练语言模型。COCO-LM遵循ELECTRA风格的预训练,使用辅助语言模型来破坏文本序列,并在此基础上构造两个新的任务来预训练主模型。第一个标记级任务,纠正语言建模,是检测和纠正被辅助模型替换的标记,以便更好地捕获标记级语义。第二个序列级任务,序列对比学习,是对齐来自相同源输入的文本序列,同时确保表示空间中的一致性。在GLUE和SQuAD上的实验表明,COCO-LM不仅在精度上优于最新的预训练模型,而且还提高了预训练效率。它实现了ELECTRA的MNLI精度,其预训练GPU小时数为50%。通过与标准基础/大尺寸模型相同的预训练步骤,COCO-LM的表现比之前的最佳模型高出1+ GLUE平均分。
2021-10-27 cs.CL cs.LG
Assessing Phrase Break of ESL Speech with Pre-trained Language Models and Large Language Models
Microsoft Research Asia(微软亚洲研究院)
本研究针对ESL语音短语停顿的整体与细粒度评估任务,提出基于预训练语言模型的预训练-微调流水线及面向ChatGPT的提示方法,降低了标注数据依赖并提升性能,验证了大语言模型的应用潜力。
2023-06-08 cs.CL cs.SD eess.AS
DeBERTinha: A Multistep Approach to Adapt DebertaV3 XSmall for Brazilian Portuguese Natural Language Processing Task
University of Campinas(坎皮纳斯大学);Federal University of Pernambuco(伯南布哥联邦大学);University of São Paulo(圣保罗大学)
本文提出多步骤方法将DebertaV3 XSmall适配为巴西葡萄牙语模型DeBERTinha,通过葡语词汇构建和替换词元检测微调,在多项NLP任务中以40M参数超越BERTimbau-Large。
2023-10-31 cs.CL
Mitigating Label Length Bias in Large Language Models
Johannes Gutenberg University Mainz(法兰克福-马因茨约翰内斯·古特门大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
针对大型语言模型(LLMs)在候选选项预测中存在的标签长度偏差问题,提出归一化上下文校准(NCC)方法,在全标签层面校准预测,在多数据集和模型上F1值最高提升10%,还扩展至多项选择问答任务并降低少样本示例敏感性。
2025-11-18 cs.CL
Spatial-Temporal Large Language Model for Traffic Prediction
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);SenseTime Research, China(中国商汤科技研究院);University of Cologne, Germany(德国科隆大学)
本文提出ST-LLM,通过时空嵌入、融合卷积和部分冻结注意力机制改造大语言模型,以建模全局时空依赖,在交通预测及少样本、零样本场景中超越现有方法。
2024-07-07 cs.CL cs.LG
Language Identification with Succinct Machine-Independent Traces
Stanford University(斯坦福大学);Cornell University(康奈尔大学)
本文受大语言模型启发,针对语言识别的Gold-Angluin模型相关问题,解决能否用小字母表迹及能否直接从语言定义迹的问题,给出肯定答案,展示了如何定义计算迹实现极限识别,所用字母表与语言定义字母表大小成线性关系且与语言其他属性无关。
2026-07-15 cs.CL cs.DS cs.LG