StereoSet: Measuring stereotypical bias in pretrained language models
Massachusetts Institute of Technology(麻省理工学院);Intel AI(英特尔人工智能);Mila;McGill University(麦吉尔大学)
刻板印象是对特定人群的过度概括的信念,例如,亚洲人擅长数学,或者亚洲人是糟糕的司机。众所周知,这种信念(偏见)会伤害目标群体。由于预训练的语言模型是在大量的真实世界数据上训练的,因此它们被称为捕获刻板偏见。为了评估这些模型的不利影响,重要的是要量化其中的偏差。现有的量化偏见的文献评估预训练的语言模型上的一小组人工构建的偏见评估句子。我们提出了StereoSet,一个大规模的英语自然数据集来衡量四个领域的刻板偏见:性别,职业,种族和宗教。我们在我们的数据集上评估了流行的模型,如BERT,GPT-2,RoBERTa和XLNet,并表明这些模型表现出强烈的刻板偏见。我们还在https://stereoset.mit.edu上提供了一个带有隐藏测试集的排行榜,用于跟踪未来语言模型的偏差
2020-04-20 cs.AI cs.CL cs.CY
Does Manipulating Tokenization Aid Cross-Lingual Transfer? A Study on POS Tagging for Non-Standardized Languages
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文研究非标准化语言变体的跨语言词性标注迁移,通过在七语种上微调 PLM 并操纵分词,发现源域与目标域拆分词比率差异最能预测零样本性能。
2023-04-20 cs.CL
Interpreting Pretrained Language Models via Concept Bottlenecks
Arizona State University(亚利桑那州立大学);Zhejiang University(浙江大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Virginia(弗吉尼亚大学)
本研究提出C$^3$M方法,通过结合人工与机器生成的概念瓶颈来解释预训练语言模型,提升可解释性,并帮助诊断失败与增强鲁棒性。
2023-11-08 cs.AI cs.CL
Why Does Post-Training Quantization Work?
Tsinghua University(清华大学);Bosch AI Research(博世人工智能研究院)
本文探究训练后量化为何有效,发现层间误差抵消与LM头几何结构优先保留高置信词元分数是两大关键机制,解释了量化误差经多层传播仍影响甚微的原因。
2026-09-11 cs.CL cs.LG
Osprey: Target-agnostic Pre-training Makes Stronger Drafters in Speculative Decoding
Together AI;The University of Sydney(悉尼大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
Osprey通过目标无关的预训练和轻量级适配,使草稿模型跨目标迁移,提升推测解码的平均接受长度和推理速度。
2026-09-10 cs.CL
From Emergence to Control: Probing and Modulating Self-Reflection in Language Models
Department of Computer Science & Engineering(计算机科学与工程系);The Ohio State University(俄亥俄州立大学)
本研究发现预训练大语言模型已存在潜在自反思能力,提出反思诱导探测法验证该能力,构建自反思向量实现行为双向控制,可在无需额外训练的情况下灵活权衡推理质量与效率。
2025-06-13 cs.AI cs.CL cs.LG
Attend First, Consolidate Later: On the Importance of Attention in Different LLM Layers
该研究通过操控大语言模型不同层的隐藏状态,发现Transformer类LLM存在两阶段处理过程,上层注意力作用被高估,下层负责收集前文信息、上层侧重内部信息处理。
2024-10-31 cs.CL
HSRM: Hidden-State Reward Models for Test-Time Verification
Ingenuity Labs Research Institute(Ingenuity Labs 研究院)
该研究提出轻量型隐藏状态奖励模型HSRM,复用生成器内部表征验证数学推理候选解,在四个基准中多数场景性能优于55M参数纯文本验证器,仅需约2M参数,实现高效验证。
2026-09-01 cs.AI cs.CL
Neural Embeddings for Text
Primer Technologies Inc.(Primer科技公司)
我们提出了一种新的嵌入自然语言文本,深入代表语义。标准文本嵌入使用来自预训练的语言模型的隐藏层的输出。在我们的方法中,我们让一个语言模型从文本中学习,然后从字面上挑选它的大脑,获取模型神经元的实际权重来生成一个向量。我们将这种文本的表示称为神经嵌入。我们通过分析它在几个数据集上的行为,并通过将神经嵌入与最先进的句子嵌入进行比较,证实了这种表示反映文本语义的能力。
2022-11-20 cs.CL
Explaining Language Models' Predictions with High-Impact Concepts
Nanyang Technological University(南洋理工大学);Salesforce AI(Salesforce人工智能研究院)
针对语言模型可解释性不足、虚假相关导致解释不可靠的问题,提出将基于概念的可解释性拓展至NLP的框架,通过事后方法提取高影响力预测概念,设计通用评估指标,实验验证其在多方面优于基线。
2023-05-03 cs.CL
The Bicameral Model: Bidirectional Hidden-State Coupling Between Parallel Language Models
AWS Agentic AI(AWS智能AI)
本文提出双通道模型,通过可训练的神经接口在两个预训练语言模型的中间隐藏状态之间建立双向耦合,实现任务驱动与工具执行的协同,提升多任务性能。
2026-05-11 cs.AI cs.CL cs.LG
The Illusion of Role Separation: Hidden Shortcuts in LLM Role Learning (and How to Fix Them)
Zihao Wang(独立研究者)
本文研究大语言模型在多角色输入中区分系统与用户消息的角色分离学习问题,发现微调模型依赖任务类型和文本位置等捷径,并提出通过调整位置ID强化角色边界不变信号来提升角色区分的稳健性。
2025-05-05 cs.AI cs.CL
Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge
Nanjing University(南京大学)
本研究系统分析大语言模型对知识冲突数据的学习偏好,发现其偏好正式、拼写错误少的文本,该偏好跨模型语言通用且大模型更显著,还可通过调整数据与多数的一致性操控偏好。
2024-10-07 cs.CL
Spontaneous Context Restoration: How Language Models Recover from Corrupted Inputs
Independent Researcher(独立研究者);ML Collective (MLC)(机器学习集体(MLC))
本文研究语言模型在输入损坏时自发恢复正确输出的内部机制,发现两阶段过程,并利用隐藏状态预测失败,通过微调提升鲁棒性。
2026-09-29 cs.AI cs.CL
LAET: A Layer-wise Adaptive Ensemble Tuning Framework for Pretrained Language Models
Artificial Intelligence Department, RobotBulls Labs(人工智能部门,RobotBulls实验室);Machine Intelligence Lab (MILab), North South University(机器智能实验室(MILab),北南大学)
LAET提出了一种分层自适应集成调优框架,通过选择性微调预训练语言模型的关键层,以提高金融NLP任务的性能并降低计算成本。
2025-12-04 cs.AI cs.CE cs.CL
Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
Apple MLR(苹果公司MLR部门)
本研究提出一种基于语音基础模型语言选择性维度的轻量语码转换检测方法,利用预训练语音编码器的帧级语言信息,在CS-FLEURS数据集14种语言对的平均F1值达0.798,为构建多语种语料库提供工具。
2026-10-16 cs.CL
Extremely Small BERT Models from Mixed-Vocabulary Training
University of Pittsburgh(匹兹堡大学);Google Research(谷歌研究院);Kuaishou Technology(快手科技);Google Brain(谷歌大脑)
像BERT这样的预训练语言模型在NLP任务上取得了很好的效果,但由于内存占用,在资源有限的设备上是不切实际的。这种占用的很大一部分来自具有大输入词汇表和嵌入维度的输入嵌入。现有的用于模型压缩的知识蒸馏方法不能直接应用于训练词汇量减少的学生模型。为此,我们提出了一种蒸馏方法,通过混合词汇训练来调整教师和学生的嵌入。我们的方法将BERT-LARGE压缩为具有较小词汇量和隐藏维度的任务不可知模型,该模型比其他蒸馏BERT模型小一个数量级,并且在语言理解基准测试以及实际对话任务上提供了更好的大小准确性权衡。
2021-02-06 cs.CL
To Think or Not to Think: The Hidden Cost of Meta-Training with Excessive CoT Examples
Stanford University(斯坦福大学);LinkedIn AI
本文提出CoT-Recipe方法,通过调节元训练序列中CoT和非CoT示例的比例,提升大型语言模型在新任务上的推理准确性,实验显示在无CoT示例时准确率可提升300%。
2025-12-04 cs.AI cs.CL cs.LG
Self-Detoxifying Language Models via Toxification Reversal
The Hong Kong Polytechnic University(香港理工大学)
本文提出一种轻量级语言模型自我解毒方法,通过识别并逆转毒化方向,无需微调或额外组件,实现与最先进方法相当的解毒性能。
2023-10-14 cs.CL
Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学);Salesforce AI(Salesforce人工智能研究院)
本文提出在预训练语言模型隐藏层间插入随机自编码器生成多视图压缩表示,以缓解低资源微调中的过拟合问题,并在推理时移除自编码器,从而在不增加推理开销的情况下提升多种低资源NLP任务性能。
2023-05-26 cs.AI cs.CL cs.LG
Knowledge-Aware Language Model Pretraining
Microsoft Corporation(微软公司)
预训练的语言模型包含多少知识?最近的研究发现,经过预训练的transformer擅长建模语义,但尚不清楚它们在多大程度上掌握了人类知识,或者如何确保它们这样做。在本文中,我们将知识意识的语言模型预训练不改变的Transformer架构,插入显式的知识层,或添加外部存储的语义信息。相反,我们只是在预训练中向Transformer的输入发送实体存在的信号,使用实体扩展的标记器;在输出处,使用额外的实体预测任务。我们的实验表明,仅仅通过在预训练中添加这些实体信号,就可以将更多的知识打包到Transformer参数中:我们观察到改进的语言建模准确性,LAMA知识探测任务中的事实正确性,以及通过边缘探测隐藏表示的语义。我们还表明,我们的知识感知语言模型(KALM)可以作为GPT-2模型的替代品,显著改善下游任务,如没有任务相关培训的zero-shot问题回答。
2021-02-04 cs.CL cs.LG stat.ML
You Don't Know My Favorite Color: Preventing Dialogue Representations from Revealing Speakers' Private Personas
Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
社交聊天机器人,也被称为聊天聊天机器人,随着大型预训练语言模型的快速发展。尽管取得了巨大的进步,但最近出现了隐私问题:大语言模型的训练数据可以通过模型反演攻击提取。另一方面,用于训练聊天机器人的数据集包含两个人之间的许多私人对话。在这项工作中,我们进一步研究了通过语言建模训练的聊天机器人的隐藏状态的隐私泄漏,这还没有得到很好的研究。我们表明,说话人的人物角色可以推断,通过一个简单的神经网络与高精度。为此,我们提出了有效的防御目标,以保护隐藏状态的人物泄漏。我们进行了大量的实验,证明我们提出的防御目标可以大大降低攻击的准确性从37.6%到0.5%。同时,所提出的目标保留了语言模型强大的生成能力。
2022-04-26 cs.CL cs.CR cs.LG
Tiny-Attention Adapter: Contexts Are More Important Than the Number of Parameters
University of Chicago(芝加哥大学);Adobe Research(奥多比研究中心);TTI-Chicago(芝加哥丰田技术研究所)
适配器调优是通过添加和调优少量新参数将预训练的语言模型转移到下游任务的范例。以前提出的适配器架构都是前馈神经网络。在本文中,我们研究了使用微小注意力的有效性,即,注意,每个头的尺寸非常小-作为适配器。我们的tiny-attention适配器学习修改隐藏状态在每个位置直接条件的隐藏状态在所有其他位置,这是错过了以前提出的适配器。此外,我们认为它的多个注意头作为一个混合专家模型,并建议平均他们的权重在部署过程中,这进一步降低了其推理计算成本。在GLUE基准测试中,我们的tiny-attention适配器优于其他参数高效的迁移学习方法以及完全微调,同时只更新0.05%的参数。在FewGLUE基准测试中,其性能与GPT-3和PET相当。
2022-10-18 cs.AI cs.CL cs.LG
LLM Pretraining with Continuous Concepts
FAIR at Meta(Meta FAIR研究院);KAIST(韩国科学技术院);UC San Diego(加州大学圣迭戈分校)
针对大语言模型预训练的下一个token预测目标,提出连续概念混合(CoCoMix)框架,结合离散token预测与连续概念,提升样本效率,在多基准上优于现有方法,并增强可解释性与可引导性。
2025-02-12 cs.CL cs.LG
Jailbreak Antidote: Runtime Safety-Utility Balance via Sparse Representation Adjustment in Large Language Models
Beijing Institute of AI Safety and Governance(北京人工智能安全与治理研究院);Beijing Key Laboratory of Artificial Intelligence Safety and Superalignment(北京人工智能安全与超级对齐重点实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Center for Long-term Artificial Intelligence(长期人工智能中心)
本文提出Jailbreak Antidote方法,通过在推理时稀疏调整大语言模型约5%的内部状态,实现无需额外开销的实时安全与效用平衡,并在多个模型和攻击场景下验证了其有效性。
2025-02-07 cs.CL cs.CR
Reconsidering the Past: Optimizing Hidden States in Language Models
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们提出了隐藏状态优化(HSO),一种基于梯度的方法,用于提高Transformer语言模型在推理时的性能。类似于动态评估(Krause等人,2018),HSO计算语言模型分配给评估文本的对数概率的梯度,但使用它来更新缓存的隐藏状态,而不是模型参数。我们使用预训练的Transformer-XL和GPT-2语言模型测试HSO,发现WikiText 103和PG-19数据集在困惑方面有所改进,特别是在评估其训练分布之外的模型时。我们还展示了下游的适用性,显示在最近开发的基于小的Few-Shot评估设置的收益,再次没有额外的参数或训练数据。
2021-12-16 cs.CL
Out-of-distribution generalization via composition: a lens through induction heads in Transformers
BIGAI(北京智源人工智能研究院);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文通过归纳头视角研究Transformer的分布外泛化机制,发现模型可通过组合两个自注意力层学习隐藏规则,并提出嵌入空间中的共享潜在子空间作为组合桥梁的共同桥接表示假说。
2024-12-28 cs.AI cs.CL cs.LG
LANTERN: Illuminating Hidden Mathematical Knowledge in Language Models
本研究提出LANTERN流水线,利用语言模型内部表示自动发现数学序列间的新联系,在OEIS上验证了62对关系,其中4对为全新发现,整个过程耗时不到8小时。
2026-09-29 cs.CL
Making the Most of your Model: Methods for Finetuning and Applying Pretrained Transformers
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本论文提出了两种新的微调方法和两种无需额外微调的预测质量提升技术,并提供了关于模型似然与输出质量差异的理论与实证见解,适用于几乎任何transformer语言模型。
2024-08-29 cs.CL
Prompting the Hidden Talent of Web-Scale Speech Models for Zero-Shot Task Generalization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学)
本文通过任务专用提示工程激发 Whisper 的零样本泛化能力,在 AVSR、CS-ASR 和 ST 任务上显著提升性能并揭示其潜在特性。
2023-08-16 cs.AI cs.CL cs.LG
Joint Energy-based Model Training for Better Calibrated Natural Language Understanding Models
MIT(麻省理工学院);Salesforce Research(Salesforce研究院)
在这项工作中,我们在预训练文本编码器的微调期间探索联合基于能量的模型(EBM)训练(例如,Roberta)进行自然语言理解(NLU)任务。我们的实验表明,EBM训练可以帮助模型达到更好的校准,与强基线竞争,准确性几乎没有损失。我们讨论了可以在文本编码器上定义的能量函数的三种变体(即标量,隐藏和尖锐隐藏),并在实验中对它们进行了比较。由于文本数据的离散性,我们采用噪声对比估计(NCE)对基于能量的模型进行训练。为了使NCE训练更有效,我们训练一个自回归噪声模型与掩蔽语言模型(MLM)的目标。
2021-02-19 cs.AI cs.CL
Think before you speak: Training Language Models With Pause Tokens
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
提出在语言模型中引入可学习的pause标记,延迟输出以增加计算量,在1B和130M参数模型上验证了pause-training在9个任务中的8个上取得增益。
2024-04-21 cs.AI cs.CL cs.LG