PATCH: Mitigating PII Leakage in Language Models with Privacy-Aware Targeted Circuit PatcHing
University of Sheffield(谢菲尔德大学);University of Waterloo(滑铁卢大学)
PATCH通过针对性电路修补减少语言模型中的PII泄露,实现更好的隐私-实用性平衡。
2026-02-26 cs.CL cs.CR
Mitigating Social Biases in Language Models through Unlearning
Vector Institute(向量研究所);Scotia Bank(加拿大丰业银行);Ernst & Young(安永会计师事务所);Queen’s University(女王大学)
针对语言模型社会偏见问题,探索分区对比梯度去学习与基于任务向量的否定两种去学习方法,验证后者去偏见效果更优且模型性能退化小,可低计算成本缓解预训练/微调模型的偏见。
2024-06-19 cs.AI cs.CL
Inclusion-of-Thoughts: Mitigating Preference Instability via Purifying the Decision Space
School of Computing and Information Systems, The University of Melbourne(计算与信息系统学院,墨尔本大学)
提出包含思维(IoT)策略,通过逐步自过滤干扰选项来重构多选题,从而稳定模型偏好并提升推理性能。
2026-06-03 cs.AI cs.CL
Towards Understanding and Mitigating Social Biases in Language Models
Carnegie Mellon University(卡内基梅隆大学)
随着机器学习方法被部署到医疗保健、法律系统和社会科学等现实环境中,认识到它们如何在这些敏感的决策过程中塑造社会偏见和刻板印象至关重要。在这些现实世界的部署中,大规模的预训练语言模型(LM)可能会表现出不受欢迎的代表性偏见,这是一种潜在的危险-由刻板印象造成的有害偏见,传播涉及性别,种族,宗教和其他社会结构的负面概括。作为提高LMs公平性的一步,我们仔细定义了代表性偏见的几个来源,然后提出新的基准和指标来衡量它们。有了这些工具,我们提出了在文本生成过程中减轻社会偏见的步骤。我们的实证结果和人类评估表明,有效地减轻偏见,同时保留关键的上下文信息,高保真文本生成,从而推动了性能公平帕累托边界。
2021-06-24 cs.AI cs.CL cs.CY
Cutting Off the Head Ends the Conflict: A Mechanism for Interpreting and Mitigating Knowledge Conflicts in Language Models
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文从信息流视角揭示语言模型中记忆头与上下文头整合矛盾信息导致知识冲突的机制,并提出无需更新参数的 PH3 注意力头剪枝方法,以可控地增强内部记忆或外部上下文利用并提升开放域问答性能。
2024-02-28 cs.AI cs.CL cs.IR
RULER: What's the Real Context Size of Your Long-Context Language Models?
NVIDIA(英伟达)
本文提出合成基准 RULER,通过扩展大海捞针测试并引入多跳追踪与聚合任务,系统评估17个长上下文模型,揭示其在长上下文下性能大幅下降的问题。
2024-08-06 cs.CL
Evaluating and Mitigating Discrimination in Language Model Decisions
Anthropic(Anthropic公司)
本文构建覆盖70个社会决策场景的提示生成与人口统计变量评估方法,发现Claude 2.0存在正负向歧视,并证明提示工程可显著缓解。
2023-12-06 cs.CL
Specification Self-Correction: Mitigating In-Context Reward Hacking Through Test-Time Refinement
Komorebi AI Technologies(Komorebi人工智能技术)
本文提出测试时框架 SSC,让 LM 通过生成、自我批评和修订规范来消除可利用漏洞;实验显示其可将奖励作弊率降低逾90%,且无需更新权重。
2025-07-24 cs.AI cs.CL
Mitigating Memorization In Language Models
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Dartmouth College(达特茅斯学院);International Computer Science Institute(国际计算机科学研究所);University of California, Berkeley(加州大学伯克利分校)
本文研究了缓解语言模型记忆现象的方法,提出了基于正则化、微调和机器遗忘的多种策略,并引入了TinyMem模型套件。实验表明,基于遗忘的方法在速度和效果上均优于其他方法,特别是新提出的BalancedSubnet方法在移除记忆信息的同时保持了任务性能。
2026-10-01 cs.AI cs.CL cs.LG
RPAM: A Principled Metric for Evaluating Associations in Language Models with High Predictive Validity in Downstream Outputs
University of Washington(华盛顿大学)
研究针对语言模型偏差评估难题,引入相对概率关联度量(RPAM),通过对不同语言模型及评估数据集的实验,发现RPAM测量与人类观察到的关联及下游偏差紧密相关,优于先前记录值,有效填补了上游度量与现实世界关联关系研究的空白。
2026-07-08 cs.AI cs.CL
ProxyLM: Predicting Language Model Performance on Multilingual Tasks via Proxy Models
University of Toronto(多伦多大学);Capital One(第一资本金融公司);Institut Teknologi Bandung(万隆理工学院);Ontario Tech University(安大略理工大学)
ProxyLM提出一种可扩展的任务和语言无关框架,利用代理模型预测语言模型性能,实现高达37.08倍加速,并在RMSE上超越现有最优方法至少1.78倍。
2024-12-16 cs.CL
A Context-Aware Approach for Enhancing Data Imputation with Pre-trained Language Models
University of Nebraska-Lincoln(内布拉斯加大学林肯分校);Electrical and Computer Engineering(电气与计算机工程学院)
提出CRILM方法,利用预训练语言模型为表格缺失值生成上下文描述符,提升下游任务性能,在多种缺失机制下最高提升10%。
2025-03-27 cs.CL cs.LG
REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning
ADAPT Centre, Trinity College Dublin(都柏林圣三一学院ADAPT中心);CRIL CNRS, Univ Artois(阿尔图瓦大学CRIL法国国家科学研究中心);INRIA/IRISA Rennes(雷恩INRIA/IRISA研究所);U. Lorraine, CNRS, LORIA(洛林大学法国国家科学研究中心LORIA研究所);U. Lisboa, INESC-I(里斯本大学INESC-I研究所)
针对语言模型存在的多类刻板印象偏差问题,提出无需微调、标注少、成本低的REFINE-LM强化学习去偏方法,可在保留模型性能的同时有效降低多类偏差。
2024-08-18 cs.AI cs.CL
Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025
本文探讨大型语言模型在参数知识与上下文知识之间相互作用的重要性,通过评估知识、诊断冲突及分析上下文知识特征,揭示模型内部工作机制及知识更新挑战。
2026-03-10 cs.CL cs.IR
Mitigating Language-Dependent Ethnic Bias in BERT
KAIST(韩国科学技术院)
BERT等大规模语言模型存在性别和种族偏见。他们还表现出其他方面的社会偏见,其中大部分还没有被深入研究,其中一些因语言而异。在本文中,我们研究种族偏见,以及它如何在不同的语言分析和减轻种族偏见在单语BERT为英语,德语,西班牙语,韩语,土耳其语和中文。为了观察和量化种族偏见,我们开发了一种新的度量标准,称为分类偏见评分。然后,我们提出了两种缓解方法;第一种是使用多语言模型,第二种是使用两个单语模型的上下文单词对齐。我们比较我们提出的方法与单语BERT,并表明这些方法有效地减轻种族偏见。这两种方法中哪一种效果更好取决于该语言可用的NLP资源的数量。我们还用阿拉伯语和希腊语进行了实验,以验证我们提出的方法适用于更广泛的语言。
2021-09-14 cs.AI cs.CL
LitCab: Lightweight Language Model Calibration over Short- and Long-form Responses
University of Michigan(密歇根大学);Computer Science and Engineering(计算机科学与工程学院)
LitCab通过单一线性层预测偏置项并添加到输出logits,仅增加不到2%参数即可显著提升语言模型校准,在CaT基准上平均ECE降低30%。
2024-03-13 cs.CL
Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Lila Sciences;Stanford University(斯坦福大学)
针对语言模型输出同质化问题,提出Infinity-Chat数据集与分类体系,揭示模型内重复与模型间同质的人工蜂群思维效应,并发现模型评判与人类偏好校准不足,为缓解AI安全风险提供方向。
2026-10-07 cs.CL
Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models
本文提出Context-CDA方法,通过增强上下文和过滤低质量反事实,有效缓解语言模型中的性别偏见,同时保持语言建模能力。
2026-02-10 cs.AI cs.CL
Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
Alibaba Group(阿里巴巴集团)
本文提出DARE方法,通过随机丢弃并重缩放delta参数来稀疏化同源微调模型参数,无需重新训练即可将多个任务模型融合为单一多能力语言模型,并在大规模模型上取得超越源模型的性能。
2024-06-13 cs.CL cs.LG
Unraveling and Mitigating Retriever Inconsistencies in Retrieval-Augmented Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);XVERSE Technology Inc.(XVERSE科技公司)
本文揭示了检索增强型大语言模型中存在的检索器不一致性问题,通过理论分析退化行为成因,提出了可训练的检索器集成框架EoR,自适应检索多知识源以减少阅读器错误,显著提升了开放域问答性能。
2025-03-06 cs.AI cs.CL
Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty
Stanford University(斯坦福大学);University of Southern California(南加利福尼亚大学);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所)
本研究揭示公开部署的语言模型不愿表达不确定性、显式提示后仍过度自信(置信回复平均错误率47%)的问题,通过人体实验证实用户高度依赖LM生成内容,发现偏好标注数据集存在不确定性偏见,提出人机交互安全的设计建议与缓解策略。
2024-07-09 cs.AI cs.CL cs.HC
Acquiring Clean Language Models from Backdoor Poisoned Datasets by Downscaling Frequency Space
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院)
本文通过傅里叶分析发现后门映射倾向低频收敛更快,提出MuScleLoRA在频率空间进行多尺度低秩适应与梯度对齐,促使模型优先学习高频干净映射,将多种后门攻击平均成功率降至15%以下,并泛化至BERT、RoBERTa、GPT2-XL和Llama2等模型。
2024-06-02 cs.AI cs.CL cs.CR
Scaffolded Language Models with Language Supervision for Mixed-Autonomy: A Survey
Department of Computer Science and Technology, Tsinghua University, Beijing, China(计算机科学与技术系,清华大学,北京,中国);Department of Automation, Tsinghua University, Beijing, China(自动化系,清华大学,北京,中国);Shanghai AI Lab, Shanghai, China(上海人工智能实验室,上海,中国);Xi'an Jiaotong University, Xi'an, China(西安交通大学,西安,中国)
本综述梳理了脚手架语言模型的设计与优化,将其视为通过语言监督训练非参数变量(如提示、工具和代码)的半参数模型,探讨了其在混合自治环境中从实时语言反馈持续学习的能力。
2025-11-04 cs.CL cs.LG
Explore Spurious Correlations at the Concept Level in Language Models for Text Classification
College of Information Studies, University of Maryland(马里兰大学信息研究学院);Department of Computer Science, University of Maryland(马里兰大学计算机科学系)
针对文本分类语言模型依赖概念—标签虚假相关性的问题,本文用ChatGPT标注概念并评估偏差,同时提出结合反事实生成的数据再平衡方法,效果优于传统词元移除。
2024-06-16 cs.AI cs.CL
Do not think about pink elephant!
Seoul National University(首尔大学)
本研究发现Stable Diffusion、DALL-E3等大模型存在人类智能的“白熊效应”弱点,分析其表征空间成因后提出基于提示的攻击方法,并推出受认知疗法启发的提示式防御策略,最高可缓解48.22%的攻击。
2024-10-31 cs.AI cs.CL
TableRAG: Million-Token Table Understanding with Language Models
National Taiwan University(台湾大学);Google Cloud AI Research(谷歌云AI研究院);Google DeepMind(谷歌DeepMind);UC San Diego(加州大学圣迭戈分校)
TableRAG通过查询扩展结合模式与单元格检索,解决语言模型处理超大表格时的上下文限制问题,并在百万级令牌基准上取得最优表格理解性能。
2024-12-26 cs.AI cs.CL cs.IR
Learning and Unlearning of Fabricated Knowledge in Language Models
Google DeepMind(谷歌DeepMind)
该研究利用Outlandish数据集探究注入LM的知识的留存规律,发现与常识冲突的事实留存最久且易引发无关幻觉,同时提出多步稀疏更新方法可在保留模型能力的前提下消除这类影响,为缓解数据投毒提供思路。
2024-10-29 cs.AI cs.CL
Unintended Bias in Language Model-driven Conversational Recommendation
University of Toronto(多伦多大学);Deakin University(迪肯大学);Vector Institute of Artificial Intelligence(向量人工智能研究院)
会话推荐系统(CRS)最近开始利用预训练的语言模型(LM),如BERT,因为它们能够语义地解释各种偏好语句的变化。然而,众所周知,预先训练的LM在其训练数据中倾向于固有偏差,这可能会因嵌入在特定于域的语言数据(例如,用户评论),用于微调CRS的LM。我们研究了最近引入的CRS的LM驱动的推荐主干(称为LMRec),以研究意外偏差,即,诸如名称引用或性取向或位置的间接指示符之类的语言变化不应影响推荐,这在餐馆推荐的显著改变的价格和类别分布中表现出来。我们观察到的令人震惊的结果强烈表明,LMRec已经学会通过其建议加强有害的陈规定型观念。例如,随意提及与黑人社区相关的名字会显著降低推荐餐馆的价格分布,而随意提及与男性相关的普通名字会导致推荐的酒类服务机构增加。这项工作中提出的这些和许多相关结果提出了一个危险信号,即LM驱动的CRS的语言处理能力的进步不会没有与减轻未来部署的CRS助理中的意外偏见相关的重大挑战,这些CRS助理可能会覆盖数亿最终用户。
2022-01-19 cs.AI cs.CL cs.HC
Tracing Privacy Leakage of Language Models to Training Data via Adjusted Influence Functions
Huawei Technologies Canada Co. Ltd(华为技术加拿大有限公司)
本文提出启发式调整影响函数HAIF,通过降低大梯度范数token的权重来更准确地追溯语言模型隐私泄露至训练数据,并在多个数据集和模型上显著优于现有方法。
2024-09-05 cs.CL cs.CR cs.LG