Perturbation: A simple and efficient adversarial tracer for representation learning in language models
Stanford University(斯坦福大学)
本文提出扰动方法,通过微调语言模型于单个对抗示例,揭示训练模型在不同语言粒度上的结构迁移,展示语言模型在无监督学习中获得语言抽象的能力。
2026-09-11 cs.AI cs.CL cs.LG
Task-driven Layerwise Additive Activation Intervention
The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学)
针对现代语言模型在实时应用中难以适应新语境的问题,提出分层叠加激活干预框架以优化干预过程、提升样本效率,在多数据集基准测试中证明其能提高预训练LMs准确性并优于现有干预基线。
2025-02-10 cs.CL cs.LG
Task-agnostic Distillation of Encoder-Decoder Language Models
Beijing Institute of Technology(北京理工大学);Meituan NLP(美团自然语言处理团队)
针对现有任务无关蒸馏方法无法处理编码器-解码器语言模型的问题,提出MiniEnD方法,成功实现任务无关的编码器-解码器模型蒸馏,并在语言理解与摘要任务及3B模型扩展中验证了其有效性与竞争力。
2023-05-21 cs.CL
Language Models use Lookbacks to Track Beliefs
Northeastern University(东北大学);Technion(技术学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Goodfire;Pr(Ai) 2 R Group(Pr(Ai) 2 R集团)
本研究揭示语言模型通过回溯机制跟踪角色信念的算法模式,通过构建CausalToM数据集,分析LM在因果中介和抽象中的推理能力,并探讨可见性对信念更新的影响。
2026-02-24 cs.CL
ImProver 2: Iteratively Self-Improving LMs for Neurosymbolic Proof Optimization
Carnegie Mellon University(卡内基梅隆大学)
提出ImProver 2框架,结合数据高效的专家迭代流程和神经符号脚手架,在Lean 4中自动优化形式化证明,使7B参数模型在多项指标上超越大规模模型,并证明证明优化是可扩展的可学习任务。
2026-05-21 cs.AI cs.CL cs.LG
Structured Knowledge Grounding for Question Answering
University of California, Santa Barbara(加州大学圣巴巴拉分校);Kent School(肯特学校)
本文提出仅依靠语言模型结合动态跳数知识检索与深度融合机制完成知识型问答,并在 CommensenseQA 上达到最先进性能。
2023-06-05 cs.CL
A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs
本文提出了一种基于语言类型学的评估框架,用于评估多语言掩码语言模型对词序和形态敏感性的依赖性,通过多种扰动方法测试模型性能。
2026-02-28 cs.CL
Pico: A Modular Framework for Hypothesis-Driven Small Language Model Research
University of Cambridge(剑桥大学)
Pico 是一个轻量级模块化框架,通过提供可修改架构与训练流程的沙盒环境及开源基线模型 pico-decoder,支持对中小规模语言模型进行系统化、假设驱动的研究与迭代设计。
2025-09-19 cs.AI cs.CL
On Emergent Social World Models -- Evidence for Functional Integration of Theory of Mind and Pragmatic Reasoning in Language Models
Department of Linguistics University of Tübingen(语言学系图宾根大学);Department of Cognitive Science Johns Hopkins University(认知科学系约翰霍普金斯大学)
本文研究语言模型是否通过共享的计算机制整合一般理论思维与语言特定的语用推理,以支持语言模型是否具备涌现的社会世界模型。通过行为评估和因果机制实验,分析语言模型在七种理论思维能力子类别上的表现,发现支持功能整合假说。
2026-04-26 cs.CL
Mixing Mechanisms: How Language Models Retrieve Bound Entities In-Context
Blavatnik School of Computer Science and AI, Tel Aviv University(塔尔瓦大学Blavatnik计算机科学与人工智能学院);Pr(Ai) 2 R Group(Pr(Ai) 2 R小组);Goodfire
本文研究了语言模型在上下文中绑定并检索实体的三种机制(位置机制、词汇机制和反射机制),通过九种模型和十项绑定任务的实验揭示了它们的混合模式,并构建了一个因果模型以95%的一致性估计下一词分布。
2026-05-28 cs.CL
Multilingual Language Models Encode Script Over Linguistic Structure
Indian Institute of Technology Delhi(印度理工学院德里)
研究揭示多语言模型通过表面形式而非语言结构组织表示,发现正字法影响显著,深层结构逐渐显现。
2026-04-20 cs.CL cs.LG
Advancing Language Models for Code-related Tasks
School of Computer Software, Tianjin University(天津大学软件学院)
本研究通过改进代码数据质量、模型架构和推理能力,推动语言模型在软件开发中的实际应用。
2026-01-08 cs.AI cs.CL cs.SE
Black Big Boxes: Tracing Adjective Order Preferences in Large Language Models
CLCG(认知语言学研究中心);ILS(语言学研究所);ILLC(语言学研究所);CIMeC(计算机科学与工程学院);University of Groningen(格罗宁根大学);Utrecht University(乌得勒支大学);University of Amsterdam(阿姆斯特丹大学);University of Trento(特伦托大学)
研究揭示大型语言模型中形容词顺序偏好主要由分布学习决定,但模型能稳健推广至未见组合,且上下文线索影响其输出顺序。
2026-02-09 cs.CL
LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations
Tel Aviv University(特拉维夫大学);Mila – Quebec AI Institute & McGill University(蒙特利尔AI研究所 & 蒙特利尔大学)
LMEnt是一个包含知识丰富语料库、高效检索方法和12个预训练模型的套件,用于分析语言模型从预训练数据到知识表示的学习过程,并揭示实体共现与提及形式对知识获取及可编辑性的影响。
2026-09-18 cs.CL
Divergences between Language Models and Human Brains
Carnegie Mellon University(卡内基梅隆大学)
本研究通过对比语言模型表征与人类MEG脑响应,系统探究人机语言处理差异,发现语言模型在社会/情绪智能和物理常识领域存在不足,微调可提升其与脑响应的对齐度。
2025-01-13 cs.AI cs.CL cs.LG
Simulating Identity, Propagating Bias: Abstraction and Stereotypes in LLM-Generated Text
Computational Linguistics and Text Mining Lab, Vrije Universiteit, Amsterdam(自由大学计算语言学与文本挖掘实验室);Università di Bologna(博洛尼亚大学);CLCG, University of Groningen(格罗宁根大学CLCG)
本文研究人物角色提示是否导致LLM生成文本出现不同语言抽象化水平,引入Self-Stereo数据集,通过具体性、特异性和否定性三个指标分析六种模型,发现该方法在调节抽象化上有限,且可能传播刻板印象。
2025-09-10 cs.CL
LaScA: Language-Conditioned Scalable Modelling of Affective Dynamics
University of Piraeus(比雷埃夫斯大学)
本文提出LaScA框架,利用语言模型作为语义上下文条件器,结合手工制作的情感描述符建模情感变化,通过可解释的面部和声音特征提升预测准确性。
2026-04-08 cs.CL cs.ET
Reframing Instructional Prompts to GPTk's Language
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);Arizona State University(亚利桑那州立大学)
对于语言模型(LM),哪种教学提示更容易遵循?我们研究这个问题进行了广泛的实证分析,阐明了成功的教学提示的重要特征。具体来说,我们研究了几类重新组织的技巧,手动重新制定的提示更有效的。一些示例包括将复杂任务指令分解成多个较简单的任务或将指令逐项分解成顺序步骤。我们的实验比较了在6个类别的12个NLP任务上,用重构指令提示LM的zero-shot和Few-Shot性能。与原始指令相比,我们的重构指令在不同大小的LM上都有显着的改进。例如,相同的重构提示在所有任务上平均分别将GPT 3系列和GPT 2系列的Few-Shot性能提高了12.5%和6.7%。此外,重构指令减少了在Few-Shot设置中提示LM所需的示例数量。我们希望这些技巧驱动的技术将为未来更有效的提示算法铺平道路。
2022-03-15 cs.AI cs.CL cs.LG
The Echoes of Multilinguality: Tracing Cultural Value Shifts during LM Fine-tuning
University of Amsterdam(阿姆斯特丹大学);University of Hamburg(汉堡大学)
本文研究多语言语言模型微调时文化价值如何跨语言迁移与改变,并利用训练数据归因识别引发价值转变的数据及语言模式。
2024-05-21 cs.CL
Abstraction Induces the Brain Alignment of Language and Speech Models
The University of Texas at Austin, USA(德克萨斯大学奥斯汀分校);Zuckerman Mind Brain Behavior Institute, Columbia University, USA(祖克曼心智-大脑-行为研究所,哥伦比亚大学)
研究发现语言和语音模型通过共享的意义抽象与大脑对齐,中间层的高内在维度和语义内容增强了大脑预测性。
2026-07-23 cs.CL
The Surprising Effectiveness of Test-Time Training for Few-Shot Learning
Massachusetts Institute of Technology(麻省理工学院)
本研究证明测试时训练(TTT)通过在推理时更新模型参数,显著提升语言模型在少样本和结构新颖任务上的表现,在ARC和BBH基准上超越基线,展示了其增强模型适应性的潜力。
2025-03-25 cs.AI cs.CL cs.LG
Talking Heads: Understanding Inter-layer Communication in Transformer Language Models
Department of Computer Science(计算机科学系);Brown University(布朗大学);School of Medicine(医学院);University of Tübingen(图宾根大学)
本文发现Transformer语言模型通过残差流中的低秩子空间实现层间通信,并利用SVD分解注意力头解释列表位置索引机制,据此编辑模型表示和权重,在Laundry List任务上将准确率提升超过20%。
2025-05-08 cs.AI cs.CL
LLMs as Narcissistic Evaluators: When Ego Inflates Evaluation Scores
University of Manchester(曼彻斯特大学);University of Sheffield(谢菲尔德大学)
本文研究语言模型驱动的评估指标是否偏向由同一底层模型生成的文本,发现BARTScore、T5Score和GPTScore在摘要任务中存在自利偏差,尤其在无参考评估时更明显,提示需构建更可靠的评估协议。
2024-06-07 cs.CL
Unsupervised Approach to Evaluate Sentence-Level Fluency: Do We Really Need Reference?
IIIT Hyderabad(海得拉巴国际信息技术学院)
本文提出一种无需参考文本的无监督方法评估句子流畅度,利用词嵌入和RNN训练语言模型,并在10种印度语言上与人类判断进行相关性验证。
2023-12-03 cs.CL
Language Models' Factuality Depends on the Language of Inquiry
Harvard University(哈佛大学);Université de Montréal(蒙特利尔大学);Mila(米拉研究所);MIT(麻省理工学院);Stanford University(斯坦福大学);Google(谷歌公司);Microsoft Research(微软研究院)
本研究揭示多语言模型的事实回忆受查询语言影响,提出含13种语言、1万事实的基准及三个新指标,量化跨语言知识迁移缺陷,强调利用语言特定可靠性并发布框架以推动研究。
2025-02-25 cs.AI cs.CL
From 'May' to 'Is': Certainty Distortion in Language Model Rewriting
University of California Irvine(加利福尼亚大学尔湾分校);Massachusetts Institute of Technology(麻省理工学院)
研究语言模型在改写任务中系统性增加表达确定性的偏差,提出基于人群判断的评估指标,发现高达75%的输出存在确定性扭曲,且模型更倾向于提高确定性。
2026-09-17 cs.AI cs.CL cs.LG
Finding the Minimal Parameter Budget for Implicit Reasoning: A Data Complexity Driven Scaling Law for Language Models
University of California, Berkeley(加州大学伯克利分校);University of Cambridge(剑桥大学);University of Washington(华盛顿大学);University of Toronto(多伦多大学);University of Tokyo(东京大学)
本文通过控制合成环境中的预训练实验,发现语言模型隐式推理所需的最小参数预算与图搜索熵之间存在缩放定律,并确定了每参数最多可处理约0.008比特信息的容量上限。
2026-06-05 cs.AI cs.CL
Unintended Bias in Language Model-driven Conversational Recommendation
University of Toronto(多伦多大学);Deakin University(迪肯大学);Vector Institute of Artificial Intelligence(向量人工智能研究院)
会话推荐系统(CRS)最近开始利用预训练的语言模型(LM),如BERT,因为它们能够语义地解释各种偏好语句的变化。然而,众所周知,预先训练的LM在其训练数据中倾向于固有偏差,这可能会因嵌入在特定于域的语言数据(例如,用户评论),用于微调CRS的LM。我们研究了最近引入的CRS的LM驱动的推荐主干(称为LMRec),以研究意外偏差,即,诸如名称引用或性取向或位置的间接指示符之类的语言变化不应影响推荐,这在餐馆推荐的显著改变的价格和类别分布中表现出来。我们观察到的令人震惊的结果强烈表明,LMRec已经学会通过其建议加强有害的陈规定型观念。例如,随意提及与黑人社区相关的名字会显著降低推荐餐馆的价格分布,而随意提及与男性相关的普通名字会导致推荐的酒类服务机构增加。这项工作中提出的这些和许多相关结果提出了一个危险信号,即LM驱动的CRS的语言处理能力的进步不会没有与减轻未来部署的CRS助理中的意外偏见相关的重大挑战,这些CRS助理可能会覆盖数亿最终用户。
2022-01-19 cs.AI cs.CL cs.HC
Can Risk-taking AI-Assistants suitably represent entities
Allameh Tabataba'i University(阿拉梅·塔巴塔巴伊大学)
本研究探讨语言模型在风险规避上的可操纵性,发现现有模型与人类风险偏好存在差异,需改进设计以对齐偏好并提升伦理决策。
2025-10-09 cs.AI cs.CL
Visual Instruction Tuning Aligns Modalities through Abstraction
Area Science Park, Trieste, Italy(特里埃斯特Area Science Park)
通过探针分析和因果干预,发现视觉指令调优将视觉特征直接嵌入LLM的中间语义层,绕过早期单模态处理层,并通过扩展和强化现有抽象阶段对齐视觉与文本表示。
2026-11-13 cs.CL cs.CV cs.LG
Eliciting Human Preferences with Language Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Anthropic(Anthropic公司);Stanford(斯坦福大学)
提出生成式主动任务引导(GATE)框架,利用语言模型通过自由形式语言交互推断用户意图,实验表明该方法比传统提示或标注更省力且能获取更多信息,有效实现模型与复杂人类偏好的对齐。
2023-10-17 cs.AI cs.CL cs.LG
Causal Inference for Human-Language Model Collaboration
University of Michigan(密歇根大学)
本文提出增量风格效应(ISE)因果估计量及CausalCollab算法,用于在人类与语言模型协作中估计文本交互策略的因果效应,并在三个场景中验证其减少混杂和提升反事实估计的效果。
2024-03-30 cs.AI cs.CL cs.LG
Scaling through abstractions -- high-performance vectorial wave simulations for seismic inversion with Devito
Georgia Institute of Technology(佐治亚理工学院);Devito Codes;Imperial College London(帝国理工学院);TU-Delft(代尔夫特理工大学)
Devito是一个基于特定领域语言和编译器技术的开源Python项目。在勘探地震学中快速HPC应用开发的需求的驱动下,语言和编译器自成立以来已经发生了显着的变化。复杂的边界条件,张量收缩,稀疏运算和交错网格和子域等功能都得到了支持;可以生成基本上任意复杂度的运算符。为了适应这种灵活性,同时确保性能,数据依赖性分析被用来调度循环和检测计算属性,如并行性。本文给出了倾斜横观各向同性介质中拟声波方程和弹性波方程的MPI平行传播子及其伴随子的生成和模拟。在HPC Cloud系统中对工业规模的合成模型进行了模拟,并达到了28 TFLOP/s的性能,从而证明了Devito适用于生产级地震反演问题。
2020-04-22 cs.CL cs.PF physics.ao-ph
Chain of Code: Reasoning with a Language Model-Augmented Code Emulator
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind);University of California, Berkeley(加利福尼亚大学伯克利分校)
提出Chain of Code(CoC)方法,通过让语言模型将语义子任务转为伪代码并选择性模拟解释器执行,扩展了LM的代码推理能力,在BIG-Bench Hard等基准上显著超越Chain of Thought。
2024-07-29 cs.AI cs.CL cs.LG