How Language Models Conflate Logical Validity with Plausibility: A Representational Analysis of Content Effects
University of Trento(特伦托大学);University of Amsterdam(阿姆斯特丹大学);Free University of Bozen-Bolzano(博赞-博洛尼亚自由大学)
研究揭示语言模型中逻辑有效性与合理性概念的表征关联,通过构建去偏向量减少内容效应,提升推理准确性。
2026-04-20 cs.CL
An Empirical Study of Metrics to Measure Representational Harms in Pre-Trained Language Models
Meta AI;Microsoft Research(微软研究院)
大规模预训练语言模型(PTLM)从大量人类书面数据中捕获知识,这些数据包含潜在的社会偏见和有毒内容。在本文中,我们利用PTLM的主要任务,即,语言建模,并提出了一个新的指标来量化表现的隐性代表性的伤害PTLM对13个边缘化的人口。使用这个指标,我们进行了24个广泛使用的PTLM的实证分析。我们的分析提供了深入了解在这项工作中提出的指标和其他相关指标的代表性伤害之间的相关性。我们观察到,我们的指标与文献中的大多数性别特异性指标相关。通过广泛的实验,我们探索PTLM架构和代表性的伤害之间的连接在两个维度:网络的深度和宽度。我们发现,优先考虑深度超过宽度,减轻了一些PTLM的代表性伤害。我们的代码和数据可以在https://github.com/microsoft/SafeNLP上找到。
2023-01-22 cs.AI cs.CL
The Geometry of Low-Resource Language Representations
University of Cape Town(开普敦大学)
本研究从表示几何角度探究LLM中低资源与高资源语言的性能差异,发现低资源语言存在表示退化,提出几何正则化方法,实验表明该方法可降低退化并提升性能,为低资源语言CPT提供可行策略。
2026-08-25 cs.CL
On Representational Dissociation of Language and Arithmetic in Large Language Models
Nagoya University(名古屋大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文以简单算术为切入点,通过线性分类器与聚类可分性检验,发现 LLM 各层中算术与一般语言输入的内部表征完全分离,呼应人脑神经科学观察。
2025-02-17 cs.CL
All Bark and No Bite: Rogue Dimensions in Transformer Language Models Obscure Representational Quality
Cornell University(康奈尔大学)
相似性度量是理解语言模型如何表示和处理语言的重要工具。标准的表示相似性度量,如余弦相似性和欧氏距离,已成功地用于静态词嵌入模型,以了解如何在语义空间中的词集群。最近,这些措施已被应用到嵌入的上下文模型,如BERT和GPT-2。在这项工作中,我们提出了这样的措施的信息性的问题,语境化的语言模型。我们发现,少数的流氓维度,往往只有1-3,这些措施占主导地位。此外,我们发现主导相似性度量的维度与对模型行为很重要的维度之间存在显著的不匹配。我们表明,简单的后处理技术,如标准化能够纠正流氓尺寸,并揭示潜在的代表性质量。我们认为,占流氓尺寸是必不可少的任何相似性为基础的分析上下文语言模型。
2021-09-09 cs.CL cs.LG
Exploring Representational Disparities Between Multilingual and Bilingual Translation Models
Center for Language and Speech Processing(语言与语音处理中心);Human Language Technology Center of Excellence(卓越人类语言技术中心)
本文通过内在维度和IsoScore分析双语与多语言翻译模型的表征几何差异,发现多语言解码器表征各向同性更低且占用维度更少,其各向异性源于建模特定语言信息,进而限制了表征容量。
2024-03-26 cs.CL
Towards Measuring Representational Similarity of Large Language Models
University of Passau(帕绍大学)
本文通过测量一组 7B 参数 LLM 的表征相似性,发现部分模型差异显著,并指出使用相似性指标时需谨慎解释分数以避免错误结论。
2023-12-05 cs.CL cs.LG
Picking BERT's Brain: Probing for Linguistic Dependencies in Contextualized Embeddings Using Representational Similarity Analysis
Johns Hopkins University(约翰斯·霍普金斯大学)
顾名思义,语言的语境化表征通常是由它们编码语境的能力所激发的。这些表征捕捉了上下文的哪些方面?我们介绍了一种方法来解决这个问题,使用代表性相似性分析(RSA)。作为案例研究,我们调查在何种程度上动词嵌入编码动词的主语,代词嵌入编码代词的先行词,和一个完整的句子表示编码句子的头词(由依赖分析确定)。在所有情况下,我们表明,BERT的语境化嵌入反映了正在研究的语言依赖性,并且BERT编码这些依赖性在更大程度上比它编码更少的语言突出的控制。这些结果表明,我们的方法之间的假设,哪些方面的情况下编码的语言表示进行裁决的能力。
2020-11-24 cs.CL
Lower Bounds on the Expressivity of Recurrent Neural Language Models
本研究针对现有RNN语言模型表征容量研究多聚焦形式语言识别、无法描述其字符串分布特性的问题,通过关联概率FSA,证明线性有界精度的RNN语言模型可表达任意正则语言模型。
2024-06-18 cs.CL
Scale, Drivers, and Limits of Representational Alignment Across Large Language Models
University of California, San Diego(加利福尼亚大学圣迭戈分校)
该研究针对大型语言模型的表征对齐问题,提出NW-RSA与CF-RSA方法,发现模型粗粒度几何对齐强但局部邻域分歧大,逻辑范围变化对对齐影响最显著,修正了表征普遍性的相关结论。
2026-10-14 cs.AI cs.CL
On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning
本文在概率框架下形式化思维链推理,证明带有CoT的循环和Transformer语言模型可表征与概率图灵机相同的字符串分布族,从而解释其计算能力提升。
2025-01-24 cs.CL cs.FL
Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives
研究探讨LLM在形容词-名词组合性任务中的表现,发现模型内部状态与任务性能存在差异,强调对比评估的重要性。
2026-03-15 cs.AI cs.CL
Probing Semantic Grounding in Language Models of Code with Representational Similarity Analysis
BITS Pilani, K. K. Birla Goa Campus(贝拉理工学院(BITS Pilani)K.K.比拉拉果阿校区)
表征相似性分析是认知神经科学的一种方法,它有助于比较来自两个不同数据源的表征。在本文中,我们提出使用表征相似性分析来探测代码的语言模型的语义基础。我们通过使用IBM CodeNet数据集的数据来探测CodeBERT模型的语义基础表示。通过我们的实验,我们表明,目前的预训练方法不会在代码的语言模型中引入语义基础,而是专注于优化基于形式的模式。我们还表明,即使是少量的微调语义相关的任务增加了语义基础CodeBERT显着。我们对CodeBERT模型的输入模态的消融表明,使用双峰输入(代码和自然语言)而不是单峰输入(仅代码)在语义微调期间提供了更好的语义基础和样本效率。最后,我们对代码中语义扰动的实验表明,CodeBERT能够鲁棒地区分语义正确和不正确的代码。
2022-07-15 cs.CL cs.IR cs.PL
Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models
Columbia University(哥伦比亚大学);Intel Labs(英特尔实验室);MIT-IBM Watson AI(MIT-IBM沃森人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
虽然来自预训练语言模型的基于向量的语言表示为许多NLP任务设定了新标准,但尚未对其内部工作原理进行完整的解释。特别是,我们还不完全清楚这些表示捕捉了哪些方面的语法,也不清楚它们是如何(如果有的话)沿着网络的堆叠层构建的。在本文中,我们的目标是解决这样的问题与一般类的干预,输入扰动为基础的分析表示从预训练的语言模型。从计算和认知神经科学的表征不变性的概念,我们进行了一系列的探测器设计,以测试这些表征的几种结构的句子的敏感性。每一个探测都涉及交换句子中的单词,并将扰动句子的表征与原始句子进行比较。我们用三种不同的扰动进行实验:(1)随机排列不同宽度的n-gram,以测试表征对单词位置敏感的程度;(2)交换两个跨度,它们形成或不形成句法短语,以测试对全局短语结构的敏感性;以及(3)交换两个相邻的词,它们分开或不分开句法短语,以测试对局部短语结构的敏感性。这些探测的结果共同表明,Transformers沿着它们的层建立对句子较大部分的敏感性,并且层次短语结构在这个过程中起着作用。更广泛地说,我们的研究结果还表明,结构化输入扰动扩大了可以在通常不透明的深度学习系统上执行的分析范围,并且可以作为现有工具(如监督线性探针)的补充,用于解释复杂的黑盒模型。
2021-04-15 cs.CL
When Alignment Hurts: Decoupling Representational Spaces in Multilingual Models
MBZUAI(马克斯·普朗克人工智能研究所);NICT, Japan(日本信息通信技术研究所);IIT Madras(印度理工学院Madras分校)
本文揭示多语言模型中高资源标准语(如MSA)的表征纠缠会损害低资源变体生成,并提出在线变分探测框架实现子空间解耦,在25种阿拉伯语方言上平均提升+2.0 chrF++。
2025-08-18 cs.CL
Context Structure Reshapes the Representational Geometry of Language Models
Google DeepMind(谷歌DeepMind);Princeton Neuroscience Institute, Princeton University(普林斯顿神经科学研究所,普林斯顿大学)
研究发现语言模型在不同任务中根据上下文结构动态调整表征方式,部分任务中上下文增加会提升预测性能,而其他任务中则不一致。
2026-01-29 cs.AI cs.CL
Reasoning as State Transition: A Representational Analysis of Reasoning Evolution in Large Language Models
Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University, Beijing 100084, China(计算机科学与技术系,人工智能研究所,清华-博世联合机器学习中心,THBI实验室,BNRist中心,清华大学,北京100084,中国);College of AI, Tsinghua University, Beijing 100084, China(人工智能学院,清华大学,北京100084,中国)
本研究从表征视角分析大型语言模型推理过程的演变,揭示训练后模型通过优化表示分布提升推理能力的机制。
2026-01-31 cs.CL
Representational Curvature Modulates Behavioral Uncertainty in Large Language Models
Brain and Cognitive Sciences(脑与认知科学);Massachusetts Institute of Technology(麻省理工学院)
研究通过分析表征曲率与token级熵的关系,揭示了大型语言模型中行为不确定性的调节机制,发现曲率变化可影响预测熵。
2026-04-27 cs.AI cs.CL cs.LG
Blackbox meets blackbox: Representational Similarity and Stability Analysis of Neural Language Models and Brains
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
在本文中,我们定义并应用表征稳定性分析(ReStA),一种直观的方法来分析神经语言模型。ReStA是认知神经科学中流行的表征相似性分析(RSA)的变体。虽然RSA可以用来比较模型、模型组件和人脑中的表示,但ReStA比较同一模型的实例,同时系统地改变单个模型参数。使用ReStA,我们研究了四个最近和成功的神经语言模型,并评估其内部表征对先前上下文的敏感程度。使用RSA,我们进行了一个系统的研究如何相似的代表性空间在这些模型的第一和第二(或更高)层是彼此和激活模式在人类大脑。我们的研究结果揭示了语言模型之间令人惊讶的强烈差异,并深入了解了这些模型中整合多个句子信息的深层语言处理。ReStA和RSA在模型和大脑上的结合使我们能够开始解决一个重要的问题,即我们希望在fMRI大脑成像数据中观察到什么样的语言过程。特别是,我们的研究结果表明,Wehbe等人(2014)的故事阅读数据包含浅层语言处理的信号,但没有证据表明更有趣的深层语言处理。
2019-06-05 cs.AI cs.CL q-bio.NC
Evaluating the Representational Hub of Language and Vision Models
University of Trento(特伦托大学);University of Amsterdam(阿姆斯特丹大学)
在计算语言学和计算机视觉交叉的新兴领域中使用的多模态模型实现了认知科学中提出的“轴辐”架构的自下而上处理,以表示大脑如何处理和组合多感官输入。特别地,集线器被实现为神经网络编码器。我们研究了在文献中提出的各种视觉和语言任务对编码器的影响:视觉问答,视觉参考分辨率和视觉接地对话。为了衡量编码器学习的表示的质量,我们使用两种分析。首先,我们评估编码器预训练的不同的视觉和语言任务,现有的诊断任务,旨在评估多模态语义理解。其次,我们进行了一系列的分析,旨在研究编码器如何合并和利用这两种模态。
2019-04-12 cs.CL cs.CV
Gradual Code-Switching as Inference-Time Cross-Lingual Representational Alignment for LLMs
New York University(纽约大学);KAIST(韩国科学技术院)
针对大语言模型跨语言性能不均衡问题,提出推理时的代码切换上下文学习机制,经多模型、多语言、多数据集验证,可显著提升目标及未见语言任务性能,尤其在低资源场景表现突出。
2026-08-14 cs.AI cs.CL
Training-Driven Representational Geometry Modularization Predicts Brain Alignment in Language Models
School of Biomedical Engineering, Tsinghua University, Beijing, China(生物医学工程学院,清华大学,北京,中国);Tsinghua Laboratory of Brain and Intelligence, Tsinghua University, Beijing, China(脑与智能实验室,清华大学,北京,中国);School of Basic Medical Sciences, Tsinghua University, Beijing, China(基础医学学院,清华大学,北京,中国);Department of Psychological and Cognitive Sciences, Tsinghua University, Beijing, China(心理学与认知科学系,清华大学,北京,中国)
本研究通过训练驱动的表征几何模块化,发现语言模型中的低复杂度模块能更准确预测人类大脑语言网络活动,揭示了表征平滑对神经样语言处理的作用。
2026-02-07 cs.CL q-bio.NC
Words of Wisdom: Representational Harms in Learning From AI Communication
University of Pittsburgh(匹兹堡大学)
许多教育技术使用人工智能(AI)向学习者呈现生成或生成的语言。我们认为,所有的语言,包括所有的人工智能通信,都编码了关于人类身份的信息,或者那些为语言做出贡献的人。然而,在AI通信中,用户可能会索引与源不匹配的身份信息。如果与一个文化群体有关的语言被说成是“标准”或“中性”的,如果这种语言使一个群体优于另一个群体,或者如果这种语言强化了消极的陈规定型观念,这就可能导致代表性伤害。在这项工作中,我们讨论了一个案例研究,使用视觉问题生成(VQG)的任务,涉及收集来自目标人口群体的众包数据。生成的问题将提交给人类评估人员,以了解他们如何索引语言背后的身份,他们是否以及如何感知任何代表性伤害,以及他们如何理想地解决人工智能通信造成的任何此类伤害。我们反思这项工作的教育应用以及对平等,多样性和包容性(EDI)的影响。
2021-11-16 cs.AI cs.CL cs.CY
Can structural correspondences ground real world representational content in Large Language Models?
Centre for Philosophy of AI, University of Copenhagen(人工智能哲学中心,哥本哈根大学)
本文探讨大语言模型是否能表征现实世界,提出结构对应理论,并指出需克服文本局限性以实现真实世界内容的 grounding。
2025-06-19 cs.AI cs.CL
Representational alignment yields generalizable safety in language models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
该研究针对现有LLMs道德分类缺陷,提出表征相似性优化方法,通过对齐LLMs潜在表征与人类道德判断分类,提升了对抗鲁棒性,为原型分类理论提供功能支持。
2026-09-04 cs.AI cs.CL
Representational Depth of Evaluation Awareness Shifts With Scale in Open-Weight Language Models
研究发现,在Qwen 2.5和Gemma 2等模型中,评估意识线性可恢复的层从较小模型的后期层转移到较大模型的早期层,表明规模改变了评估意识的表征深度,且白盒探针信号强于黑盒行为表达。
2026-06-28 cs.CL cs.LG
Taxonomizing Representational Harms using Speech Act Theory
Microsoft Research(微软研究院)
本文基于言语行为理论提出表征性伤害框架,将其界定为言外行为的言后效果,并给出刻板印象化、贬低与消抹的新定义及细粒度分类。
2025-06-07 cs.CL cs.CY
Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation
Language Technology Lab(语言技术实验室);University of Amsterdam(阿姆斯特丹大学)
针对多语言 NMT 中共享词汇因文字差异导致迁移受限的问题,提出基于词汇等价类和图网络融合跨语言词嵌入的方法,在高、低资源场景下最高提升 BLEU 2.3 分且开销很小。
2024-01-20 cs.CL cs.LG
Encode Errors: Representational Retrieval of In-Context Demonstrations for Multilingual Grammatical Error Correction
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(北京大学计算机学院多媒体信息处理国家重点实验室)
提出从LLM内部状态提取语法错误表征(GER)用于检索上下文示例,显著提升多语言语法错误纠正的少样本性能,在低资源语言上F0.5提升达1.20倍。
2026-06-16 cs.CL
Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models
Independent Researcher(独立研究员)
研究探讨了Transformer语言模型如何表示幅度,发现其表示几何具有对数压缩特性,但该几何与行为表现无关,且因果干预揭示了不同层的处理差异。
2026-03-21 cs.AI cs.CL
A retrieval conditioned rebinding circuit for dynamic entity tracking in large language models
Saarland University(萨尔兰大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
通过因果干预识别出大语言模型中实现动态状态追踪的检索条件重绑定机制,该机制由紧凑的注意力头电路编码并恢复绑定信息,在不同模型家族中表现不同。
2026-09-14 cs.AI cs.CL
On the Representational Capacity of Recurrent Neural Language Models
ETH Zürich(苏黎世联邦理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了基于RNN的语言模型的计算表达性,将图灵完备性扩展至概率情况,并分别证明了在无界和实时计算下RLM对概率图灵机的模拟上界与下界。
2024-05-30 cs.CL cs.LG
A Proposed Conceptual Framework for a Representational Approach to Information Retrieval
University of Waterloo(滑铁卢大学)
本文概述了一个概念框架,以了解最近的发展,信息检索和自然语言处理,试图整合密集和稀疏检索方法。我提出了一个代表性的方法,打破了核心文本检索问题的逻辑评分模型和物理检索模型。评分模型是根据编码器和比较函数定义的,编码器将查询和文档映射到一个表示空间,比较函数计算查询-文档得分。物理检索模型定义了系统如何从任意大的语料库中产生关于查询的最高$k$评分文档。评分模型可以沿着两个维度进一步分析:密集与稀疏表示以及监督(学习)与无监督方法。我表明,许多最近提出的检索方法,包括多阶段的排名设计,可以被看作是不同的参数化在这个框架中,一个统一的观点提出了一些开放的研究问题,为未来的工作提供了路线图。作为奖励,这个概念框架建立了连接到句子相似性任务在自然语言处理和信息访问“技术”之前的黎明计算。
2021-12-28 cs.CL cs.IR
The Geometry of Refusal in Large Language Models: Concept Cones and Representational Independence
School of Computation, Information \& Technology;Munich Data Science Institute, Technical University of Munich;Google Research;Now at Google Research
本研究提出基于梯度的表征工程方法,揭示大语言模型拒绝行为的复杂空间结构及多维概念锥,证明多个独立机制驱动拒绝行为。
2026-02-08 cs.AI cs.CL cs.LG
Behavioral and Representational Evidence of Binomial Ordering Preferences in Large Language Models
Ludwig Maximilian University of Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
通过多语言二项式数据集和分布度量,研究LLM对梯度频率分布的建模能力,发现模型虽能恢复主导顺序,但难以精确匹配偏好分布,并通过稀疏探针验证偏好强度在中间层编码且可操纵。
2026-06-23 cs.CL cs.LG
COMPASS 2.0: psychometric representational similarity analysis distinguishes symptom structure from personal signal
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);James J. Peters VA Medical Center(詹姆斯·J·彼得斯退伍军人事务医疗中心);Harvard University(哈佛大学)
本文提出心理测量表征相似性分析框架,在COMPASS 2.0中实现,用于区分语言模型评分反映的问卷措辞结构与真实个人信号,并通过275名参与者的预注册分析证明症状几何主要反映措辞而非自我报告。
2026-10-06 cs.CL q-bio.NC
Cat, Rat, Meow: On the Alignment of Language Model and Human Term-Similarity Judgments
BIFOLD - Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所(BIFOLD));Technical University of Denmark(丹麦技术大学)
该研究通过单词三元组任务评估32个语言模型与人类语义相似性判断的对齐,揭示了表征对齐、指令微调增益、层级依赖性及行为对齐与模型规模的关系。
2025-04-10 cs.CL cs.LG
Multi-task Learning is Not Enough: Representational Entanglement in Dual-output Second Language Speech Recognition
KAIST(韩国科学技术院)
针对双输出第二语言语音识别,研究发现多任务学习导致表面转录性能下降,归因于编码器级别的表示纠缠,尤其在英语中随表面-意义差异增大而加剧。
2026-07-14 cs.CL cs.SD eess.AS
Contextual Morphogenesis in Large Language Models: A Novel Approach to Self-Organizing Token Representations
针对传统词元化边界僵化的问题,提出语境形态发生机制,通过自组织方式基于语境依赖动态重构词元边界,有效降低了困惑度并保持表示稳定性,为优化语言模型预测准确率和推理效率提供了可行替代方案。
2025-08-08 cs.CL
On the Linguistic Representational Power of Neural Machine Translation Models
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);Qatar Computing Research Institute(卡塔尔计算研究所)
尽管深度神经网络最近在自然语言处理(NLP)方面取得了成功,但其可解释性仍然是一个挑战。我们分析了神经机器翻译模型在不同粒度级别上学习到的表示,并通过相关的外部属性来评估它们的质量。特别是,我们寻求以下问题的答案:(一)如何准确地捕捉单词结构的学习表示,在翻译形态丰富的语言的一个重要方面?(ii)这些表示是否捕获了长范围的依赖关系,并有效地处理了语法上不同的语言?(iii)这些表示是否捕捉到了词汇语义?我们沿着几个参数进行了彻底的调查:(一)在架构中的层捕捉这些语言现象的每一个;(二)翻译单位(字,字符,或子字单位)的选择如何影响所捕获的语言属性的底层表示?(iii)编码器和解码器是否以不同的方式独立学习?(iv)多语言NMT模型学习的表示是否与双语模型捕获相同数量的语言信息?我们的数据驱动的定量评估阐明了NMT模型的重要方面及其捕捉各种语言现象的能力。我们证明了深度NMT模型学习了大量的语言信息。值得注意的调查结果包括:(i)单词形态和词性信息在模型的较低层被捕获;(ii)相反,词汇语义或非局部句法和语义依赖在较高层被更好地表示;(iii)与使用子词单元学习的表示相比,使用字符学习的表示更了解单词形态;和(iv)与双语模型相比,多语言模型学习到的表示更丰富。
2019-11-01 cs.CL
Language Models at the Syntax-Semantics Interface: A Case Study of the Long-Distance Binding of Chinese Reflexive ziji
Georgetown University(乔治城大学)
本文探讨语言模型能否解决受句法语义制约的汉语反身代词ziji的约束问题,通过构建合成与自然句子数据集评估21个模型,发现现有模型无法稳定复现人类判断,严重依赖序列线索且忽略细微约束。
2025-04-02 cs.CL
A Computational Audit of Demographic Association Encoding in ClinicalBERT Language Predictions
The Ohio State University(俄亥俄州立大学)
通过两种探针方法审计 ClinicalBERT 中的表征偏差,发现模型主要放大而非继承训练数据中的统计差异。
2026-06-15 cs.CL cs.HC
Higher-order Comparisons of Sentence Encoder Representations
University of Copenhagen(哥本哈根大学);Uppsala University(乌普萨拉大学);DeepMind(深度思维);Harvard Medical School(哈佛医学院);MIT(麻省理工学院)
代表性相似性分析(RSA)是由神经科学家开发的一种技术,用于比较不同测量模式的活动模式(例如,fMRI、电生理学、行为学)。作为一个框架,RSA有几个优势,现有的方法来解释语言编码器的基础上探测或诊断分类:即,它不需要大的训练样本,不容易过拟合,它使不同的模型和模态的代表性几何之间的比较更加透明。我们通过眼动跟踪数据在广泛使用的预训练语言编码器和人类处理难度之间建立了一种以前未知的对应关系,展示了RSA的实用性,展示了其在神经模型可解释性工具箱中的潜力
2019-09-05 cs.CL
surprisal is Not a Theory
研究指出惊奇值理论虽被视为计算层面解释,但大语言模型的发展未免除建模者相关表征决策,不加批判使用LLM - 惊奇值会模糊模型承诺,通过分析表明算法和架构选择影响语言模型概率计算,建议相关研究者重新评估概率互换做法。
2026-09-16 cs.CL
SimSMoE: Solving Representational Collapse via Similarity Measure
Applied Artificial Intelligence Institute (A2I2), Deakin University(迪肯大学应用人工智能研究所(A2I2))
针对稀疏专家混合模型训练中的表征坍缩问题,该研究提出基于相似性的SimSMoE算法,在固定算力预算下解决该问题,经多模型预训练与微调实验验证,其性能优于现有方法。
2024-06-22 cs.AI cs.CL
Seeing Through Words, Speaking Through Pixels: Deep Representational Alignment Between Vision and Language Models
Department of Cognitive Science University of California, San Diego(认知科学系,加州大学圣地亚哥分校)
本研究系统探究视觉与语言单模态模型表征对齐的机制,发现对齐在中间层达峰、依赖语义而非外观,并能在多对多场景中反映人类偏好,且实例聚合可增强对齐。
2025-09-25 cs.AI cs.CL cs.CV
The Attentional White Bear Effect in Transformer Language Models
Yale University(耶鲁大学)
通过表征探测、注意力分析和行为语义泄露实验,发现指令抑制下Transformer语言模型仍能恢复被禁止概念的表征并影响后续生成,揭示了行为对齐与表征对齐之间的根本差距。
2026-05-27 cs.AI cs.CL
Clause-Internal or Clause-External? Testing Turkish Reflexive Binding in Adapted versus Chain of Thought Large Language Models
University of Chicago(芝加哥大学)
本研究通过对比两种大型语言模型,探讨土耳其反身代词在不同模型中的绑定行为差异,揭示模型架构和训练数据对指代依赖表示的影响。
2026-02-09 cs.CL
Abstraction via exemplars? A representational case study on lexical category inference in BERT
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Purdue University(普渡大学);Boston University(波士顿大学)
本文改编单次暴露的新 token 词汇范畴实验,分析 BERT 表征,证明模型可通过将新 token 移向已知范畴范例而产生类抽象泛化。
2023-11-03 cs.AI cs.CL
Rethinking Jailbreak Detection of Large Vision Language Models with Representational Contrastive Scoring
Washington University in St. Louis(圣路易斯华盛顿大学);Texas A&M University(德克萨斯农工大学)
本文提出基于内部表示对比评分的框架,通过学习轻量投影分离良性与恶意输入,实现有效 Jailbreak 检测,改进现有方法的泛化能力和效率。
2026-04-20 cs.AI cs.CL cs.CR
Large language models reorganize representational geometry during in-context learning
School of Psychological and Brain Sciences, Georgia Tech(佐治亚理工学院心理与脑科学学院);Department of Psychology, New York University(纽约大学心理学系);Center of Excellence for Computational Cognition, Georgia Tech(佐治亚理工学院计算认知卓越中心);Honda Research Institute(本田研究院);Departments of Neuroscience and Psychology, The University of Texas at Austin(德克萨斯大学奥斯汀分校神经科学与心理学系)
研究大型语言模型在上下文学习中的表征几何重组,发现其性能与任务表征结构相关,并通过原型算法动态调整表征以提高可分性。
2026-08-13 cs.CL cs.LG q-bio.NC
A Comparative analysis of Layer-wise Representational Capacity in AR and Diffusion LLMs
Qualcomm AI Research(高通人工智能研究)
本文比较了AR和扩散LLM的表示能力,发现扩散模型产生更全局的表示,而AR模型产生紧密耦合的局部表示,扩散训练引入深度冗余以实现原理性压缩。
2026-08-04 cs.CL cs.LG
Cell-Based Representation of Relational Binding in Language Models
Tohoku University(东大大学);RIKEN(日本科学技術研究所);AIP(Advanced Institute for Prognostic Studies);MBZUAI(马克斯·普朗克研究所)
研究揭示语言模型通过细胞绑定表示进行关系绑定,通过多句子数据验证了细胞子空间的可解码性及跨上下文迁移能力。
2026-04-21 cs.CL
Generative Representational Instruction Tuning
Contextual AI(康泰克斯人工智能公司);The University of Hong Kong(香港大学);Microsoft Corporation(微软公司)
本文提出生成式表示指令微调(GRIT),通过指令区分任务训练大型语言模型同时处理生成与嵌入任务,在多项基准上达到先进水平并无性能损失地统一两类任务,显著加速检索增强生成。
2025-03-03 cs.AI cs.CL cs.LG