It's not Rocket Science : Interpreting Figurative Language in Narratives
Columbia University(哥伦比亚大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学);University of British Columbia(不列颠哥伦比亚大学)
比喻语言在英语中无处不在。然而,绝大多数NLP研究都集中在字面语言上。现有的文本表示设计依赖于组合性,而比喻语言往往是非组合性的。本文研究了两种非合成比喻语言(成语和明喻)的解释。我们收集了包含比喻表达的虚构叙事的数据集,以及依赖于对表达的正确解释的众包合理和不合理的延续。然后,我们训练模型来选择或生成合理的延续。我们的实验表明,完全基于预先训练的语言模型的模型在这些任务上的表现比人类差得多。我们还提出了知识增强模型,采用人类的策略来解释比喻语言类型:从上下文中推断含义,并依赖于组成词的字面意义。知识增强的模型提高了区分性和生成性任务的性能,进一步缩小了与人类性能的差距。
2022-03-01 cs.CL cs.LG
Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain)
Neuroscience Institute(神经科学研究所);Department of Machine Learning(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
NLP的神经网络模型通常在没有语言规则的显式编码的情况下实现,但它们能够打破一个又一个的性能记录。这引起了人们对解释这些网络所学习的表征的大量研究兴趣。我们在这里提出了一种新的解释方法,它依赖于我们唯一能理解语言的处理系统:人脑。我们使用受试者阅读复杂自然文本的大脑成像记录来解释最近4个NLP模型- ELMo,USE,BERT和Transformer-XL的单词和序列嵌入。我们研究了它们的表示如何在层深度,上下文长度和注意力类型上有所不同。我们的研究结果揭示了这些模型中与上下文相关的表示的差异。此外,在Transformer模型中,我们发现层深度和上下文长度之间以及层深度和注意类型之间存在相互作用。我们最后假设,改变BERT以更好地与大脑记录保持一致,将使它能够更好地理解语言。使用句法NLP任务探测改变后的BERT显示,具有增加的大脑对齐的模型优于原始模型。认知神经科学家已经开始使用NLP网络来研究大脑,这项工作关闭了NLP和认知神经科学之间的互动,使其成为真正的交叉授粉。
2019-11-13 cs.AI cs.CL cs.LG
Structural Inference: Interpreting Small Language Models with Susceptibilities
通过易感性分析,研究如何利用线性响应框架解释小型语言模型的功能模块结构。
2026-03-06 cs.LG
Beyond Words: A Mathematical Framework for Interpreting Large Language Models
Microsoft Research(微软研究院)
该研究提出用于解释大语言模型的数学框架Hex,厘清幻觉、对齐、思维链等关键概念,区分思维链推理与提示并明确二者等价条件,为生成式AI研究与落地提供形式化工具支撑。
2023-11-06 cs.AI cs.LG
Interpreting and Steering a Text-to-Speech Language Model with Sparse Autoencoders
T-Tech;AI Foundation and Algorithm Lab(人工智能基础与算法实验室)
本文在CosyVoice3语言模型骨干上训练BatchTopK稀疏自编码器,发现特征可解释且因果可控,能操纵笑声、性别和语速。
2026-06-08 cs.AI cs.CL cs.LG
Interpreting Language Reward Models via Contrastive Explanations
Imperial College London(帝国理工学院);J.P. Morgan AI Research(摩根大通人工智能研究院)
本研究提出用对比解释方法解释奖励模型的二元比较,通过生成相似比较刻画局部行为,并分析全局敏感性,以提升LLM对齐的可解释性与信任度。
2025-02-26 cs.AI cs.LG
VL-InterpreT: An Interactive Visualization Tool for Interpreting Vision-Language Transformers
Intel Labs(英特尔实验室);UCLA(加州大学洛杉矶分校);Microsoft Research(微软研究院)
基于transformer的模型的突破性进展不仅彻底改变了NLP领域,也改变了视觉和多模态系统。然而,尽管可视化和可解释性工具已经可用于NLP模型,但视觉和多模态Transformers的内部机制在很大程度上仍然不透明。随着这些Transformers的成功,了解它们的内部工作变得越来越重要,因为解开这些黑匣子将导致更有能力和更值得信赖的模型。为了促进这一探索,我们提出了VL-InterpreT,它提供了新的交互式可视化解释的注意力和隐藏的表示在多模态Transformers。VL-InterpreT是一个与任务无关的集成工具,它(1)跟踪视觉和语言组件所有层中注意力头部的各种统计数据,(2)通过易于阅读的热图可视化跨模态和模态内注意力,(3)绘制视觉和语言标记的隐藏表示,因为它们通过Transformer层。在本文中,我们通过分析KD-VLP,一个端到端的预训练的视觉语言多模态转换器为基础的模型,在视觉常识推理(VCR)和WebQA,两个视觉问答基准的任务中,展示了VL-InterpreT的功能。此外,我们还提出了一些有趣的发现多模态Transformer的行为,通过我们的工具。
2022-08-22 cs.AI cs.CL cs.CV
KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts
Georgia Institute of Technology(佐治亚理工学院)
为帮助理解大语言模型的工作原理,本研究提出基于填空提示的人在回路视觉分析系统KnowledgeVIS,支持提示测试、语义聚类分析与交互式可视化,并通过专家反馈和三类用例验证了其有效性。
2024-03-07 cs.AI cs.CY cs.HC
Interpreting Language Models Through Concept Descriptions: A Survey
BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Technische Universität Berlin(柏林技术大学)
本文调查了通过生成自然语言概念描述来解读模型组件和抽象的方法,揭示了生成这些描述的关键方法、评估指标及数据集,并指出对更严谨因果评估的需求。
2025-10-01 cs.AI cs.CL cs.LG
Cross-Layer Discrete Concept Discovery for Interpreting Language Models
University of Washington(华盛顿大学)
提出跨层向量量化变分自编码器(CLVQ-VAE),通过离散向量量化瓶颈将残差流中的重复特征压缩为紧凑可解释的概念向量,在三个数据集上优于聚类、单层VQ-VAE和稀疏自编码器基线。
2026-10-01 cs.AI cs.CL cs.LG
Interpreting and Steering Protein Language Models through Sparse Autoencoders
Area Science Park(区域科学园)
本文针对蛋白质语言模型内部机制理解难题,通过稀疏自编码器(SAE)解释ESM-2 8M参数模型的内部表示并识别蛋白质特征相关潜在成分,进而利用该见解引导序列生成,为生物序列模型可解释性与引导提供新方法。
2025-02-13 cs.LG q-bio.BM
ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data
University of Washington(华盛顿大学)
大型预训练的语言模型通过提示在各种下游任务中表现得越来越好。然而,目前还不清楚模型从哪里学习特定于任务的知识,特别是在zero-shot设置中。在这项工作中,我们希望从预训练中找到模型特定于任务的能力的证据,并且特别感兴趣的是定位一个非常小的预训练数据子集,这些数据直接支持任务中的模型。我们呼吁这样一个子集支持数据证据,并提出了一种新的方法ORCA有效地识别它,通过迭代使用梯度信息相关的下游任务。这个支持数据证据提供了关于提示语言模型的有趣见解:在情感分析和文本蕴涵的任务中,BERT显示出对BookCorpus的大量依赖,这是BERT的两个预训练语料库中较小的语料库,以及预训练示例,这些示例掩盖了任务动词的同义词。
2022-05-25 cs.CL cs.LG
Attention Lens: A Tool for Mechanistically Interpreting the Attention Head Information Retrieval Mechanism
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
针对LLM中注意力头作用不明的问题,提出Attention Lens工具,通过学习的特定变换将注意力头输出转换为词汇token,初步发现表明注意力头在语言模型中具有高度专业化角色。
2023-10-25 cs.AI cs.CL cs.LG
SAIF: A Sparse Autoencoder Framework for Interpreting and Steering Instruction Following of Language Models
Case Western Reserve University(凯斯西储大学);Wake Forest University(维克森林大学);Cisco(思科公司)
提出 SAIF 框架,利用稀疏自编码器识别并因果验证指令相关潜在特征,实现对 LLM 指令遵循行为的可解释引导,并验证其跨规模扩展性。
2025-02-17 cs.AI cs.CL cs.LG
Beyond Tokens in Language Models: Interpreting Activations through Text Genre Chunks
Chalmers Technical University(挑战者技术大学);Lund University(隆德大学)
本文提出通过文本体裁块的激活预测来解释语言模型,使用Mistral-7B和两个数据集,达到高达98%的F1分数。
2025-11-20 cs.CL cs.LG
The Expert Strikes Back: Interpreting Mixture-of-Experts Language Models at Expert Level
Department of Informatics, University of Hamburg, Hamburg, Germany(汉堡大学信息学院)
研究通过k稀疏探测比较MoE专家与密集FFN,发现专家神经元更单语义,提出以专家为分析单位,揭示专家是细粒度任务专家,而非领域专家或token处理者。
2026-05-15 cs.AI cs.CL cs.LG
ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks
Paul G. Allen School of Computer Sci. & Eng., Univ. of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for AI(艾伦人工智能研究所);NVIDIA(英伟达公司)
我们提出了ALFRED(从现实环境和指令的行动学习),学习从自然语言指令和以自我为中心的视觉映射到家庭任务的行动序列的基准。ALFRED包括具有不可逆状态变化的长时间组合任务,以缩小研究基准和现实世界应用之间的差距。ALFRED由25k自然语言指令的交互式视觉环境中的专家演示组成。这些指令包含两个高层次的目标,如“冲洗杯子并将其放入咖啡机。和低级语言指令,如“走到右边的咖啡机。“ALFRED任务在序列长度、动作空间和语言方面比现有的视觉和语言任务数据集更复杂。我们发现,基于最近体现的视觉和语言任务的基线模型在ALFRED上表现不佳,这表明在此基准下开发创新的接地视觉语言理解模型有很大的空间。
2020-03-31 cs.AI cs.CL cs.CV
How does GPT-2 compute greater-than?: Interpreting mathematical abilities in a pre-trained language model
University of Amsterdam(阿姆斯特丹大学);Redwood Research(红木研究);Conjecture
该研究利用机制可解释性技术,识别出GPT-2 small中计算大于关系的电路及其组件作用,发现其通过通用复杂机制实现基础数学能力,为理解预训练语言模型的隐式能力提供了机制层面的解释。
2023-11-02 cs.AI cs.CL cs.LG
Interpreting Language Models Through Knowledge Graph Extraction
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在大型文本语料库上训练的基于transformer的语言模型在自然语言处理社区中非常受欢迎,并且通常用作下游任务的起点。虽然这些模型非常有用,但要量化其性能超出传统的准确性指标是一个挑战。在本文中,我们比较BERT为基础的语言模型,通过在训练过程的顺序阶段获得的知识的快照。来自训练语料库的结构化关系可以通过用探测任务查询掩蔽的语言模型来揭示。我们提出了一种方法来揭示一个知识获取的时间轴通过生成知识图谱提取完形填空语句在不同阶段的RoberTa的早期培训。我们将这种分析扩展到比较BERT模型(DistilBERT,BERT-base,RoBERTa)的预训练变体。这项工作提出了一个定量的框架比较语言模型,通过知识图谱提取(GED,Graph 2 Vec)和展示了一部分的语音分析(POSOR),以确定每个模型变体的语言优势。使用这些指标,机器学习从业者可以比较模型,诊断模型的行为优势和弱点,并识别新的目标数据集以提高模型性能。
2021-11-16 cs.CL cs.LG
VL-SAE: Interpreting and Enhancing Vision-Language Alignment with a Unified Concept Set
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(智能信息处理重点实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
提出VL-SAE稀疏自编码器,用统一概念集解释并增强视觉-语言对齐,在CLIP和LLaVA上验证了其提升零样本分类和消除幻觉的能力。
2025-10-24 cs.CV cs.LG
Interpreting and Editing Vision-Language Representations to Mitigate Hallucinations
University of California, Berkeley(加州大学伯克利分校)
针对视觉-语言模型(VLMs)的幻觉问题,通过分析其内部表征发现真实与幻觉物体的概率差异,提出知识擦除算法正交化相关特征,在COCO2014上减少25.7%幻觉并保留性能,还实现零样本分割等新能力。
2025-02-10 cs.CV cs.LG
Interpreting the Repeated Token Phenomenon in Large Language Models
Google DeepMind(谷歌DeepMind);University of Oxford(牛津大学);UC Berkeley(加州大学伯克利分校)
本文通过识别大语言模型中注意力汇对应的神经回路,解释了重复单词时模型输出偏离的失效机制,并提出针对性补丁在不损害整体性能的前提下修复该脆弱性。
2025-03-11 cs.AI cs.CL cs.CR
REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model
Tsinghua University(清华大学);City University of Hong Kong(香港城市大学);Peking University(北京大学);Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北航);Baidu Inc(百度公司)
本文提出 REMA 框架,将正确推理表征建模为低维推理流形,通过 k 近邻距离和逐层偏差定位 LLM 推理失效的起点。
2025-09-26 cs.AI cs.LG
Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder
University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
本文通过正则化编码器-解码器结构对比分析仅解码器与编码器-解码器架构,揭示并理论分析了仅解码器模型中的注意力退化问题,提出部分注意力语言模型加以解决,在多项生成任务上验证了有效性。
2023-04-08 cs.AI cs.CL cs.LG
Towards Interpreting Visual Information Processing in Vision-Language Models
Nanyang Technological University(南洋理工大学);University of Oxford(牛津大学);Tel Aviv University(特拉维夫大学);MILA(蒙特利尔人工智能研究院);ERA-Krueger AI Safety Lab(ERA-Krueger人工智能安全实验室)
本文研究LLaVA视觉语言模型中视觉token的处理机制,发现移除特定token使识别率降超70%,且模型在最后token位置提取信息,为多模态系统可解释性提供见解。
2025-04-26 cs.CV cs.LG
Towards Interpreting Language Models: A Case Study in Multi-Hop Reasoning
The University of Chicago(芝加哥大学)
本文通过分析GPT-2的注意力头,提出定向记忆注入以提升多跳推理,并开发Attention Lens工具解释模型决策,实验显示成功率最高提升424%。
2024-11-06 cs.AI cs.CL cs.LG
RunAgent: Interpreting Natural-Language Plans with Constraint-Guided Execution
University of Maryland, College Park(马里兰大学学院公园分校);NEC Laboratories America, Inc.(NEC美国实验室)
RunAgent通过约束引导执行解释自然语言计划,结合代理语言的显式控制构造,提升结构化工作流执行的可靠性。
2026-05-01 cs.CL cs.LG cs.MA
BERTology Meets Biology: Interpreting Attention in Protein Language Models
Salesforce Research(Salesforce研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Transformer架构已被证明可以学习用于蛋白质分类和生成任务的有用表示。然而,这些表示在可解释性方面提出了挑战。在这项工作中,我们展示了一套方法来分析蛋白质Transformer模型,通过镜头的注意。我们表示关注:(1)捕获蛋白质的折叠结构,连接在基础序列中相距较远但在三维结构中空间上接近的氨基酸,(2)靶向结合位点,蛋白质的关键功能组分,以及(3)随着层深度的增加,关注逐渐更复杂的生物物理特性。我们发现这种行为在三种Transformer架构(BERT,AL BERT,XLNet)和两种不同的蛋白质数据集上是一致的。我们还提出了一个三维可视化的注意力和蛋白质结构之间的相互作用。可视化和分析代码可在https://github.com/salesforce/provis上获得。
2021-03-28 cs.CL cs.LG q-bio.BM
Interpreting Attention Heads for Image-to-Text Information Flow in Large Vision-Language Models
Yonsei University(延世大学)
针对大视觉语言模型(LVLMs)图像到文本信息流机制难解释的问题,提出头归因技术识别关键注意力头模式,发现其选择由图像语义而非视觉外观决定,揭示令牌级信息流规律,为理解LVLMs机制提供方向。
2025-09-22 cs.AI cs.CV cs.LG
"I am bad": Interpreting Stealthy, Universal and Robust Audio Jailbreaks in Audio-Language Models
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
本文针对音频语言模型提出首个通用音频越狱攻击,通过构造跨提示、任务和样本的对抗扰动绕过对齐机制,并揭示其编码第一人称有毒语音,为多模态安全防御提供见解。
2025-07-10 cs.LG cs.SD eess.AS
A Unified Approach to Interpreting Knowledge Distillation for Large Language Models via Interactions
研究大语言模型知识蒸馏有效性背后机制,提出统一方法,通过交互分解输出分数,发现共同机制是交互稀疏化,不同方法性能差异源于处理复杂交互能力,进而提出CIP损失函数,实验证明其能提升多种KD方法性能。
2026-07-13 cs.AI cs.CL cs.GT
iScore: Visual Analytics for Interpreting How Language Models Automatically Score Summaries
Georgia Institute of Technology(佐治亚理工学院);Vanderbilt University(范德堡大学);Georgia State University(佐治亚州立大学)
针对大语言模型用于教育摘要评分时透明度不足、难建立信任的问题,本研究通过用户中心设计开发了交互式可视化分析工具iScore,支持多摘要对比、评分溯源与权重可视化,经部署验证可提升模型准确率并助力工程师理解信任LLM。
2024-03-07 cs.AI cs.CY cs.HC
Interpreting Neurons in Deep Vision Networks with Language Models
UC San Diego(加州大学圣地亚哥分校);UT Austin(德克萨斯大学奥斯汀分校)
本文提出无训练的Describe-and-Dissect(DnD)方法,利用多模态深度学习生成视觉网络神经元的自然语言描述,无需标记数据或预定义概念,其描述质量优于现有方法,为土地覆盖预测模型等提供关键见解。
2025-02-19 cs.CV cs.LG
Explaining Recovery Trajectories of Older Adults Post Lower-Limb Fracture Using Modality-wise Multiview Clustering and Large Language Models
KITE Research Institute(KITE研究机构);Toronto Rehabilitation Institute(多伦多康复研究所);University Health Network(大学健康网络);College of Engineering and Technology(工程与技术学院)
本研究针对下肢骨折老年患者的居家多模态传感器数据,采用分模态聚类结合大语言模型上下文提示的无监督方法生成可解释聚类标签,经临床评分验证有效,可辅助识别高风险患者。
2025-06-13 cs.AI cs.CV cs.LG
From Narratives to Probabilistic Reasoning: Predicting and Interpreting Drivers' Hazardous Actions in Crashes Using Large Language Model
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校);University of Michigan Transportation Research Institute(密歇根大学交通研究所);Toyota Motor Engineering & Manufacturing North America, Inc.(丰田汽车工程与制造北美公司);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究提出一种基于微调大语言模型的框架,从碰撞叙事文本中自动识别驾驶员危险行为,在MTCF数据上达到80%准确率,并通过概率推理增强可解释性,为交通安全分析提供新方案。
2025-10-14 cs.AI cs.LG
ICA Lens: Non-Gaussianity Reveals Interpretable Directions in Language Models
Independent Researcher(独立研究员);University of Maryland(马里兰大学)
提出ICALens,基于独立成分分析(ICA)高效提取语言模型表示中可解释方向,无需训练稀疏自编码器,在SAEBench上表现竞争力。
2026-11-18 cs.AI cs.CL cs.LG
Interpreting Latent Protein Language Model Features with Geometric Annotations
School of Mathematics(数学学院);University of Edinburgh(爱丁堡大学)
本研究提出基于蛋白质Cα主链几何特征的自动可扩展方法,解释ESM-2的SAE特征,发现局部几何与多数SAE特征显著相关,可区分同数据库注释的SAE特征,为残基级SAE神经元激活蛋白质注释提供了稳健方法,搭建了机制可解释性与结构生物学的桥梁。
2026-08-28 cs.LG q-bio.QM
Sound2Synth: Interpreting Sound via FM Synthesizer Parameters Estimation
Beijing DeepMusic Technology Co., Ltd(北京深度音乐科技有限公司);Tsinghua University(清华大学)
合成器是一种电子乐器,目前广泛应用于现代音乐制作和声音设计。合成器的每个参数配置产生独特的音色,可以被视为一个独特的乐器。估计最佳地恢复声音音色的一组参数配置的问题是重要而复杂的问题,即:合成器参数估计问题。我们提出了一个基于多模态深度学习的管道Sound 2Synth,以及专门为解决这个问题而设计的网络结构Prime-Dilated Convolution(PDC)。我们的方法不仅取得了SOTA,但也是第一个现实世界的应用结果Dexed合成器,一个流行的FM合成器。
2022-07-28 cs.AI cs.LG cs.SD
Inference-Time Decomposition of Activations (ITDA): A Scalable Approach to Interpreting Large Language Models
Department of Computer Science, Durham University(杜伦大学计算机科学系)
针对稀疏自编码器(SAE)训练成本高、无法跨模型迁移的问题,提出推理时激活分解(ITDA)方法,以极低训练成本实现可解释激活分解,且支持跨模型比较。
2025-06-12 cs.LG
Interpreting Learned Feedback Patterns in Large Language Models
Luke Marks;Amir Abdullah;Clement Neo;Rauno Arike;David Krueger;Philip Torr;Fazl Barez
本文提出“学习到的反馈模式”(LFP)概念,通过训练探针估计LLM激活中隐含的反馈信号并与真实反馈对比,以检验RLHF后模型是否准确对齐人类偏好,从而提升LLM安全性。
2025-09-19 cs.LG
Interpreting Key Mechanisms of Factual Recall in Transformer-Based Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);XiaoMi AI Lab(小米AI实验室);Baichuan Inc.(百川智能)
本文解析了Transformer语言模型在事实回忆中的三步机制,提出MLP输出分解方法,并发现并缓解了末层防过度自信机制,提升了事实回忆置信度。
2024-05-24 cs.AI cs.CL cs.LG
Interpreting Adversarial Robustness: A View from Decision Surface in Input Space
George Mason University(乔治梅森大学);Clarkson University(克拉克森大学);Northeastern University(东北大学)
神经网络推广的一个流行假设是参数空间中损失曲面的平坦局部极小导致良好的推广。然而,我们证明了参数空间中的损失面与泛化没有明显的关系,特别是在对抗性设置下。通过在参数空间和输入空间中对决策曲面进行可视化,我们证明了决策曲面在输入空间中的几何性质与对抗鲁棒性有很好的相关性。然后,我们提出了一个对抗鲁棒性指标,它可以评估神经网络的内在鲁棒性,而无需测试其准确性下的对抗攻击。在此基础上,我们进一步提出了我们的鲁棒训练方法。在不涉及对抗训练的情况下,我们的方法可以增强网络对各种对抗攻击的内在对抗鲁棒性。
2018-10-12 cs.AI cs.LG stat.ML
GPCR-BERT: Interpreting Sequential Design of G Protein Coupled Receptors Using Protein Language Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出GPCR-BERT模型,利用Prot-Bert预训练语言模型对GPCR序列基序变异进行微调,通过注意力权重和隐藏状态解析结合口袋残基与保守基序的关系,并结合三维结构嵌入分析揭示受体构象中的高阶相互作用。
2023-10-30 cs.LG q-bio.BM
Interpreting Protein Language Model Embeddings via Orthogonal Projection for Protein Fitness Prediction
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);Broad Institute of MIT and Harvard(麻省理工学院及哈佛大学布罗德研究所);Humboldt University of Berlin(柏林洪堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出通过正交投影技术去除蛋白质语言模型嵌入中的可解释生化特征效应,证明其编码与生化特性相关的模式并量化其对蛋白质适应性预测的贡献,该方法可迁移至其他问题场景。
2026-08-27 cs.LG q-bio.QM
Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization
Seoul National University(首尔大学)
针对深度神经网络训练中自适应梯度方法的学习率估计难题,本文将其解释为参数缩放网络上的最速下降,提出免学习率自适应梯度方法,实验证明其性能与手动调优相当。
2024-01-06 cs.LG math.OC
Automatically Interpreting Millions of Features in Large Language Models
Northwestern University, Evanston, Illinois, USA(西北大学)
本文构建自动化流水线,利用LLM为稀疏自编码器特征生成并评估自然语言解释,引入五种低成本评分技术,发现SAE潜在特征比神经元更可解释,且相邻层SAE高度相似。
2025-08-06 cs.CL cs.LG
Open vs Closed-ended questions in attitudinal surveys -- comparing, combining, and interpreting using natural language processing
Instituto Superior Técnico(里斯本高等理工学院);Technical University of Denmark(丹麦技术大学)
为了改善旅行体验,研究者一直在分析态度在旅行行为建模中的作用。虽然大多数研究人员使用封闭式调查,但衡量态度的适当方法是有争议的。主题建模可以显著减少从开放式回答中提取信息的时间,消除主观偏见,从而减轻分析师的担忧。我们的研究使用主题建模来提取信息的开放式问题,并比较其性能与封闭式的反应。此外,有些答复者可能更喜欢使用他们喜欢的调查表类型回答问题。因此,我们提出了一个建模框架,允许受访者使用他们喜欢的问卷类型来回答调查,并使分析师能够使用他们选择的建模框架来预测行为。我们使用从美国收集的数据集来证明这一点,该数据集测量了使用自动驾驶汽车进行通勤旅行的意图。向答卷人提供了不同版本的问卷(开放式和封闭式)。由于我们的目标也是比较替代问卷版本的性能,调查的目的是消除语句,行为框架和选择实验的影响。结果表明,使用主题建模从开放式回答中提取信息的适用性;然而,使用封闭式问题估计的模型比它们表现得更好。此外,该模型的性能优于目前使用的模型。此外,我们建议的框架将允许受访者选择要回答的问卷类型,这在使用基于语音的调查时对他们特别有利。
2022-05-03 cs.CL cs.LG econ.GN
What Do They See? Interpreting Complex Road Scenarios Through the Eyes of Vision-Language-Action Models for Safe and Trustworthy Autonomous Vehicle Learning
Birla Institute of Technology and Science, Pilani(贝拉理工科学学院皮拉尼分校);University of California, Merced(加州大学默塞德分校)
研究自动驾驶模型内部逻辑不透明问题,提出反事实消融框架CVAA,通过移除摄像头图像中物体创建反事实集评估模型响应差异,应用于阿尔帕马约1轨迹预测器,分析物体因果影响,还通过可解释性技术深入理解模型,创建可解释驾驶系统巩固人机信任。
2026-07-21 cs.AI cs.CV cs.LG
Neuron to Graph: Interpreting Language Model Neurons at Scale
Apart Research(Apart研究院);Heriot-Watt University(赫瑞-瓦特大学);University of Edinburgh(爱丁堡大学);University of Oxford(牛津大学)
本文提出Neuron to Graph(N2G)工具,通过截断与显著性方法将LLM神经元行为自动转化为可解释图,实现大规模神经元解释、自动验证与相似神经元比较,并可在单个T4 GPU上扩展至6层Transformer全部神经元。
2023-05-31 cs.CL cs.LG
Interpreting learning in biological neural networks as zero-order optimization method
University of Twente(特文特大学)
近年来,关于人工神经网络(ANN)的统计理解已经取得了重大进展。人工神经网络是由大脑的功能驱动的,但在几个关键方面有所不同。特别是,在生物神经网络(BNN)中的连接参数的更新规则的局部性使得大脑的学习基于梯度下降在生物学上不可信。在这项工作中,我们将大脑视为监督学习的统计方法。主要贡献是将BNN中连接参数的局部更新规则与零阶优化方法联系起来。结果表明,迭代的期望值实现了梯度下降的修改。
2023-03-23 cs.LG cs.NE math.ST