Breaking Down Word Semantics from Pre-trained Language Models through Layer-wise Dimension Selection
针对预训练语言模型嵌入中语义等维度难以解读的问题,本文提出在不更新预训练参数的前提下,通过对BERT各层中间输出施加二值掩码解耦语义义项的方法,实验验证了逐层信息的有效性及语义解耦对词义判别性能的提升作用。
2023-10-08 cs.AI cs.CL
Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT
The University of Hong Kong(香港大学);Shanghai University of Finance and Economics(上海财经大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
通过引入一小组附加参数,探针学习解决特定的语言任务(例如,依存句法分析)以使用特征表示的监督方式(例如,语境化嵌入)。这种探测任务的有效性被认为是预训练模型编码语言知识的证据。然而,这种评估语言模型的方法被探测器本身所学习的知识量的不确定性所破坏。作为这些工作的补充,我们提出了一种无参数探测技术,用于分析预训练的语言模型(例如,BERT)。我们的方法不需要探测任务的直接监督,也不引入额外的参数探测过程。我们在BERT上的实验表明,使用我们的方法从BERT恢复的句法树明显优于语言不知情的基线。我们进一步将经验诱导的依赖结构馈送到下游情感分类任务中,并发现其改进与人类设计的依赖模式兼容甚至优于人类设计的依赖模式。
2021-05-28 cs.CL
Semantic Adapter for Universal Text Embeddings: Diagnosing and Mitigating Negation Blindness to Enhance Universality
Amadeus France(法国阿玛德斯公司)
针对通用文本嵌入模型在评估基准偏差下存在的否定感知缺失问题,提出一种无需修改模型参数的嵌入重加权方法,在简单与复杂否定理解任务中显著提升了模型及大语言模型嵌入的否定感知能力。
2025-07-16 cs.AI cs.CL
Interpreting Arabic Transformer Models
阿拉伯语是一种闪米特语言,广泛使用,有许多方言。鉴于预先训练的语言模型的成功,许多在阿拉伯语及其方言上训练的Transformer模型已经浮出水面。虽然这些模型已经与下游NLP任务进行了比较,但没有进行直接比较内部表示的评估。我们探讨了语言信息是如何在阿拉伯语预训练模型中编码的,这些模型是在不同种类的阿拉伯语上训练的。我们使用三个内在任务对模型进行层和神经元分析:基于MSA(现代标准阿拉伯语)和方言POS标记的两个形态标记任务和方言识别任务。我们的分析启发了有趣的发现,例如:i)单词形态在较低层和中间层学习,ii)方言识别需要更多的知识,因此即使在最后一层也会保留,iii)尽管它们的词汇有很大的重叠,但基于MSA的模型无法捕捉阿拉伯方言的细微差别,iv)我们发现嵌入层中的神经元本质上是多义的,而中间层中的神经元专用于特定属性。
2022-10-19 cs.CL
Sparse Autoencoder Insights on Voice Embeddings
Vail Systems, Inc.(韦尔系统公司)
本研究将稀疏自编码器应用于 Titanet 模型生成的说话人嵌入,证明其能有效提取非文本数据的单语义特征,可识别并操纵语言、音乐等隐含特征,为理解和解释音频等领域的嵌入数据提供了有价值的工具。
2025-01-31 cs.CL
Interpreting deep embeddings for disease progression clustering
BenevolentAI(BenevolentAI公司)
本文提出一种解释患者聚类中深度嵌入的新方法,在UK Biobank的2型糖尿病数据集上验证,揭示了具有临床意义的疾病进展模式。
2023-07-31 cs.CL cs.LG q-bio.QM
Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
研究针对大规模文本语料库分析难题,提出用稀疏自动编码器创建SAE嵌入,经四个任务验证其比大语言模型更具性价比、比密集嵌入更可控,通过案例研究展示其在研究模型行为上的作用,是用于非结构化数据分析的通用工具。
2026-07-24 cs.AI cs.LG
Meta-Models: An Architecture for Decoding LLM Behaviors Through Interpreted Embeddings and Natural Language
Olin College of Engineering(奥林工程学院)
本研究提出元模型架构,利用输入模型的激活回答自然语言问题,以解码LLM行为,实验证明其能泛化到分布外欺骗场景。
2024-11-07 cs.AI cs.LG
Discovering Chunks in Neural Embeddings for Interpretability
Explainable Machine Learning Lab, Helmholtz Munich(慕尼黑亥姆霍兹大学可解释机器学习实验室);Technical University of Munich(慕尼黑工业大学);Institute for Human-Centered AI, Helmholtz Munich(慕尼黑亥姆霍兹以人为本人工智能研究所);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文借鉴人类认知中的分块机制,提出从RNN和LLM的神经嵌入中提取可识别块字典的新框架,以结构化方式解释神经网络的群体活动。
2025-02-03 cs.AI cs.LG
Is my model "mind blurting"? Interpreting the dynamics of reasoning tokens with Recurrence Quantification Analysis (RQA)
School of Computer Science and Engineering, University of New South Wales(计算机科学与工程学院,新南威尔士大学)
通过递归量化分析(RQA)研究推理模型在测试时的令牌生成动力学,提升任务复杂度预测能力8%。
2026-02-05 cs.CL
Giraffe: A Mapping Architecture from Hidden Text Representations to Visual Embeddings for Efficient Graphic Design
Canva Research(Canva研究院)
Giraffe 是一种轻量映射架构,以单 [IMG] token 实现从文本隐藏表示到视觉模型嵌入空间的转换,在平面设计生成任务中表现优异。
2026-08-26 cs.AI cs.LG
Predicting and interpreting embeddings for out of vocabulary words in downstream tasks
Université Laval(拉瓦尔大学)
我们提出了一种新的方法来处理的词汇(OOV)的话,在下游的自然语言处理(NLP)任务。我们实现了一个网络,预测有用的嵌入OOV字的基础上,他们的形态和他们出现的上下文。我们的模型还结合了一个注意力机制,指示分配给左上下文单词,右上下文单词或单词的字符的焦点,从而使预测更可解释。该模型是一个"drop-in“模块,与下游任务的神经网络联合训练,从而产生专门用于手头任务的嵌入。当任务主要是语法时,我们观察到我们的模型将大部分注意力集中在表面形式字符上。另一方面,对于语义性更强的任务,网络会将更多的注意力分配给周围的单词。在我们所有的测试中,与使用简单的随机嵌入相比,该模块可以帮助网络实现更好的性能。
2019-03-02 cs.CL cs.LG
WSI-VQA: Interpreting Whole Slide Images by Generative Visual Question Answering
Zhejiang University(浙江大学);Research Center for Industries of the Future, Westlake University(西湖大学未来产业研究中心);School of Engineering, Westlake University(西湖大学工程学院)
提出WSI-VQA生成式视觉问答框架与W2T模型,将多种WSI切片级任务统一为问答,并构建数据集,实现优于判别模型的医学诊断与可解释预测。
2024-07-08 cs.AI cs.CV
Semantics or spelling? Probing contextual word embeddings with orthographic noise
Cornell University(康奈尔大学)
通过向输入单词引入单字符交换的正字法噪声,发现预训练语言模型生成的上下文词嵌入对噪声高度敏感,且敏感性与子词分词相关,表明这些表示可能不是可靠的语义代理。
2024-08-08 cs.CL
FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings
Brno University of Technology(布拉格技术大学)
提出因子化线性投影(FLiP)模型,从多语言、多模态句子嵌入中恢复词汇内容,揭示编码器的模态和语言偏差。
2026-06-18 cs.CL cs.SD
Non-native speakers of English or ChatGPT: Who thinks better?
Ibb University(伊卜大学);University of Cyprus(塞浦路斯大学)
本研究通过比较非英语母语者与ChatGPT在处理中心嵌套英语结构的能力,发现人类大脑在语言处理上仍具独特优势。
2024-11-30 cs.CL
Interpreting Reasoning of Large Language Models via Partial Information Decomposition
University of Maryland, College Park(马里兰大学帕克分校);Elorian AI(埃洛里安人工智能公司)
提出SLIDER框架,利用部分信息分解评估大型推理模型的推理质量,通过Step-RRI和Trajectory-RRI检测冗余,提升效率并用于数据选择微调。
2026-10-02 cs.AI cs.CY cs.IT
Multimodal-to-Text Prompt Engineering in Large Language Models Using Feature Embeddings for GNSS Interference Characterization
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
本文提出利用LLaVA和提示工程从大型GNSS数据集中提取并分析特征嵌入,实现GNSS干扰的视觉与逻辑推理及分类,性能优于现有机器学习模型。
2025-01-15 cs.AI eess.SP
Uniform Discretized Integrated Gradients: An effective attribution based method for explaining large language models
Wells Fargo International Solutions Private Limited(富国银行国际解决方案私人有限公司)
针对Integrated Gradients处理词嵌入离散空间的不足,本文提出UDIG方法,通过非线性插值路径计算归因分数,在情感分类(SST2等数据集)和问答(SQuAD微调BERT)任务的三类指标上均优于现有方法。
2024-12-05 cs.AI cs.CL
Discovering and Interpreting Biased Concepts in Online Communities
语言带有隐含的人类偏见,既反映了人们所携带的刻板印象,又使之永久化。最近,基于ML的NLP方法,如词嵌入,已被证明可以以惊人的准确性学习这种语言偏见。这种词嵌入的能力已经被成功地利用作为量化和研究人类偏见的工具。然而,以前的研究只考虑了一组预定义的偏见概念来证明(例如,性别是否或多或少与特定的工作有关),或者只是发现有偏见的词语,而不帮助理解它们在概念层面的含义。因此,这些方法可能无法找到事先没有定义的偏见概念,或者他们发现的偏见难以解释和研究。这可能使现有的方法不适合发现和解释在线社区中的偏见,因为这些社区可能携带与主流文化不同的偏见。本文改进,扩展,并评估我们以前的数据驱动的方法,自动发现和帮助解释有偏见的概念编码在词嵌入。我们应用这种方法来研究在线社区中使用的语言中存在的偏见概念,并通过实验证明了我们的方法的有效性和稳定性
2022-01-24 cs.AI cs.CL cs.CY
ULTra: Unveiling Latent Token Interpretability in Transformer-Based Understanding and Segmentation
Sharif University of Technology(谢里夫理工大学);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
ULTra通过自监督学习提升无监督语义分割性能,并揭示变换器中潜在令牌的语义模式。
2026-01-05 cs.AI cs.CV cs.LG
Uncovering Safety Risks of Large Language Models through Concept Activation Vector
Renmin University of China(中国人民大学);The Hong Kong University of Science and Technology(香港科技大学)
针对当前大型语言模型(LLMs)仍存在安全风险的问题,提出安全概念激活向量(SCAV)框架及引导攻击方法,可生成攻击提示和嵌入级攻击,显著提升攻击成功率和响应质量,还发现攻击具有跨模型迁移性并揭示LLMs安全机制见解。
2024-11-30 cs.CL
WizMap: Scalable Interactive Visualization for Exploring Large Machine Learning Embeddings
Georgia Tech(佐治亚理工学院);Apple(苹果公司)
针对机器学习嵌入难解释、维度高、规模大的问题,研究团队提出开源交互式可视化工具WizMap,结合多分辨率嵌入摘要方法与类地图交互,依托Web技术可在浏览器中支持百万级嵌入点探索。
2023-06-15 cs.CL cs.CV cs.HC
VERB: Visualizing and Interpreting Bias Mitigation Techniques for Word Representations
University of Utah(犹他大学);University of California, Los Angeles(加州大学洛杉矶分校);VISA research(VISA研究院)
词向量嵌入已被证明包含并放大了从中提取的数据中的偏差。因此,已经提出了许多技术来识别、减轻和减弱单词表示中的这些偏差。在本文中,我们利用交互式可视化来增加一系列最先进的去偏置技术的可解释性和可访问性。为了帮助这一点,我们提出了嵌入表示的可视化去偏置系统(“VERB”),一个开源的基于Web的可视化工具,帮助用户获得技术的理解和视觉直觉的内部工作的去偏置技术,重点是他们的几何属性。特别是,VERB提供了易于遵循的用例,以探索这些去偏置技术对高维词向量几何形状的影响。为了帮助理解各种去偏置技术如何改变底层几何,VERB将每种技术分解为可解释的原始变换序列,并使用降维和交互式视觉探索来突出它们对词向量的影响。VERB旨在针对在词嵌入之上设计决策系统的自然语言处理(NLP)从业者,以及在NLP中研究机器学习系统的公平性和道德的研究人员。它还可以作为教育的视觉媒介,帮助NLP新手理解和减轻词嵌入中的偏见。
2021-04-06 cs.CL cs.HC
Interpreting Neural Networks to Improve Politeness Comprehension
University of Chicago(芝加哥大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了一种可解释的神经网络方法来预测和理解自然语言请求中的礼貌。我们的模型基于直接基于原始文本的简单卷积神经网络,避免了对复杂情感或句法特征的任何手动识别,同时比以前工作中基于特征的模型表现得更好。更重要的是,我们将礼貌预测这一具有挑战性的任务作为一个测试平台,以进一步了解这些成功的网络实际上在学习什么。为此,我们提出了几个网络可视化的基础上激活集群,一阶导数显着性,嵌入空间变换,帮助我们自动识别礼貌理论的几个微妙的语言学标记。此外,该分析揭示了多个新颖的,高得分的礼貌策略,当作为新的功能添加回来时,减少了原始特征化系统和神经模型之间的准确性差距,从而为这些神经网络的成功提供了一个清晰的定量解释。
2016-10-09 cs.AI cs.CL
Interpreting the linear structure of vision-language model embedding spaces
Kempner Institute for the Study of Natural and Artificial Intelligence at Harvard University(哈佛大学自然与人工智能研究所);Department of Computer Science, Harvard University(哈佛大学计算机科学系)
本文在四个视觉-语言模型的嵌入空间上训练稀疏自编码器,发现概念以稀疏线性方式组织,并提出 Bridge Score 揭示单模态概念如何通过潜在桥梁实现跨模态语义整合。
2025-08-20 cs.CL cs.CV cs.MM
Concept Based Continuous Prompts for Interpretable Text Classification
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);NPPA Key Laboratory of Publishing Integration Development, ECNUP(华东师范大学NPPA出版融合发展重点实验室)
本文提出基于概念瓶颈的连续提示解释框架,通过矩阵分解、GPT-4o概念池和子模优化选取可读概念,在保持文本分类性能的同时增强可解释性。
2024-12-05 cs.AI cs.CL
Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能项目)
针对ICA变换后词嵌入语义轴顺序任意的问题,受Word Tour启发提出Axis Tour方法,通过最大化轴的语义连续性优化轴顺序,实验显示其低维嵌入效果优于或与PCA、ICA相当。
2024-10-09 cs.CL
Intelligent Word Embeddings of Free-Text Radiology Reports
Department of Radiology, Stanford University School of Medicine(斯坦福大学医学院放射学系)
放射学报告是一种丰富的资源,可通过利用不断更新、集成和共享的大量数据来推进医学中的深度学习应用。然而,也存在重大挑战,主要是由于自然语言的模糊性和微妙性。我们提出了一种混合策略,结合语义词典映射和word2vec建模创建密集的向量嵌入的自由文本放射学报告。我们的方法充分利用了语义词典映射和无监督学习的优点。使用向量表示,我们自动将放射学报告分为三类,表示解释放射科医生诊断颅内出血的信心。我们用不同的超参数设置的词嵌入和一系列不同的分类器进行实验。最好的性能是88%的加权准确率和90%的加权召回率。我们的工作提供了利用非结构化的电子健康记录数据的潜力,允许直接分析的叙述性临床笔记。
2017-11-19 cs.CL cs.IR
xSense: Learning Sense-Separated Sparse Representations and Textual Definitions for Explainable Word Sense Networks
National Taiwan University(国立台湾大学)
尽管在各种自然语言处理任务上取得了成功,但由于密集的向量表示,词嵌入难以解释。本文着重于解释嵌入的各个方面,包括意义分离的向量维和定义生成。具体来说,给定一个上下文和一个目标词,该算法首先将目标词嵌入投影到一个高维稀疏向量上,并通过编码的上下文信息选择最能解释目标词语义的维度,从而间接推断出目标词的意义。最后,我们的算法应用RNN以人类可读的形式生成目标词的文本定义,这使得能够直接解释相应的词嵌入。本文还介绍了一个大的,高质量的上下文定义数据集,包括意义定义连同多个例句每个多义词,这是一个有价值的资源定义建模和词义消歧。所进行的实验表明,在BLEU评分和人类评价测试的优越性能。
2018-09-10 cs.CL
Enhancing Interpretability using Human Similarity Judgements to Prune Word Embeddings
University of Trento(特伦托大学);Denotation UG
本文提出一种监督学习方法,通过人类相似性判断剪枝词嵌入,保留20-40%特征以增强可解释性,并揭示不同领域保留特征在预测语义维度上的差异,促进AI与人类知识对齐。
2023-10-16 cs.CL
Disentangling Latent Emotions of Word Embeddings on Complex Emotional Narratives
Stanford University(斯坦福大学);University of California San Diego(加州大学圣地亚哥分校)
诸如GloVe的词嵌入模型广泛用于自然语言处理(NLP)研究中以将词转换为向量。在这里,我们提供了一个初步的指南,通过GloVe词向量探测文本中的潜在情感。首先,我们训练了一个神经网络模型,通过从斯坦福情绪叙述数据集(SEND)中获取语言输入来预测连续的情绪效价评级。在解释了模型中的权重后,我们发现只有少数几个维度的词向量有助于表达文本中的情感,并且词是根据其情感极性进行聚类的。此外,我们进行了线性变换,将高维嵌入向量投影到情感空间中。基于NRC情感词典(NRC Emotion Lexicon,GloVe),我们分别使用GloVe的投影词向量和原始词向量来可视化情感在词典中的纠缠。我们表明,在提出的情感空间中,我们能够比单独使用原始GloVe向量更好地理清情感。此外,我们还发现,不同对情感词的和向量成功地捕捉到了人类情感的表达。例如,表达爱的表达喜悦和信任的两个嵌入式词向量的总和与表达乐观的嵌入式向量共享高相似性(相似性得分0.62)。相反,该总和载体与表达Remorse的嵌入载体不相似(相似性得分-0.19)。在本文中,我们认为,通过建议的情感空间,情感的算术保存在词向量。在情感向量空间中发现的情感表示可以为如何帮助机器解开词嵌入中表达的情感提供一些启发。
2019-08-15 cs.CL cs.IR cs.LG
Identifying and interpreting non-aligned human conceptual representations using language modeling
Center for Mind/Brain Sciences (CIMeC)(心智/脑科学中心(CIMeC));University of Trento(特伦托大学)
本研究提出有监督表征对齐方法,通过对GloVe模型特征剪枝与线性探测分析,发现先天性失明会引发多语义领域的概念重组与语义偏移,为研究词语意义的个体差异提供了正式方法。
2024-03-10 cs.CL