TopiCLEAR: Adaptive embedding clustering for interpretable topic discovery from short texts
Graduate School of Frontier Sciences, The University of Tokyo Chiba, Japan(前沿科学研究生院,东京大学千叶分校);Mathematics and Informatics Center, The University of Tokyo Tokyo, Japan(数学与信息学中心,东京大学东京分校)
TopiCLEAR通过聚类嵌入与自适应降维方法,提升社交媒体文本的主题提取准确性和可解释性。
2026-08-28 cs.CL
Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
研究针对大规模文本语料库分析难题,提出用稀疏自动编码器创建SAE嵌入,经四个任务验证其比大语言模型更具性价比、比密集嵌入更可控,通过案例研究展示其在研究模型行为上的作用,是用于非结构化数据分析的通用工具。
2026-07-24 cs.AI cs.LG
Embedding-Aware Feature Discovery: Bridging Latent Representations and Interpretable Features in Event Sequences
Sber AI Lab(Sber AI实验室);ISP RAS Research Center for Trusted AI(俄罗斯科学院信息与系统研究所可信人工智能研究中心)
本文提出EAFD框架,通过结合预训练事件序列嵌入与自反思LLM驱动特征生成代理,解决嵌入与特征管道间的断层问题,实现特征的发现、评估与优化,提升事件序列处理性能。
2026-03-16 cs.AI cs.IR cs.LG
Physically Interpretable AlphaEarth Foundation Model Embeddings Enable LLM-Based Land Surface Intelligence
Dartmouth College(达特茅斯学院)
基于AlphaEarth基础模型的可解释嵌入,通过检索增强生成实现地表智能,验证了卫星嵌入在环境决策中的有效性。
2026-02-10 cs.CL cs.LG
Interpretable Company Similarity with Sparse Autoencoders
London School of Economics(伦敦经济学院);Tower Research Capital(塔罗研究资本)
本研究将稀疏自编码器应用于公司描述,提取可解释特征以衡量公司相似性,优于传统分类和嵌入方法,并在协整交易中产生更高夏普比率。
2025-05-24 cs.CL cs.LG econ.GN
LLM-based feature generation from text for interpretable machine learning
本研究提出利用大语言模型从文本中提取少量可解释特征用于机器学习,在两个科研数据集上实现了与前沿嵌入模型相当的预测性能,且特征可解释、方法可跨领域泛化。
2025-08-27 cs.CL cs.LG
Interpretable User Satisfaction Estimation for Conversational Systems with Large Language Models
Microsoft Corporation(微软公司);Purdue University(普渡大学)
本文提出SPUR方法,通过迭代提示框架监督大语言模型学习可解释评分标准,以比嵌入方法更高的准确率估计对话系统用户满意度。
2024-06-09 cs.AI cs.IR
Improving LLM Interpretability and Performance via Guided Embedding Refinement for Sequential Recommendation
University of California, Berkeley(加州大学伯克利分校);Berkeley AI Research Lab (BAIR)(伯克利人工智能研究实验室);Tsinghua University(清华大学)
针对LLM集成到序列推荐系统中的可解释性与透明度问题,提出引导嵌入优化方法,以LLM为辅助工具生成领域语义引导嵌入并优化基础嵌入,实验表明该方法适配多种基础模型,泛化性好,可提升推荐性能(MRR等指标提升10%-50%)并增强可解释性。
2025-04-15 cs.AI cs.IR
Asking the Right Questions: Ontology-Grounded Interpretable Embeddings for Biomedical Text
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
QIME通过本体论引导的问题构建可解释的医学文本嵌入,生成具有临床意义的yes/no问题,提升生物医学文本的解释性和性能。
2026-09-09 cs.AI cs.CL
Analytical Methods for Interpretable Ultradense Word Embeddings
词嵌入对各种各样的任务都很有用,但它们缺乏可解释性。通过旋转词空间,可以识别可解释的维度,同时保留嵌入中包含的信息而不会有任何损失。在这项工作中,我们研究了三种通过旋转使词空间可解释的方法:2016)、线性支持向量机和我们提出的新方法DensRay。与Densifier相比,DensRay可以以封闭形式计算,无超参数,因此比Densifier更强大。我们对词汇归纳法和基于集合的词语类比法这三种方法进行了评价。此外,我们提供了定性的见解,如何解释的词空间可以用来消除性别偏见的嵌入。
2019-09-13 cs.CL
SPINE: SParse Interpretable Neural Embeddings
Carnegie Mellon University(卡内基梅隆大学)
没有理由的预测效用有限。神经模型的成功很大程度上归功于它们能够学习丰富、密集和富有表现力的表示。虽然这些表示捕捉到了数据中潜在的复杂性和潜在的趋势,但它们远非可解释的。我们提出了一种新的去噪k-稀疏自编码器变体,它可以生成高效且可解释的分布式单词表示(词嵌入),从GloVe和word 2 vec等最先进方法的现有单词表示开始。通过大规模的人类评估,我们报告说,我们得到的词嵌入比原来的GloVe和word 2 vec嵌入更可解释。此外,我们的嵌入优于现有的流行词嵌入在一套不同的基准下游任务。
2017-11-23 cs.CL
Interpretable Topic Extraction and Word Embedding Learning using row-stochastic DEDICOM
Fraunhofer IAIS(弗劳恩霍夫研究所);University of Bonn(波恩大学)
提出行随机 DEDICOM 变体,在语料库 PMI 矩阵上同时完成可解释主题簇识别与词嵌入学习,并给出高效约束训练方法和定性评估。
2025-07-22 cs.AI cs.CL cs.LG
Interpretable Text Embeddings and Text Similarity Explanation: A Survey
University of Zurich(苏黎世大学);University of Stuttgart(斯图加特大学)
该综述针对文本嵌入可解释性及相似性解释的研究缺口,系统梳理了固有可解释文本嵌入与文本相似性解释的相关方法、思路、权衡与评估方式,并总结经验、指出未来研究方向。
2025-10-02 cs.AI cs.CL cs.IR
Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding
Williams College(威廉姆斯学院)
词嵌入是一种功能强大的自然语言处理技术,但它们非常难以解释。为了实现可解释的NLP模型,我们创建了每个维度都是可解释的向量。通过内在可解释性,我们指的是一个系统,其中每个维度都与一些人类可理解的提示相关联,这些提示可以描述该维度的含义。为了创建更多可解释的词嵌入,我们将预训练的密集词嵌入转换为稀疏嵌入。这些新的嵌入本质上是可解释的:它们的每个维度都是从一个自然语言单词或特定的语法概念创建的,并表示该单词或语法概念。我们通过稀疏编码构造这些嵌入,其中基集中的每个向量本身就是一个词嵌入。因此,我们的稀疏向量的每个维度对应于一个自然语言单词。我们还表明,使用这些稀疏嵌入训练的模型可以实现良好的性能,并且在实践中更具可解释性,包括通过人工评估。
2021-09-27 cs.CL cs.LG stat.ML
semantic-features: A User-Friendly Tool for Studying Contextual Word Embeddings in Interpretable Semantic Spaces
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出 semantic-features 库,将上下文化词嵌入投影到可解释语义空间,并通过450个歧义与格句子对验证三个MLP能敏感反映构式带来的生命性解释差异。
2025-06-06 cs.AI cs.CL
Low-dimensional Embeddings for Interpretable Anchor-based Topic Inference
Cornell University(康奈尔大学)
锚词算法通过在高维词共现空间中找到近似的凸包来执行可证明有效的主题模型推理。然而,现有的贪心算法往往选择较差的锚词,降低了主题质量和可解释性。而不是找到一个近似的凸包在一个高维空间,我们建议找到一个确切的凸包在一个可视化的2-或3-维空间。这种低维嵌入既改善了主题,又清楚地向用户展示了算法选择某些单词的原因。
2017-11-18 cs.CL
Adjusting Interpretable Dimensions in Embedding Space with Human Judgments
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学)
针对嵌入空间中基于种子词的可解释维度效果不稳定的问题,本文结合人类对词语维度位置的评分来调整维度向量,并在物体与文体属性预测上取得显著提升。
2024-04-03 cs.CL
Interpretable Word Embeddings via Informative Priors
Linköping University(林雪平大学);Aalto University(阿尔托大学)
词嵌入在NLP任务中表现出了强大的性能。然而,词嵌入缺乏可解释性和无监督的性质限制了它们在计算社会科学和数字人文科学中的使用。我们建议使用信息先验知识来创建概率词嵌入的可解释和域信息维度。实验结果表明,合理的先验知识可以捕捉潜在的语义概念比或与当前的最先进的水平,同时保留使用先验知识的简单性和概括性。
2019-09-03 cs.CL cs.LG stat.ML
Interpretable Neural Embeddings with Sparse Self-Representation
Vector Lab(向量实验室);JD Finance(京东金融)
针对现有词嵌入缺乏可解释性及稀疏表示方法存在不稳定性的问题,提出一种将数据自表示与浅层神经网络关联的新方法,学习出兼具表达力与可解释性的词嵌入,在可解释性和下游任务上均表现优异。
2023-06-25 cs.CL cs.LG
Towards Interpretable Summary Evaluation via Allocation of Contextual Embeddings to Reference Text Topics
Technical University of Munich(慕尼黑工业大学);Trinity College Dublin(都柏林圣三一学院);IBM(国际商业机器公司);Universitat de Barcelona(巴塞罗那大学)
尽管最近在摘要生成模型方面取得了广泛的进展,但对自动生成的摘要的评估仍然广泛依赖于单分数系统,不足以进行透明的评估和深入的定性分析。为了弥合这一差距,我们提出了多方面的可解释摘要评价方法(MISEM),这是基于分配的摘要的上下文令牌嵌入到语义主题中确定的参考文本。我们进一步贡献了一个可解释性工具箱,用于自动摘要评估和摘要评分,主题识别和令牌主题分配的交互式视觉分析。MISEM在TAC'08数据集上实现了与人类判断的.404皮尔逊相关性。
2022-10-25 cs.CL
iBERT: Interpretable Embeddings via Sense Decomposition
Microsoft(微软公司);Columbia University(哥伦比亚大学)
iBERT通过语义分解生成可解释嵌入,提升风格表示效果并保持作者身份验证性能。
2026-01-25 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California(南加州大学);Tencent AI Lab, Seattle(腾讯人工智能实验室(西雅图))
本研究针对句子嵌入组合语义可解释性不足的问题,提出支持嵌入空间组合操作的InterSent框架,通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入,在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Learning and Evaluating Sparse Interpretable Sentence Embeddings
ETH Zürich(苏黎世联邦理工学院)
之前对词嵌入的研究表明,稀疏表示可以在现有的密集嵌入之上学习,也可以在训练期间通过模型约束获得,具有增加可解释性的好处:在某种程度上,每个维度都可以被人类理解,并与数据中的可识别特征相关联。在本文中,我们把这个想法转移到句子嵌入,并探讨了几种方法来获得稀疏表示。我们进一步介绍了一种新的,定量的和自动化的评价指标句子嵌入可解释性,基于主题连贯性的方法。我们观察到增加的可解释性相比,密集的模型,电影对话的数据集和场景描述从MS COCO数据集。
2018-09-25 cs.CL
Interpretable probabilistic embeddings: bridging the gap between topic models and neural networks
National Research University Higher School of Economics(国立研究大学高等经济学院);Lomonosov Moscow State University(莫斯科国立大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们认为概率主题模型和最近的词嵌入技术从学习的角度隐藏的语义表示。受这两种方法惊人相似性的启发,我们将它们合并,并在词共现数据上使用在线EM算法学习概率嵌入。由此产生的嵌入执行与跳过革兰氏阴性采样(SGNS)的单词相似性任务,并在组件的可解释性的好处。接下来,我们学习概率文档嵌入,在文档相似性任务上优于paragraph2vec,并且需要更少的内存和训练时间。最后,我们采用多模态主题模型的加性正则化(ARTM)来获得高稀疏性,并学习其他模态的嵌入,例如时间戳和类别。我们观察到词相似性性能和有意义的模态间相似性的进一步改善。
2017-11-11 cs.CL
PRISM: A Framework for Producing Interpretable Political Bias Embeddings with Political-Aware Cross-Encoder
School of Computing, National University of Singapore(新加坡国立大学计算机学院);School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)智能科学与工程学院)
本文提出PRISM框架,通过争议话题偏见指标挖掘和交叉编码器政治偏见嵌入两阶段方法,生成可解释的政治偏见嵌入,在政治偏见分类任务中优于现有模型并支持多样化检索与意识形态分析。
2025-05-30 cs.CL
SemCSE-Multi: Multifaceted and Decodable Embeddings for Aspect-Specific and Interpretable Scientific Domain Mapping
Bielefeld University(比勒菲尔德大学)
SemCSE-Multi通过多维嵌入和解码技术,实现科学领域可解释的细粒度映射与可视化。
2026-01-10 cs.AI cs.CL cs.IR
SCDTour: Embedding Axis Ordering and Merging for Interpretable Semantic Change Detection
University of Liverpool(利物浦大学)
提出SCDTour方法,通过排序和合并可解释的嵌入轴,在保持高可解释性的同时缓解语义变化检测的性能下降,有效平衡可解释性与检测性能。
2025-09-15 cs.CL
ML-EAT: A Multilevel Embedding Association Test for Interpretable and Transparent Social Science
University of Washington(华盛顿大学)
本研究提出多层嵌入关联测试(ML-EAT),通过三个粒度层次量化偏见并定义九种EAT模式及可视化方法,提升了语言技术中内在偏见测量的可解释性与透明度。
2024-08-27 cs.AI cs.CL cs.CY
LISE : Listenable Interpretable Speaker Embeddings
University of Southampton(南安普顿大学);The Hong Kong Polytechnic University(香港理工大学);University of Edinburgh(爱丁堡大学)
提出LISE框架,将预训练说话人嵌入分解为少量可解释分量,在保持说话人验证性能的同时,通过听辨实验证明其可解释性。
2026-06-23 cs.CL cs.SD
From communities to interpretable network and word embedding: an unified approach
Université du Mans(勒芒大学);INaLCO(国立东方语言文明学院)
针对图嵌入与词嵌入训练耗资源、黑箱不可解释的问题,提出基于社区的低维二分框架LDBGF及两种实现SINr-NR、SINr-MF,可生成高效稳定的可解释嵌入。
2024-12-11 cs.AI cs.CL cs.LG
Mechanistic Decomposition of Sentence Representations
针对句子嵌入内部结构不可解释的问题,本文提出基于token级字典学习的机制性分解方法,以揭示池化过程及嵌入中的语义、句法潜在特征。
2025-06-10 cs.AI cs.CL
Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings
Indian Institute of Technology (BHU)(印度理工学院(瓦拉纳西))
诸如由ELMo提供的上下文化词嵌入(CWE)(Peters等人,2018),Flair NLP(Akbik et al.,2018)或BERT(Devlin et al.,2019)是NLP最近的一项重大创新。CWE根据其各自的上下文提供单词的语义向量表示。它们相对于静态词嵌入的优势已经在许多任务中表现出来,例如文本分类、序列标记或机器翻译。由于相同词类型的向量可以根据相应的上下文而变化,因此它们隐含地提供了词义消歧(WSD)的模型。我们介绍了一个简单而有效的方法,WSD使用最近邻分类CWE。我们比较了不同CWE模型的性能,并报告了两个标准WSD基准数据集的改进情况。我们进一步表明,预训练的BERT模型能够将多义词放置到嵌入空间的不同“意义”区域中,而ELMo和Flair NLP似乎不具备这种能力。
2019-10-01 cs.CL
Semantic Token Reweighting for Interpretable and Controllable Text Embeddings in CLIP
Seoul National University(首尔大学);Qualcomm AI Research(高通人工智能研究院)
提出语义 Token 重加权框架 SToRI,通过基于上下文重要性对语义元素差异化加权来改进 CLIP 文本编码,实现可解释且可控的文本嵌入,并在少样本图像分类和偏好图像检索中验证了有效性。
2024-10-16 cs.CL cs.CV cs.LG
Interpretable contrastive word mover's embedding
Tufts University(塔夫茨大学)
本文表明,一种流行的方法,监督嵌入文件的分类,即对比词移动器的嵌入,可以显着提高通过增加可解释性。这种可解释性是通过将聚类促进机制纳入对比损失来实现的。在几个公共数据集上,我们表明我们的方法在现有基线的基础上显着改进,同时通过识别一组最能代表特定类别的关键字来提供对集群的解释。我们的方法的动机部分是需要开发自然语言处理(NLP)方法的\textit{novel problem of assessing student work for scientific writing and thinking} -一个问题,是中央(教育)学习科学(LS)的领域。在这种情况下,我们表明,我们的方法导致一个有意义的评估学生的工作相关的实验室报告,从生物类,可以帮助LS研究人员深入了解学生的理解和评估科学思维过程的证据。
2021-11-01 cs.CL cs.LG
Interpretable Adversarial Perturbation in Input Embedding Space for Text
Preferred Networks, Inc.(优选网络公司);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN AIP(理化学研究所先进智能项目中心);Tohoku University(东北大学);NTT Communication Science Laboratories(日本电信电话通信科学实验室)
在图像处理领域取得巨大成功之后,对抗训练的思想已被应用于自然语言处理(NLP)领域的任务。一种有前途的方法直接将图像处理领域中开发的对抗训练应用于输入词嵌入空间,而不是文本的离散输入空间。然而,这种方法放弃了生成对抗性文本的可解释性,以显着提高NLP任务的性能。本文通过限制输入嵌入空间中现有单词的扰动方向来恢复这些方法的可解释性。因此,我们可以通过将扰动视为句子中单词的替换,同时保持甚至提高任务性能,来直接重建具有对实际文本的扰动的每个输入。
2018-05-08 cs.CL cs.LG stat.ML
Inducing and Embedding Senses with Scaled Gumbel Softmax
用于学习词义嵌入的方法用多个特定于词义的向量表示单个词。这些方法不仅应该产生可解释的意义嵌入,还应该学习如何在给定的上下文中选择使用哪个意义。我们提出了一个无监督模型,使用修改后的Gumbel softmax函数学习意义嵌入,该函数允许可微离散意义选择。我们的模型产生的感觉嵌入是竞争性的(有时是最先进的)基于多个相似性的下游评估。然而,这些下游评估任务的性能并不相关的意义嵌入的可解释性,因为我们发现通过与竞争的多意义嵌入的可解释性比较。虽然许多以前的方法在下游评估中表现良好,但它们不会产生可解释的嵌入和学习重复的意义组;我们的方法实现了两全其美。
2019-12-16 cs.CL
Interpretable Adversarial Training for Text
University of Maryland(马里兰大学)
在文本域中生成高质量和可解释的对抗性示例比在图像域中更艰巨。这部分是由于文本的离散性,部分是由于确保对抗性示例仍然是可能的和可解释的问题,部分是由于在输入扰动下保持标签不变性的问题。为了解决其中的一些挑战,我们引入了稀疏投影梯度下降(SPGD),这是一种为文本制作可解释的对抗性示例的新方法。SPGD通过将输入扰动投影到具有最高余弦相似度的附近词嵌入的方向上来对输入扰动施加方向正则化约束。该约束确保扰动在可解释的方向上移动每个词嵌入(即,朝向另一个附近的词嵌入)。此外,SPGD施加稀疏性约束的扰动在句子层面上忽略词嵌入扰动的范数低于一定的阈值。这个约束确保我们的方法每个序列只改变几个单词,从而产生更高质量的对抗性示例。我们对IMDB电影评论数据集的实验表明,与最先进的方法相比,所提出的SPGD方法提高了对抗性示例的可解释性和似然性(通过平均每个单词的困惑度进行评估),同时在训练性能方面几乎没有损失。
2019-05-30 cs.CL cs.LG stat.ML
Interpretable Segmentation of Medical Free-Text Records Based on Word Embeddings
University of Warsaw(华沙大学);Institute of Computer Science Polish Academy of Sciences(波兰科学院计算机科学研究所)
有类似情况的病人得到类似的诊断是真的吗?在本文中,我们展示了NLP方法和一个独特的文档语料库来验证这一说法。我们(1)介绍了一种基于医生记录的自由文本描述的医疗访问表示方法,(2)介绍了一种新的患者访问聚类方法,(3)给出了该方法在10万次访问语料库上的应用。与所提出的方法,我们得到了稳定的和分离的部分访问,对最终的医疗诊断进行了积极的验证。我们展示了如何提出的算法可以用来帮助医生在他们的实践。
2020-06-05 cs.CL cs.LG stat.ML
SEMIE: SEMantically Infused Embeddings with Enhanced Interpretability for Domain-specific Small Corpus
Research and Technology Center, Robert Bosch(罗伯特·博世研究与技术中心)
词嵌入是现代NLP管道的基本构建块。已经做出努力来学习丰富的,高效的,可解释的嵌入在公共领域中可用的大型通用数据集。然而,这些嵌入具有有限的适用性,从特定领域,如汽车,制造,维护和支持等,在这项工作中,我们提出了一个全面的概念,解释词嵌入,并提出了一种新的方法来生成高度可解释性和高效的嵌入特定领域的小语料库。我们报告的评估结果,我们得到的词嵌入,并展示其新的功能,增强可解释性。
2021-03-21 cs.CL cs.LG
Evaluating Sparse Interpretable Word Embeddings for Biomedical Domain
Isfahan University of Technology(伊斯法罕理工大学);Isfahan University of Medical Sciences(伊斯法罕医科大学)
词嵌入已经在包括生物医学领域的自然语言处理任务中找到了它们的方式。虽然这些矢量表示成功地捕捉语义和句法词的关系,隐藏的模式和趋势的数据,他们无法提供可解释性。可解释性是论证的关键手段,而论证是生物医学应用中不可或缺的一部分。我们提出了一个包容性的研究在医学领域的词嵌入的可解释性,侧重于稀疏方法的作用。提供了词向量表示的可解释性的定性和定量测量和度量。对于定量评估,我们引入了一个广泛的分类数据集,可用于量化基于类别理论的可解释性。还提出了所研究的方法的内在和外在评价。至于后者,我们提出了数据集,可用于有效的外在评价的词向量在生物医学领域。基于我们的实验,可以看出,稀疏的词向量显示出更好的可解释性,同时保留了其原始向量在下游任务中的性能。
2020-05-11 cs.CL cs.LG
Hierarchical Density Order Embeddings
Cornell University(康奈尔大学);Ithaca, NY 14850, USA(美国纽约州伊萨卡市)
概率词嵌入通过用概率密度而不是点向量来表示词,可以捕获丰富的、可解释的语义信息和不确定性。不确定性信息在捕获蕴涵关系时可能特别有意义--由此,诸如“实体”之类的一般词对应于包含诸如“动物”或“仪器”之类的更具体词的广泛分布。我们引入密度顺序嵌入,通过封装概率密度来学习层次表示。特别是,我们提出了简单而有效的损失函数和距离度量,以及基于图形的计划来选择负样本,以更好地学习分层密度表示。我们的方法在WordNet上位词关系预测任务和具有挑战性的HyperLex词汇蕴涵数据集上提供了最先进的性能-同时保留了丰富且可解释的密度表示。
2018-04-26 cs.AI cs.CL cs.LG
The POLAR Framework: Polar Opposites Enable Interpretability of Pre-Trained Word Embeddings
IIT Kharagpur(印度理工学院卡拉格普尔分校);RWTH Aachen University(亚琛工业大学);GESIS(德国社会科学信息中心)
我们介绍了POLAR -一个框架,通过采用语义差异,增加了可解释性的预训练词嵌入。语义差异是一种心理测量学结构,用于通过分析单词在两个极端对立之间的尺度上的位置来测量单词的语义(例如,冷-热,软-硬)。我们的方法的核心思想是通过语义差异将现有的、预先训练的词嵌入转换到一个新的“极”空间,该空间具有由这种极对定义的可解释维度。我们的框架还允许从由预言机提供的一组极坐标维度中选择最有区别的维度,即,外部来源。我们证明了我们的框架的有效性,通过将其部署到各种下游任务中,在这些任务中,我们的可解释的词嵌入实现了与原始词嵌入相当的性能。我们还表明,我们的框架选择的可解释的尺寸与人类的判断。总之,这些结果表明,可解释性可以添加到词嵌入,而不影响性能。我们的工作是相关的研究人员和工程师有兴趣解释预先训练的词嵌入。
2020-01-28 cs.CL cs.LG stat.ML
NALA: an Effective and Interpretable Entity Alignment Method
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院)
针对现有嵌入实体对齐方法推理过程不充分的问题,提出基于非公理逻辑(NAL)捕捉三类推理路径的NALA方法,迭代对齐实体与关系,在DBP15K数据集上Hits@1达0.98+,兼具可解释性与扩展性。
2024-11-02 cs.CL
Analysing the Linearity of Linguistic Relations in Language Model Embedding Spaces
ADAPT Research Centre(ADAPT研究中心);Trinity College Dublin(都柏林圣三一大学);Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出框架分析语言模型嵌入中语言关系的线性编码,发现屈折和派生关系近完美线性,词典和百科关系误差大,且RoBERTa和ModernBERT优于GloVe。
2026-09-21 cs.CL cs.LG
Lightly-supervised Representation Learning with Global Interpretability
University of Arizona(亚利桑那大学)
我们提出了一种用于信息抽取,特别是命名实体分类的轻度监督方法,该方法结合了传统自举的优点,即,使用有限的注释和提取模式的可解释性,以及表示学习中提出的鲁棒学习方法。我们的算法迭代地学习自定义嵌入的多词实体提取和模式,匹配他们从每个类别的几个例子实体。我们证明,这种基于表示的方法优于其他三个国家的最先进的自举方法在两个数据集:CoNLL-2003和OntoNotes。此外,使用这些嵌入,我们的方法输出了一个全局可解释的模型,由一个决策列表组成,根据它们与给定类中嵌入的平均实体的接近程度对模式进行排名。我们表明,这种可解释的模型执行接近我们的完整的自举模型,证明表示学习可以用来产生可解释的模型,性能损失很小。
2018-05-29 cs.CL
PEACH: Pretrained-embedding Explanation Across Contextual and Hierarchical Structure
University of Melbourne(墨尔本大学);University of Sydney(悉尼大学);FortifyEdge
本文提出基于树的解释技术PEACH,利用任意预训练上下文嵌入以人类可解释的方式解释文本分类,在9个NLP基准上验证其灵活性与实用性,并能识别模型错误协助数据集调试。
2024-04-21 cs.CL
Using Sparse Semantic Embeddings Learned from Multimodal Text and Image Data to Model Human Conceptual Knowledge
Queen’s University Belfast(贝尔法斯特女王大学);BrainWaveBank Ltd.(脑波银行有限公司)
分布式模型提供了一种方便的方式来建模语义使用密集的嵌入空间从无监督学习算法。然而,密集嵌入空间的维度并没有被设计成类似于人类语义知识。此外,尽管神经认知研究表明语义与语言和感知都有很深的联系,但嵌入通常是从单一的信息源(通常是文本数据)构建的。在本文中,我们结合了来自最先进的分布模型的文本和基于图像的表示的多模态信息,使用联合非负稀疏嵌入产生稀疏的,可解释的向量。通过深入分析比较这些稀疏模型与人类衍生的行为和神经成像数据,我们证明了它们预测人类真实语义知识的可解释语言描述的能力。
2018-11-14 cs.CL
SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings
RWTH Aachen(亚琛工业大学);L3S Research Center(L3S研究中心);University of Mannheim(曼海姆大学);GESIS(盖泽斯社会科学研究所);CSH Vienna(维也纳复杂科学中心)
为词嵌入添加可解释性是文本表示的一个活跃研究领域。最近的工作已经探索了通过所谓的极性维度(例如好与坏,正确与错误)嵌入单词的潜力。这些最近的方法的例子包括SemAxis、POLAR、FrameAxis和BiImp。虽然这些方法为词提供了可解释的维度,但它们并不是为了处理一词多义而设计的,即它们不能很容易地区分词的不同意义。为了解决这个问题,我们提出了SensePOLAR,原来的POLAR框架的扩展,使预先训练的上下文词嵌入的词义感知可解释性。由此产生的可解释的词嵌入实现的性能水平,可与原始的上下文词嵌入在各种自然语言处理任务,包括GLUE和SQuAD基准。我们的工作消除了现有方法的一个根本限制,为用户提供上下文词嵌入的感知解释。
2023-01-11 cs.CL cs.LG
Interpretable Entity Representations through Large-Scale Typing
Department of Computer Science(计算机科学系);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在用于自然语言处理的标准方法中,文本中的实体通常被嵌入具有预训练模型的密集向量空间中。以这种方式产生的嵌入在输入到下游模型时是有效的,但它们需要最终任务的微调,并且从根本上难以解释。在本文中,我们提出了一种方法来创建实体表示,是人类可读的,并实现高性能的实体相关的任务开箱即用。我们的表示是向量,其值对应于细粒度实体类型的后验概率,表示类型模型决定实体属于相应类型的置信度。我们使用细粒度实体类型化模型获得这些表示,该模型在监督的超细实体类型化数据(Choi et al. 2018)或来自维基百科的远程监督示例上进行训练。在涉及识别实体身份的实体探测任务中,我们在无参数下游模型中使用的嵌入在训练模型中与基于ELMo和BERT的嵌入相比具有竞争力的性能。我们还表明,它是可能的,以减少我们的类型集的大小在特定领域的学习为基础的方式。最后,我们表明,这些嵌入可以事后修改,通过少量的规则,将领域知识和提高性能。
2020-10-13 cs.CL cs.LG
Topic Modeling in Embedding Spaces
Columbia University(哥伦比亚大学);Cambridge University(剑桥大学)
主题建模分析文档以学习有意义的单词模式。然而,现有的主题模型无法学习可解释的主题时,与大型和重尾词汇。为此,我们开发了嵌入式主题模型(ETM),一个生成模型的文件,结婚的传统主题模型与词嵌入。特别地,它用类别分布对每个词进行建模,该类别分布的自然参数是词嵌入与其指定主题的嵌入之间的内积。为了适应ETM,我们开发了一个有效的摊销变分推理算法。ETM发现可解释的主题,即使是包含罕见词和停用词的大型词汇表。在主题质量和预测性能方面,它优于现有的文档模型,如潜在狄利克雷分配(LDA)。
2019-07-08 cs.CL cs.IR cs.LG
FrameBERT: Conceptual Metaphor Detection with Frame Embedding Learning
University of Surrey(萨里大学);University of Sheffield(谢菲尔德大学);Meta AI
在本文中,我们提出了FrameBERT,一个基于RoberTa的模型,可以显式地学习和纳入框架网络嵌入概念级隐喻检测。FrameBERT不仅实现了更好的或与最先进的性能相当的性能,而且与现有模型相比,它具有更好的解释性和可解释性,这归因于它能够解释FrameNet的外部知识。
2023-02-09 cs.CL
Identification, Interpretability, and Bayesian Word Embeddings
Ohio State University(俄亥俄州立大学)
社会科学家最近转向使用自然语言处理工具(如词嵌入)来分析文本,以衡量意识形态、偏见和亲和力等概念。然而,词嵌入很难在社会科学家熟悉的回归框架中使用:嵌入既不能识别,也不能直接解释。我提供了两个标准嵌入模型的改进来解决这些问题。首先,我开发了贝叶斯词嵌入与自动相关性确定先验,放松假设,所有嵌入维度具有相等的权重。其次,我应用工作识别潜变量模型来锚定结果嵌入的维度,识别它们,并使它们在回归中可解释和可用。然后,我将这个模型和锚定方法应用到两个案例中,即美国总统就职演说中国际主义言论的转变,以及美国外交政策决策者审议中的好战性之间的关系。我发现,1945年之后,就职演说变得不那么国际化了,这与传统智慧背道而驰,好战性的增加与美国敌对行动的增加有关,这表明精英的审议不是廉价的谈话,并有助于确认模型的有效性。
2019-04-02 cs.CL stat.AP
Inductive Document Network Embedding with Topic-Word Attention
Université de Lyon, Lyon 2(里昂第二大学);Digital Scientific Research Technology(数字科研技术公司)
文档网络嵌入旨在学习结构化文本语料库的表示,即当文档彼此链接时。最近的算法扩展了网络嵌入的方法,将文本内容与节点在其配方。在大多数情况下,很难解释学习到的表征。此外,很少重要的是给泛化到新的文件,没有观察到的网络。本文提出了一种可解释、可归纳的文档网络嵌入方法。我们引入了一种新的机制,主题词注意力(TWA),生成文档表示词和主题表示之间的相互作用的基础上。我们训练这些词和主题向量,通过我们的通用模型,归纳文档网络嵌入(IDNE),利用文档网络中的连接。定量评估表明,我们的方法在各种网络上实现了最先进的性能,我们定性地表明,我们的模型产生了有意义的和可解释的单词,主题和文档的表示。
2020-01-10 cs.CL cs.IR cs.LG