ProtoryNet - Interpretable Text Classification Via Prototype Trajectories
Yale University(耶鲁大学);University of Virginia(弗吉尼亚大学)
本研究提出基于原型轨迹的可解释文本分类模型ProtoryNet,通过原型剪枝提升可解释性,实验证明其准确率优于基线原型模型、缩小了与黑盒模型的差距,且更符合人类认知习惯。
2023-11-06 cs.CL cs.LG stat.ML
Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction
Nanyang Technological University(南洋理工大学);East China Normal University(华东师范大学);National University of Singapore(新加坡国立大学)
关系抽取是从文本中抽取实体关系以构建知识图谱的关键步骤,但它通常存在长尾问题。训练数据主要集中在少数几类关系上,导致对其余类型的关系缺乏足够的注释。本文提出了一种从未标记文本中学习关系原型的通用方法,通过在有足够训练数据的情况下,从关系类型中转移知识,从而实现长尾关系抽取。关系原型是实体间的一个隐含因素,它反映了关系的意义以及它们之间的接近程度,适用于迁移学习。具体来说,我们从文本中构建一个共现图,并捕获一阶和二阶实体近似用于嵌入学习。在此基础上,我们进一步优化了实体对到相应原型的距离,这可以很容易地适应几乎任意的RE框架。因此,通过实体对和大规模文本信息的语义近似关系,学习不常见或甚至看不见的关系类型将受益于此。我们在两个公开数据集上进行了广泛的实验:纽约时报和Google Distant Supervision。与八个最先进的基线相比,我们提出的模型实现了显著的改进(平均4.1%F1)。长尾关系的进一步结果证明了学习关系原型的有效性。我们进一步进行了消融研究,以调查不同的组件的影响,并将其应用到四个基本的关系抽取模型,以验证其泛化能力。最后,我们分析了几个例子的情况下,给出直观的印象,定性分析。我们的代码稍后会公布。
2020-11-27 cs.CL cs.LG
Protoformer: Embedding Prototypes for Transformers
University of Central Florida(中佛罗里达大学)
Transformers在文本分类中有着广泛的应用。不幸的是,真实世界的数据包含异常和嘈杂的标签,这对最先进的Transformers造成了挑战。本文提出了Protoformer,一种新的自学习框架Transformers,可以利用有问题的样本进行文本分类。Protoformer具有嵌入样本的选择机制,使我们能够有效地提取和利用异常原型和困难的类原型。我们在具有不同文本结构的数据集上展示了这种能力(例如,Twitter,IMDB,ArXiv).我们还将该框架应用于几个模型。结果表明,Protoformer可以改善电流Transformers在各种经验设置。
2022-06-25 cs.CL cs.LG
Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation
University of Waterloo(滑铁卢大学)
本文提出SUPREME框架,通过引入多模态原型和图像偏差估计,有效缓解图像与文本之间的模态差距,提升少样本分布外检测性能。
2026-01-25 cs.CL cs.CV cs.LG
Advancing Interpretability in Text Classification through Prototype Learning
George Mason University(乔治梅森大学)
本文提出 ProtoLens 原型模型,通过原型感知片段抽取与原型对齐机制,在保持文本分类准确率的同时提供子句级可解释性,并在多个基准上优于基线。
2024-10-24 cs.AI cs.CL
A Corpus-based Evaluation of Lexical Components of a Domainspecific Text to Knowledge Mapping Prototype
Khulna University of Engineering & Technology (KUET)(库尔纳工程技术大学);the University of Bolton(博尔顿大学)
本文的目的是评估的文本知识图谱(TKM)原型的词汇成分。原型是特定领域的,其目的是将教学文本映射到知识域。原型的知识领域的背景是物理学,特别是直流电路。在开发过程中,原型已经用来自域的有限数据集进行了测试。该原型现在达到了需要使用称为语料库的代表性语言数据集进行评估的阶段。语料库是从典型源中提取的文本的集合,其可以用作评估NLP系统的测试数据集。由于该领域没有可用的语料库,我们开发了一个有代表性的语料库,并用语言信息对其进行注释。原型的评估认为它的两个主要组成部分之一-词汇知识库。借助语料库,评价丰富了词汇、语法结构等词汇知识资源。这导致原型解析语料库中合理数量的句子。
2012-04-28 cs.CL cs.IR
A Corpus-based Evaluation of a Domain-specific Text to Knowledge Mapping Prototype
Khulna University of Engineering & Technology (KUET)(库尔纳工程技术大学);the University of Bolton(博尔顿大学);University of Dhaka(达卡大学)
本文的目的是评估一个文本到知识映射(TKM)的原型。原型是特定领域的,其目的是将教学文本映射到知识域。知识领域的背景是直流电路。在开发过程中,原型已经用来自域的有限数据集进行了测试。原型达到了一个阶段,它需要与一个有代表性的语言数据集称为语料库进行评估。语料库是从典型源中提取的文本的集合,其可以用作评估NLP系统的测试数据集。由于该领域没有可用的语料库,我们开发并注释了一个具有代表性的语料库。原型的评价考虑了它的两个主要组成部分-词汇成分和知识模型。对词汇成分的评价丰富了原型的词汇、语法结构等词汇资源。这导致原型解析语料库中合理数量的句子。虽然处理词汇是直接的,但识别和提取适当的语义关系要复杂得多。因此,有必要手动开发领域的概念结构,以制定特定领域的语义关系框架。语义关系框架由55个关系组成,其中42个关系为反向关系。我们还对语料进行了修辞分析,以证明其在语义表达上的代表性。最后,我们对语料进行了主题分析和语篇分析,分析原型对语篇的覆盖情况。
2012-04-28 cs.CL
Text-Adaptive Multiple Visual Prototype Matching for Video-Text Retrieval
Sun Yat-sen University(中山大学);HKUST (Guangzhou)(香港科技大学(广州));Tencent Youtu Lab(腾讯优图实验室);Zhejiang University(浙江大学)
随着视频在网络上的迅速出现,视频和文本之间的跨模态检索得到了越来越多的研究兴趣。通常,视频包含丰富的实例和事件信息,并且查询文本仅描述部分信息。因此,视频可以对应于多个不同的文本描述和查询。我们称这种现象为“视频-文本对应歧义”问题。当前的技术主要集中于挖掘视频内容和文本之间的局部或多级对齐(\textit{e.g.},对象到实体和动作到动词)。这些方法很难通过仅使用单个特征来描述视频来减轻视频-文本对应的歧义,这需要同时与多个不同的文本特征进行匹配。为了解决这个问题,我们提出了一个文本自适应多视觉原型匹配模型,自动捕获多个原型来描述一个视频的自适应聚合的视频令牌功能。给定一个查询文本,通过最相似的原型来确定相似度,以找到视频中的对应关系,这被称为文本自适应匹配。为了学习不同的原型来表示视频中的丰富信息,我们提出了一个方差损失,以鼓励不同的原型参加不同的视频内容。我们的方法在四个公共视频检索数据集上的性能优于最先进的方法。
2022-09-27 cs.CL cs.CV cs.IR
Beyond Adapter Retrieval: Latent Geometry-Preserving Composition via Sparse Task Projection
本文提出一种几何感知的稀疏重建框架,通过潜在原型稀疏组合实现LoRA适配器重用,提升零样本泛化,并在医学图像分割、报告生成和图像合成中验证有效性。
2025-08-06 cs.AI cs.CL cs.CV
MD-ProTector: Positioning Multiple Data-Driven Prototypes for LLM-Generated Text Detection
Seoul National University(首尔大学)
该研究针对LLM生成文本检测的类别内部差异问题,提出MD-ProTector模型,通过原型定位损失优化,在多基准测试中取得优于同类编码器方法的检测性能。
2026-11-05 cs.AI cs.CL
Minimizing Mismatch Risk: A Prototype-Based Routing Framework for Zero-shot LLM-generated Text Detection
School of Engineering, Westlake University, China(西交大学工程学院,中国)
本文提出DetectRouter框架,通过两阶段训练学习文本检测器的亲和力,以解决零样本LLM生成文本检测中的匹配风险问题。
2026-02-01 cs.CL
Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
目前的监督关系三元组提取方法需要大量的标记数据,因此在Few-Shot设置中性能较差。然而,人们可以通过学习一些实例来掌握新知识。为此,我们采取的第一步,研究Few-Shot关系三元组提取,这还没有得到很好的理解。与以前的单任务Few-Shot问题不同,关系三元组提取更具挑战性,因为实体和关系具有隐式相关性。本文提出了一种新的多原型嵌入网络模型,用于联合提取关系三元组的组成,即实体对和对应关系。具体而言,我们设计了一个混合原型学习机制,桥梁文本和知识的实体和关系。因此,实体和关系之间的隐式相关性被注入。此外,我们还提出了一个原型感知的正则化来学习更多有代表性的原型。实验结果表明,该方法可以提高Few-Shot三重提取的性能。
2020-10-30 cs.AI cs.CL cs.DB
A prototype Malayalam to Sign Language Automatic Translator
CUSAT(科钦科技大学)
手语是聋人的一种交流媒介,它使用手势交流和肢体语言来传达意思,而不是使用声音。本文提出了一个原型马拉雅拉姆语文本手语翻译系统。该系统以马拉雅拉姆语文本作为输入,并生成相应的手语。输出动画使用计算机生成的模型渲染。这一系统将有助于在铁路、银行、医院等公共设施场所向聋人传播信息,这也将成为学习手语的教育工具。
2015-09-26 cs.CL
Contrastive Learning with Prompt-derived Virtual Semantic Prototypes for Unsupervised Sentence Embedding
Tencent Cloud Xiaowei(腾讯云小微);Westlake University(西湖大学)
对比学习已经成为无监督句子嵌入的一种新的范式。以往的研究集中在实例方面的对比学习,试图构建积极的对文本数据增强。本文提出了一种新的基于虚拟语义原型的对比学习方法。具体而言,我们借助提示语,为每个实例构造虚拟语义原型,并利用提示语的否定形式推导出否定原型。利用原型对比损失,我们使锚句子嵌入靠近其对应的语义原型,远离否定原型以及其他句子的原型。语义文本相似性,转移和聚类任务的大量实验结果表明,我们提出的模型相比,强大的基线的有效性。代码可在https://github.com/lemon0830/promptCSE上获得。
2022-12-11 cs.CL
Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)
本文提出SharpReCL模型,通过原型向量和硬混合技术解决文本分类中的数据不平衡问题,提升对比学习效果。
2026-01-23 cs.CL
Starfish: A Prototype for Universal Preprocessing and Text-Embedded Programming
Dalhousie University(达尔豪斯大学)
本文提出了一种通用文本预处理和文本嵌入式编程(PTEP)的概念。预处理和文本嵌入式编程以碎片化和相互隔离的方式广泛应用于程序设计语言和框架中。PTEP的思想可以在\TeX \排版系统的实现中找到;它们在PHP和类似的Web语言中很突出,最后它们被用在MySQL数据科学框架中。本文介绍了这一领域的研究和相关工作在一个更统一的框架,我们描述了实现系统海星,满足以下新的原则PTEP:通用性,更新和替换模式,灵活性,可配置性和透明度。我们描述了海星,这是一个开放源代码的系统,实现通用的预处理和文本嵌入式编程在Perl的操作模型和设计。该系统是透明的,它的设计允许在其他程序设计语言以及直接执行。
2020-07-05 cs.CL cs.PL
Robust Text Classification: Analyzing Prototype-Based Networks
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Department of Computer Science, University of Southern California(南加州大学计算机科学系);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);NEC Laboratories Europe(NEC欧洲实验室);CAIR, Ss. Cyril and Methodius University(圣西里尔和美多德大学CAIR)
本文研究基于原型的网络在文本分类中的对抗鲁棒性,证明其作为语言模型架构变体在定向与静态攻击下更鲁棒,并分析可解释性及聚类紧密度的影响。
2024-10-28 cs.CL
DS@GT-ARC at eRisk 2026 Task 3: Sparse, Semantic, and LLM Reranking for ADHD Symptom Sentences
本文介绍佐治亚理工学院DS团队针对eRisk 2026任务3,采用分阶段检索结合稀疏BM25、语义及LLM重排序的方案,其中LLM重排序器取得官方最优成绩,分阶段重排序具发展前景。
2026-08-05 cs.CL
Language Model Meets Prototypes: Towards Interpretable Text Classification Models through Prototypical Networks
Drexel University(德雷塞尔大学)
本文围绕预训练语言模型的黑盒问题,提出结合原型网络、图注意力与对比学习的可解释文本分类框架,在保持性能的同时提供基于实例的决策解释。
2024-12-04 cs.AI cs.CL
Sparse and Dense Retrievers Learn Better Together: Joint Sparse-Dense Optimization for Text-Image Retrieval
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);NAVER Corporation(NAVER公司)
本文提出一种基于自知识蒸馏的稀疏-稠密联合优化框架,通过集成相似度分数实现双向学习,仅微调稠密编码器末层与稀疏投影头,使稀疏检索器在MSCOCO和Flickr30k上超越稀疏基线并达到或超过稠密模型性能。
2025-08-22 cs.CL cs.IR cs.LG
GAProtoNet: A Multi-head Graph Attention-based Prototypical Network for Interpretable Text Classification
College of Computing and Informatics, Drexel University(德雷塞尔大学计算与信息学院);Department of Computer Science, Tsinghua University(清华大学计算机系)
本文提出GAProtoNet,一种基于多头图注意力的白盒原型网络,通过将输入和原型视为图节点学习可解释表示,在不牺牲准确率的前提下实现文本分类决策的透明解释。
2024-12-19 cs.AI cs.CL
Rationalizing Text Matching: Learning Sparse Alignments via Optimal Transport
ASAPP, Inc.(ASAPP公司)
选择最相关的输入特征已经成为构建自解释模型的流行方法。在这项工作中,我们将这种选择性合理化方法扩展到文本匹配,其目标是联合选择和对齐文本片段(例如符号或句子),作为下游预测的理由。我们的方法采用最优运输(OT),以找到一个最小的成本之间的投入。然而,直接应用OT往往会产生密集的,因此无法解释的比对。为了克服这一限制,我们引入了新的约束变量的OT问题,导致高度稀疏的对齐与可控的稀疏性。我们的模型是端到端可区分的,使用Sinkhorn算法进行OT,并且可以在没有任何对齐注释的情况下进行训练。我们在StackExchange,MultiNews,e-SNLI和MultiRC数据集上评估了我们的模型。与强注意力基线模型相比,我们的模型实现了非常稀疏的合理选择,具有高保真度,同时保持了预测精度。
2020-05-27 cs.CL cs.LG stat.ML
Video-Text Retrieval by Supervised Sparse Multi-Grained Learning
University of Waterloo(滑铁卢大学)
提出多粒度稀疏学习框架S3MA,通过监督学习构建视频与文本共享的稀疏概念空间,并结合帧表示计算多粒度相似性,在多个视频-文本检索基准上优于现有方法。
2023-10-17 cs.CL cs.CV cs.IR
Local Prototype Reconstruction for Text-Compatible Speech-to-LLM Bridge Pretraining
KU Leuven(鲁汶大学);Academia Sinica(中央研究院)
该研究针对语音-LLM桥接模块,提出局部原型重构(LPR)正则化器,通过量化词法流形兼容性提升其迁移性能,在多语种ASR和语音翻译任务上效果显著,且诊断方法可预测桥接模块的可复用性。
2026-10-09 cs.CL cs.SD
Cognitive Alignment in Personality Reasoning: Leveraging Prototype Theory for MBTI Inference
ProtoMBTI通过原型理论与认知对齐,提升文本人格推断的准确性和泛化能力。
2025-12-29 cs.AI cs.CL
A Manifold-Aware Topic Modeling Approach via Rank-Based Prototypes
State University of São Paulo (UNESP)(圣保罗州立大学)
提出免训练的MARETopic框架,通过基于秩的原型选择在流形上发现主题,无需梯度更新即可在多个基准上提升纯度和NMI,并加速运行。
2026-10-05 cs.AI cs.CL cs.IR
Transformation of Dense and Sparse Text Representations
Peking University(北京大学);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Yuanpei College, Peking University(北京大学元培学院);Alibaba Group(阿里巴巴集团)
稀疏性被认为是表征的一个理想属性,特别是在解释方面。然而,由于与密集表示的差距,其使用受到限制。近年来,自然语言处理的研究进展大多是基于稠密表示的。因此,稀疏性的理想属性不能被利用。受傅立叶变换的启发,本文提出了一种新的语义转换方法,将稠密空间和稀疏空间连接起来,使自然语言处理的研究从稠密空间转移到稀疏空间,或者将稠密空间和稀疏空间结合使用。所提出的方法的核心思想是使用一个前向变换密集表示稀疏表示。然后,稀疏空间中的一些有用的操作可以在稀疏表示上执行,并且稀疏表示可以直接用于执行下游任务,例如文本分类和自然语言推理。然后,还可以执行向后变换以将那些处理过的稀疏表示变换为密集表示。分类任务和自然语言推理任务的实验结果表明,本文提出的语义转换方法是有效的。
2019-11-07 cs.CL
Text-Routed Sparse Mixture-of-Experts Model with Explanation and Temporal Alignment for Multi-Modal Sentiment Analysis
本文提出基于解释和时序对齐的文本引导稀疏专家混合模型,用于提升多模态情感分析的性能。
2025-12-28 cs.CL
Learning Domain-Specific Word Embeddings from Sparse Cybersecurity Texts
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);IBM(IBM公司)
词嵌入是一种自然语言处理(NLP)技术,它自动将词汇表中的词映射到嵌入空间中的实数向量。近年来,它已被广泛用于提高各种NLP任务的性能,如命名实体识别,句法分析和情感分析。经典的词嵌入方法,如Word2Vec和GloVe,在大型文本语料库中工作良好。当输入文本像在许多专门领域中那样稀疏时(例如,网络安全),这些方法往往不能产生高质量的载体。本文提出了一种从稀疏文本中训练特定领域词嵌入的新方法。除了领域文本,我们的方法还利用了不同类型的领域知识,如领域词汇和语义关系。具体来说,我们首先提出了一个通用的框架,编码不同类型的领域知识的文本注释。在此基础上,提出了一种新的词标注嵌入算法(WAE),将不同类型的文本标注融合到词嵌入中。我们已经评估了我们的方法在两个网络安全文本语料库:恶意软件描述语料库和常见的漏洞和暴露(CVE)语料库。我们的评估结果证明了我们的方法在学习特定领域的词嵌入方面的有效性。
2017-09-21 cs.CL
Meta-Learning Siamese Network for Few-Shot Text Classification
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
少样本学习已被用于解决文本分类中的标签稀缺问题,其中基于元学习的方法已被证明是有效的,例如原型网络(PROTO)。尽管PROTO取得了很大的成功,但仍存在三个主要问题:(1)在计算原型向量时忽略了样本支持集的随机性;(2)忽略了标记样本的重要性;(3)以纯随机的方式构造元任务。在本文中,我们提出了一个元学习连体网络,即元SN,来解决这些问题。具体地说,Meta-SN不是从采样的支持集计算原型向量,而是利用外部知识(例如类名和描述性文本)进行类标签,这些知识被编码为原型向量的低维嵌入。此外,Meta-SN提出了一种新的元任务采样策略,该策略对难以分类的样本提供了更高的采样概率。在六个基准数据集上进行了大量的实验,以显示Meta-SN相对于其他最先进的模型的明显优势。为了重现性,所有数据集和代码均在https://github.com/hccngu/Meta-SN上提供。
2023-03-16 cs.AI cs.CL
Scalable Text Mining with Sparse Generative Models
University of Waikato(怀卡托大学)
信息时代带来了大量的数据。其中大部分是以文本形式出现的,人类无法逾越,计算机无法理解。文本挖掘是一个不断扩展的研究领域,旨在利用包含在大量文档集合中的信息。基于机器学习的常规数据采掘方法面临着文本数据规模的挑战,需要可扩展的文本挖掘方法。本文提出了一种可伸缩文本挖掘的解决方案:结合稀疏计算的生成模型。一个统一的形式化生成文本模型的定义,汇集了研究传统,使用正式等效的模型,但忽略了平行的发展。该框架允许使用在不同的处理任务(如检索和分类)中开发的方法,从而在不同的文本挖掘任务中产生有效的解决方案。提出了一种基于倒排索引的概率模型稀疏计算方法。这降低了根据稀疏性的常见文本挖掘操作的计算复杂性,产生具有现代搜索引擎的可扩展性的概率模型。建议的组合提供稀疏生成模型:文本挖掘的解决方案是通用的,有效的,可扩展的。对文本分类和排名检索数据集进行了广泛的实验,结果表明,所提出的解决方案在有效性上与领先的特定任务方法相匹配或优于领先的特定任务方法,维基百科文章分类的分类时间减少了一个数量级。所开发的方法进一步应用于2014年的两个Kaggle数据采掘竞赛,有超过一百个参赛团队,获得第一名和第二名。
2016-02-07 cs.AI cs.CL cs.IR
ProtoTEx: Explaining Model Decisions with Prototype Tensors
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Indian Institute of Technology Bombay(印度理工学院孟买分校)
我们提出了ProtoTEx,一种基于原型网络的新型白盒NLP分类架构。ProtoTEx忠实地解释了基于对训练样本的潜在聚类进行编码的原型张量的模型决策。在推理时,分类决策是基于输入文本和原型张量之间的距离,通过与最有影响力的原型最相似的训练样本来解释。我们还描述了一种新的交错训练算法,有效地处理类的特点是没有指示功能。在宣传检测任务中,ProtoTEx的准确性与BART-大型相匹配,并超过BERT-大型,同时还具有提供忠实解释的额外优势。一项用户研究还表明,基于原型的解释有助于非专家更好地识别在线新闻中的宣传。
2022-05-23 cs.AI cs.CL cs.CY
ViewRefer: Grasp the Multi-view Knowledge for 3D Visual Grounding with GPT and Prototype Guidance
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northwestern Polytechnical University(西北工业大学);The Chinese University of Hong Kong(香港中文大学)
ViewRefer提出多视图3D视觉定位框架,利用GPT扩展文本描述并结合跨视图注意力与可学习多视图原型,在三个基准上显著超越现有方法。
2023-12-05 cs.AI cs.CL cs.CV