Language Model Meets Prototypes: Towards Interpretable Text Classification Models through Prototypical Networks
Drexel University(德雷塞尔大学)
本文围绕预训练语言模型的黑盒问题,提出结合原型网络、图注意力与对比学习的可解释文本分类框架,在保持性能的同时提供基于实例的决策解释。
2024-12-04 cs.AI cs.CL
GAProtoNet: A Multi-head Graph Attention-based Prototypical Network for Interpretable Text Classification
College of Computing and Informatics, Drexel University(德雷塞尔大学计算与信息学院);Department of Computer Science, Tsinghua University(清华大学计算机系)
本文提出GAProtoNet,一种基于多头图注意力的白盒原型网络,通过将输入和原型视为图节点学习可解释表示,在不牺牲准确率的前提下实现文本分类决策的透明解释。
2024-12-19 cs.AI cs.CL
Meta-Learning Siamese Network for Few-Shot Text Classification
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
少样本学习已被用于解决文本分类中的标签稀缺问题,其中基于元学习的方法已被证明是有效的,例如原型网络(PROTO)。尽管PROTO取得了很大的成功,但仍存在三个主要问题:(1)在计算原型向量时忽略了样本支持集的随机性;(2)忽略了标记样本的重要性;(3)以纯随机的方式构造元任务。在本文中,我们提出了一个元学习连体网络,即元SN,来解决这些问题。具体地说,Meta-SN不是从采样的支持集计算原型向量,而是利用外部知识(例如类名和描述性文本)进行类标签,这些知识被编码为原型向量的低维嵌入。此外,Meta-SN提出了一种新的元任务采样策略,该策略对难以分类的样本提供了更高的采样概率。在六个基准数据集上进行了大量的实验,以显示Meta-SN相对于其他最先进的模型的明显优势。为了重现性,所有数据集和代码均在https://github.com/hccngu/Meta-SN上提供。
2023-03-16 cs.AI cs.CL
A Manifold-Aware Topic Modeling Approach via Rank-Based Prototypes
State University of São Paulo (UNESP)(圣保罗州立大学)
提出免训练的MARETopic框架,通过基于秩的原型选择在流形上发现主题,无需梯度更新即可在多个基准上提升纯度和NMI,并加速运行。
2026-10-05 cs.AI cs.CL cs.IR
Few-Shot Table-to-Text Generation with Prototype Memory
University of Cambridge(剑桥大学)
神经表格到文本生成模型在一系列任务上取得了显着进展。然而,由于神经模型的数据饥渴性质,它们的性能强烈依赖于大规模的训练样本,限制了它们在现实世界应用中的适用性。为了解决这个问题,我们提出了一个新的框架:原型生成(P2G),表到文本生成下的Few-Shot的情况下。该框架利用检索到的原型,这是共同选择的IR系统和一个新的原型选择器,以帮助模型弥合表格和文本之间的结构差距。在三个基准数据集上的实验结果表明,所提出的框架显着提高了模型在各种评估指标的性能。
2021-08-31 cs.CL
A Corpus-based Evaluation of a Domain-specific Text to Knowledge Mapping Prototype
Khulna University of Engineering & Technology (KUET)(库尔纳工程技术大学);the University of Bolton(博尔顿大学);University of Dhaka(达卡大学)
本文的目的是评估一个文本到知识映射(TKM)的原型。原型是特定领域的,其目的是将教学文本映射到知识域。知识领域的背景是直流电路。在开发过程中,原型已经用来自域的有限数据集进行了测试。原型达到了一个阶段,它需要与一个有代表性的语言数据集称为语料库进行评估。语料库是从典型源中提取的文本的集合,其可以用作评估NLP系统的测试数据集。由于该领域没有可用的语料库,我们开发并注释了一个具有代表性的语料库。原型的评价考虑了它的两个主要组成部分-词汇成分和知识模型。对词汇成分的评价丰富了原型的词汇、语法结构等词汇资源。这导致原型解析语料库中合理数量的句子。虽然处理词汇是直接的,但识别和提取适当的语义关系要复杂得多。因此,有必要手动开发领域的概念结构,以制定特定领域的语义关系框架。语义关系框架由55个关系组成,其中42个关系为反向关系。我们还对语料进行了修辞分析,以证明其在语义表达上的代表性。最后,我们对语料进行了主题分析和语篇分析,分析原型对语篇的覆盖情况。
2012-04-28 cs.CL
Minimizing Mismatch Risk: A Prototype-Based Routing Framework for Zero-shot LLM-generated Text Detection
School of Engineering, Westlake University, China(西交大学工程学院,中国)
本文提出DetectRouter框架,通过两阶段训练学习文本检测器的亲和力,以解决零样本LLM生成文本检测中的匹配风险问题。
2026-02-01 cs.CL
Length-controllable Abstractive Summarization by Guiding with Summary Prototype
NTT Media Intelligence Laboratories(日本电信电话公司媒体智能实验室);NTT Corporation(日本电信电话公司);Nara Institute of Science Technology(奈良先端科学技术大学院大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
提出了一种新的长度可控的摘要模型。最近的国家的最先进的抽象摘要模型的基础上的编码器-解码器模型生成每个源文本只有一个摘要。然而,摘要的可控性,尤其是摘要长度的可控性,是实际应用中的一个重要方面。以往的研究长度可控的摘要将长度嵌入的解码器模块控制摘要的长度。虽然长度嵌入可以控制在哪里停止解码,但它们并不决定在长度约束内哪些信息应该包括在摘要中。与以前的模型不同,我们的长度可控的抽象摘要模型在编码器-解码器模型中引入了一个词级提取模块,而不是长度嵌入。我们的模型通过两个步骤生成摘要。首先,我们的词级提取器提取一个序列的重要词(我们称之为“原型文本”)从源文本根据词级的重要性分数和长度约束。其次,原型文本被用作编码器-解码器模型的附加输入,该模型通过联合编码和复制来自原型文本和源文本的单词来生成摘要。由于原型文本是对摘要内容和长度的指导,因此我们的模型可以生成信息丰富且长度受控的摘要。使用CNN/Daily Mail数据集和NEWSROOM数据集的实验表明,我们的模型在长度控制设置中优于以前的模型。
2020-01-21 cs.CL
Learning Sparse Prototypes for Text Generation
Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校)
原型驱动的文本生成使用非参数模型,首先从句子“原型”库中选择,然后修改原型以生成输出文本。虽然有效,但这些方法在测试时效率低下,因为需要存储和索引整个训练语料库。此外,现有的方法通常需要机器学习来识别在训练时参考哪些原型。在本文中,我们提出了一种新的生成模型,自动学习稀疏的原型支持集,尽管如此,实现强大的语言建模性能。这是通过(1)在原型选择分布上施加稀疏诱导先验,以及(2)利用摊销变分推理来学习原型检索函数来实现的。在实验中,我们的模型优于以前的原型驱动的语言模型,同时实现了高达1000倍的内存减少,以及1000倍的速度在测试时。更有趣的是,我们表明,学习的原型能够捕捉语义和语法在不同的粒度,因为我们不同的稀疏性的原型选择,某些句子属性可以通过指定的原型生成控制。
2020-11-04 cs.CL cs.LG
A Corpus-based Evaluation of Lexical Components of a Domainspecific Text to Knowledge Mapping Prototype
Khulna University of Engineering & Technology (KUET)(库尔纳工程技术大学);the University of Bolton(博尔顿大学)
本文的目的是评估的文本知识图谱(TKM)原型的词汇成分。原型是特定领域的,其目的是将教学文本映射到知识域。原型的知识领域的背景是物理学,特别是直流电路。在开发过程中,原型已经用来自域的有限数据集进行了测试。该原型现在达到了需要使用称为语料库的代表性语言数据集进行评估的阶段。语料库是从典型源中提取的文本的集合,其可以用作评估NLP系统的测试数据集。由于该领域没有可用的语料库,我们开发了一个有代表性的语料库,并用语言信息对其进行注释。原型的评估认为它的两个主要组成部分之一-词汇知识库。借助语料库,评价丰富了词汇、语法结构等词汇知识资源。这导致原型解析语料库中合理数量的句子。
2012-04-28 cs.CL cs.IR
Prototype of a robotic system to assist the learning process of English language with text-generation through DNN
Universidad Politécnica de Yucatán(尤卡坦理工大学);SoldAI Research(SoldAI研究院)
本文提出一种基于LSTM神经网络文本生成的人形机器人系统,通过图形界面辅助英语自学者,实验表明该系统能提升学习者的语法范围。
2023-09-20 cs.CL
A prototype Malayalam to Sign Language Automatic Translator
CUSAT(科钦科技大学)
手语是聋人的一种交流媒介,它使用手势交流和肢体语言来传达意思,而不是使用声音。本文提出了一个原型马拉雅拉姆语文本手语翻译系统。该系统以马拉雅拉姆语文本作为输入,并生成相应的手语。输出动画使用计算机生成的模型渲染。这一系统将有助于在铁路、银行、医院等公共设施场所向聋人传播信息,这也将成为学习手语的教育工具。
2015-09-26 cs.CL
Text-Adaptive Multiple Visual Prototype Matching for Video-Text Retrieval
Sun Yat-sen University(中山大学);HKUST (Guangzhou)(香港科技大学(广州));Tencent Youtu Lab(腾讯优图实验室);Zhejiang University(浙江大学)
随着视频在网络上的迅速出现,视频和文本之间的跨模态检索得到了越来越多的研究兴趣。通常,视频包含丰富的实例和事件信息,并且查询文本仅描述部分信息。因此,视频可以对应于多个不同的文本描述和查询。我们称这种现象为“视频-文本对应歧义”问题。当前的技术主要集中于挖掘视频内容和文本之间的局部或多级对齐(\textit{e.g.},对象到实体和动作到动词)。这些方法很难通过仅使用单个特征来描述视频来减轻视频-文本对应的歧义,这需要同时与多个不同的文本特征进行匹配。为了解决这个问题,我们提出了一个文本自适应多视觉原型匹配模型,自动捕获多个原型来描述一个视频的自适应聚合的视频令牌功能。给定一个查询文本,通过最相似的原型来确定相似度,以找到视频中的对应关系,这被称为文本自适应匹配。为了学习不同的原型来表示视频中的丰富信息,我们提出了一个方差损失,以鼓励不同的原型参加不同的视频内容。我们的方法在四个公共视频检索数据集上的性能优于最先进的方法。
2022-09-27 cs.CL cs.CV cs.IR
MD-ProTector: Positioning Multiple Data-Driven Prototypes for LLM-Generated Text Detection
Seoul National University(首尔大学)
该研究针对LLM生成文本检测的类别内部差异问题,提出MD-ProTector模型,通过原型定位损失优化,在多基准测试中取得优于同类编码器方法的检测性能。
2026-11-05 cs.AI cs.CL
Classifying movie genres by analyzing text reviews
本文提出了一种只看文本评论的电影类型分类方法。数据来源于Large Movie Review Dataset v1.0和IMDb。本文比较了K-最近邻(KNN)模型和使用tf-idf作为输入特征的多层感知器(MLP)。本文还讨论了在进行多标签分类时使用的不同评估指标。对于本研究中使用的数据,KNN模型表现最好,准确率为55.4%,汉明损失为0.047。
2018-02-14 cs.CL
Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation
University of Waterloo(滑铁卢大学)
本文提出SUPREME框架,通过引入多模态原型和图像偏差估计,有效缓解图像与文本之间的模态差距,提升少样本分布外检测性能。
2026-01-25 cs.CL cs.CV cs.LG
Analyzing Text Representations by Measuring Task Alignment
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出基于层次聚类的任务对齐分数,验证文本表示的分类性能主要源于其与任务的对齐程度,而非空间几何性质。
2023-05-31 cs.CL
Pegasus@Dravidian-CodeMix-HASOC2021: Analyzing Social Media Content for Detection of Offensive Text
Indian Institute of Information Technology Tiruchirappalli(蒂鲁吉拉帕利信息技术学院);Kongu Engineering College(贡古工程学院);Sri Krishna Adithya College of Arts and Science(斯里克里希纳阿迪蒂亚文理学院);Sultan Idris Education University(苏丹伊德里斯教育大学)
为了解决检测攻击性评论/帖子的难题,这些评论/帖子是相当非正式的,非结构化的,错误的和代码混合的,我们在这篇研究论文中介绍了两种创造性的方法。社交媒体平台上的攻击性评论/帖子可能会影响个人,团体或未成年人。为了对两种流行的德拉威语言(泰米尔语和马拉雅拉姆语)的评论/帖子进行分类,作为HASOC - DravidianCodeMix FIRE 2021共享任务的一部分,我们采用了两个基于transformer的原型,它们成功地在所有任务中排名前8位。我们的方法的代码可以查看和使用。
2021-11-18 cs.CL
Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction
Nanyang Technological University(南洋理工大学);East China Normal University(华东师范大学);National University of Singapore(新加坡国立大学)
关系抽取是从文本中抽取实体关系以构建知识图谱的关键步骤,但它通常存在长尾问题。训练数据主要集中在少数几类关系上,导致对其余类型的关系缺乏足够的注释。本文提出了一种从未标记文本中学习关系原型的通用方法,通过在有足够训练数据的情况下,从关系类型中转移知识,从而实现长尾关系抽取。关系原型是实体间的一个隐含因素,它反映了关系的意义以及它们之间的接近程度,适用于迁移学习。具体来说,我们从文本中构建一个共现图,并捕获一阶和二阶实体近似用于嵌入学习。在此基础上,我们进一步优化了实体对到相应原型的距离,这可以很容易地适应几乎任意的RE框架。因此,通过实体对和大规模文本信息的语义近似关系,学习不常见或甚至看不见的关系类型将受益于此。我们在两个公开数据集上进行了广泛的实验:纽约时报和Google Distant Supervision。与八个最先进的基线相比,我们提出的模型实现了显著的改进(平均4.1%F1)。长尾关系的进一步结果证明了学习关系原型的有效性。我们进一步进行了消融研究,以调查不同的组件的影响,并将其应用到四个基本的关系抽取模型,以验证其泛化能力。最后,我们分析了几个例子的情况下,给出直观的印象,定性分析。我们的代码稍后会公布。
2020-11-27 cs.CL cs.LG
Starfish: A Prototype for Universal Preprocessing and Text-Embedded Programming
Dalhousie University(达尔豪斯大学)
本文提出了一种通用文本预处理和文本嵌入式编程(PTEP)的概念。预处理和文本嵌入式编程以碎片化和相互隔离的方式广泛应用于程序设计语言和框架中。PTEP的思想可以在\TeX \排版系统的实现中找到;它们在PHP和类似的Web语言中很突出,最后它们被用在MySQL数据科学框架中。本文介绍了这一领域的研究和相关工作在一个更统一的框架,我们描述了实现系统海星,满足以下新的原则PTEP:通用性,更新和替换模式,灵活性,可配置性和透明度。我们描述了海星,这是一个开放源代码的系统,实现通用的预处理和文本嵌入式编程在Perl的操作模型和设计。该系统是透明的,它的设计允许在其他程序设计语言以及直接执行。
2020-07-05 cs.CL cs.PL
Identifying Adversarial Sentences by Analyzing Text Complexity
KDDI Research, Inc.(KDDI综合研究所);The University of Tokyo(东京大学)
攻击者创建对抗性文本来欺骗人类感知和当前的人工智能系统,以执行恶意目的,例如垃圾邮件产品评论和虚假政治帖子。我们研究了对抗性文本与原文之间的差异,以防止风险。我们证明了由人类书写的文本更加连贯和流畅。此外,人类可以通过具有现代词汇的灵活文本来表达思想,而机器则专注于通过简单和常见的词汇优化生成的文本。我们还提出了一种方法,通过提取与我们的研究结果相关的特征来识别敌对文本。该方法的准确率为82.0%,等出错率为18.4%,优于现有方法的最佳准确率为77.0%,等出错率为22.8%。
2019-12-19 cs.CL
Few-shot Named Entity Recognition with Entity-level Prototypical Network Enhanced by Dispersedly Distributed Prototypes
National University of Defense Technology(国防科技大学)
Few-Shot命名实体识别(NER)使我们能够建立一个新的领域使用很少的标记的例子的NER系统。然而,现有的原型网络的这项任务遭受粗略估计的标签依赖性和紧密分布的原型,从而经常导致错误分类。为了解决上述问题,我们提出了EP-Net,一个由分散分布的原型增强的多层原型网络。EP-Net构建实体级原型,并将文本跨度视为候选实体,因此不再需要标签依赖。此外,EP-Net从头开始训练原型,使其分散分布,并使用空间投影将span与嵌入空间中的原型对齐。两个评估任务和Few-NERD设置的实验结果表明,EP-Net在整体性能方面始终优于以前的强模型。大量的分析进一步验证了EP-Net的有效性。
2022-08-17 cs.CL
When Is 0.1% Enough? Analyzing the Combined Effects of Dimensionality Reduction and Quantization on Text Embedding Compression
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
本文系统研究了结合降维和量化方法压缩文本嵌入的效果,发现联合压缩可大幅减小嵌入尺寸(低至原始大小的0.1%)而几乎不损失性能,且最优策略因任务而异。
2026-10-21 cs.CL
Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
目前的监督关系三元组提取方法需要大量的标记数据,因此在Few-Shot设置中性能较差。然而,人们可以通过学习一些实例来掌握新知识。为此,我们采取的第一步,研究Few-Shot关系三元组提取,这还没有得到很好的理解。与以前的单任务Few-Shot问题不同,关系三元组提取更具挑战性,因为实体和关系具有隐式相关性。本文提出了一种新的多原型嵌入网络模型,用于联合提取关系三元组的组成,即实体对和对应关系。具体而言,我们设计了一个混合原型学习机制,桥梁文本和知识的实体和关系。因此,实体和关系之间的隐式相关性被注入。此外,我们还提出了一个原型感知的正则化来学习更多有代表性的原型。实验结果表明,该方法可以提高Few-Shot三重提取的性能。
2020-10-30 cs.AI cs.CL cs.DB
Beyond Traditional Benchmarks: Analyzing Behaviors of Open LLMs on Data-to-Text Generation
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文提出Quintd工具收集新型结构化数据,分析开放LLMs在数据到文本生成中的行为,发现其零样本输出虽流畅但超过80%存在语义错误,并公开相关资源。
2024-06-06 cs.CL
How we do things with words: Analyzing text as social and cultural data
Alan Turing Institute(艾伦·图灵研究所);Utrecht University(乌得勒支大学);University of Warwick(华威大学);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Cornell University(康奈尔大学);Leiden University(莱顿大学);University of London(伦敦大学)
在这篇文章中,我们描述了我们的经验与计算文本分析。我们希望实现三个主要目标。首先,我们的目标是阐明一些棘手的问题,这些问题并不总是处于计算文本分析方法讨论的最前沿。第二,我们希望提供一套最佳实践,用于处理浓厚的社会和文化概念。我们的指导是基于我们自己的经验,因此本质上是不完美的。尽管如此,鉴于我们学科背景和研究实践的多样性,我们希望捕捉一系列的想法,并确定将引起许多人共鸣的共性。这就引出了我们的最终目标:帮助促进跨学科合作。跨学科的见解和伙伴关系对于实现任何涉及社会和文化概念的计算文本分析的全部潜力至关重要,我们越能够弥合这些分歧,我们相信我们的工作就越富有成效。
2019-07-02 cs.CL
AbLit: A Resource for Analyzing and Generating Abridged Versions of English Literature
Language Weaver (RWS Group)(Language Weaver(RWS集团))
创建一个文本的删节版本涉及缩短它,同时保持其语言质量。在本文中,我们第一次从NLP的角度来研究这个任务。我们提出了一个新的资源,AbLit,这是来自英语文学书籍的删节版。该数据集捕获原始文本和删节文本之间的文本级对齐。我们描述了这些对齐的语言关系,并创建自动化模型来预测这些关系,以及为新文本生成删节。我们的研究结果建立作为一个具有挑战性的任务,激励未来的资源和研究的删节。该数据集可在github.com/roemmele/AbLit上获得。
2023-02-13 cs.CL
Local Prototype Reconstruction for Text-Compatible Speech-to-LLM Bridge Pretraining
KU Leuven(鲁汶大学);Academia Sinica(中央研究院)
该研究针对语音-LLM桥接模块,提出局部原型重构(LPR)正则化器,通过量化词法流形兼容性提升其迁移性能,在多语种ASR和语音翻译任务上效果显著,且诊断方法可预测桥接模块的可复用性。
2026-10-09 cs.CL cs.SD
Analyzing Gender Polarity in Short Social Media Texts with BERT: The Role of Emojis and Emoticons
University of North Texas(北得克萨斯大学)
本文通过微调多个 BERT 模型识别 Twitter 账户性别极性,并考察表情符号、颜文字及账户提及在短文本分类中的作用。
2024-06-13 cs.AI cs.CL
Cognitive Alignment in Personality Reasoning: Leveraging Prototype Theory for MBTI Inference
ProtoMBTI通过原型理论与认知对齐,提升文本人格推断的准确性和泛化能力。
2025-12-29 cs.AI cs.CL
Analyzing Multi-Task Learning for Abstractive Text Summarization
Georg-August-Universität Göttingen(哥廷根大学);Mercedes-Benz Group AG(梅赛德斯-奔驰集团股份公司)
本文分析了多任务学习策略中任务族对英文抽象式文本摘要的影响,发现任务族的选择与组合对下游性能的影响大于训练方案,支持在摘要任务中使用任务族。
2022-11-10 cs.AI cs.CL
Cross-modal Prototype Driven Network for Radiology Report Generation
University of Warwick(华威大学)
放射学报告生成(RRG)的目的是自动描述一个放射学图像与人类一样的语言,并可能支持放射科医生的工作,减少人工报告的负担。以前的方法通常采用编码器-解码器架构,专注于单模态特征学习,而很少有研究探讨跨模态特征交互。在这里,我们提出了一个跨模态原型驱动的网络(XPRONET),以促进跨模态模式学习,并利用它来提高放射学报告生成的任务。这是通过三个精心设计的,完全可区分的和互补的模块来实现的:一个共享的跨模态原型矩阵,用于记录跨模态原型;一个跨模态原型网络,用于学习跨模态原型,并将跨模态信息嵌入到视觉和文本特征中;以及一个改进的多标签对比损失,用于实现和增强多标签原型学习。XPRONET在IU-X射线和MIMIC-CXR基准测试中获得了实质性的改进,其性能在IU-X射线上超过了最新的最先进的方法,并且在MIMIC-CXR上的性能相当。
2022-07-11 cs.CL cs.CV
Analyzing ASR pretraining for low-resource speech-to-text translation
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
先前的工作已经表明,对于低资源源语言,可以通过对来自高资源语言的自动语音识别(ASR)数据预训练端到端模型来改进自动语音到文本翻译(AST)。然而,目前尚不清楚哪些因素-例如,语言相关性或预训练数据的大小--产生最大的改进,或者预训练是否可以有效地与其他方法(如数据增强)相结合。在这里,我们在不同大小的数据集上进行了预训练实验,包括与AST源语言相关和不相关的语言。我们发现,最终AST性能的最佳预测因子是预训练ASR模型的单词出错率,并且ASR/AST性能的差异与语音信息在我们模型的后期RNN层中的编码方式有关。我们还表明,预训练和数据增强产生互补的好处AST。
2020-02-09 cs.CL eess.AS
TEST: Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出TEST方法,通过文本原型对齐的TS嵌入和软提示激活冻结大语言模型的时间序列处理能力,在分类、预测和表示任务上达到或超越SOTA性能,并具备少样本与泛化优势。
2024-02-22 cs.AI cs.CL
The Birth of Collective Memories: Analyzing Emerging Entities in Text Streams
University of Amsterdam(阿姆斯特丹大学);FD Mediagroep(FD传媒集团);Blendle
我们研究集体记忆是如何在网上形成的。我们通过跟踪出现在公共话语中的实体来做到这一点,也就是说,在社交媒体和新闻流等在线文本流中,在它们被纳入维基百科之前,我们认为,维基百科可以被视为集体记忆的在线场所。通过跟踪实体如何出现在公共话语中,即,从他们在在线文本流中首次提及到随后融入集体记忆之间的时间模式,我们可以深入了解集体记忆过程如何在网上发生。具体来说,我们分析了近80,000个实体,因为它们在被纳入维基百科之前出现在在线文本流中。我们用于分析的在线文本流包括社交媒体和新闻流,在18个月的时间跨度内跨越了5.79亿个文档。我们发现了两种主要的出现模式:以“突发”方式出现的实体,即,出现在公共话语中,没有先例,突然变成活动,并过渡到集体记忆。其他实体显示出一种“延迟”模式,它们出现在公共话语中,经历一段时间的不活动,然后在过渡到我们的文化集体记忆之前重新出现。
2017-12-08 cs.CL cs.IR
ViewRefer: Grasp the Multi-view Knowledge for 3D Visual Grounding with GPT and Prototype Guidance
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northwestern Polytechnical University(西北工业大学);The Chinese University of Hong Kong(香港中文大学)
ViewRefer提出多视图3D视觉定位框架,利用GPT扩展文本描述并结合跨视图注意力与可学习多视图原型,在三个基准上显著超越现有方法。
2023-12-05 cs.AI cs.CL cs.CV
ProtoTEx: Explaining Model Decisions with Prototype Tensors
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Indian Institute of Technology Bombay(印度理工学院孟买分校)
我们提出了ProtoTEx,一种基于原型网络的新型白盒NLP分类架构。ProtoTEx忠实地解释了基于对训练样本的潜在聚类进行编码的原型张量的模型决策。在推理时,分类决策是基于输入文本和原型张量之间的距离,通过与最有影响力的原型最相似的训练样本来解释。我们还描述了一种新的交错训练算法,有效地处理类的特点是没有指示功能。在宣传检测任务中,ProtoTEx的准确性与BART-大型相匹配,并超过BERT-大型,同时还具有提供忠实解释的额外优势。一项用户研究还表明,基于原型的解释有助于非专家更好地识别在线新闻中的宣传。
2022-05-23 cs.AI cs.CL cs.CY
On the Role of Images for Analyzing Claims in Social Media
TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科技与信息研究所);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
假新闻是社交媒体中的一个严重问题。在本文中,我们提出了一个实证研究的视觉,文本和多模态模型的索赔,索赔检查价值,阴谋检测的任务,所有这些都与假新闻检测。最近的研究表明,图像比文本更有影响力,并且经常与假文本一起出现。为此,近年来提出了几种多模态模型,这些模型使用图像和文本来检测Twitter等社交媒体网站上的假新闻。然而,图像的作用并没有很好地理解索赔检测,特别是使用基于transformer的文本和多模态模型。我们研究了两种语言的四种不同数据集的图像、文本(基于transformer)和多模态信息的最新模型,以了解图像在索赔和阴谋检测任务中的作用。
2021-03-17 cs.CL cs.CV cs.SI
Agentic AI Translate: An Agentic Translator Prototype for Translation as Communication Design
Rikkyo University(立命馆大学);Translation Lab Inc(翻译实验室公司)
本文提出了一种代理翻译原型,通过将翻译研究的金属语言转化为生成AI的指令代码,重新定义翻译作为沟通设计的过程,而非文本转换。
2026-05-16 cs.AI cs.CL cs.HC
NeST: Neighborhood-aware semantic alignment and temporal modulation for LLM based time series forecasting
University of Melbourne(墨尔本大学)
NeST框架通过邻域感知语义对齐与时间调制构建文本整合提示词微调LLM,在8个基准及9个真实光伏数据集的时间序列预测中,MSE、R²等指标优于现有方法,泛化性强。
2026-08-25 cs.AI cs.CL cs.LG
Word-Level Explanations for Analyzing Bias in Text-to-Image Models
Harvard University(哈佛大学)
针对文本到图像模型存在的种族、性别相关偏见问题,提出一种基于“通过移除来解释”原则、利用掩码语言模型计算提示词各单词偏见影响得分的方法,经Stable Diffusion实验验证可识别生成图像中的社会刻板印象复刻。
2023-06-03 cs.AI cs.CL cs.CV
From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models
Qatar Computing Research Institute(卡塔尔计算研究所)
本文研究语音与文本基础模型中语义概念的形成,采用潜在概念分析无监督方法,分别及联合分析两类模型的概念结构,揭示跨模态语义抽象机制。
2025-06-01 cs.AI cs.CL cs.SD