BiSparse-AAS: Bilinear Sparse Attention and Adaptive Spans Framework for Scalable and Efficient Text Summarization
Howard University(霍华德大学);University of Oslo(奥斯陆大学);KTH Royal Institute of Technology(皇家理工学院)
本文提出BiSparse-AAS框架,结合稀疏注意力、自适应跨度和双线性注意力,解决Transformer长文档摘要计算复杂度高的问题,在多个基准上显著提升ROUGE指标并提供高效实用的解决方案。
2025-10-31 cs.CL cs.LG
Learning Sparse Prototypes for Text Generation
Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校)
原型驱动的文本生成使用非参数模型,首先从句子“原型”库中选择,然后修改原型以生成输出文本。虽然有效,但这些方法在测试时效率低下,因为需要存储和索引整个训练语料库。此外,现有的方法通常需要机器学习来识别在训练时参考哪些原型。在本文中,我们提出了一种新的生成模型,自动学习稀疏的原型支持集,尽管如此,实现强大的语言建模性能。这是通过(1)在原型选择分布上施加稀疏诱导先验,以及(2)利用摊销变分推理来学习原型检索函数来实现的。在实验中,我们的模型优于以前的原型驱动的语言模型,同时实现了高达1000倍的内存减少,以及1000倍的速度在测试时。更有趣的是,我们表明,学习的原型能够捕捉语义和语法在不同的粒度,因为我们不同的稀疏性的原型选择,某些句子属性可以通过指定的原型生成控制。
2020-11-04 cs.CL cs.LG
Transformation of Dense and Sparse Text Representations
Peking University(北京大学);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Yuanpei College, Peking University(北京大学元培学院);Alibaba Group(阿里巴巴集团)
稀疏性被认为是表征的一个理想属性,特别是在解释方面。然而,由于与密集表示的差距,其使用受到限制。近年来,自然语言处理的研究进展大多是基于稠密表示的。因此,稀疏性的理想属性不能被利用。受傅立叶变换的启发,本文提出了一种新的语义转换方法,将稠密空间和稀疏空间连接起来,使自然语言处理的研究从稠密空间转移到稀疏空间,或者将稠密空间和稀疏空间结合使用。所提出的方法的核心思想是使用一个前向变换密集表示稀疏表示。然后,稀疏空间中的一些有用的操作可以在稀疏表示上执行,并且稀疏表示可以直接用于执行下游任务,例如文本分类和自然语言推理。然后,还可以执行向后变换以将那些处理过的稀疏表示变换为密集表示。分类任务和自然语言推理任务的实验结果表明,本文提出的语义转换方法是有效的。
2019-11-07 cs.CL
Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection
Google DeepMind(谷歌DeepMind);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Google(谷歌);Université de Montréal(蒙特利尔大学);Mila(米拉研究所)
本文提出Sparse RAG,通过并行编码检索文档并仅关注相关缓存,减少解码加载量,加速推理并提升生成质量,在两类任务上实现效率与质量的最佳平衡。
2024-05-25 cs.CL
Steered Generation via Gradient Descent on Sparse Features
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文通过训练稀疏自编码器学习查询嵌入的稀疏表示,并利用潜在空间中的梯度下降优化,将稀疏嵌入引导至目标认知复杂度样本,从而实现对LLM输出认知复杂度的精确控制。
2025-02-25 cs.CL
Text-Routed Sparse Mixture-of-Experts Model with Explanation and Temporal Alignment for Multi-Modal Sentiment Analysis
本文提出基于解释和时序对齐的文本引导稀疏专家混合模型,用于提升多模态情感分析的性能。
2025-12-28 cs.CL
Enhancing Personalized Dialogue Generation with Contrastive Latent Variables: Combining Sparse and Dense Persona
Tianjin University(天津大学);Northeastern University at Qinhuangdao(东北大学秦皇岛分校);China Mobile Communication Group Tianjin Co., Ltd.(中国移动通信集团天津有限公司)
针对个性化对话中稀疏画像信息不足、稠密画像含噪及历史查询质量差的问题,提出基于对比潜变量的模型CLV,将稠密画像聚类为稀疏类别并结合历史查询生成回复,有效提升了中英文数据集上的个性化效果。
2023-05-19 cs.CL
Learning Domain-Specific Word Embeddings from Sparse Cybersecurity Texts
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);IBM(IBM公司)
词嵌入是一种自然语言处理(NLP)技术,它自动将词汇表中的词映射到嵌入空间中的实数向量。近年来,它已被广泛用于提高各种NLP任务的性能,如命名实体识别,句法分析和情感分析。经典的词嵌入方法,如Word2Vec和GloVe,在大型文本语料库中工作良好。当输入文本像在许多专门领域中那样稀疏时(例如,网络安全),这些方法往往不能产生高质量的载体。本文提出了一种从稀疏文本中训练特定领域词嵌入的新方法。除了领域文本,我们的方法还利用了不同类型的领域知识,如领域词汇和语义关系。具体来说,我们首先提出了一个通用的框架,编码不同类型的领域知识的文本注释。在此基础上,提出了一种新的词标注嵌入算法(WAE),将不同类型的文本标注融合到词嵌入中。我们已经评估了我们的方法在两个网络安全文本语料库:恶意软件描述语料库和常见的漏洞和暴露(CVE)语料库。我们的评估结果证明了我们的方法在学习特定领域的词嵌入方面的有效性。
2017-09-21 cs.CL
Using Sparse Semantic Embeddings Learned from Multimodal Text and Image Data to Model Human Conceptual Knowledge
Queen’s University Belfast(贝尔法斯特女王大学);BrainWaveBank Ltd.(脑波银行有限公司)
分布式模型提供了一种方便的方式来建模语义使用密集的嵌入空间从无监督学习算法。然而,密集嵌入空间的维度并没有被设计成类似于人类语义知识。此外,尽管神经认知研究表明语义与语言和感知都有很深的联系,但嵌入通常是从单一的信息源(通常是文本数据)构建的。在本文中,我们结合了来自最先进的分布模型的文本和基于图像的表示的多模态信息,使用联合非负稀疏嵌入产生稀疏的,可解释的向量。通过深入分析比较这些稀疏模型与人类衍生的行为和神经成像数据,我们证明了它们预测人类真实语义知识的可解释语言描述的能力。
2018-11-14 cs.CL
Sparse, Dense, and Attentional Representations for Text Retrieval
Google Research(谷歌研究院)
双编码器通过将文档和查询编码为密集的低维向量来执行检索,通过查询的内积对每个文档进行评分。我们研究了这种架构相对于稀疏词袋模型和注意力神经网络的能力。使用理论和实证分析,我们建立之间的连接的编码尺寸,黄金和排名较低的文件之间的差距,和文件的长度,建议限制的能力,固定长度的编码,以支持精确检索的长文件。基于这些见解,我们提出了一个简单的神经模型,结合了双编码器的效率与更昂贵的注意力架构的一些表现力,并探索稀疏密集的混合体,以利用稀疏检索的精度。这些模型在大规模检索中优于强替代方案。
2021-02-16 cs.CL
Sparse Autoencoders for Interpretable Emotion Control in Text-to-Speech
University of California, Berkeley(加州大学伯克利分校)
本文通过稀疏自编码器分析基于LLM的TTS模型中的情感相关潜在特征,提出特征级干预框架实现双向情感诱导与抑制,无需修改模型参数。
2026-05-31 cs.CL
VEM$^2$L: A Plug-and-play Framework for Fusing Text and Structure Knowledge on Sparse Knowledge Graph Completion
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理大学)
知识图谱完备化(KGC)的目的是对已知事实进行推理,推断出缺失的链接,但在稀疏的知识图谱(KG)上性能较弱。最近的作品引入文本信息作为辅助功能或应用图形致密化,以减轻这一挑战,但遭受的问题,无效地将结构特征和注入嘈杂的三元组。在本文中,我们解决了稀疏KGC从这两个动机,并进一步处理各自的缺点,并提出了一个即插即用的统一框架VEM $^2$ L稀疏KG。VEM $^2$ L的基本思想是激励基于文本的KGC模型和基于结构的KGC模型相互学习,将各自的知识融合为一体。为了深入地利用文本和结构特征,我们将模型中的知识划分为两个不重叠的部分:训练集上的表达能力和未观察到的查询的泛化能力。对于前者,我们激励这两个基于文本和基于结构的模型在训练集上相互学习。对于泛化能力,我们提出了一种新的知识融合策略的变分EM(VEM)算法,在此过程中,我们还应用了图的致密化操作,以减轻稀疏图的问题进一步。我们的图的致密化是由VEM算法。由于EM算法的收敛性,我们在理论上保证了似然函数的增加,同时又不受噪声注入三元组的严重影响。通过结合这两种融合方法和图的致密化,我们最终提出了VEM $^2$ L框架。详细的理论证据,以及定性实验,证明了我们提出的框架的有效性。
2022-08-15 cs.CL
IMO: Greedy Layer-Wise Sparse Representation Learning for Out-of-Distribution Text Classification with Pre-trained Models
Monash University(莫纳什大学)
针对跨未见领域的分布外文本分类问题,提出IMO方法,通过学习稀疏掩码层移除无关特征并保留不变特征,结合token级注意力模块,显著提升OOD泛化性能。
2024-04-21 cs.CL
SPMoE: Generate Multiple Pattern-Aware Outputs with Sparse Pattern Mixture of Experts
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
许多生成任务遵循一对多的映射关系:每个输入可以与多个输出相关联。现有的方法,如条件变分自编码器(CVAE),采用潜在变量来建模这种一对多关系。然而,这种高维度和密集的潜变量缺乏可解释性,通常会导致不良和不可控的世代。本文创新性地引入了模式的语言学概念,将一对多映射分解为多个一对一映射,并进一步提出了稀疏模式混合专家模型混合专家模型(SPMoE)。每个一对一映射都与条件生成模式相关联,并由SPMoE中的专家进行建模。为了保证每一种语言模式都能由一个专家模型来单独处理,以获得更好的解释性和多样性,SPMoE采用稀疏机制来协调所有的专家模型。我们评估了我们的SPMoE的性能上的释义生成任务和实验结果证明,SPMoE可以达到一个很好的平衡质量,模式级的多样性,语料库级的多样性。
2021-08-18 cs.CL
Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models
University of Science and Technology of China(中国科学技术大学);Huawei Inc.(华为公司)
PHSA通过利用标点符号作为语义边界锚点,提出了一种混合可训练稀疏注意力机制,有效减少信息损失并提升大语言模型的长上下文处理能力。
2026-01-06 cs.CL
Rectified Sparse Attention
Microsoft Research(微软研究院);Tsinghua University(清华大学);The University of Hong Kong(香港大学)
本文提出校正稀疏注意力ReSA,通过块稀疏注意力结合周期性稠密校正来限制KV缓存误差累积,在256K长序列解码下实现高达2.42倍端到端加速且生成质量近乎无损。
2025-06-05 cs.CL
Reasoning-Based Personalized Generation for Users with Sparse Data
Vanderbilt University(范德比尔特大学);Adobe Research(Adobe研究);Yale University(耶鲁大学);University of Oregon(俄勒冈大学)
GraSPer通过预测用户未来交互并生成文本来增强稀疏上下文中的个性化生成,提升用户个性化输出质量。
2026-08-18 cs.AI cs.CL
Video-Text Retrieval by Supervised Sparse Multi-Grained Learning
University of Waterloo(滑铁卢大学)
提出多粒度稀疏学习框架S3MA,通过监督学习构建视频与文本共享的稀疏概念空间,并结合帧表示计算多粒度相似性,在多个视频-文本检索基准上优于现有方法。
2023-10-17 cs.CL cs.CV cs.IR
Sparse and Dense Retrievers Learn Better Together: Joint Sparse-Dense Optimization for Text-Image Retrieval
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);NAVER Corporation(NAVER公司)
本文提出一种基于自知识蒸馏的稀疏-稠密联合优化框架,通过集成相似度分数实现双向学习,仅微调稠密编码器末层与稀疏投影头,使稀疏检索器在MSCOCO和Flickr30k上超越稀疏基线并达到或超过稠密模型性能。
2025-08-22 cs.CL cs.IR cs.LG
Ultra-High Dimensional Sparse Representations with Binarization for Efficient Text Retrieval
KAIST(韩国科学技术院);NAVER(Naver公司)
神经信息检索的语义匹配能力可以改善符号方法的同义词和多义词问题。然而,神经模型的密集表示更适合重新排序,因为它们效率低下。稀疏表示,无论是符号形式还是潜在形式,使用倒排索引都更有效。结合稀疏表示和稠密表示的优点,提出了一种稀疏度可直接控制的超高维(UHD)表示方案。UHD的大容量和最小的噪声和维度之间的干扰允许二值化表示,这对于存储和搜索是非常有效的。还提出了一种桶方法,其中选择/合并来自BERT的多个层的嵌入以表示不同的语言方面。我们用MS MARCO和TREC CAR测试我们的模型,表明我们的模型优于其他稀疏模型
2021-10-15 cs.CL cs.IR
Scalable Text Mining with Sparse Generative Models
University of Waikato(怀卡托大学)
信息时代带来了大量的数据。其中大部分是以文本形式出现的,人类无法逾越,计算机无法理解。文本挖掘是一个不断扩展的研究领域,旨在利用包含在大量文档集合中的信息。基于机器学习的常规数据采掘方法面临着文本数据规模的挑战,需要可扩展的文本挖掘方法。本文提出了一种可伸缩文本挖掘的解决方案:结合稀疏计算的生成模型。一个统一的形式化生成文本模型的定义,汇集了研究传统,使用正式等效的模型,但忽略了平行的发展。该框架允许使用在不同的处理任务(如检索和分类)中开发的方法,从而在不同的文本挖掘任务中产生有效的解决方案。提出了一种基于倒排索引的概率模型稀疏计算方法。这降低了根据稀疏性的常见文本挖掘操作的计算复杂性,产生具有现代搜索引擎的可扩展性的概率模型。建议的组合提供稀疏生成模型:文本挖掘的解决方案是通用的,有效的,可扩展的。对文本分类和排名检索数据集进行了广泛的实验,结果表明,所提出的解决方案在有效性上与领先的特定任务方法相匹配或优于领先的特定任务方法,维基百科文章分类的分类时间减少了一个数量级。所开发的方法进一步应用于2014年的两个Kaggle数据采掘竞赛,有超过一百个参赛团队,获得第一名和第二名。
2016-02-07 cs.AI cs.CL cs.IR
Exploring Sparse Autoencoders in Text-Based Causal Confounding Adjustment
Johns Hopkins University(约翰斯·霍普金斯大学);Williams College(威廉姆斯学院);Cohere
该研究针对文本因果混淆调整的表示权衡问题,提出基于稀疏自编码器(SAE)的迭代特征选择流程,经半合成评估验证其调整效果更优,还针对多标签未观测混淆变量的复杂场景开展了评估。
2026-09-02 cs.CL cs.LG
Block-Sparse Adversarial Attack to Fool Transformer-Based Text Classifiers
EPFL(洛桑联邦理工学院);Armasuisse S+T(瑞士联邦国防采购局科学技术部)
最近,有研究表明,尽管深度神经网络在不同领域表现出色,但它们很容易受到对抗性样本的影响。在本文中,我们提出了一个基于梯度的对抗攻击对基于transformer的文本分类器。在我们的方法中,对抗性扰动被施加为块稀疏的,因此得到的对抗性示例与原始句子只有几个单词不同。由于文本数据的离散性,我们执行梯度投影来找到我们提出的优化问题的最小值。实验结果表明,虽然我们的对抗攻击保持了句子的语义,但它可以将GPT-2在不同数据集(AG News,MNLI和Yelp Reviews)上的准确率降低到5%以下。此外,所提出的优化问题的块稀疏性约束导致对抗性示例中的小扰动。
2022-03-11 cs.CL cs.LG
SPECTRA: Sparse Structured Text Rationalization
Instituto de Telecomunicações(葡萄牙电信研究所);Instituto Superior Técnico(高等理工学院);Unbabel(Unbabel公司)
选择性合理化的目的是产生决策以及合理性(例如,文本突出显示或两个句子之间的单词对齐)。通常,基本原理被建模为随机二进制掩码,需要基于采样的梯度估计器,这使得训练复杂化,并且需要仔细的超参数调整。稀疏注意力机制是一种确定性的替代方案,但它们缺乏一种使基本原理提取规则化的方法(例如,以控制文本突出显示的稀疏度或对齐的数量)。在本文中,我们提出了一个统一的框架,确定性提取结构化的解释,通过约束推理的因素图,形成一个可微层。我们的方法极大地简化了训练和合理性规则化,在性能和提取的合理性方面通常优于以前的工作。我们进一步提供了一个比较研究的随机和确定性的方法提取分类和自然语言推理任务的理由,共同评估其预测能力,质量的解释,和模型的可变性。
2021-09-09 cs.CL cs.LG
IRLab@iKAT24: Learned Sparse Retrieval with Multi-aspect LLM Query Generation for Conversational Search
University of Amsterdam(阿姆斯特丹大学)
本文研究对话式搜索中的查询重写,提出基于MQ4CS框架的多维度LLM查询生成方法,并结合SPLADE学习型稀疏检索与交叉编码器重排序,在iKAT 2024任务中验证了该方法能有效提升检索性能并超越人工重写效果。
2024-11-22 cs.CL cs.IR
Rationalizing Text Matching: Learning Sparse Alignments via Optimal Transport
ASAPP, Inc.(ASAPP公司)
选择最相关的输入特征已经成为构建自解释模型的流行方法。在这项工作中,我们将这种选择性合理化方法扩展到文本匹配,其目标是联合选择和对齐文本片段(例如符号或句子),作为下游预测的理由。我们的方法采用最优运输(OT),以找到一个最小的成本之间的投入。然而,直接应用OT往往会产生密集的,因此无法解释的比对。为了克服这一限制,我们引入了新的约束变量的OT问题,导致高度稀疏的对齐与可控的稀疏性。我们的模型是端到端可区分的,使用Sinkhorn算法进行OT,并且可以在没有任何对齐注释的情况下进行训练。我们在StackExchange,MultiNews,e-SNLI和MultiRC数据集上评估了我们的模型。与强注意力基线模型相比,我们的模型实现了非常稀疏的合理选择,具有高保真度,同时保持了预测精度。
2020-05-27 cs.CL cs.LG stat.ML
Text-based depression detection on sparse data
以前的基于文本的抑郁检测通常基于大量用户生成的数据。像临床对话这样的稀疏场景很少被研究。本文提出了一种基于文本的多任务BGRU网络,该网络具有预训练的词嵌入来模拟患者在临床访谈中的反应。我们的主要方法使用了一种新的多任务损失函数,旨在建模抑郁症的严重程度和二元健康状态。我们独立地研究了单词和单词级的单词嵌入以及大数据预训练在抑郁症检测中的应用。为了加强我们的研究结果,我们报告了稀疏数据上大量独立运行的平均结果。首先,我们表明预训练有助于基于词级文本的抑郁检测。第二,我们的研究结果表明,在词汇层面的词嵌入应该是首选。虽然池函数的选择不那么重要,但平均值池和注意力池应该优先于最后时间步池。我们的方法输出抑郁症的存在结果以及预测的严重程度评分,最终在DAIC-WOZ开发集上获得了0.84的宏观F1评分和3.48的MAE。
2020-07-08 cs.CL cs.HC cs.LG
Learning Sparse Sentence Encoding without Supervision: An Exploration of Sparsity in Variational Autoencoders
University of Cambridge(剑桥大学);Monash University(莫纳什大学);Imperial College London(帝国理工学院)
稀疏性是一种有效的归纳偏差,可以有效地学习固定维数向量中数据的有效表示,并且已经在表示学习的许多领域中进行了探索。这项工作特别感兴趣的是VAE框架内的稀疏性的研究,这在图像领域已经探索了很多,但在NLP中甚至缺乏基本的探索。此外,NLP在学习大文本单元的稀疏表示方面也落后,例如,句子.我们使用的VAE,诱导稀疏的大单位的文本的潜在表示,以解决上述缺点。首先,我们通过衡量无监督最先进(SOTA)和其他基于VAE的文本稀疏化基线的成功,并提出一个分层稀疏VAE模型来解决SOTA的稳定性问题。然后,我们研究了稀疏性对3个数据集的文本分类的影响,并强调了稀疏潜在表示在下游任务上的性能与其编码任务相关信息的能力之间的联系。
2021-04-16 cs.CL cs.LG
Sparse Distillation: Speeding Up Text Classification by Using Bigger Student Models
Meta AI;University of Southern California(南加州大学)
将最先进的Transformer模型提炼为轻量级学生模型是减少推理时计算成本的有效方法。学生模型通常是具有较少参数的紧凑型Transformers,而诸如自我注意等昂贵的操作仍然存在。因此,改进的推理速度对于实时或高容量用例可能仍然不令人满意。在本文中,我们的目标是通过将教师模型提取为更大,更稀疏的学生模型来进一步推动推理速度的极限-更大的是它们可以扩展到数十亿个参数;更稀疏的是大多数模型参数都是n-gram嵌入。我们在六个单句文本分类任务上的实验表明,这些学生模型平均保留了97%的Roberta-Large教师性能,同时在GPU和CPU上实现了高达600倍的推理速度。进一步的研究表明,我们的管道也是有帮助的双对分类任务,并在领域泛化设置。
2022-07-25 cs.CL cs.LG
Sparse Graph to Sequence Learning for Vision Conditioned Long Textual Sequence Generation
Saarland University(萨尔大学)
当以视觉信息为条件时,生成更长的文本序列是一个值得探索的有趣问题。这里的挑战超过了标准视觉条件反射水平生成(例如,图像或视频描述),因为它需要产生描述可视内容的简短且连贯的故事。在本文中,我们将这个视觉到序列的学习问题称为图形到序列的学习问题,并使用Transformer架构来解决这个问题。具体来说,我们引入稀疏图到序列的Transformer(SGST)编码的图形和解码的序列。编码器旨在直接编码图级语义,而解码器用于生成更长的序列。与基准图像段落数据集进行的实验表明,我们提出的实现13.3%的CIDEr评价措施相比,以前的国家的最先进的方法。
2020-07-12 cs.CL cs.CV cs.LG
Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);Tufts University(塔夫茨大学);VecML
本文提出稀疏水印,通过仅对文本中少量具有特定词性标签的令牌施加水印,缓解了LLM水印中文本质量与检测效果之间的权衡,实现了高可检测性并提升了生成文本质量。
2024-07-17 cs.AI cs.CL cs.CR
Interpreting and Steering a Text-to-Speech Language Model with Sparse Autoencoders
T-Tech;AI Foundation and Algorithm Lab(人工智能基础与算法实验室)
本文在CosyVoice3语言模型骨干上训练BatchTopK稀疏自编码器,发现特征可解释且因果可控,能操纵笑声、性别和语速。
2026-06-08 cs.AI cs.CL cs.LG
Improving Context-Aware Semantic Relationships in Sparse Mobile Datasets
Stanford University(斯坦福大学)
传统的语义相似度模型往往无法封装文本所处的外部语境。然而,在移动平台上生成的文本数据集可以通过引入多模态数据来帮助我们构建更真实的语义相似性表示。这在稀疏数据集中尤其重要,这使得仅文本驱动的上下文解释变得更加困难。在本文中,我们开发了新的算法,用于构建外部特征到句子嵌入和语义相似性得分。然后,我们在Twitter数据上嵌入空间进行测试,使用每条推文的时间和地理位置来更好地理解其上下文。最终,我们证明了将具有八个分量的PCA应用于嵌入空间并附加多模态特征会产生最佳结果。这产生了相当大的改进,基于纯文本的方法来发现类似的推文。我们的研究结果表明,我们的新算法可以帮助提高在各种设置的语义理解。
2018-12-23 cs.CL cs.LG stat.ML
Conducting sparse feature selection on arbitrarily long phrases in text corpora with a focus on interpretability
我们提出了一个通用的框架,为特定主题的大型文本语料库的摘要,并说明它如何可以用于分析在两个完全不同的情况下:OSHA数据库的死亡和灾难报告(以促进监督模式的情况下,导致受伤或死亡)和工人的赔偿要求的法律决定(探索相关的案例法)。我们的摘要框架建立在稀疏分类方法的基础上,是目前广泛使用的基于简单词频的方法与更重量级的模型密集型方法(如潜在狄利克雷分配(LDA))之间的折衷。对于感兴趣的特定主题(例如,心理健康残疾或化学反应),我们将文档的标记回归到文档中所有其他单词和短语的高维计数上。然后,将所得到的一小组被发现具有预测性的短语作为摘要收集。使用分支定界方法,可以扩展该方法以允许任意长度的短语,从而实现潜在的丰富摘要。我们讨论了如何专注于摘要的目的可以告知正则化参数和模型约束的选择。我们通过比较计算时间和汇总统计结果的单词列表在文献中的其他三种方法来评估这个工具。我们还提出了一个新的R包,textreg。总的来说,我们认为稀疏方法有很多提供文本分析,是一个分支的研究,应进一步考虑在这种情况下。
2016-07-23 cs.CL cs.IR stat.AP
A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data
Tsinghua University(清华大学);Samsung Research China - Beijing (SRC-B)(三星中国研究院-北京(SRC-B));NetEase Inc.(网易公司)
赋予对话系统人物角色对于提供更人性化的对话至关重要。然而,这个问题还远没有得到很好的探讨,由于在自然语言中体现个性的困难和大多数对话语料库中观察到的人物角色稀疏问题。本文提出了一种基于预训练的个性化对话模型,可以使用人物稀疏对话数据生成连贯的响应。在该方法中,使用预先训练的语言模型来初始化编码器和解码器,并且设计个人属性嵌入以通过将说话者的人物角色与对话历史一起编码来建模更丰富的对话上下文。此外,将目标人物在解码过程中,并平衡其贡献,注意路由结构被设计在解码器中合并的功能提取的目标人物和对话上下文使用动态预测的权重。我们的模型可以在训练过程中以统一的方式利用人物角色稀疏对话,并且还可以控制在推理过程中展示的人物角色相关特征的数量。自动和手动评估表明,所提出的模型优于国家的最先进的方法,用于生成更连贯和人物角色一致的响应与人物角色稀疏的数据。
2019-11-12 cs.AI cs.CL cs.LG
Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);AI Foundation and Algorithm Lab(人工智能基金会与算法实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院);CNRS(法国国家科学研究中心);Université Paris Cité(巴黎西岱大学);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI))
本文使用 Sparse Autoencoders 从 Gemma-2-2b 残差流提取可解释且有效的特征,结合统计、引导与解释分析揭示不同 LLM 文本相对人类文本的风格差异,以提升人工文本检测的可解释性与泛化认识。
2025-03-05 cs.CL cs.IT math.IT