Idea-Gated Transformers: Enforcing Semantic Coherence via Differentiable Vocabulary Pruning
Darshan Fofadiya(独立研究者)
Idea-Gated Transformers通过可微分词汇修剪机制,实现语义一致性,提升语言模型的领域保留能力与生成可控性。
2025-12-11 cs.AI cs.CL
Sampled Weighted Min-Hashing for Large-Scale Topic Mining
我们提出了采样加权最小散列(SWMH),一个随机的方法来自动挖掘大规模语料库的主题。SWMH基于术语共现生成语料库词汇的多个随机分区,并聚集高度重叠的分区间单元以产生挖掘的主题。虽然其他方法将主题定义为词汇表上的概率分布,但SWMH主题是此类词汇表的有序子集。有趣的是,SWMH挖掘的主题在不同的粒度级别上支持来自语料库的主题。我们广泛地评估挖掘的主题的意义定性和定量的NIPS(1.7 K文件),20新闻组(20 K),路透社(800 K)和维基百科(4 M)语料库。此外,我们比较质量的SWMH与在线LDA主题的文档表示分类。
2015-09-08 cs.CL cs.IR cs.LG
Towards an automatic method for generating topical vocabulary test forms for specific reading passages
ETS
本文提出K-tool系统,自动检测文本主题并生成主题词汇测试表单,以测量学生背景知识并预测其理解特定阅读篇章的能力,面向中学和高中英语母语学生。
2025-05-24 cs.AI cs.CL cs.IR
Seed-Free Synthetic Data Generation Framework for Instruction-Tuning LLMs: A Case Study in Thai
Bangkok Christian International School(曼谷基督教国际学校);School of Information Science and Technology, VISTEC(VISTEC信息科学与技术学院)
本文针对低资源语言泰语,提出一种无种子数据的合成指令微调框架,通过融合流畅性、多样性和文化语境三个关键属性,仅用5,000条指令即可达到与大规模数据训练的最先进泰语LLMs相当的竞争力。
2024-11-23 cs.CL
CoRel: Seed-Guided Topical Taxonomy Construction by Concept Learning and Relation Transferring
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Hong Kong University of Science and Technology(香港科技大学)
分类法不仅是知识表示的基本形式,而且对于诸如问答和网络搜索等大量知识丰富的应用也至关重要。现有的分类法构造方法大多通过提取上下义实体对来组织“通用”分类法。然而,这些通用的分类不能满足用户在某些领域和关系的具体利益。此外,实例分类法的本质是将每个节点视为单个单词,这具有低语义覆盖率。在本文中,我们提出了一种种子引导的主题分类结构的方法,该方法以语料库和概念名称描述的种子分类作为输入,并构造一个更完整的分类基于用户的兴趣,其中每个节点表示为一个集群的连贯的条款。我们的框架CoRel有两个模块来实现这一目标。关系转换模块学习用户感兴趣的关系并沿多条路径进行转换,以扩展种子分类结构的广度和深度。概念学习模块通过联合嵌入分类法和文本来丰富每个概念节点的语义。在真实世界数据集上进行的综合实验表明,Corel生成了高质量的主题分类,并显著优于所有基线。
2020-10-13 cs.CL cs.IR
Topic-Based Watermarks for Large Language Models
Case Western Reserve University(凯斯西储大学);Meta Platforms, Inc(Meta公司)
本文提出一种轻量级主题引导的水印方案,通过将词汇库按主题划分,提升水印鲁棒性的同时保持生成文本的流畅性,实验表明其在多个LLM和基准测试中表现优异。
2026-10-17 cs.CL cs.CR cs.LG
iAgentBench: Benchmarking Sensemaking Capabilities of Information-Seeking Agents on High-Traffic Topics
University of Washington(华盛顿大学)
iAgentBench通过整合多源证据来评估信息检索代理在高流量话题中的理解能力,强调证据使用而非单纯检索的重要性。
2026-03-04 cs.CL cs.IR cs.LG
A Aelf-supervised Tibetan-chinese Vocabulary Alignment Method Based On Adversarial Learning
Tibet University(西藏大学)
藏语是一种低资源语言。为了缓解藏汉平行语料库的不足,本文利用两个单语语料库和少量的种子词典,通过计算词簇在不同嵌入空间的相似度,对种子词典半监督学习方法和自监督对抗训练方法进行学习,提出了一种改进的自监督对抗训练方法,一种仅用于藏汉单语数据对齐的有监督对抗学习方法。实验结果如下。第一,藏文音节汉字的实验结果不佳,这反映出藏文音节与汉字之间的语义相关性较弱;第二,种子词典的半监督方法取得了前10个词的预测准确率为66.5(藏-汉)和74.8(汉-藏)的结果,改进后的自我监督方法在两个语言方向上的准确率都达到了53.5。
2021-10-04 cs.CL
Multi-label Dataless Text Classification with Topic Modeling
State Key Lab of Software Engineering, Wuhan University(武汉大学软件工程国家重点实验室)
手动标记文档既繁琐又昂贵,但它对于训练传统的文本分类器至关重要。近年来,一些无数据文本分类技术被提出来解决这个问题。然而,现有的工作主要集中在单标签分类问题,即,每个文件被限制为属于一个单一的类别。在本文中,我们提出了一种新的种子引导的多标签主题模型,命名为SMTM。SMTM利用与每个类别相关的几个种子词,对没有任何标记文档的文档集合进行多标记分类。在SMTM中,每个类别都与一个单独的类别主题相关联,该主题涵盖了类别的含义。为了适应多标签文档,我们显式模型的类别稀疏SMTM使用尖峰和板先验和弱平滑先验。也就是说,在不使用任何阈值调优的情况下,SMTM会自动为每个文档选择相关的类别。为了结合对种子词的监督,我们提出了种子引导的偏置GPU(即,广义波利亚瓮)抽样程序来指导SMTM的主题推理。在两个公共数据集上的实验表明,SMTM比最先进的替代方案实现了更好的分类精度,甚至在某些情况下优于监督解决方案。
2017-11-05 cs.CL cs.IR
PrivDrift: Auditing User-Secret Leakage Under Topic Drift in Active LLM Conversations
West Virginia University(西弗吉尼亚大学)
PrivDrift基准通过1,000个多轮对话和提取探测,评估三个LLM在主题漂移后用户秘密的泄露率(38.7%-54.6%),揭示隐私风险是持久行为失败而非仅记忆或越狱。
2026-09-28 cs.AI cs.CL cs.CR
Iterative Topic Taxonomy Induction with LLMs: A Case Study of Electoral Advertising
Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系);Department of Computer Science, Purdue University(普渡大学计算机科学系)
本文提出基于大语言模型的迭代主题分类方法,通过选举广告案例验证,实现了无需预定义标签的自动主题分类,并在人类评估中表现出更一致和可解释的结果。
2026-10-02 cs.AI cs.CL cs.CY
AIDE: Attribute-Guided MultI-Hop Data Expansion for Data Scarcity in Task-Specific Fine-tuning
Syracuse University(苏塞克斯大学);AWS Bedrock Science(AWS Bedrock科学)
提出属性引导多跳数据扩展框架AIDE,通过提取主题与属性进行多跳合成并引入残差连接,仅需10个种子即可高效微调LLM,性能超越人类数据及现有方法。
2025-07-14 cs.CL
Topic Discovery in Massive Text Corpora Based on Min-Hashing
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所)
十多年来,在文本语料库中发现主题的任务一直由潜在Dirichlet分配和其他主题模型主导。为了将这些方法应用于大量文本语料库,词汇表需要大大减少,并且通常需要大型计算机集群和/或GPU。此外,主题的数量必须事先提供,但这取决于语料库的特点,这往往是很难估计,特别是对于海量文本语料库。不幸的是,主题质量和时间复杂度都对这种选择很敏感。本文介绍了一种基于Min-Hashing的主题发现方法,该方法可以使用适当的计算机硬件处理大量文本语料和大词汇量,并且不需要预先确定主题的数量。其基本思想是生成语料库词汇的多个随机分区,以找到高度共现的单词集,然后将其聚类以产生最终的主题。与概率主题模型中的主题分布在完整的词汇,所提出的方法发现的主题是一组高度共现的话。有趣的是,这些主题是不同粒度级别的各种主题的基础。使用20个新闻组(18 K),路透社(800 K),西班牙语维基百科(1 M)和英语维基百科(5 M)语料库进行了广泛的定性和定量评估表明,所提出的方法能够始终如一地发现有意义和连贯的主题。值得注意的是,所提出的方法的时间复杂度是线性的语料库和词汇量的大小;非并行实现能够发现主题从整个英文版的维基百科超过500万个文档和100万个单词在不到7个小时。
2019-08-07 cs.CL
On-the-Fly Rectification for Robust Large-Vocabulary Topic Inference
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Microsoft Research(微软研究院);Georgia Tech(佐治亚理工学院);Cornell University(康奈尔大学)
在许多数据域中,关于对象的联合外观的共现统计信息是非常有用的。通过将无监督学习问题转化为共现统计的分解,谱算法为诸如潜在主题分析和社区发现等后验推理提供了透明且高效的算法。然而,随着对象词汇表的增长,存储和运行共现统计数据的推理算法的成本会迅速增加。纠正同现,关键的过程,以维护模型的假设,变得越来越重要的存在罕见的条款,但目前的技术不能扩展到大的词汇。我们提出了新的方法,同时压缩和纠正共现统计,规模优雅的词汇量和潜在空间的尺寸。我们还提出了新的算法,从压缩的统计数据学习潜变量,并验证我们的方法执行的文本和非文本数据的方法。
2021-11-12 cs.AI cs.CL cs.LG
Is Stance Detection Topic-Independent and Cross-topic Generalizable? -- A Reproduction Study
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Eindhoven University of Technology(埃因霍温理工大学);Leiden University(莱顿大学)
跨主题立场检测是自动检测看不见的主题上的立场(赞成,反对或中立)的任务。我们成功地再现了国家的最先进的跨主题的立场检测工作(赖默斯等。例如,2019),并系统分析其重现性。然后,我们的注意力转向这项工作的跨主题方面,以及词汇和社会文化背景方面的主题的特殊性。我们问:在多大程度上是立场检测主题独立和概括跨主题?我们比较了模型在各种看不见的主题上的性能,并发现主题(例如堕胎,克隆),类(例如赞成,反对)以及它们的相互作用影响模型的性能。我们的结论是,调查性能不同的主题,并解决特定主题的词汇和上下文,是未来的途径跨主题的立场检测。
2021-10-14 cs.CL
Train & Constrain: Phonologically Informed Tongue-Twister Generation from Topics and Paraphrases
The University of Sheffield(谢菲尔德大学);University of Manchester(曼彻斯特大学)
本文提出TwisterLister流水线,利用LLM和音系学约束词汇生成绕口令,构建了17K+规模的TwistList 2.0数据集,并引入音素感知约束解码模块PACD及基于音素编辑距离的自动评估指标,验证了无需显式注入音系知识即可生成高质量绕口令。
2024-10-18 cs.CL
Seeded Poisson Factorization: leveraging domain knowledge to fit topic models
针对传统无监督主题模型难与预定义领域对齐的问题,提出融入种子词领域知识的种子泊松因子分解SPF,经多数据集验证其在分类性能与计算效率上更优,且对不完善种子词具鲁棒性。
2025-10-04 cs.CL cs.LG econ.GN
Vocabulary-based Method for Quantifying Controversy in Social Media
Universidad de Buenos Aires(布宜诺斯艾利斯大学)
识别有争议的话题不仅从社会的角度来看是有趣的,它还使方法的应用,以避免信息隔离,创造更好的讨论环境,并在最好的情况下达成协议。在本文中,我们开发了一种系统的方法,主要基于社会媒体中的社区使用的行话进行争议检测。我们的方法无需使用特定领域的知识,是语言不可知的,高效,易于应用。我们在许多语言、地区和背景下进行了广泛的实验,涉及有争议和无争议的话题。我们发现,我们的词汇为基础的措施比最先进的措施,只基于社区图结构的表现更好。此外,我们表明,它是可以通过文本分析检测极化。
2020-01-14 cs.CL cs.IR cs.LG
From Noise to Signal: When Outliers Seed New Topics
本文提出一种时间主题分类方法,通过分析文档轨迹识别早期信号,区分预示性异常值与传统主题强化文档,验证了其在氢经济新闻中的有效性。
2026-09-22 cs.AI cs.CL
Weakly Supervised Prototype Topic Model with Discriminative Seed Words: Modifying the Category Prior by Self-exploring Supervised Signals
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室)
无数据文本分类,即,弱监督学习的新范例是指利用未标记的文档和一些预定义的类别代表词(称为种子词)进行学习的任务。最近的生成式无数据方法通过仅使用种子词出现来构造文档特定的类别先验,然而,这样的类别先验通常包含非常有限的甚至是有噪声的监督信号。为了解决这个问题,在本文中,我们提出了一种新的制定类别先验。首先,对于每个文件,我们认为它的标签隶属度,不仅计算种子词的出现,但也使用一种新的原型计划,它捕获伪最近邻类别。其次,对于每个标签,我们考虑其语料库的频率先验知识,这也是一个判别知识的分类。通过将所提出的类别先验引入到已有的生成式无数据方法中,我们提出了一种新的生成式无数据方法,即弱监督原型主题模型(WSPTM)。在真实数据集上的实验结果表明,WSPTM优于现有的基线方法。
2021-11-20 cs.AI cs.CL
Inverted Bilingual Topic Models for Lexicon Extraction from Non-parallel Data
IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);IBM Research-Tokyo(IBM东京研究中心)
主题模型已经成功地应用于词典抽取。但是,以前的大多数方法仅限于文档对齐的数据。在本文中,我们试图解决两个挑战,将主题模型应用于非并行数据中的词汇提取:1)难以建模的单词关系和2)噪声种子字典。为了解决这两个挑战,我们提出了两个新的双语主题模型,以更好地捕捉每个单词的语义信息,同时区分在一个嘈杂的种子字典的多个翻译。我们通过颠倒“单词”和“文档”的角色来扩展主题模型的范围。此外,为了解决种子词典中的噪声问题,我们在模型中加入了翻译选择的概率。此外,我们还提出了一个有效的措施,以评估在不同的语言中的词的相似性,并选择最佳的翻译对。使用真实世界数据的实验结果表明,所提出的模型的实用性和有效性。
2017-06-21 cs.CL
Taxonomy Induction using Hypernym Subsequences
EPFL(洛桑联邦理工学院)
我们提出了一种新的,半监督的方法对领域分类法的诱导从输入词汇的种子条款。与以往的方法,通常提取直接的上位词边缘的条款,我们的方法利用一种新的概率框架来提取上位词的连续性。从提取的分类归纳的一致性铸造作为一个实例的minimumcost流问题的精心设计的有向图。通过实验,我们证明了我们的方法优于国家的最先进的分类法归纳方法在四种语言。重要的是,我们还表明,我们的方法是鲁棒的输入词汇中的噪声的存在。据我们所知,没有以前的方法已被经验证明,以体现在输入词汇的噪声鲁棒性。
2017-09-14 cs.AI cs.CL cs.IR
Reflective Prompt Optimization of a Deep-Research Agent: A Topic-Disjoint, Multi-Seed Protocol for Measuring Transferable Gains and Prompt-Level Overfitting
该研究针对深度研究智能体提出主题不相交多种子的反思式提示优化协议,发现其可提升保留引用奖励,且增益源于分解维度反馈而非记忆,需特定评估条件。
2026-10-12 cs.CL
Analysing the Impact of Removing Infrequent Words on Topic Quality in LDA Models
University of Lodz(罗兹大学);Justus Liebig University Giessen(吉森尤斯图斯·李比希大学)
本文通过Monte Carlo实验研究了移除低频词对LDA模型主题质量的影响,发现词汇表修剪能提升主题质量且可消除比例相当大。
2023-11-24 cs.CL
Keyword Assisted Embedded Topic Model
University of California, Los Angeles(加州大学洛杉矶分校)
通过阐明文本语料库中的潜在结构,主题模型是对大量文档进行分类、总结和探索的重要工具。概率主题模型,如潜在狄利克雷分配(LDA),描述了文档中的单词如何通过一组称为主题的潜在分布生成。最近,嵌入式主题模型(ETM)扩展了LDA,利用词嵌入中的语义信息来生成语义更丰富的主题。由于LDA及其扩展是无监督模型,因此它们的定义不能有效地利用用户对该领域的先验知识。为此,我们提出了关键词辅助嵌入式主题模型(KeyETM),它配备ETM的能力,将用户知识的形式信息的主题级先验的词汇。使用定量指标和人类的反应主题入侵任务,我们证明了KeyETM产生更好的主题比其他指导,生成模型在文献中。
2021-11-22 cs.CL cs.IR cs.LG
Remedies against the Vocabulary Gap in Information Retrieval
搜索引擎严重依赖于基于术语的方法,这些方法将查询和文档表示为词袋。文本(文档或查询)由一组单词表示,忽略语法和词序,但保留词频计数。当呈现搜索查询时,引擎然后通过计算查询和文档术语之间的匹配度来根据文档的相关性得分对文档进行排名。虽然基于术语的方法在实践中是直观和有效的,但它们是基于这样的假设的:无论查询语义如何,精确包含查询术语的文档都是高度相关的。当然,基于术语的方法假设不包含查询术语的文档是不相关的。然而,众所周知,在术语级别的高匹配度并不一定意味着高相关性,反之亦然,匹配空查询术语的文档可能仍然是相关的。因此,当查询和文档使用不同的词来描述相同的概念时,就会出现查询和文档之间的词汇差距。如何缓解这种词汇差距所带来的影响,正是本文研究的主题。更具体地说,我们提出(1)的方法来制定一个有效的查询从复杂的文本结构和(2)潜在的向量空间模型,规避词汇差距信息检索。
2017-11-16 cs.AI cs.CL cs.IR
Prediction Focused Topic Models via Feature Selection
监督主题模型通常被用来平衡预测质量和可解释性。然而,当模型(不可避免地)被错误指定时,标准方法很少同时满足这两个要求。我们介绍了一种新的方法,预测为重点的主题模型,使用的监督信号只保留词汇,提高,或至少不妨碍,预测性能。通过去除具有不相关信号的术语,主题模型能够学习与任务相关的连贯主题。我们在几个数据集上证明,与现有方法相比,以预测为中心的主题模型在保持竞争性预测的同时学习到更多连贯的主题。
2020-02-29 cs.CL cs.LG stat.ML
Seed Words Based Data Selection for Language Model Adaptation
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
我们解决的问题,语言模型定制的应用程序中的ASR组件需要管理特定领域的术语,虽然目前国家的最先进的语音识别技术提供了良好的通用域的结果,适应专门的字典或词汇表仍然是一个悬而未决的问题。在这项工作中,我们提出了一种方法,用于自动选择句子,从文本语料库,匹配,语义和形态,词汇表的术语(词或复合词)提供的用户。最终目标是快速调整具有有限域内文本数据的混合ASR系统的语言模型,以便成功应对手头的语言领域;扩展和定制基线模型的词汇表,降低由此产生的OOV率。基于浅形态种子和语义相似性viaword 2 vec的数据选择策略进行了介绍和讨论;实验设置包括在同声传译的情况下,在三种语言的ASR被设计为识别特定领域的术语(即牙科)。使用不同的指标(OOV率,WER,准确率和召回率)的结果表明所提出的技术的有效性。
2021-07-20 cs.CL
Towards Autoencoding Variational Inference for Aspect-based Opinion Summary
University of Information Technology(信息技术大学);Ho Chi Minh City University of Technology(胡志明市理工大学)
基于情感的意见摘要(AOS),包括方面发现和情感分类步骤,最近成为电子商务系统中最重要的数据采掘任务之一。沿着这个方向,基于LDA的模型被认为是一个非常合适的方法,因为这个模型提供了主题建模和情感分类。然而,与传统的主题建模不同,在方面发现的背景下,它往往需要一些初始种子词,其先验知识是不容易被纳入LDA模型。此外,LDA方法依赖于采样方法,这需要将整个语料库加载到内存中,使得它们难以扩展。在这项研究中,我们研究了AOS问题的替代方法,基于自动编码变分推理(AVI)。首先,我们介绍了自动编码变分推理方面发现(AVIAD)模型,它扩展了以前的工作自动编码变分推理主题模型(AVITM)嵌入先验知识的种子词。这项工作包括增强以前的AVI架构,也修改的损失函数。最后,我们提出了联合情感/主题的自动编码变分推理(AVIJST)模型。在这个模型中,我们大大扩展了AVI模型,以支持JST模型,它执行相应的情感主题建模。实验结果表明,我们提出的模型具有更高的主题一致性,更快的收敛时间和更好的情感分类的准确性,相比基于LDA的同行。
2019-06-07 cs.CL cs.LG
Characterizing the public perception of WhatsApp through the lens of media
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Leiden University(莱顿大学);Pontifícia Universidade Católica de Minas Gerais(米纳斯吉拉斯天主教大学);Harvard University(哈佛大学)
截至2018年,WhatsApp是全球信息和通信基础设施的重要组成部分,特别是在发展中国家。然而,可能是由于其强大的端对端加密,WhatsApp成为传播错误信息,极端主义和其他形式的不良行为的吸引力。在本文中,我们通过媒体的镜头调查公众对WhatsApp的看法。我们分析了两个大型新闻数据集,并展示了随着时间的推移,世界不同地区与WhatsApp相关的内容类型。我们的分析包括检查命名实体,一般词汇和新闻文章中提到WhatsApp的主题,以及这些文本的极性。在其他结果中,我们证明了媒体中围绕“whatsapp”一词的词汇和主题多年来一直在变化,2018年集中在与错误信息,政治和犯罪诈骗有关的问题上。更一般地说,我们的研究结果有助于了解WhatsApp等工具在当代社会中的影响,以及社区本身如何看待它们。
2018-08-17 cs.CL cs.CY cs.SI
Leveraging Just a Few Keywords for Fine-Grained Aspect Detection Through Weakly Supervised Co-Training
Columbia University(哥伦比亚大学)
用户生成的评论可以被分解成细粒度的片段(例如,句子,子句),每个评估主体实体的不同方面(例如,价格、质量、外观)。自动检测这些方面对于用户和下游意见挖掘应用程序都是有用的。目前用于学习方面分类器的监督方法需要许多细粒度的方面标签,这是劳动密集型的获得。不幸的是,无监督的主题模型往往无法捕捉到感兴趣的方面。在这项工作中,我们考虑了用于训练方面分类器的弱监督方法,这些方法只需要用户提供一小组种子词(即,弱阳性指标)。首先,我们表明,目前的弱监督方法不能有效地利用种子词的预测能力进行方面检测。接下来,我们提出了一种学生-教师方法,该方法有效地利用了词袋分类器(教师)中的种子词;反过来,我们使用教师来训练第二个模型(学生),该模型可能更强大(例如,使用预训练的词嵌入的神经网络)。最后,我们证明了迭代协同训练可以用来处理有噪声的种子词,从而改进教师和学生模型。我们提出的方法在六个不同的产品评论领域和六个多语言餐厅评论数据集中始终优于以前的弱监督方法(平均14.1个绝对F1点)。
2019-09-01 cs.CL cs.LG stat.ML