Hybrid Topic-Semantic Labeling and Graph Embeddings for Unsupervised Legal Document Clustering
Department of Mathematical Sciences(数学科学系);Salisbury University(萨里大学);Department of Mathematics and Statistics(数学与统计学系);Carleton College(卡尔顿学院)
针对法律文档标注数据有限、领域性强的分类难题,提出结合Top2Vec语义主题嵌入与Node2Vec图嵌入的混合无监督聚类方法,性能优于基线模型,为法律文本分析提供新思路。
2026-10-20 cs.CL cs.LG stat.ML
Reinforcement Learning for Topic Models
University of Alberta(阿尔伯塔大学)
本文用强化学习策略替换ProdLDA中的变分自编码器,结合架构现代化、加权ELBO和上下文嵌入,在11个数据集上超越无监督模型,并接近监督模型性能。
2023-05-08 cs.CL cs.LG
Source-LDA: Enhancing probabilistic topic models using prior knowledge sources
University of California Los Angeles(加州大学洛杉矶分校)
主题建模的一种流行方法是将语料库中的共现n-gram提取为语义主题。主题中的n-gram集合代表了一个潜在的主题,但是大多数主题建模方法都不能用单个n-gram来标记这些单词集合,这样的标记对于摘要系统中的主题识别非常有用。本文介绍了一种新的方法来标记一组n-gram组成一个单独的主题。所采取的方法是补充现有的主题分布的话,一个已知的分布的基础上一组预定义的主题。这是通过将表示已知潜在主题的现有标记知识源集成到概率主题模型中来完成的。这些知识源被转换成一个分布,并用于设置词上的Dirichlet生成分布的超参数。在推理中,这些修改后的分布引导潜在主题的收敛以符合互补分布。这种方法确保主题推理过程与现有知识一致。然后将来自互补知识源的标签分配转移到语料库的潜在主题。结果表明,准确的标签分配的主题,以及改进的主题生成比使用各种标记方法的基础上潜在的狄利克雷分配(LDA)。
2017-05-17 cs.CL cs.IR cs.LG
Natural Language Processing of Aviation Occurrence Reports for Safety Management
Royal Netherlands Aerospace Centre(荷兰皇家航空航天中心);University of Amsterdam(阿姆斯特丹大学)
事故报告是安全管理系统中常用的一种方法,用于深入了解危险和事故情景的发生率。为了支持安全数据分析,报告通常根据分类法进行分类。然而,报告的处理可能需要安全分析师付出大量努力,并且一个常见的问题是标签过程中的评价者间差异。此外,在某些情况下,报告没有根据分类法进行处理,或者分类法没有完全覆盖文档的内容。本文探讨了各种自然语言处理(NLP)方法,以支持航空安全事故报告的分析。特别是,研究的问题是使用分类模型的自动标记的报告,提取潜在的主题,在一个集合中的文本使用的主题模型和自动生成的可能原因的文本。实验结果表明,(i)在正确的条件下,发生报告的标记可以有效地自动化与基于变换的分类器,(ii)主题建模可以是有用的,用于发现报告的集合中存在的主题,和(iii)使用摘要模型可以是一个有前途的方向生成可能的原因文本。
2023-01-13 cs.CL cs.LG
Labeled Interactive Topic Models
University of Maryland(马里兰大学)
本文提出一种带标签的交互式神经主题模型,允许用户为主题分配单词标签以引导模型更新,并通过人类研究证明该方法能改善文档排名得分,帮助找到更相关的文档。
2024-02-07 cs.CL cs.HC cs.IR
Hierarchical Multi-Label Classification of Scientific Documents
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
自动主题分类已被广泛研究,以帮助管理和索引的数字收集的科学文献。随着近年来出现的大量主题,有必要将它们按层次排列。因此,自动分类系统需要能够分级地对文档进行分类。此外,每篇论文往往被分配到一个以上的相关主题。例如,一篇论文可以被分配到层次树中的几个主题。在本文中,我们介绍了一个新的数据集,用于科学论文的分层多标签文本分类(HMLTC),称为SciHTC,它包含来自ACM CCS树的186,160篇论文和1,233个类别。我们为HMLTC建立了强大的基线,并提出了一种多任务学习方法,用于主题分类,关键字标记作为辅助任务。我们的最佳模型达到了34.57%的Macro-F1得分,这表明该数据集为分层科学主题分类提供了重要的研究机会。我们在Github上提供数据集和代码。
2022-11-05 cs.CL
Topic Segmentation and Labeling in Asynchronous Conversations
Qatar Computing Research Institute(卡塔尔计算研究所);University of British Columbia(不列颠哥伦比亚大学)
话题分割和标记通常被认为是更高级别会话分析的先决条件,并且已被证明在许多自然语言处理(NLP)应用中是有用的。我们提出了两个新的语料库的电子邮件和博客对话注释的主题,并评估注释器的可靠性,在这些异步对话的分割和标记任务。我们提出了一个完整的计算框架,主题分割和标签在异步会话。我们的方法通过考虑异步会话的细粒度结构以及通过应用最近的基于图的NLP方法的其他会话特征来扩展最先进的方法。对于主题分割,我们提出了两个新的无监督模型,利用细粒度的会话结构,和一个新的图论监督模型,结合词汇,会话和主题功能。对于主题标签,我们提出了两种新的(无监督)随机游走模型,分别从两个不同的来源捕获会话特定的线索:领导的句子和细粒度的会话结构。经验评估表明,我们最好的模型所执行的分割和标记击败了最先进的技术,并且与人类注释高度相关。
2014-02-04 cs.CL
Persian Semantic Role Labeling Using Transfer Learning and BERT-Based Models
Iran University of Science & Technology(伊朗科学技术大学);Yasouj University(亚苏季大学)
针对波斯语传统SRL方法准确率低且依赖特征提取的问题,本文提出一种基于迁移学习和BERT的端到端语义角色标注方法,无需辅助特征,在相似条件下准确率提升超过16个百分点。
2023-06-17 cs.CL
A document processing pipeline for the construction of a dataset for topic modeling based on the judgments of the Italian Supreme Court
本文提出集成YOLOv8x、OCR、匿名化与BERTopic的意大利最高法院判决处理流水线,构建公开主题建模数据集,并由LLM生成标签和摘要,实验表现优异。
2025-05-13 cs.CL
Communication-Free Parallel Supervised Topic Models
AQR Capital Management LLC(AQR资本管理有限责任公司);University of Texas at Austin(德克萨斯大学奥斯汀分校)
令人尴尬的是(无通信)并行马尔可夫链蒙特卡罗(MCMC)方法通常用于学习图形模型。然而,MCMC不能直接应用于主题模型的学习,因为主题的多峰分布引起的准遍历性问题。在本文中,我们开发了一个并行MCMC算法的sLDA。我们的算法通过切换sLDA中的采样主题组合和标签变量预测的顺序来工作,其中它克服了准遍历性问题,因为遵循多峰分布的高维主题被投影到遵循单峰分布的一维文档标签中。我们的实证实验证实,使用我们的并行算法的样本外预测性能与非并行sLDA相当,而计算时间显着减少。
2017-08-10 cs.CL cs.IR cs.LG
GHTM: A graph-based hybrid topic modeling approach for Bengali language
Institute of Information Technology (IIT), University of Dhaka(达卡大学信息技术研究所);Centre for Advanced Research in Sciences (CARS), University of Dhaka(达卡大学高级科学研究中心)
本文提出GHTM模型,结合TF-IDF加权GloVe嵌入、图卷积网络和非负矩阵分解,提升孟加拉语主题建模效果,并引入NCTBText数据集作为基准。
2026-10-14 cs.CL
Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling
ANU(澳大利亚国立大学);NICTA(澳大利亚国家信息通信技术研究院)
Twitter的数据非常嘈杂--每条推文都很短,没有结构,语言也不正式,这对当前的主题建模来说是一个挑战。另一方面,推文伴随着额外的信息,如作者,标签和用户追随者网络。利用这些额外的信息,我们提出了Twitter网络(TN)的主题模型,共同建模的文本和社会网络在一个完整的贝叶斯非参数的方式。TN主题模型采用分层泊松-狄利克雷过程(PDP)的文本建模和高斯过程随机函数模型的社会网络建模。我们表明,TN主题模型显着优于现有的几个非参数模型,由于其灵活性。此外,TN主题模型能够实现额外的信息推理,例如作者的兴趣,主题标签分析,以及导致进一步的应用,例如作者推荐,自动主题标签和主题标签建议。注意,我们的一般推理框架可以很容易地应用到其他主题模型嵌入PDP节点。
2016-09-22 cs.CL cs.IR cs.SI
A Semi-Supervised Approach to Detecting Stance in Tweets
University of California, Santa Cruz(加州大学圣克鲁兹分校)
立场分类的目的是确定,对于一个特定的问题正在讨论中,无论是发言者或作者的会话轮有赞成(赞成)或反对(反对)的立场。检测推文中的立场是SemEval-2016 Task 6提出的一项新任务,涉及预测关于堕胎,无神论,气候变化,女权主义和希拉里克林顿主题的推文数据集的立场。鉴于数据集的规模很小,我们的团队通过为用于查询twitter API的每个主题开发一组高精度hashtag来创建我们自己的特定主题训练语料库,目的是开发一个大型训练语料库,而无需额外的人工标记tweet立场。为每个主题选择的主题标签预计将独立存在。实验结果表明,我们的意见,目标对的基础上概括依赖功能,使用情感词典的功能表现良好。
2017-09-03 cs.CL
Topic Similarity Networks: Visual Analytics for Large Document Sets
Institute for Defense Analyses(国防分析研究所)
我们研究的方法,以提高LDA主题模型的可解释性,更好地分析和可视化其输出。我们专注于研究我们所说的主题相似性网络:图中的节点代表文本集合中的潜在主题,链接代表主题之间的相似性。我们描述了高效和有效的方法来构建和标记这样的网络。基于这些网络的主题模型的可视化被证明是探索,表征和总结大量非结构化文本文档的强大手段。它们有助于“梳理”不同文档集之间的非明显联系,并提供有关主题如何形成更大主题的见解。我们通过两个案例研究证明了这些方法的有效性和实用性:1)NSF资助的基础研究跨越14年的时间和2)维基百科的整个英文部分。
2014-09-26 cs.CL cs.HC cs.IR
OneLove beyond the field -- A few-shot pipeline for topic and sentiment analysis during the FIFA World Cup in Qatar
Technische Universität Berlin(柏林工业大学);University of Wuppertal(伍珀塔尔大学);KU Leuven(鲁汶大学)
本文利用大语言模型上下文学习对卡塔尔世界杯期间的德语推文进行主题与情感分析,揭示了 OneLove 臂章争议前后舆论从 LGBT 权利与政治转向体育政治并趋于中立,为体育激进主义研究提供了少样本分析框架。
2024-08-05 cs.CL
An open access NLP dataset for Arabic dialects : Data collection, labeling, and model construction
Mohamed VI Polytechnic University (UM6P)(穆罕默德六世理工大学(UM6P))
自然语言处理(NLP)是当今非常活跃的研究和创新领域。然而,许多应用程序需要大的数据集用于监督学习,并为训练目的进行适当的标记。这包括阿拉伯语及其民族方言的应用。然而,这种阿拉伯语及其方言的开放获取标记数据集在数据科学生态系统中缺乏,这种缺乏可能成为该领域创新和研究的负担。在这项工作中,我们提出了一个开放的数据集的社会数据内容在几个阿拉伯语方言。这些数据是从Twitter社交网络收集的,包括五(5)种国家方言的+50K twitter。此外,这些数据被标记为几个应用,即方言检测,主题检测和情感分析。我们将这些数据作为开放获取数据发布,以鼓励创新,并鼓励阿拉伯语方言和社交媒体的NLP领域的其他工作。选择的模型建立使用该数据集,并在本文中介绍了他们的表现。
2021-02-07 cs.CL cs.LG
Multi-label Dataless Text Classification with Topic Modeling
State Key Lab of Software Engineering, Wuhan University(武汉大学软件工程国家重点实验室)
手动标记文档既繁琐又昂贵,但它对于训练传统的文本分类器至关重要。近年来,一些无数据文本分类技术被提出来解决这个问题。然而,现有的工作主要集中在单标签分类问题,即,每个文件被限制为属于一个单一的类别。在本文中,我们提出了一种新的种子引导的多标签主题模型,命名为SMTM。SMTM利用与每个类别相关的几个种子词,对没有任何标记文档的文档集合进行多标记分类。在SMTM中,每个类别都与一个单独的类别主题相关联,该主题涵盖了类别的含义。为了适应多标签文档,我们显式模型的类别稀疏SMTM使用尖峰和板先验和弱平滑先验。也就是说,在不使用任何阈值调优的情况下,SMTM会自动为每个文档选择相关的类别。为了结合对种子词的监督,我们提出了种子引导的偏置GPU(即,广义波利亚瓮)抽样程序来指导SMTM的主题推理。在两个公共数据集上的实验表明,SMTM比最先进的替代方案实现了更好的分类精度,甚至在某些情况下优于监督解决方案。
2017-11-05 cs.CL cs.IR
Analyzing Cancer Patients' Experiences with Embedding-based Topic Modeling and LLMs
Leiden Institute of Advanced Computer Science (LIACS), Leiden, The Netherlands(莱顿高级计算机科学研究所(LIACS),莱顿,荷兰);Leiden University Medical Center (LUMC), Leiden, The Netherlands(莱顿大学医学中心(LUMC),莱顿,荷兰)
本研究利用BERTopic和Top2Vec等神经主题建模方法,结合LLM(GPT4)进行主题标注,从癌症患者访谈数据中提取有意义主题,并评估不同嵌入模型的效果,发现领域特定的BioClinicalBERT嵌入能提高主题精度和可解释性。
2026-05-27 cs.CL
DTECT: Dynamic Topic Explorer & Context Tracker
Indian Association for the Cultivation of Science(印度科学培养协会)
DTECT是一个端到端系统,通过提供统一工作流整合数据预处理、多模型架构、评估指标及LLM驱动的自动主题标注和交互式可视化,解决了动态主题建模碎片化问题,显著增强了主题演变的可解释性与用户探索体验。
2025-07-12 cs.AI cs.CL cs.IR
FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks
Beijing Value Simplex Technology Co. Ltd(北京值数科技有限公司)
在自然语言处理(NLP)中,最先进的(SOTA)半监督学习(SSL)框架在深度预训练的语言模型(如BERT)上表现出出色的性能,预计将大大减少对手动标记的需求。然而,我们的实证研究表明,这些框架不适合轻量级模型,如TextCNN,LSTM等。在这项工作中,我们开发了一个新的SSL框架,称为FLiText,它代表更快,更轻的半监督文本分类。FLiText引入了一个鼓舞人心的网络以及一致性正则化框架,该框架利用轻量级模型上的广义正则约束来实现高效的SSL。因此,FLiText在文本分类的多个SSL基准测试中为轻量级模型获得了新的SOTA性能。与TextCNN上现有的SOTA SSL方法相比,FLiText将轻量级模型TextCNN在IMDb上的准确率从51.00%提高到90.49%,在Yelp-5上从39.8%提高到58.06%,在Yahoo上从55.3%提高到65.08%。此外,与全数据集上的全监督方法相比,FLiText仅使用不到1%的标记数据,在IMDb,Yelp-5和Yahoo的数据集上分别提高了6.59%,3.94%和3.22%的准确率。
2021-09-12 cs.CL cs.LG
Topic supervised non-negative matrix factorization
University of San Francisco(旧金山大学)
主题模型已被广泛用于组织和解释大型非结构化文本文档语料库的内容。虽然主题模型通常在传统训练与测试集评估中表现良好,但通常情况下,主题模型的结果与人类解释不一致。这种可解释性谬误很大程度上是由于主题模型的无监督性质,它禁止用户对模型的结果进行任何指导。在本文中,我们介绍了一种半监督的方法,称为主题监督非负矩阵分解(TS-NMF),使用户能够提供标记的示例文档,以促进发现更有意义的语义结构的语料库。以这种方式,TS-NMF的结果更好地匹配用户的直觉和期望的标记。TS-NMF的核心依赖于解决一个非凸优化问题,我们推导出一个迭代算法,被证明是单调的,收敛到局部最优。我们证明了TS-NMF的路透社和PubMed语料库的实际效用,并发现TS-NMF是特别有用的概念或广泛的主题,主题的关键术语不太清楚。虽然确定一个最佳的潜在结构的数据是不是所提出的方法的主要目标,我们发现,TS-NMF实现更高的加权Jaccard相似性得分比当代的方法,(无监督)NMF和潜在的Dirichlet分配,在监督率低至10%至20%。
2017-07-02 cs.CL cs.IR cs.LG
Improving Customer Service with Automatic Topic Detection in User Emails
The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研发研究所)
本研究提出了一种基于BERTopic的自动化邮件主题检测系统,用于提升客户服务效率,实现了每封邮件0.041秒的快速准确分类,F1分数达0.96。
2025-06-06 cs.AI cs.CL cs.LG
Unraveling Media Perspectives: A Comprehensive Methodology Combining Large Language Models, Topic Modeling, Sentiment Analysis, and Ontology Learning to Analyse Media Bias
Institute of IT Management and Digitization Research (IFID)(信息管理与数字化研究学院)
本文提出结合层次主题建模、情感分析和大语言模型本体学习的可扩展媒体偏见分析方法,通过三个政治新闻案例验证其在多粒度识别事件选择、标签、用词及委托遗漏偏见方面的有效性。
2025-05-03 cs.AI cs.CL cs.IR
A Benchmark for Cross-Domain Argumentative Stance Classification on Social Media
North Carolina State University(北卡罗来纳州立大学)
针对论辩立场分类基准单一领域且人工标注成本高的问题,提出利用平台规则、专家精选内容与大型语言模型构建涵盖21个领域、包含4,498个主题声明和30,961个论点的多领域基准,并在全监督、零样本和少样本设置下评估了不同方法。
2024-11-15 cs.AI cs.CL
EmpLite: A Lightweight Sequence Labeling Model for Emphasis Selection of Short Texts
Samsung R&D Institute Bangalore(三星班加罗尔研发中心)
文本内容中的单词强调旨在通过改变大小、颜色、字体、样式(粗体、斜体等),和其他印刷特征。强调的词在吸引读者注意作者希望强调的特定信息方面非常有帮助。然而,使用用于社交媒体交互的软键盘来执行这种强调是耗时的并且具有相关联的学习曲线。在本文中,我们提出了一种新的方法来自动化的重点词检测短的书面文本。据我们所知,这项工作提出了第一个轻量级的深度学习方法,用于智能手机部署的重点选择。实验结果表明,我们的方法实现了可比的准确性在一个更低的模型大小比现有的模型。我们最好的轻量级模型的内存占用量为2.82 MB,在SemEval-2020公共基准数据集上的匹配得分为0.716。
2020-12-15 cs.CL cs.LG
Learning Concept Hierarchies through Probabilistic Topic Modeling
Indian Institute of Information Technology and Management - Kerala (IIITM-K)(印度喀拉拉信息技术与管理学院 (IIITM-K));Queen’s University(女王大学)
随着语义网的出现,各种工具和技术已被引入表示和组织知识。概念层次结构就是这样一种技术,由于其在创建领域本体(被认为是语义网的一个组成部分)方面的有用性而受到了极大的关注。自动概念层次学习算法的核心是从非结构化文本中抽取相关概念,并通过识别概念之间的潜在关系将概念连接起来。在本文中,我们提出了一种新的方法,从纯文本中识别相关的概念,然后学习层次的概念,利用它们之间的包容关系。首先,我们使用概率主题模型对主题进行建模,然后使用一些轻量级的语言过程来提取语义丰富的概念。然后,我们通过识别概念对之间的“是-a”关系来连接概念。所提出的方法是完全无监督的,并且不需要用于概念提取和学习的特定于领域的训练语料库。在BBC新闻数据集和路透社新闻数据集等大型真实文本语料库上的实验表明,该方法优于现有的一些概念提取方法,并且如果整个任务由概率主题建模算法指导,则可以进行有效的概念层次学习。
2016-11-29 cs.AI cs.CL cs.IR
Labeling Free-text Data using Language Model Ensembles
University of Virginia, School of Data Science(弗吉尼亚大学数据科学学院);Northern Arizona University, College of Health and Human Services(北亚利桑那大学健康与人类服务学院);University of Louisville, Department of Psychology and Brain Sciences(路易斯维尔大学心理学与脑科学系);University of Virginia, Department of Psychology(弗吉尼亚大学心理学系)
本研究提出一种组装本地开源LLMs的集成框架,在隐私约束下标注自由文本数据,通过相关性评分平衡模型异质性,在饮食失调数据上实现优于单个模型的最优精确度-敏感性权衡。
2025-09-26 cs.CL
Digestion Algorithm in Hierarchical Symbolic Forests: A Fast Text Normalization Algorithm and Semantic Parsing Framework for Specific Scenarios and Lightweight Deployment
本文提出分层符号森林消化算法(DAHSF),一种结合文本规范化与语义解析的多层框架,旨在解决深度学习模型可解释性差、数据标注成本高及本地部署困难等问题,实现特定场景下的轻量级高效应用。
2024-12-18 cs.AI cs.CL
Language Model-Driven Data Pruning Enables Efficient Active Learning
Lahore University of Management Sciences(拉合尔管理科学大学)
针对主动学习中未标注数据池大导致采集方法计算成本高的问题,提出两阶段即插即用剪枝策略ActivePrune,结合n-gram与量化LLM剪枝并优化多样性,在多任务多数据集上性能更优,端到端时间最多降74%。
2024-10-05 cs.CL cs.LG
Jointly Trained Sequential Labeling and Classification by Sparse Attention Neural Networks
Oregon State University(俄勒冈州立大学);IBM(国际商业机器公司)
句级分类和序列标注是语言理解的两项基本任务。虽然这两个任务通常是单独建模的,但实际上,它们通常是相关的,例如在意图分类和槽填充中,或者在主题分类和命名实体识别中。为了利用它们之间的相关性带来的潜在好处,我们提出了一个联合训练的模型,用于通过长短期记忆(LSTM)网络同时学习这两个任务。该模型从LSTM的逐步输出隐藏表示中预测词级类别和词级标签序列。我们还引入了一种新的机制,“稀疏注意力”,以不同的加权词的语义相关性的基础上,以分级分类。该方法在ATIS和TREC数据集上的性能优于基线模型。
2017-09-28 cs.CL
DART: A Lightweight Quality-Suggestive Data-to-Text Annotation Tool
Saarland University(萨尔兰大学);Microsoft Corporation(微软公司)
我们提出了一个轻量级的注释工具,数据AnnotatoR工具(DART),用于标记结构化数据与文本描述的一般任务。该工具被实现为交互式应用,其减少了在注释大量结构化数据(例如,以表格或树结构的格式)时的人工努力。通过使用后端序列到序列模型,我们的系统迭代地分析注释的标签,以便更好地对未标记的数据进行采样。在对大量结构化数据进行注释的模拟实验中,DART已被证明可以减少主动学习和自动建议相关标签所需的注释总数。
2020-12-01 cs.CL
Zero-shot prompt-based classification: topic labeling in times of foundation models in German Tweets
University Trier(特里尔大学);krAil
本研究在德语推文主题标注任务中实证评估零样本提示分类,证明其效果与微调BERT相当,且无需标注训练数据,凸显NLP领域范式转变。
2024-06-26 cs.AI cs.CL
Automatic Summarization of Online Debates
The University of Sheffield(谢菲尔德大学)
辩论文摘是自动文摘领域中一个新颖且具有挑战性的研究领域,目前还没有得到广泛的研究。在本文中,我们开发了一个辩论摘要管道,以总结在线辩论的对立双方讨论或争论的关键主题。我们认为,辩论摘要的生成可以通过聚类、聚类标记和可视化来实现。在我们的工作中,我们研究了两种不同的聚类方法的摘要的生成。在第一种方法中,我们通过应用纯粹的基于术语的聚类和聚类标记来生成摘要。第二种方法利用X均值聚类和互信息标记的集群。这两种方法都由本体驱动。我们使用条形图来可视化结果。我们认为,我们的结果是一个顺利的入口,旨在接收的第一印象是什么讨论的辩论主题包含浪费的论证数量的用户。
2017-08-15 cs.AI cs.CL cs.IR
Prosody-Based Automatic Segmentation of Speech into Sentences and Topics
在处理语音音频数据以进行信息抽取、主题检测或浏览/回放的过程中,关键的一步是将输入分割成句子和主题单元。语音分割是具有挑战性的,因为通常用于分割文本(标题、段落、标点符号)的线索在口语中不存在。我们调查使用韵律(信息收集的时间和旋律的讲话)为这些任务。使用决策树和隐马尔可夫模型技术,我们结合韵律线索与基于词的方法,并评估两个语音语料库,广播新闻和总机的性能。结果表明,单独的韵律模型的表现与基于单词的统计语言模型相当,甚至更好-无论是真实的和自动识别的话在新闻讲话。韵律模型实现了相当的性能与显着更少的训练数据,不需要手工标记的韵律事件。在任务和语料库中,我们获得了显着的改善,只有单词模型使用的韵律和词汇信息的概率组合。检查发现,韵律模型捕获的语言独立的边界指标中描述的文献。最后,线索使用是任务和语料库依赖。例如,停顿和音高特征对于分割新闻语音是高度信息化的,而停顿、持续时间和基于单词的线索对于自然对话占主导地位。
2000-06-27 cs.CL
TopicTag: Automatic Annotation of NMF Topic Models Using Chain of Thought and Prompt Tuning with LLMs
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Advanced Research in Cyber Systems(网络系统高级研究中心);Theoretical Division(理论部)
本文提出TopicTag方法,利用NMFk输出和提示工程驱动LLMs,自动为NMF聚类文档生成主题标签,在3.4万篇摘要上验证了其有效性。
2024-07-29 cs.AI cs.CL cs.LG
LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent AI Lab(腾讯AI Lab)
提出 LIFI 方法,利用连续、相对且非互斥的细粒度控制码结合 adapters,在少量标注和大量未标注数据上实现轻量级受控文本生成,在情感、主题控制和风格化小说写作任务上显著优于基线。
2024-02-10 cs.CL
An Adaptive Deep Clustering Pipeline to Inform Text Labeling at Scale
Verint Systems Inc.(Verint系统公司)
从大量自然语言输入中挖掘潜在意图是帮助数据分析师设计和改进客户服务和销售支持智能虚拟助理(IVA)的关键步骤。我们在Verint Intent Manager(VIM)中创建了一个灵活且可扩展的聚类管道,该管道集成了语言模型的微调、高性能k-NN库和社区发现技术,可帮助分析师快速从会话文本中呈现和组织相关用户意图。微调步骤是必要的,因为预先训练的语言模型不能编码文本,以有效地表面特定的聚类结构时,目标文本是从一个看不见的领域或聚类任务不是主题检测。我们描述了管道,并展示了它的性能和能力的规模在三个现实世界的文本挖掘任务。在VIM应用程序中部署时,此群集管道可生成高质量的结果,从而提高数据分析师的性能,并减少从客户服务数据中揭示意图所需的时间,从而减少在新域中构建和部署IVA所需的时间。
2022-07-26 cs.CL cs.LG
Developing Lightweight DNN Models With Limited Data For Real-Time Sign Language Recognition
SLAIT
本文提出一种基于轻量级DNN的实时手语识别框架,通过向量化手语参数和MediaPipe关键点提取,在有限数据下实现343个手语的边缘设备低延迟分类,准确率达92%。
2025-06-30 cs.AI cs.CL cs.CV
Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Peking University(北京大学)
Dripper通过轻量级框架实现高效HTML主内容提取,兼顾效率与准确性,开源模型促进高质量数据集构建。
2026-08-19 cs.CL
Scaling LLM Reasoning from Minimal Labels: A Semi-Supervised Framework with a Lightweight Verifier
Fujitsu Limited(富士通株式会社);Kyoto University(京都大学);National Institute of Informatics(国立信息学研究所)
提出半监督框架,用轻量级推理正确性分类器和熵过滤从少量标注数据生成高质量伪推理链,在数学和视觉问答任务上达到10-15倍标注数据效果。
2026-06-16 cs.AI cs.CL
LightMem: Lightweight and Efficient Memory-Augmented Generation
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);State Key Lab. for Novel Software Technology, Nanjing University, P.R. China(南京大学软件新技术国家重点实验室,中国)
LightMem通过三阶段内存系统提升LLM在动态环境中的效率和性能,实现问答准确率提升和token使用减少。
2026-02-28 cs.AI cs.CL cs.CV
Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models
eBay Inc.(eBay公司)
本研究通过比较生成式与判别式学生模型在多标签主题分配中的性能,发现生成式模型在复杂对话和标签扩展场景下更优,并已成功部署于大规模电商生产环境。
2026-10-08 cs.CL cs.LG
Trace Is In Sentences: Unbiased Lightweight ChatGPT-Generated Text Detector
本文针对 ChatGPT 生成文本检测易受改写干扰和词级偏差影响的问题,提出一种基于句子内部结构建模的轻量级检测框架,并通过对比学习和因果反事实方法消除偏差,在两类数据集上验证了有效性。
2025-09-23 cs.CL eess.SP
HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures
Wizard Quant;Peking University(北京大学);University of Science and Technology of China(中国科学技术大学)
提出HERMES层次化标注基底,通过语义变换和三级残差向量量化实现从粗到细的数据编码,支持多粒度混合策略,在1B参数、25B token预训练中揭示固定粒度无法检测的交互效应,提升16任务宏平均+0.0253。
2026-07-03 cs.AI cs.CL cs.LG
ConaCLIP: Exploring Distillation of Fully-Connected Knowledge Interaction Graph for Lightweight Text-Image Retrieval
South China University of Technology(华南理工大学);Alibaba Group(阿里巴巴集团);Fudan University(复旦大学)
本文提出全连接知识交互图蒸馏技术ConaCLIP,用于压缩CLIP等双编码器文本-图像模型,在Flickr30K和MSCOCO上取得轻量级SOTA性能,并在电商平台验证了有效性。
2023-05-28 cs.CL cs.CV
Topic-Based Watermarks for Large Language Models
Case Western Reserve University(凯斯西储大学);Meta Platforms, Inc(Meta公司)
本文提出一种轻量级主题引导的水印方案,通过将词汇库按主题划分,提升水印鲁棒性的同时保持生成文本的流畅性,实验表明其在多个LLM和基准测试中表现优异。
2026-10-17 cs.CL cs.CR cs.LG
Iterative Augmentation with Summarization Refinement (IASR) Evaluation for Unstructured Survey data Modeling and Analysis
University of Toledo(托莱多大学);George Mason University(乔治梅森大学)
本文提出用于LLM文本增强的原则性评估框架,包含可扩展性分析和迭代增强与摘要精炼(IASR),在真实主题建模任务中使主题粒度增加400%并消除重叠,验证了其有效性。
2025-07-16 cs.CL cs.LG
Learning Self-Interpretation from Interpretability Artifacts: Training Lightweight Adapters on Vector-Label Pairs
University of Washington(华盛顿大学)
通过训练轻量级适配器(标量仿射适配器,仅需d_model+1参数)在可解释性工件上,保持语言模型完全冻结,实现了跨任务和模型族的可靠自我解释,在稀疏自编码器特征标注、主题识别和多跳推理桥接实体解码等任务上显著优于未训练基线。
2026-06-02 cs.AI cs.CL cs.LG