On Cross-Dataset Generalization in Automatic Detection of Online Abuse
National Research Council Canada(加拿大国家研究委员会)
NLP研究在作为监督分类任务的滥用语言检测中取得了很高的性能。虽然在研究环境中,训练和测试数据集通常是从相似的数据样本中获得的,但在实践中,系统通常应用于与训练集在主题和类别分布上不同的数据。此外,在此任务中继承的类定义中的模糊性加剧了源数据集和目标数据集之间的差异。我们探讨了跨数据集泛化中的主题偏差和任务制定偏差。我们发现,维基百科Detox数据集中的良性示例偏向于特定于平台的主题。我们使用无监督主题建模和主题关键字的手动检查来识别这些示例。删除这些主题可以提高跨数据集的泛化能力,而不会降低域内分类性能。对于一个健壮的数据集设计,我们建议应用廉价的无监督方法来检查收集的数据,并在手动注释类标签之前缩小不可概括的内容。
2021-05-19 cs.AI cs.CL
TopicTag: Automatic Annotation of NMF Topic Models Using Chain of Thought and Prompt Tuning with LLMs
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Advanced Research in Cyber Systems(网络系统高级研究中心);Theoretical Division(理论部)
本文提出TopicTag方法,利用NMFk输出和提示工程驱动LLMs,自动为NMF聚类文档生成主题标签,在3.4万篇摘要上验证了其有效性。
2024-07-29 cs.AI cs.CL cs.LG
Using Zero-shot Prompting in the Automatic Creation and Expansion of Topic Taxonomies for Tagging Retail Banking Transactions
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);BTG Pactual(BTG Pactual(巴西BTG银行))
本研究提出一种基于指令微调大语言模型的无监督方法,通过主题建模和零样本提示自动构建和扩展零售银行交易主题分类法,实验显示分类法一致性超90%,父节点预测F1超70%。
2024-02-11 cs.AI cs.CL
An Online Topic Modeling Framework with Topics Automatically Labeled
The Chinese University of Hong Kong(香港中文大学)
在本文中,我们提出了一个新的在线主题跟踪框架,名为IEDL,用于跟踪与Stack Exchange上的深度学习技术相关的主题变化,并自动解释每个识别的主题。该框架在对当前时间片内的主题进行推理时,结合时间窗口内的先验主题分布,并引入一种新的排序方案,为每个时间片内的推理主题选择最具代表性的短语和句子。在7,076个Stack Exchange帖子上的实验表明了IEDL在跟踪主题变化和标记主题方面的有效性。
2019-06-22 cs.CL cs.IR
Semi-Automatic Terminology Ontology Learning Based on Topic Modeling
Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德分校)
本体提供了诸如通用词汇表、可重用性、机器可读内容等特征,并且还允许语义搜索、促进代理交互以及语义Web(Web 3.0)应用的知识的排序和结构化。然而,本体工程中的挑战是自动学习,即,仍然缺乏使用机器学习技术从各种主题的文本语料库或数据集形成本体的全自动方法。本文研究了两种主题建模算法,即LSI & SVD和Mr.LDA,用于主题本体的学习。目标是确定文档和术语之间的统计关系,以最小的人为干预构建主题本体和本体图。通过构建主题本体和对用户查询进行语义检索的实验分析,验证了该方法的有效性。
2017-08-05 cs.CL cs.IR
Improving Customer Service with Automatic Topic Detection in User Emails
The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研发研究所)
本研究提出了一种基于BERTopic的自动化邮件主题检测系统,用于提升客户服务效率,实现了每封邮件0.041秒的快速准确分类,F1分数达0.96。
2025-06-06 cs.AI cs.CL cs.LG
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services(塔塔咨询服务公司研究部);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图,其中每个文档由一个节点表示,边权重表示文档之间的相似性。此外,我们发现潜在的主题使用潜在狄利克雷分配(LDA)和丰富的文档图,包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签,相反,它只需要手动标签的主题节点。这大大减少了所需的监督水平,因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播(通过文档-文档相似性)和主题建模(用于最小但智能的监督)的优点。我们证明了我们的方法在各种数据集上的有效性,并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
Modelling Instance-Level Annotator Reliability for Natural Language Labelling Tasks
University of Manchester(曼彻斯特大学);National Centre for Text Mining(国家文本挖掘中心)
在构建从多个注释器产生的噪声标签中学习的模型时,准确估计注释器的可靠性非常重要。注释者可能会提供质量不一致的标签,因为他们在某个领域的专业知识和可靠性各不相同。以前的研究大多集中在估计每个注释者在整个注释任务上的总体可靠性。然而,在实践中,注释器的可靠性可能取决于每个特定的实例。只有有限数量的研究调查了建模的实例可靠性,这些只考虑了二进制标签。在本文中,我们提出了一个无监督的模型,可以处理二进制和多类标签。它可以自动估计每个注释器的每个实例的可靠性以及每个实例的正确标签。我们指定我们的模型作为一个概率模型,它结合了神经网络来模拟潜在变量和实例之间的依赖关系。对于评估,所提出的方法适用于合成和真实数据,包括两个标签任务:文本分类和文本蕴涵。实验结果表明,我们的新方法不仅可以准确地估计不同实例中注释器的可靠性,而且与最先进的基线相比,在预测正确的标签和检测最不可靠的注释器方面具有优异的性能。
2019-05-13 cs.CL cs.LG
Extractive and Abstractive Sentence Labelling of Sentiment-bearing Topics
University of Aberdeen(阿伯丁大学);University of Sheffield(谢菲尔德大学);The Open University(开放大学);Shanghai University(上海大学)
本文解决的问题,自动标记的情感承载的主题与描述性的句子标签。我们提出了两种方法来解决这个问题,一个提取和其他抽象。这两种方法都依赖于一种新的机制来自动学习语料库中每个句子与从该语料库中提取的情感主题的相关性。提取的方法使用一个句子排名算法的标签选择,第一次共同优化主题-句子的相关性以及方面-情感共同覆盖。抽象的方法,而不是解决方面-情感的共同覆盖,通过使用句子融合,以生成一个包含相关内容的多个句子的原始标签。据我们所知,我们是第一个研究给有感情的话题贴标签的问题的。我们在三个真实世界数据集上的实验结果表明,提取和抽象方法在促进主题理解和解释方面都优于四个强基线。此外,当比较提取和抽象的标签,我们的评估表明,我们表现最好的抽象方法是能够提供更多的主题信息覆盖更少的话,在成本产生更少的语法标签比提取方法。我们的结论是,抽象的方法可以有效地合成所包含的丰富信息的情感承载的主题。
2021-08-29 cs.CL
Large Language Models for Automatic Detection of Sensitive Topics
University of Canterbury(坎特伯雷大学);University of Auckland(奥克兰大学);Uppsala University(乌普萨拉大学);The University of Auckland(奥克兰大学);University of Aizu(会津大学)
本研究评估了五种大型语言模型在心理健康领域敏感消息检测中的性能,发现GPT-4o以99.5%准确率和0.99 F1分数表现最佳,证明LLMs可作为高效精准的内容审核辅助工具。
2024-09-02 cs.AI cs.CL
A Novel Approach to Scalable and Automatic Topic-Controlled Question Generation in Education
University College London(伦敦大学学院)
本文提出 T-CQG 方法,基于微调 T5-small 并结合教育数据集、量化与数据增强,生成与段落上下文语义对齐的主题聚焦问题,经离线和人工评估验证其高质量、低成本与可扩展性。
2025-01-09 cs.AI cs.CL cs.CY
Automatic Evaluation of Local Topic Quality
Brigham Young University(杨百翰大学)
主题模型通常使用一致性等指标来评估它们生成的全局主题分布,但不考虑局部(令牌级)主题分配。标记级分配对于分类等下游任务很重要。即使是最近的模型,旨在提高这些令牌级的主题分配的质量,已被评估仅与全球指标。我们提出了一个任务,旨在引起人类的判断令牌级的主题分配。我们使用了各种主题模型类型和参数,发现全球指标与人类分配不一致。由于人类的评价是昂贵的,我们提出了各种自动化的指标来评估主题模型在本地一级。最后,我们将我们提出的指标与几个数据集上任务的人类判断相关联。我们发现,基于主题转换的百分比的评估与人类对本地主题质量的判断相关性最强。我们建议,这个新的指标,我们称之为一致性,通过与全球指标,如主题一致性评估新的主题模型时。
2019-05-18 cs.CL cs.IR cs.LG
Unsupervised Machine Commenting with Neural Variational Topic Model
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
文章评论可以为读者提供补充性的观点和事实,从而增加文章的吸引力和参与度。因此,自动评论有助于提高社区的活跃度,例如在线论坛和新闻网站。以前的工作表明,训练一个自动评论系统需要大型的平行语料库。虽然部分文章与某些网站上的评论自然配对,但大多数文章和评论在互联网上是不配对的。为了充分利用未配对的数据,我们完全消除了对并行数据的需求,并提出了一种新的无监督方法来训练自动文章评论模型,只依赖于未配对的文章和评论。我们的模型是基于检索的评论框架,它使用新闻检索评论的基础上,他们的主题的相似性。主题表示是从神经变分主题模型中获得的,该模型是以无监督的方式训练的。我们在新闻评论数据集上评估我们的模型。实验表明,我们提出的基于主题的方法显着优于以前的基于词典的模型。该模型还受益于配对语料库,并在半监督场景下实现了最先进的性能。
2018-09-13 cs.CL
GreenTEA: Gradient Descent with Topic-modeling and Evolutionary Auto-prompting
Amazon Buyer Risk Prevention(亚马逊买家风险预防)
GreenTEA提出一种智能体LLM工作流,通过主题建模分析错误模式,并利用遗传算法进化提示,在探索与利用之间取得平衡,从而在多个推理与决策任务上超越人工提示和现有自动提示优化方法。
2025-08-12 cs.AI cs.CL cs.LG
AutoTM 2.0: Automatic Topic Modeling Framework for Documents Analysis
ITMO University(ITMO大学)
本文提出 AutoTM 2.0 框架,通过新型优化流水线、基于 LLM 的质量指标和分布式模式改进加性正则化主题模型,并在多语言多特征数据集上验证其性能优于前一版本。
2024-10-01 cs.CL cs.LG
Evaluating Topic Quality with Posterior Variability
University of British Columbia(不列颠哥伦比亚大学);University of Colorado(科罗拉多大学)
概率主题模型(如潜在狄利克雷分配(LDA))通常与贝叶斯推理方法(如吉布斯抽样)一起使用,以学习主题模型参数的后验分布。我们推导出一种新的LDA主题质量的测量使用后验分布的变化。与现有的几个自动主题评价基线相比,该指标在三个语料库上的实验中实现了与人类对主题质量判断的最新相关性。我们还证明,主题质量估计可以进一步提高使用监督估计,结合多个指标。
2019-09-15 cs.CL
Application of Topic Models to Judgments from Public Procurement Domain
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw(华沙大学跨学科数学与计算建模中心)
在这项工作中,自动分析的主题包含在一个大型语料库的判断,从公共采购领域进行。所采用的技术是无监督的潜在狄利克雷分配(LDA)。此外,建议使用LDA结合最近开发的无监督关键字提取方法。这种方法提高了自动获得的主题的可解释性,并允许更好的计算性能。所述分析说明了该方法在发现反复出现的主题和发现提出的合同上诉的时间趋势方面的潜力。这些结果可能在未来应用,以改善信息检索从法律文本的知识库或作为辅助材料进行法律分析的人类专家。
2014-12-16 cs.CL
BioNLP-OST 2019 RDoC Tasks: Multi-grain Neural Relevance Ranking Using Topics and Attention Based Query-Document-Sentence Interactions
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
本文介绍了我们的系统细节和参与BioNLP-OST 2019 RDoC任务的结果。研究领域标准(RDoC)结构是一个多维和广泛的框架,通过结合从基因组学到行为的知识来描述心理健康障碍。RDoC标记数据集的不可用性和繁琐的标记过程阻碍了RDoC框架在生物医学研究社区和医疗保健行业中的充分潜力。因此,任务1旨在检索和排名与给定RDoC结构相关的PubMed摘要,任务2旨在从给定PubMed摘要中提取最相关的句子。我们研究(1)基于注意力的监督神经主题模型和SVM用于PubMed摘要的检索和排名,并进一步利用BM 25和其他相关性度量进行重新排名,(2)监督和无监督句子排名模型,利用多视图表示,包括查询感知的基于注意力的句子表示(QAR),词袋(BoW)和TF-IDF。我们最好的系统在任务1和任务2中分别获得了0.86的平均精度(mAP)和0.58的宏观平均精度(MAA)。
2019-10-02 cs.CL cs.IR cs.LG
Hierarchical Multi-Label Classification of Scientific Documents
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
自动主题分类已被广泛研究,以帮助管理和索引的数字收集的科学文献。随着近年来出现的大量主题,有必要将它们按层次排列。因此,自动分类系统需要能够分级地对文档进行分类。此外,每篇论文往往被分配到一个以上的相关主题。例如,一篇论文可以被分配到层次树中的几个主题。在本文中,我们介绍了一个新的数据集,用于科学论文的分层多标签文本分类(HMLTC),称为SciHTC,它包含来自ACM CCS树的186,160篇论文和1,233个类别。我们为HMLTC建立了强大的基线,并提出了一种多任务学习方法,用于主题分类,关键字标记作为辅助任务。我们的最佳模型达到了34.57%的Macro-F1得分,这表明该数据集为分层科学主题分类提供了重要的研究机会。我们在Github上提供数据集和代码。
2022-11-05 cs.CL
Generating Diversified Comments via Reader-Aware Topic Modeling and Saliency Detection
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Tencent AI Lab(腾讯人工智能实验室)
评论自动生成是一项特殊而具有挑战性的任务,它需要验证模型对新闻内容的理解能力和语言生成能力。评论不仅传达了新闻文章中的显著和有趣的信息,而且还暗示了各种不同的读者特征,我们认为这是多样性的重要线索。然而,大多数评论生成方法只关注显著性信息抽取,而忽略了评论所隐含的读者感知因素。为了解决这个问题,我们提出了一个统一的读者感知的主题建模和显着性信息检测框架,以提高生成的评论的质量。对于读者感知的主题建模,我们设计了一种变分生成聚类算法,用于潜在语义学习和读者评论主题挖掘。在显著性信息检测方面,我们引入了新闻内容的伯努利分布估计来选择显著性信息。所获得的主题表示以及所选择的显著性信息被并入到解码器中以生成多样化的和信息丰富的评论。在三个数据集上的实验结果表明,我们的框架在自动度量和人工评估方面都优于现有的基线方法。潜在的伦理问题也进行了详细讨论。
2021-02-13 cs.CL
How Safe is Your Safety Metric? Automatic Concatenation Tests for Metric Reliability
IBM Research AI(IBM研究院人工智能部门)
针对安全指标在拼接有害内容时决策反转、对输入顺序敏感的问题,开发自动拼接测试评估其可靠性,发现包括GPT评判器在内的多个指标存在此类不安全行为及评估不一致性。
2025-02-12 cs.AI
CONDITOR1: Topic Maps and DITA labelling tool for textual documents with historical information
Universidad de Zaragoza(萨拉戈萨大学)
Conditor是一个处理包含历史信息的文本文档的软件工具。这项工作的目的是双重的:首先,以显示开发的引擎的有效性,正确地识别和标记的实体的宇宙的话语与标记组合的XTM-DITA模型。其次,解释了由于使用面向对象的数据库(JPOX)以及将其集成到Lucene类型的数据库搜索过程中,从而不仅实现更准确的搜索,而且还有助于推荐系统的未来发展,从而在信息检索过程中实现的改进。最后,我们以上述搜索结果的3D图中的简短演示结束。
2016-03-23 cs.CL cs.DL cs.IR
Fuzzy Approach Topic Discovery in Health and Medical Corpora
University of South Carolina(南卡罗来纳大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
大多数医疗文档和电子健康记录(EHR)都是文本格式,这对数据处理和查找相关文档构成了挑战。寻找自动检索大量健康和医学知识的方法一直是一个有趣的话题。近年来,人们开发了一些强大的方法来实现文本处理的自动化。主题建模是一种基于主题发现的健康医学语料库信息检索方法,然而,该方法仍需要新的视角。在这项研究中,我们描述了模糊潜在语义分析(FLSA),一种新的方法在主题建模使用模糊的角度。FLSA能够有效地解决健康医学语料库中的冗余问题,并提供了一种新的估计主题数量的方法。定量评估表明,FLSA产生更优越的性能和功能的潜在狄利克雷分配(LDA),最流行的主题模型。
2017-05-26 cs.CL cs.IR stat.ML
Automatic Labelling of Speech Translation Errors
Charles University(查尔斯大学);University of Edinburgh(爱丁堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对语音翻译缺乏置信度评估方法的问题,提出STEL标注协议,通过文本和多模态系统分析,发现直接语音处理对任务必要且与文本系统互补。
2026-06-04 cs.CL
Enriching WordNet concepts with topic signatures
本文探讨了丰富现有本体论内容的可能性。总体目标是克服WordNet中概念之间缺乏主题链接的问题。每个概念将与主题签名相关联,即,一组具有相关权重的相关词。签名可以从WWW或从有意义标记的语料库中自动构造。这两种方法进行了比较和评价的词义消歧任务。结果表明,使用一些过滤技术可以从万维网中构造干净的签名。
2001-09-19 cs.CL
Hierarchical Latent Semantic Mapping for Automated Topic Generation
School of Information and Communication Engineering(信息与通信工程学院);Beijing University of Posts and Telecommunications(北京邮电大学)
许多信息存在于前所未有的大量文本数据中。管理这些大规模文本数据的分配是许多领域的重要问题。主题模型在这个问题上表现得很好。传统的生成式模型(PLSA,LDA)是话题建模的主流方法,近年来对话题生成的研究主要集中在对这些模型的改进和扩展上。然而,传统生成模型的结果对主题数量K敏感,必须手动指定。从语料库中生成主题的问题类似于网络中的社区发现。许多有效的算法可以自动地从网络中发现社区,而无需手动指定社区的数量。受这些算法的启发,本文提出了一种新的基于层次潜在语义映射(HLSM)的主题自动生成方法。HLSM计算潜在主题空间中每对词之间的关联,然后构建具有这种关联的词的单分网络,并从该网络分层生成主题。我们将HLSM应用于几个文档集合,并与几种最先进的方法进行了实验比较,证明了其良好的性能。
2015-11-26 cs.CL cs.IR cs.LG
Automated Word Puzzle Generation via Topic Dictionaries
Eötvös Loránd University(厄特沃什·罗兰大学)
我们提出了一种通用的自动化字谜生成方法。与该新领域中的先前方法相反,所提出的方法不依赖于通过认真的人类注释努力获得的高度结构化的数据集:它只需要非结构化和未注释的语料库(即,文档集合)作为输入。该方法建立在两个附加支柱上:(i)主题模型,其从输入语料库中归纳主题词典(示例包括例如,潜在语义分析、组结构词典或潜在狄利克雷分配),以及(ii)词对的语义相似性度量。我们的方法可以(i)自动生成大量不同类型的正确的字谜,包括奇数出,选择相关的词和分离的主题难题。(ii)它可以通过替换语料库组件轻松创建特定领域的谜题。(iii)它还能够自动生成具有可参数化难度级别的谜题,例如,初学者或中级学习者。
2012-06-02 cs.CL math.CO
Towards Leveraging Large Language Model Summaries for Topic Modeling in Source Code
Dept. of Informatics, Systems and Communication, University of Milano-Bicocca(信息与通信系统系,米兰-比科卡大学);Dept. of Human and Social Sciences, University of Bergamo(人文与社会科学系,贝拉戈莫大学)
本文提出一种结合大语言模型摘要与主题建模的新方法,用于自动识别Python代码中的主题,实验表明该方法能提供可解释且语义丰富的代码结构表示,可应用于多种软件工程任务。
2025-04-24 cs.AI cs.SE
Central Bank Communication and the Yield Curve: A Semi-Automatic Approach using Non-Negative Matrix Factorization
University College Dublin(都柏林大学学院)
沟通现在是央行货币政策工具包中的标准工具。从理论上讲,沟通为中央银行提供了引导公众预期的机会,经验表明,中央银行沟通可以导致金融市场波动。然而,很少有研究表明,哪些维度或主题的信息是最重要的,导致这些波动。我们开发了一种半自动方法,将FOMC声明总结为主要主题,基于一致性自动选择最佳模型,并使用机器学习文献中的主题建模方法评估这些主题是否对美国国债收益率曲线的形状产生重大影响。我们的研究结果表明,FOMC声明可以分解为三个主题:(i)与经济状况和任务相关的信息,(ii)与货币政策工具和中间目标相关的信息,以及(iii)与金融市场和金融危机相关的信息。我们发现,在金融危机期间,报表的影响力最大,其影响主要体现在收益率曲线的曲率,通过与金融主题相关的信息。
2018-09-24 cs.CL econ.GN q-fin.EC
Topic Stability over Noisy Sources
Centre for Applied Data Analytics Research(应用数据分析研究中心);School of Computer Science & Informatics(计算机科学与信息学院);University College Dublin(都柏林大学学院)
主题建模技术,如LDA最近已被应用到语音转录和OCR输出。这些语料库可能包含噪声或错误的文本,这可能会破坏主题的稳定性。因此,了解主题建模算法在应用于噪声数据时的表现是很重要的。在本文中,我们表明,不同类型的文本噪声将有不同的影响,不同的主题模型的稳定性。根据这些观察,我们提出了文本语料库生成的指导方针,重点是自动语音转录。我们还提出了噪声语料库的主题模型选择方法。
2015-08-05 cs.CL cs.IR
Topic Modeling based on Keywords and Context
University of Liechtenstein(列支敦士登大学);IBM Research Zurich(IBM苏黎世研究院)
目前的主题模型往往受到发现的主题不匹配人类的直觉,不自然的切换文档中的主题和高计算需求。我们解决这些问题,提出了一个主题模型和推理算法的基础上自动识别特征关键字的主题。关键词影响邻近词的主题分配。我们的算法学习(关键)词主题得分,并自我调节主题的数量。推理是简单和容易并行化。定性分析得出的结果与最先进的模型(如LDA),但具有不同的优势和劣势。使用9个数据集的定量分析显示,在分类准确性,PMI得分,计算性能和文档中主题分配的一致性方面有所提高,而大多数情况下使用较少的主题。
2018-02-03 cs.CL cs.IR cs.LG
Sentence Level Recurrent Topic Model: Letting Topics Speak for Themselves
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
我们提出了句子级循环主题模型(SLRTM),一个新的主题模型,假设在一个句子中的每个词的生成依赖于句子的主题和整个历史的句子中的前面的话。与传统的主题模型在很大程度上忽略了词的顺序或主题连贯性不同,SLRTM通过使用基于递归神经网络(RNN)的框架来充分表征它们。实验结果表明,SLRTM在各种任务上都优于几个强基线。此外,SLRTM可以自动生成给定主题的句子(即,主题到句子),这是用于诸如个性化短文本会话的现实世界应用的关键技术。
2016-04-08 cs.CL cs.IR cs.LG
Modeling Disagreement in Automatic Data Labelling for Semi-Supervised Learning in Clinical Natural Language Processing
Imperial College London(帝国理工学院);Queen Mary University of London(伦敦玛丽女王大学);University of Cambridge(剑桥大学)
计算模型提供了准确的估计,其不确定性是至关重要的风险管理与决策在医疗环境。这一点尤其正确,因为许多最先进的系统都是使用自动标记的数据(自监督模式)进行训练的,并且往往过拟合。在这项工作中,我们调查的质量的不确定性估计从一系列目前国家的最先进的预测模型应用到放射学报告中的观察检测的问题。这个问题在医疗保健领域的自然语言处理中仍然研究不足。我们证明了高斯过程(GP)在基于负对数预测概率(NLPP)评估指标和平均最大预测置信水平(MMPCL)量化3个不确定性标签的风险方面提供了卓越的性能,同时保留了强大的预测性能。
2022-06-07 cs.CL cs.LG stat.ML
Gram-CTC: Automatic Unit Selection and Target Decomposition for Sequence Labelling
Baidu Silicon Valley AI Lab(百度硅谷人工智能实验室)
大多数现有的序列标记模型依赖于将靶序列固定分解为基本单元的序列。这些方法有两个主要缺点:1)基本单元的集合是固定的,例如语音识别中的单词、字符或音素的集合,以及2)目标序列的分解是固定的。这些缺点通常导致建模序列的次优性能。本文对目前流行的CTC损失准则进行了扩展,提出了一种新的损失函数Gram-CTC。在保留CTC优点的同时,Gram-CTC自动学习最佳的基本单位(克)集,以及最合适的目标序列分解。与CTC不同的是,Gram-CTC允许模型在每个时间步输出可变数量的字符,这使得模型能够捕获更长时间的依赖关系,并提高计算效率。我们表明,建议的Gram-CTC提高CTC的性能和效率方面的大词汇量语音识别任务在多个尺度的数据,并与Gram-CTC,我们可以超越国家的最先进的标准语音基准。
2017-08-12 cs.CL cs.LG cs.NE
Automatic Scene-based Topic Channel Construction System for E-Commerce
场景营销在一定场景下很好地展示了用户的兴趣,已经证明对线下购物是有效的。为了对电子商业平台进行场景营销,本文提出了一种新颖的产品形式--场景主题频道,它通常由属于同一使用场景的不同产品列表和用营销词描述场景的主题标题组成。由于数十亿的产品以及动态和多样化的客户兴趣,人工构建渠道非常耗时,因此有必要利用人工智能技术自动构建特定使用场景的渠道,甚至发现新的主题。具体而言,我们首先将渠道建设任务框架化为两步问题,即,基于场景的主题生成和产品聚类,提出了一种基于场景的电子商业主题频道构建系统(即,ESTC)实现自动化生产,包括基于场景的电子商业领域主题生成模型、基于主题相似度的产品聚类以及基于自动模型过滤和人工筛选的质量控制。大量的离线实验和在线A/B测试验证了这种新的产品形式以及所提出的系统的有效性。此外,我们还介绍了部署在现实世界的电子商业推荐平台的建议系统的经验。
2022-10-30 cs.AI cs.CL
Check-worthy Claim Detection across Topics for Automated Fact-checking
Queen Mary University of London(伦敦玛丽女王大学);Taif University(塔伊夫大学)
自动事实核查系统的一个重要组成部分是索赔核查价值检测系统,该系统通过根据需要对句子进行优先级排序来进行检查。尽管有大量的研究在处理这项任务,但以前的研究忽略了在不同主题中识别值得检查的声明的挑战性。在本文中,我们评估并量化了检测新的、看不见的主题的值得检查的声明的挑战。在强调了这个问题之后,我们提出了AraCWA模型来减轻在检测跨主题的值得检查的声明时的性能恶化。AraCWA模型通过整合用于少样本学习和数据增强的两个组件来提高新主题的性能。使用一个公开的数据集的阿拉伯语推文组成的14个不同的主题,我们表明,我们提出的数据增强策略实现了实质性的改善,在整个主题的改善程度各不相同的主题。此外,我们分析了主题之间的语义相似性,这表明相似性度量可以用作代理,以确定一个看不见的主题的难度水平之前,进行标记的基本句子的任务。
2022-12-16 cs.CL
Towards an automatic method for generating topical vocabulary test forms for specific reading passages
ETS
本文提出K-tool系统,自动检测文本主题并生成主题词汇测试表单,以测量学生背景知识并预测其理解特定阅读篇章的能力,面向中学和高中英语母语学生。
2025-05-24 cs.AI cs.CL cs.IR
Integrating Prosodic and Lexical Cues for Automatic Topic Segmentation
我们提出了一个概率模型,同时使用韵律和词汇线索的自动分割语音成主题连贯的单位。我们提出了两种方法结合使用隐马尔可夫模型和决策树的词汇和韵律信息。从语音识别器中获取词汇信息,从语音波形中自动提取韵律特征。我们评估我们的方法上的广播新闻语料库,使用DARPA-TDT评估指标。结果表明,单独的韵律模型是有竞争力的基于词的分割方法。此外,我们实现了一个显着减少错误相结合的韵律和基于单词的知识源。
2001-05-31 cs.CL
DiagGPT: An LLM-based and Multi-agent Dialogue System with Automatic Topic Management for Flexible Task-Oriented Dialogue
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有大语言模型在复杂诊断类任务型对话中表现不足的问题,本文提出具备自动主题管理功能的多智能体系统DiagGPT,可拓展大模型的任务型对话适用场景、提升交互灵活性,实验验证其性能优异。
2024-04-15 cs.AI cs.CL
Natural language processing for achieving sustainable development: the case of neural labelling to enhance community profiling
Rural Senses Ltd.(Rural Senses有限公司);University of Cambridge(剑桥大学);University of Oxford(牛津大学)
近年来,人们越来越关注人工智能-特别是机器学习-在可持续发展领域的应用。然而,到目前为止,NLP还没有在这种情况下应用。在这篇研究论文中,我们展示了NLP应用在增强项目可持续性方面的巨大潜力。我们特别关注发展中国家的社区概况分析,与发达国家相比,发展中国家存在明显的数据差距。在这种情况下,NLP可以帮助解决结构化定性数据的成本和时间障碍,这些数据阻碍了其广泛使用和相关好处。我们提出了自动UPV分类的新任务,这是一个极端的多类多标签分类问题。我们发布了Stories 2 Insights,这是一个专家注释的数据集,提供了详细的语料库分析,并实现了一些强大的神经基线来解决这个任务。实验结果表明,该问题是具有挑战性的,并留下了大量的空间,为未来的研究在自然语言处理和SD的交叉。
2020-11-17 cs.CL
An Automatic Method of Finding Topic Boundaries
本文提出了一种基于词汇衔接和点图技术的语篇边界定位方法。应用dotplotting的话语分割可以手动执行,通过检查一个图形,或自动,使用优化算法。两个实验的结果,涉及自动定位之间的一系列连接的文件的边界。还概述了这项工作的应用领域和今后的方向。
1994-06-07 cmp-lg cs.CL
Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection
SHL Labs(SHL实验室)
针对自动作文评分系统难以识别跑题作答的问题,提出带主题正则化模块的无监督AOES模型,结合混合损失训练与马氏距离实现评分与跑题检测,性能优于基线与传统方法,且对人类级扰动鲁棒。
2024-03-24 cs.AI cs.CL cs.LG
Revisiting Automated Topic Model Evaluation with Large Language Models
ETH Zürich(苏黎世联邦理工学院);University of Maryland(马里兰大学)
本文提出利用大型语言模型评估主题模型输出,发现其与人类判断相关性优于现有指标,并可通过为文档自动分配标签来确定最佳主题数量。
2023-10-22 cs.CL
Team Hitachi @ AutoMin 2021: Reference-free Automatic Minuting Pipeline with Argument Structure Construction over Topic-based Summarization
Hitachi(日立)
本文介绍了日立团队为第一个自动记录共享任务(AutoMin-2021)提出的自动记录系统。我们使用无参考方法(即,不使用训练分钟)进行自动记录(任务A),其首先基于主题将文字记录分成块,随后使用在聊天对话的摘要语料库上微调的预训练BART模型来总结这些块。此外,我们将一种参数挖掘技术应用于生成的会议记录,以结构良好和连贯的方式重新组织它们。我们利用多个相关性分数来确定一分钟是否来自同一次会议时,无论是文字记录或另一分钟(任务B和C)。在这些分数之上,我们训练一个传统的机器学习模型来绑定它们并做出最终决策。因此,我们对任务A的方法在所有提交的材料中获得了最好的充分性分数,并且在语法正确性和流畅性方面接近最好的系统。对于任务B和C,所提出的模型成功地优于多数票基线。
2021-12-06 cs.AI cs.CL cs.IR
Topic Identification for Speech without ASR
The Johns Hopkins University(约翰斯·霍普金斯大学)
用于语音的现代主题识别(主题ID)系统使用自动语音识别(ASR)来产生语音转录,并且对这样的ASR输出执行监督分类。然而,在资源有限的条件下,开发标准ASR系统所需的手动转录语音可能严重受限或不可用。在本文中,我们研究了替代的无监督解决方案,以获得语音标记的词汇自动发现的单词或音素类单位,而不依赖于ASR系统的监督训练。此外,使用自动音素标记,我们证明了一个基于卷积神经网络的框架学习口语文档表示提供了竞争力的性能相比,一个标准的词袋表示,证明了全面的主题ID评估单标签和多标签分类任务。
2017-07-11 cs.CL
GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue Systems
Sun Yat-Sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
自动评估对话一致性是开发高质量开放域对话系统的一项具有挑战性但要求很高的能力。然而,目前的评估指标只考虑表面特征或话语级语义,没有明确考虑细粒度的话题转换动态的对话流。在这里,我们首先考虑由对话中的主题构成的图结构可以准确地描述底层的通信逻辑,这是产生有说服力的度量的更自然的方式。利用主题级对话图,我们提出了一个新的评价指标GRADE,它代表图形增强表示自动对话评价。具体来说,GRADE结合了粗粒度的话语级上下文表示和细粒度的主题级图形表示来评估对话的连贯性。图表示是通过对主题级对话图进行推理来获得的,该对话图由常识图的证据增强,包括k跳邻近表示和跳注意力权重。实验结果表明,我们的GRADE显着优于其他国家的最先进的衡量标准,衡量不同的对话模型的皮尔逊和斯皮尔曼相关性与人类的判断。此外,我们还发布了一个新的大规模人类评估基准,以促进未来对自动度量的研究。
2020-10-08 cs.CL
TopicResponse: A Marriage of Topic Modelling and Rasch Modelling for Automatic Measurement in MOOCs
The University of Melbourne(墨尔本大学);CSIRO(澳大利亚联邦科学与工业研究组织)
本文探讨了使用自动发现的主题从MOOC论坛建模学生的学术能力的适用性。来自心理测量学的Rasch模型是一种流行的生成概率模型,它将潜在的学生技能,潜在的项目难度和观察到的学生项目反应在一个原则性的统一框架内联系起来。根据学术教育理论,发现的主题可以被视为适当的测量项目,如果(1)学生对发现的主题的参与符合Rasch模型,如果(2)主题可以被主题专家解释为具有教育意义。这种Rasch分级的主题,以及相关的难度水平,可能对课程改进,学生评估和个性化反馈有潜在的好处。剩下的技术挑战是发现有意义的主题,同时实现与Rasch模型的良好统计拟合。为了应对这一挑战,我们结合了Rasch模型与基于非负矩阵分解的主题建模,共同拟合这两个模型。我们通过对三个Coursera MOOC数据的定量实验以及对离散优化MOOC主题可解释性的定性调查结果证明了我们方法的适用性。
2017-03-20 cs.CL cs.IR cs.LG
Parameter-Efficient Instruction Tuning of Large Language Models For Extreme Financial Numeral Labelling
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Goldman Sachs(高盛集团)
针对金融文档数字的XBRL标签极端分类问题,提出基于LoRA的参数高效指令微调模型FLAN-FinXC,在两个数据集上取得SOTA,具备零样本和低频标签处理能力。
2024-05-15 cs.CE cs.CL cs.LG
Prosody-Based Automatic Segmentation of Speech into Sentences and Topics
在处理语音音频数据以进行信息抽取、主题检测或浏览/回放的过程中,关键的一步是将输入分割成句子和主题单元。语音分割是具有挑战性的,因为通常用于分割文本(标题、段落、标点符号)的线索在口语中不存在。我们调查使用韵律(信息收集的时间和旋律的讲话)为这些任务。使用决策树和隐马尔可夫模型技术,我们结合韵律线索与基于词的方法,并评估两个语音语料库,广播新闻和总机的性能。结果表明,单独的韵律模型的表现与基于单词的统计语言模型相当,甚至更好-无论是真实的和自动识别的话在新闻讲话。韵律模型实现了相当的性能与显着更少的训练数据,不需要手工标记的韵律事件。在任务和语料库中,我们获得了显着的改善,只有单词模型使用的韵律和词汇信息的概率组合。检查发现,韵律模型捕获的语言独立的边界指标中描述的文献。最后,线索使用是任务和语料库依赖。例如,停顿和音高特征对于分割新闻语音是高度信息化的,而停顿、持续时间和基于单词的线索对于自然对话占主导地位。
2000-06-27 cs.CL
'If you build they will come': Automatic Identification of News-Stakeholders to detect Party Preference in News Coverage
IIT Kharagpur(印度理工学院卡拉格普尔分校)
新闻文章中提到的不同利益相关者的报道显著影响相关新闻出版商的倾向或极性检测。举例而言,亲政府的传媒机构会对政府持份者作出更多报道,以增加他们接触新闻受众的机会。相比之下,反政府的新闻机构会更多地关注反对派利益相关者的观点,以告知读者政府政策的不足之处。在本文中,我们解决的问题,利益相关者提取新闻文章,从而确定固有的偏见,目前在新闻报道。在多主题新闻场景中识别潜在的利益相关者是具有挑战性的,因为每个新闻主题都有不同的利益相关者。本文提出的研究利用上下文信息和外部知识,以确定特定主题的利益相关者从新闻文章。我们还应用了一个顺序增量聚类算法来分组具有相似的利益相关者类型的实体。我们对许多国家和国际新闻机构发表的关于印度政府四项政策的新闻文章进行了所有实验。实验结果表明,该模型可以推广到其他新闻主题。
2022-12-17 cs.AI cs.CL cs.CY
Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages
The Johns Hopkins University(约翰斯·霍普金斯大学);Brno University of Technology(布尔诺理工大学);Raytheon BBN Technologies(雷神BBN技术公司)
自动语音识别(ASR)系统通常需要针对资源极低的语言来开发,以服务于诸如音频内容分类和搜索之类的最终用途。虽然当没有转录语音可用于训练一种语言的ASR系统时,考虑通用电话识别是很自然的,但是还需要研究使用非常少量(几分钟而不是几小时)的转录语音来适应通用电话模型,特别是使用最先进的基于DNN的声学模型。DARPA LORELEI计划为这种资源非常少的ASR研究提供了一个框架,并为评估人道主义援助和救灾环境中的ASR性能提供了一个外在指标。本文介绍了我们的Kaldi为基础的系统的程序,它采用了通用的电话建模方法ASR,并描述了非常快速适应这个通用的ASR系统的配方。我们获得的结果显著优于NIST LoReHLT 2017评估数据集上许多竞争方法获得的结果。
2018-06-18 cs.CL
Automatic Text Summarization Approaches to Speed up Topic Model Learning Process
École Polytechnique de Montréal(蒙特利尔理工学院);LIA - Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);Universidad Autónoma Metropolitana Azcapotzalco(阿兹卡波察尔科大都会自治大学)
互联网上的文件数量每天都在增加。出于这个原因,有效和可表达地处理这些信息量成为公司和科学家的主要关注点。通过主题表示来表示文本文档的方法被广泛用于信息检索(IR)中以处理诸如维基百科文章之类的大数据。在大规模数据汇集上使用主题模型的主要困难之一是模型估计所需的材料资源(CPU时间和内存)。为了解决这个问题,我们建议从摘要文档中构建主题空间。在本文中,我们提出了在大数据的背景下的主题空间表示的研究。分析了不同语言的主题空间表示行为。实验表明,从文本摘要估计的主题空间的相关性从完整的文档。这种方法的真正优点是处理时间的增益:我们表明,使用摘要文档可以大大减少处理时间(一般超过60%)。本研究最后指出了不同语言(英语或拉丁语)的文档主题表征之间的差异。
2017-03-20 cs.CL cs.IR
Automatic event detection in microblogs using incremental machine learning
La Trobe University(乐卓博大学)
微博的全球流行导致了诸如Twitter的微博平台上的大量文本数据的日益积累。这些语料库是理解不同主题的社会表达的未开发资源。微博分析旨在通过发现隐藏在大量文本中的见解和重要事件来释放这些表达的价值。除了速度,内容的多样性、简洁性、缺乏结构和时间敏感性是微博分析的关键挑战。在本文中,我们提出了一个无监督的增量机器学习和事件检测技术来解决这些挑战。所提出的技术将微博讨论分为主题,以解决多样性的关键问题。它保留了每个主题随时间推移的演变记录。简短,时间敏感性和非结构化的性质是由这些个人的主题路径,有助于产生一个时间,主题驱动的结构的微博讨论。所提出的事件检测方法使用多个独立于域的事件指示器来持续监测这些主题路径,以用于重要事件。话题分离、话题路径生成、新话题识别和事件检测的自主性使得所提出的技术在微博分析中具有广泛的应用。我们在包含#microsoft的tweet和包含#obama的tweet上演示了这些功能。
2018-10-16 cs.CL cs.IR
End-to-End Knowledge-Routed Relational Dialogue System for Automatic Diagnosis
Sun Yat-Sen University(中山大学);Soochow University(苏州大学);Dark Matter AI Inc.(暗物质人工智能公司)
除了目前越来越受到关注的会话聊天机器人或面向任务的对话系统之外,我们还在开发一种用于自动医疗诊断的对话系统,该系统与患者对话,收集他们自我报告之外的其他症状,并自动进行诊断。除了会话对话系统面临的挑战(如话题转换连贯性和问题理解)外,自动医疗诊断还对医学知识和疾病关系背景下的对话合理性提出了更严格的要求。现有的对话系统(Madotto,Wu,and Fung 2018; Wei et al. 2018; Li et al. 2017)主要依赖于数据驱动的学习,无法对额外的专家知识图谱进行编码。在这项工作中,我们提出了一个端到端的知识路由的关系对话系统(KR-DS),无缝地将丰富的医学知识图谱到对话管理中的主题转换,并使其与自然语言理解和自然语言生成合作。提出了一种新的知识路由深度Q网络(KR-DQN)来管理主题转换,它集成了一个用于编码不同症状和疾病对之间关系的关系精化分支和一个用于主题决策的知识路由图分支。在公共医疗对话数据集上进行的广泛实验表明,我们的KR-DS显著击败了最先进的方法(诊断准确率超过8%)。我们进一步展示了我们的KR-DS在新收集的医疗对话系统数据集上的优越性,该数据集在保留患者和医生之间的原始自我报告和对话数据方面更具挑战性。
2019-03-18 cs.CL