Revisiting Automated Topic Model Evaluation with Large Language Models
ETH Zürich(苏黎世联邦理工学院);University of Maryland(马里兰大学)
本文提出利用大型语言模型评估主题模型输出,发现其与人类判断相关性优于现有指标,并可通过为文档自动分配标签来确定最佳主题数量。
2023-10-22 cs.CL
LLM Reading Tea Leaves: Automatically Evaluating Topic Models with Large Language Models
Monash University(莫纳什大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61);VinUniversity(维恩大学)
针对现有主题模型评估方法可比性差、评估维度单一的问题,提出联合考量文档表示与主题语义质量的WALM评估方法,经实验验证其与人类判断一致,可作为现有方法的补充。
2025-01-14 cs.CL
LLMs for health: Perceived benefits, risks, intention to use AI chatbots, and willingness to self-disclose across sensitive health topics
Tilburg University(蒂尔堡大学);University of Amsterdam(阿姆斯特丹大学)
研究探讨与AI聊天机器人讨论的话题类型及个体特征对健康相关感知、使用意愿和自我披露意愿的影响,通过在线实验发现其主要与感知利弊和个人特征有关,而非话题类型。
2026-07-13 cs.AI cs.HC
A Novel Approach to Scalable and Automatic Topic-Controlled Question Generation in Education
University College London(伦敦大学学院)
本文提出 T-CQG 方法,基于微调 T5-small 并结合教育数据集、量化与数据增强,生成与段落上下文语义对齐的主题聚焦问题,经离线和人工评估验证其高质量、低成本与可扩展性。
2025-01-09 cs.AI cs.CL cs.CY
Reliability Check: An Analysis of GPT-3's Response to Sensitive Topics and Prompt Wording
University of Waterloo(滑铁卢大学)
本研究分析GPT-3对敏感主题的响应及提示词措辞的影响,发现其能正确识别阴谋论与刻板印象,但在常见误解和争议话题上易出错,且响应随提示与设置不一致,揭示了该模型的可靠性问题。
2023-06-09 cs.CL cs.LG
Hidden Topics: Measuring Sensitive AI Beliefs with List Experiments
本文通过列表实验揭示大型语言模型对监控、酷刑和核打击等敏感问题的潜在态度,验证了该方法在检测AI隐藏信念的有效性。
2026-02-25 cs.AI cs.CY
GreenTEA: Gradient Descent with Topic-modeling and Evolutionary Auto-prompting
Amazon Buyer Risk Prevention(亚马逊买家风险预防)
GreenTEA提出一种智能体LLM工作流,通过主题建模分析错误模式,并利用遗传算法进化提示,在探索与利用之间取得平衡,从而在多个推理与决策任务上超越人工提示和现有自动提示优化方法。
2025-08-12 cs.AI cs.CL cs.LG
Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
主题模型是从文本语料库中自动发现主题的重要工具。尽管它们的有效性,主题模型遭受的几个限制,包括无法建模文档中的单词排序信息,将外部语言知识的困难,以及缺乏准确和有效的推理方法来近似棘手的后验。最近,预训练的语言模型(PLM)由于其出色的文本表示,为各种各样的任务带来了惊人的性能提升。有趣的是,还没有标准的方法来部署PLM进行主题发现,作为主题模型的更好的替代品。在本文中,我们首先分析了使用PLM表示的主题发现的挑战,然后提出了一个联合潜在空间学习和聚类框架建立在PLM嵌入。在潜在空间中,主题词和文档主题分布的联合建模,使发现的主题可以解释的连贯性和独特的条款,同时作为有意义的摘要的文件。我们的模型有效地利用了强大的表示能力和高超的语言特征所带来的PLM主题发现,是概念上比主题模型简单。在不同领域的两个基准数据集上,我们的模型生成的主题比强主题模型更加连贯和多样化,并基于自动和人工评估提供了更好的主题文档表示。
2022-02-09 cs.CL cs.IR cs.LG
Towards Leveraging Large Language Model Summaries for Topic Modeling in Source Code
Dept. of Informatics, Systems and Communication, University of Milano-Bicocca(信息与通信系统系,米兰-比科卡大学);Dept. of Human and Social Sciences, University of Bergamo(人文与社会科学系,贝拉戈莫大学)
本文提出一种结合大语言模型摘要与主题建模的新方法,用于自动识别Python代码中的主题,实验表明该方法能提供可解释且语义丰富的代码结构表示,可应用于多种软件工程任务。
2025-04-24 cs.AI cs.SE
Automatic Classification of News Subjects in Broadcast News: Application to a Gender Bias Representation Analysis
French National Institute of Audiovisual (INA)(法国国家视听研究院);French Digital Communication Regulatory Authority (ARCOM)(法国数字通信管理局)
本文提出一个计算框架,利用大型语言模型对法国广播新闻进行主题分类,并分析性别分布偏见,发现女性在体育、政治等主题中代表性不足,在天气、健康等主题中发言时间较多。
2024-07-19 cs.CL eess.AS
Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling
Department of Computer Science, The University of Sheffield(谢菲尔德大学计算机科学系)
本文探讨大语言模型替代传统主题建模方法,提出通过提示LLMs生成主题并评估其聚类效果的框架,发现配备合适提示的LLMs能有效生成主题标题并遵循人类指导进行细化和合并,总结了其优势与局限。
2024-03-26 cs.CL
Delving into Multilingual Ethical Bias: The MSQAD with Statistical Hypothesis Tests for Large Language Models
Chung-Ang University(Chung-Ang 大学);AITRICS(AITRICS 研究所)
本文提出多语言敏感问答数据集MSQAD,通过统计假设检验揭示大语言模型在不同语言和话题上的伦理偏见普遍存在,并公开数据集以推动跨语言偏见研究。
2025-07-02 cs.CL
Topics in Contextualised Attention Embeddings
University of Essex(埃塞克斯大学);University of Southampton(南安普顿大学)
通过预先训练的语言模型获得的上下文化的词向量编码已经在应用中被利用的各种知识。这些语言模型的补充是概率主题模型,它从文本中学习主题模式。最近的工作已经表明,进行聚类的词级上下文表示从语言模型模仿词集群中发现的潜在主题的词从潜在狄利克雷分配。重要的问题是,当语言模型没有被明确设计为对潜在主题进行建模时,如何通过聚类在该语言模型中自动形成这样的主题词聚类。为了解决这个问题,我们设计了不同的探针实验。使用BERT和DistilBERT,我们发现注意力框架在建模这样的词主题集群中起着关键作用。我们坚信我们的工作为进一步研究概率主题模型和预训练语言模型之间的关系铺平了道路。
2023-01-11 cs.CL cs.IR
Sensitive-Topic Leakage Through LLM Routing Metadata: Measurement and Mitigation
Krixvon
研究LLM路由元数据泄露敏感主题的隐私风险,通过大规模真实请求测量,提出缓解措施并评估其效果。
2026-10-08 cs.CL cs.CR
Automatic Scene-based Topic Channel Construction System for E-Commerce
场景营销在一定场景下很好地展示了用户的兴趣,已经证明对线下购物是有效的。为了对电子商业平台进行场景营销,本文提出了一种新颖的产品形式--场景主题频道,它通常由属于同一使用场景的不同产品列表和用营销词描述场景的主题标题组成。由于数十亿的产品以及动态和多样化的客户兴趣,人工构建渠道非常耗时,因此有必要利用人工智能技术自动构建特定使用场景的渠道,甚至发现新的主题。具体而言,我们首先将渠道建设任务框架化为两步问题,即,基于场景的主题生成和产品聚类,提出了一种基于场景的电子商业主题频道构建系统(即,ESTC)实现自动化生产,包括基于场景的电子商业领域主题生成模型、基于主题相似度的产品聚类以及基于自动模型过滤和人工筛选的质量控制。大量的离线实验和在线A/B测试验证了这种新的产品形式以及所提出的系统的有效性。此外,我们还介绍了部署在现实世界的电子商业推荐平台的建议系统的经验。
2022-10-30 cs.AI cs.CL
An Automatic Approach for Document-level Topic Model Evaluation
The University of Melbourne(墨尔本大学);IBM Research(IBM研究院)
主题模型共同学习主题和文档级主题分布。主题模型的外部评价往往只关注主题级别的评价,例如通过评估主题的连贯性。我们证明,主题和文档级模型质量之间可能存在很大的差异,并且基于主题级分析的模型评估可能具有很大的误导性。我们提出了一种基于文档级主题分配分析自动预测主题模型质量的方法,并为其鲁棒性提供了经验证据。
2017-06-16 cs.CL
An Online Topic Modeling Framework with Topics Automatically Labeled
The Chinese University of Hong Kong(香港中文大学)
在本文中,我们提出了一个新的在线主题跟踪框架,名为IEDL,用于跟踪与Stack Exchange上的深度学习技术相关的主题变化,并自动解释每个识别的主题。该框架在对当前时间片内的主题进行推理时,结合时间窗口内的先验主题分布,并引入一种新的排序方案,为每个时间片内的推理主题选择最具代表性的短语和句子。在7,076个Stack Exchange帖子上的实验表明了IEDL在跟踪主题变化和标记主题方面的有效性。
2019-06-22 cs.CL cs.IR
Automatic Labelling of Topics with Neural Embeddings
IBM Research(IBM研究院);The University of Melbourne(墨尔本大学)
由主题模型生成的主题通常表示为术语列表。为了减少为最终用户解释这些主题的认知开销,我们建议用一个简洁的短语来概括主题或想法。使用维基百科文档标题作为标签候选者,我们计算文档和单词的神经嵌入,以选择与主题最相关的标签。与最先进的主题标签系统相比,我们的方法更简单,更有效,并找到更好的主题标签。
2016-12-23 cs.CL
Topic Sensitive Neural Headline Generation
State Key Laboratory of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
神经模型最近被用于文本摘要,包括标题生成。该模型可以使用一组文档标题对进行训练。然而,该模型没有明确考虑主题的相似性和差异的文件。我们建议将文档分类到不同的主题中,以便同一主题中的文档在内容上相似并且共享相似的摘要模式。利用文档的主题信息,提出主题敏感的神经标题生成模型。我们的模型可以根据文档主题生成更准确的摘要。我们在LCSTS数据集上测试了我们的模型,实验表明我们的方法在每个主题上都优于其他基线,并达到了最先进的性能。
2016-08-20 cs.CL
On Cross-Dataset Generalization in Automatic Detection of Online Abuse
National Research Council Canada(加拿大国家研究委员会)
NLP研究在作为监督分类任务的滥用语言检测中取得了很高的性能。虽然在研究环境中,训练和测试数据集通常是从相似的数据样本中获得的,但在实践中,系统通常应用于与训练集在主题和类别分布上不同的数据。此外,在此任务中继承的类定义中的模糊性加剧了源数据集和目标数据集之间的差异。我们探讨了跨数据集泛化中的主题偏差和任务制定偏差。我们发现,维基百科Detox数据集中的良性示例偏向于特定于平台的主题。我们使用无监督主题建模和主题关键字的手动检查来识别这些示例。删除这些主题可以提高跨数据集的泛化能力,而不会降低域内分类性能。对于一个健壮的数据集设计,我们建议应用廉价的无监督方法来检查收集的数据,并在手动注释类标签之前缩小不可概括的内容。
2021-05-19 cs.AI cs.CL
Learning Topic-Sensitive Word Representations
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学院)
分布式单词表示广泛用于NLP任务中的单词建模。大多数现有的模型生成一个表示每个字,不考虑不同的含义的一个字。我们提出了两种方法来学习多个主题敏感的表示,每个词使用分层Dirichlet过程。我们观察到,通过对每个文档的主题建模和整合主题分布,我们获得了能够区分给定单词的不同含义的表示。我们的模型产生统计上显着的改进,词汇替代任务表明,常用的单个单词表示,即使与上下文信息相结合,是不够的,这项任务。
2017-05-01 cs.CL
Semi-Automatic Terminology Ontology Learning Based on Topic Modeling
Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德分校)
本体提供了诸如通用词汇表、可重用性、机器可读内容等特征,并且还允许语义搜索、促进代理交互以及语义Web(Web 3.0)应用的知识的排序和结构化。然而,本体工程中的挑战是自动学习,即,仍然缺乏使用机器学习技术从各种主题的文本语料库或数据集形成本体的全自动方法。本文研究了两种主题建模算法,即LSI & SVD和Mr.LDA,用于主题本体的学习。目标是确定文档和术语之间的统计关系,以最小的人为干预构建主题本体和本体图。通过构建主题本体和对用户查询进行语义检索的实验分析,验证了该方法的有效性。
2017-08-05 cs.CL cs.IR
Integrating Prosodic and Lexical Cues for Automatic Topic Segmentation
我们提出了一个概率模型,同时使用韵律和词汇线索的自动分割语音成主题连贯的单位。我们提出了两种方法结合使用隐马尔可夫模型和决策树的词汇和韵律信息。从语音识别器中获取词汇信息,从语音波形中自动提取韵律特征。我们评估我们的方法上的广播新闻语料库,使用DARPA-TDT评估指标。结果表明,单独的韵律模型是有竞争力的基于词的分割方法。此外,我们实现了一个显着减少错误相结合的韵律和基于单词的知识源。
2001-05-31 cs.CL
Conversational Structure Aware and Context Sensitive Topic Model for Online Discussions
Case Western Reserve University(凯斯西储大学)
每天在社交媒体平台上产生数百万次在线讨论。主题建模是更好地理解大规模文本数据集的有效方法。传统的主题模型在在线讨论中取得了有限的成功,为了克服它们的局限性,我们使用讨论线程的树结构,并提出了一个“流行度”的度量来量化评论的回复数量,以扩展单词出现的频率,和“传递性”的概念来表征嵌套的讨论线程中节点之间的主题依赖性。我们建立了一个会话结构感知的主题模型(CSATM)的基础上流行度和传递性推断的主题和他们的评论分配。真实论坛数据集上的实验被用来证明提高性能的主题提取与六个不同的测量的一致性和令人印象深刻的准确性主题分配。
2020-02-06 cs.CL
Towards an automatic method for generating topical vocabulary test forms for specific reading passages
ETS
本文提出K-tool系统,自动检测文本主题并生成主题词汇测试表单,以测量学生背景知识并预测其理解特定阅读篇章的能力,面向中学和高中英语母语学生。
2025-05-24 cs.AI cs.CL cs.IR
An Automatic Method of Finding Topic Boundaries
本文提出了一种基于词汇衔接和点图技术的语篇边界定位方法。应用dotplotting的话语分割可以手动执行,通过检查一个图形,或自动,使用优化算法。两个实验的结果,涉及自动定位之间的一系列连接的文件的边界。还概述了这项工作的应用领域和今后的方向。
1994-06-07 cmp-lg cs.CL
Detecting Inappropriate Messages on Sensitive Topics that Could Harm a Company's Reputation
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Mobile TeleSystems (MTS)(移动电信系统公司(MTS))
并不是所有的话题在毒性方面都是同样“易燃”的:与政治或性少数群体的讨论相比,关于海龟或捕鱼的平静讨论更不容易引发不适当的有毒对话。我们定义了一组敏感的主题,可以产生不适当的和有毒的消息,并描述了收集和标记数据集的适当性的方法。虽然用户生成的数据中的毒性已经得到了很好的研究,但我们的目标是定义一个更细粒度的不适当概念。不恰当的核心是它会损害演讲者的声誉。这在两个方面与毒性不同:(i)不适当是与主题相关的,(ii)不适当的信息不是毒性,但仍然不可接受。我们收集并发布了两个俄语数据集:一个主题标记数据集和一个适当标记数据集。我们还发布了基于这些数据训练的预训练分类模型。
2021-03-09 cs.CL
Improving Customer Service with Automatic Topic Detection in User Emails
The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研发研究所)
本研究提出了一种基于BERTopic的自动化邮件主题检测系统,用于提升客户服务效率,实现了每封邮件0.041秒的快速准确分类,F1分数达0.96。
2025-06-06 cs.AI cs.CL cs.LG
Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection
SHL Labs(SHL实验室)
针对自动作文评分系统难以识别跑题作答的问题,提出带主题正则化模块的无监督AOES模型,结合混合损失训练与马氏距离实现评分与跑题检测,性能优于基线与传统方法,且对人类级扰动鲁棒。
2024-03-24 cs.AI cs.CL cs.LG
DiagGPT: An LLM-based and Multi-agent Dialogue System with Automatic Topic Management for Flexible Task-Oriented Dialogue
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有大语言模型在复杂诊断类任务型对话中表现不足的问题,本文提出具备自动主题管理功能的多智能体系统DiagGPT,可拓展大模型的任务型对话适用场景、提升交互灵活性,实验验证其性能优异。
2024-04-15 cs.AI cs.CL
TopicResponse: A Marriage of Topic Modelling and Rasch Modelling for Automatic Measurement in MOOCs
The University of Melbourne(墨尔本大学);CSIRO(澳大利亚联邦科学与工业研究组织)
本文探讨了使用自动发现的主题从MOOC论坛建模学生的学术能力的适用性。来自心理测量学的Rasch模型是一种流行的生成概率模型,它将潜在的学生技能,潜在的项目难度和观察到的学生项目反应在一个原则性的统一框架内联系起来。根据学术教育理论,发现的主题可以被视为适当的测量项目,如果(1)学生对发现的主题的参与符合Rasch模型,如果(2)主题可以被主题专家解释为具有教育意义。这种Rasch分级的主题,以及相关的难度水平,可能对课程改进,学生评估和个性化反馈有潜在的好处。剩下的技术挑战是发现有意义的主题,同时实现与Rasch模型的良好统计拟合。为了应对这一挑战,我们结合了Rasch模型与基于非负矩阵分解的主题建模,共同拟合这两个模型。我们通过对三个Coursera MOOC数据的定量实验以及对离散优化MOOC主题可解释性的定性调查结果证明了我们方法的适用性。
2017-03-20 cs.CL cs.IR cs.LG
Team Hitachi @ AutoMin 2021: Reference-free Automatic Minuting Pipeline with Argument Structure Construction over Topic-based Summarization
Hitachi(日立)
本文介绍了日立团队为第一个自动记录共享任务(AutoMin-2021)提出的自动记录系统。我们使用无参考方法(即,不使用训练分钟)进行自动记录(任务A),其首先基于主题将文字记录分成块,随后使用在聊天对话的摘要语料库上微调的预训练BART模型来总结这些块。此外,我们将一种参数挖掘技术应用于生成的会议记录,以结构良好和连贯的方式重新组织它们。我们利用多个相关性分数来确定一分钟是否来自同一次会议时,无论是文字记录或另一分钟(任务B和C)。在这些分数之上,我们训练一个传统的机器学习模型来绑定它们并做出最终决策。因此,我们对任务A的方法在所有提交的材料中获得了最好的充分性分数,并且在语法正确性和流畅性方面接近最好的系统。对于任务B和C,所提出的模型成功地优于多数票基线。
2021-12-06 cs.AI cs.CL cs.IR
Topic Identification for Speech without ASR
The Johns Hopkins University(约翰斯·霍普金斯大学)
用于语音的现代主题识别(主题ID)系统使用自动语音识别(ASR)来产生语音转录,并且对这样的ASR输出执行监督分类。然而,在资源有限的条件下,开发标准ASR系统所需的手动转录语音可能严重受限或不可用。在本文中,我们研究了替代的无监督解决方案,以获得语音标记的词汇自动发现的单词或音素类单位,而不依赖于ASR系统的监督训练。此外,使用自动音素标记,我们证明了一个基于卷积神经网络的框架学习口语文档表示提供了竞争力的性能相比,一个标准的词袋表示,证明了全面的主题ID评估单标签和多标签分类任务。
2017-07-11 cs.CL
GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue Systems
Sun Yat-Sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
自动评估对话一致性是开发高质量开放域对话系统的一项具有挑战性但要求很高的能力。然而,目前的评估指标只考虑表面特征或话语级语义,没有明确考虑细粒度的话题转换动态的对话流。在这里,我们首先考虑由对话中的主题构成的图结构可以准确地描述底层的通信逻辑,这是产生有说服力的度量的更自然的方式。利用主题级对话图,我们提出了一个新的评价指标GRADE,它代表图形增强表示自动对话评价。具体来说,GRADE结合了粗粒度的话语级上下文表示和细粒度的主题级图形表示来评估对话的连贯性。图表示是通过对主题级对话图进行推理来获得的,该对话图由常识图的证据增强,包括k跳邻近表示和跳注意力权重。实验结果表明,我们的GRADE显着优于其他国家的最先进的衡量标准,衡量不同的对话模型的皮尔逊和斯皮尔曼相关性与人类的判断。此外,我们还发布了一个新的大规模人类评估基准,以促进未来对自动度量的研究。
2020-10-08 cs.CL
Automatic Evaluation of Local Topic Quality
Brigham Young University(杨百翰大学)
主题模型通常使用一致性等指标来评估它们生成的全局主题分布,但不考虑局部(令牌级)主题分配。标记级分配对于分类等下游任务很重要。即使是最近的模型,旨在提高这些令牌级的主题分配的质量,已被评估仅与全球指标。我们提出了一个任务,旨在引起人类的判断令牌级的主题分配。我们使用了各种主题模型类型和参数,发现全球指标与人类分配不一致。由于人类的评价是昂贵的,我们提出了各种自动化的指标来评估主题模型在本地一级。最后,我们将我们提出的指标与几个数据集上任务的人类判断相关联。我们发现,基于主题转换的百分比的评估与人类对本地主题质量的判断相关性最强。我们建议,这个新的指标,我们称之为一致性,通过与全球指标,如主题一致性评估新的主题模型时。
2019-05-18 cs.CL cs.IR cs.LG
Ordering-sensitive and Semantic-aware Topic Modeling
The University of Hong Kong(香港大学);Zhejiang University(浙江大学)
文本语料库的主题建模是一个重要而富有挑战性的问题。在大多数以前的工作中,“词袋”的假设通常是忽略了单词的顺序。这种假设简化了计算,但它不切实际地丢失了上下文中单词的排序信息和语义。本文提出了一种高斯混合神经主题模型(GMNTM),它将词的排序和句子的语义结合到主题建模中。具体来说,我们将每个主题表示为多维向量的聚类,并将语料库嵌入到由高斯混合模型生成的向量集合中。每个词不仅受其主题的影响,还受其周围词的嵌入向量和上下文的影响。高斯混合分量和文档、句子和单词的主题可以联合学习。大量的实验表明,我们的模型可以学习更好的主题和更准确的词分布为每个主题。定量分析表明,与现有的主题建模方法相比,GMNTM在困惑度、检索准确率和分类准确率方面都有明显的提高。
2015-02-12 cs.CL cs.IR cs.LG
Prosody-Based Automatic Segmentation of Speech into Sentences and Topics
在处理语音音频数据以进行信息抽取、主题检测或浏览/回放的过程中,关键的一步是将输入分割成句子和主题单元。语音分割是具有挑战性的,因为通常用于分割文本(标题、段落、标点符号)的线索在口语中不存在。我们调查使用韵律(信息收集的时间和旋律的讲话)为这些任务。使用决策树和隐马尔可夫模型技术,我们结合韵律线索与基于词的方法,并评估两个语音语料库,广播新闻和总机的性能。结果表明,单独的韵律模型的表现与基于单词的统计语言模型相当,甚至更好-无论是真实的和自动识别的话在新闻讲话。韵律模型实现了相当的性能与显着更少的训练数据,不需要手工标记的韵律事件。在任务和语料库中,我们获得了显着的改善,只有单词模型使用的韵律和词汇信息的概率组合。检查发现,韵律模型捕获的语言独立的边界指标中描述的文献。最后,线索使用是任务和语料库依赖。例如,停顿和音高特征对于分割新闻语音是高度信息化的,而停顿、持续时间和基于单词的线索对于自然对话占主导地位。
2000-06-27 cs.CL
Automatic Text Summarization Approaches to Speed up Topic Model Learning Process
École Polytechnique de Montréal(蒙特利尔理工学院);LIA - Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);Universidad Autónoma Metropolitana Azcapotzalco(阿兹卡波察尔科大都会自治大学)
互联网上的文件数量每天都在增加。出于这个原因,有效和可表达地处理这些信息量成为公司和科学家的主要关注点。通过主题表示来表示文本文档的方法被广泛用于信息检索(IR)中以处理诸如维基百科文章之类的大数据。在大规模数据汇集上使用主题模型的主要困难之一是模型估计所需的材料资源(CPU时间和内存)。为了解决这个问题,我们建议从摘要文档中构建主题空间。在本文中,我们提出了在大数据的背景下的主题空间表示的研究。分析了不同语言的主题空间表示行为。实验表明,从文本摘要估计的主题空间的相关性从完整的文档。这种方法的真正优点是处理时间的增益:我们表明,使用摘要文档可以大大减少处理时间(一般超过60%)。本研究最后指出了不同语言(英语或拉丁语)的文档主题表征之间的差异。
2017-03-20 cs.CL cs.IR
An N-gram based approach to auto-extracting topics from research articles
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Institute of Data Science, City University of Macau(澳门城市大学数据科学学院);Product Development, Ericsson(爱立信产品开发部);Department of Computer Science and Engineering, University of Gothenburg(哥德堡大学计算机科学与工程系)
为一篇文章确定主题需要进行大量的手工工作。对于大量的物品,手动过程可能会使人精疲力竭。我们的方法旨在通过自动从大量文章的文本中提取主题来解决这个问题。这种方法考虑到了过程的效率。基于现有的N-gram分析,我们的研究探讨了某些词出现在文档中的频率,以支持自动主题提取。为了提高效率,我们将自定义过滤标准应用到我们的研究中。此外,删除尽可能多的非关键或不相关的短语。通过这种方式,我们可以确保为每篇文章选择独特的关键词,这些关键词可以捕捉到其核心思想。在我们的研究中,我们选择以自动驾驶汽车领域为中心,因为这项研究与我们的日常生活有关。我们必须将大多数研究论文的PDF版本转换为可编辑类型的文件,如TXT。这是因为大多数研究论文都是PDF格式的。为了测试我们提出的自动化的想法,我们选择了许多关于机器人的文章。接下来,我们通过将结果与手动获得的结果进行比较来评估我们的方法。
2021-09-07 cs.AI cs.CL
Automatic event detection in microblogs using incremental machine learning
La Trobe University(乐卓博大学)
微博的全球流行导致了诸如Twitter的微博平台上的大量文本数据的日益积累。这些语料库是理解不同主题的社会表达的未开发资源。微博分析旨在通过发现隐藏在大量文本中的见解和重要事件来释放这些表达的价值。除了速度,内容的多样性、简洁性、缺乏结构和时间敏感性是微博分析的关键挑战。在本文中,我们提出了一个无监督的增量机器学习和事件检测技术来解决这些挑战。所提出的技术将微博讨论分为主题,以解决多样性的关键问题。它保留了每个主题随时间推移的演变记录。简短,时间敏感性和非结构化的性质是由这些个人的主题路径,有助于产生一个时间,主题驱动的结构的微博讨论。所提出的事件检测方法使用多个独立于域的事件指示器来持续监测这些主题路径,以用于重要事件。话题分离、话题路径生成、新话题识别和事件检测的自主性使得所提出的技术在微博分析中具有广泛的应用。我们在包含#microsoft的tweet和包含#obama的tweet上演示了这些功能。
2018-10-16 cs.CL cs.IR
Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages
The Johns Hopkins University(约翰斯·霍普金斯大学);Brno University of Technology(布尔诺理工大学);Raytheon BBN Technologies(雷神BBN技术公司)
自动语音识别(ASR)系统通常需要针对资源极低的语言来开发,以服务于诸如音频内容分类和搜索之类的最终用途。虽然当没有转录语音可用于训练一种语言的ASR系统时,考虑通用电话识别是很自然的,但是还需要研究使用非常少量(几分钟而不是几小时)的转录语音来适应通用电话模型,特别是使用最先进的基于DNN的声学模型。DARPA LORELEI计划为这种资源非常少的ASR研究提供了一个框架,并为评估人道主义援助和救灾环境中的ASR性能提供了一个外在指标。本文介绍了我们的Kaldi为基础的系统的程序,它采用了通用的电话建模方法ASR,并描述了非常快速适应这个通用的ASR系统的配方。我们获得的结果显著优于NIST LoReHLT 2017评估数据集上许多竞争方法获得的结果。
2018-06-18 cs.CL
Text-based automatic personality prediction: A bibliographic review
University of Tabriz(大不里士大学);Ayvansaray University(艾万萨赖大学);Louisiana State University Health Sciences Center Shreveport(路易斯安那州立大学什里夫波特健康科学中心)
人格检测是心理学中的一个老话题,自动人格预测(或感知)(APP)是对不同类型的人类生成/交换内容(如文本,语音,图像,视频)的自动(计算)预测。本研究的主要目的是提供一个浅(全面)回顾自2010年以来的APP上的自然语言处理方法。随着深度学习的出现以及随之而来的迁移学习和预训练模型在自然语言处理中的应用,APP研究领域已经成为一个热门话题,因此在这篇综述中,方法被分为三种:预训练的独立方法,基于预训练模型的方法,多模态方法。此外,为了实现全面的比较,报告的结果由数据集提供信息。
2022-09-05 cs.AI cs.CL
'If you build they will come': Automatic Identification of News-Stakeholders to detect Party Preference in News Coverage
IIT Kharagpur(印度理工学院卡拉格普尔分校)
新闻文章中提到的不同利益相关者的报道显著影响相关新闻出版商的倾向或极性检测。举例而言,亲政府的传媒机构会对政府持份者作出更多报道,以增加他们接触新闻受众的机会。相比之下,反政府的新闻机构会更多地关注反对派利益相关者的观点,以告知读者政府政策的不足之处。在本文中,我们解决的问题,利益相关者提取新闻文章,从而确定固有的偏见,目前在新闻报道。在多主题新闻场景中识别潜在的利益相关者是具有挑战性的,因为每个新闻主题都有不同的利益相关者。本文提出的研究利用上下文信息和外部知识,以确定特定主题的利益相关者从新闻文章。我们还应用了一个顺序增量聚类算法来分组具有相似的利益相关者类型的实体。我们对许多国家和国际新闻机构发表的关于印度政府四项政策的新闻文章进行了所有实验。实验结果表明,该模型可以推广到其他新闻主题。
2022-12-17 cs.AI cs.CL cs.CY
AutoTM 2.0: Automatic Topic Modeling Framework for Documents Analysis
ITMO University(ITMO大学)
本文提出 AutoTM 2.0 框架,通过新型优化流水线、基于 LLM 的质量指标和分布式模式改进加性正则化主题模型,并在多语言多特征数据集上验证其性能优于前一版本。
2024-10-01 cs.CL cs.LG
Vartani Spellcheck -- Automatic Context-Sensitive Spelling Correction of OCR-generated Hindi Text Using BERT and Levenshtein Distance
Birla Institute of Technology, Mesra(贝拉理工学院梅斯拉分校)
传统的光学字符识别(OCR)系统生成高度屈折的印度语(如印地语)的文本,由于宽的字母表集、复合字符和在单词中分割字符的困难,其往往遭受差的准确性。自动拼写错误检测和上下文敏感错误校正可用于通过后处理这些OCR系统生成的文本来提高准确性。以前开发的大多数用于印地语拼写错误校正的语言模型都是上下文无关的。在本文中,我们提出了Vartani拼写检查-一种上下文敏感的方法,使用最先进的Transformer - BERT结合Levenshtein距离算法,俗称编辑距离的印地语文本的拼写校正。我们使用一个查找字典和基于上下文的命名实体识别(NER)检测可能的拼写错误的文本。我们提出的技术已被广泛使用的Tesseract OCR对印地语史诗罗摩衍那产生的文本的大型语料库进行了测试。准确率为81%,结果显示出显着的改善,比以前建立的一些上下文敏感的印地语纠错机制。我们还解释了如何Vartani拼写检查可用于在文本编辑器环境中连续键入期间的即时自动更正建议。
2020-12-14 cs.AI cs.CL cs.LG
End-to-End Knowledge-Routed Relational Dialogue System for Automatic Diagnosis
Sun Yat-Sen University(中山大学);Soochow University(苏州大学);Dark Matter AI Inc.(暗物质人工智能公司)
除了目前越来越受到关注的会话聊天机器人或面向任务的对话系统之外,我们还在开发一种用于自动医疗诊断的对话系统,该系统与患者对话,收集他们自我报告之外的其他症状,并自动进行诊断。除了会话对话系统面临的挑战(如话题转换连贯性和问题理解)外,自动医疗诊断还对医学知识和疾病关系背景下的对话合理性提出了更严格的要求。现有的对话系统(Madotto,Wu,and Fung 2018; Wei et al. 2018; Li et al. 2017)主要依赖于数据驱动的学习,无法对额外的专家知识图谱进行编码。在这项工作中,我们提出了一个端到端的知识路由的关系对话系统(KR-DS),无缝地将丰富的医学知识图谱到对话管理中的主题转换,并使其与自然语言理解和自然语言生成合作。提出了一种新的知识路由深度Q网络(KR-DQN)来管理主题转换,它集成了一个用于编码不同症状和疾病对之间关系的关系精化分支和一个用于主题决策的知识路由图分支。在公共医疗对话数据集上进行的广泛实验表明,我们的KR-DS显著击败了最先进的方法(诊断准确率超过8%)。我们进一步展示了我们的KR-DS在新收集的医疗对话系统数据集上的优越性,该数据集在保留患者和医生之间的原始自我报告和对话数据方面更具挑战性。
2019-03-18 cs.CL
Topic Sensitive Attention on Generic Corpora Corrects Sense Bias in Pretrained Embeddings
IIT Bombay(印度理工学院孟买分校)
给定一个小的语料库$\mathcal D_T$属于一组有限的集中的主题,我们的目标是训练嵌入,准确地捕捉主题中的单词的意义,尽管$\mathcal D_T$的大小有限。这些嵌入可用于涉及$\mathcal D_T$的各种任务中。在有限的数据设置中,一种流行的策略是适应在大型语料库上训练的预训练嵌入$\mathcal E$。为了校正感测漂移,最近已经提出了微调、正则化、投影和枢转。其中,正则化通知一个词的语料库频率表现良好,但我们改进了它使用一个新的正则化的基础上,其与其他词的同现稳定性。然而,通过对10个主题、3个任务以及超参数的标准化设置进行全面比较,发现即使是最好的嵌入自适应策略也会在良好调整的基线之外提供微小的收益,而这是许多早期比较忽略的。与适应预训练的嵌入不同,我们建议使用$\mathcal D_T$来探测、关注和借用任何大型、主题丰富的源语料库(如维基百科)中的片段,这些语料库不需要是用于预训练嵌入的语料库。通过适当的索引,这一步骤是可扩展的和实用的。我们得出了令人惊讶的结论,即使是有限的语料库增强也比自适应嵌入更有用,这表明非主导意义信息可能会从预训练的嵌入中被删除,并且无法通过自适应来挽救。
2019-07-24 cs.CL cs.LG stat.ML
Beyond Plain Toxic: Detection of Inappropriate Statements on Flammable Topics for the Russian Language
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院)
互联网上的毒害,如仇恨言论,对特定用户或人群的冒犯,或使用淫秽词语,是一个公认的问题。然而,也存在其他类型的不适当信息,这些信息通常不被视为有害的,例如,因为它们不包含明确的罪行。这些信息可能包含隐藏的毒性或概括,煽动有害行为(犯罪,自杀,吸毒),引发“激烈”的讨论。这些信息往往与特别敏感的话题有关,例如政治、性少数、社会不公正,这些话题比汽车或计算机等其他话题更容易产生有害的情绪反应。与此同时,显然并非所有这些易燃话题中的信息都是不合适的。为此,在这项工作中,我们提出了两个文本集合标记根据二进制概念的不适当性和敏感话题的多项式概念。假设不适当的概念在同一文化的人中很常见,我们的方法基于人类对不可接受和有害的直觉理解。为了客观化不适当的概念,我们通过众包以数据驱动的方式定义它。也就是说,我们进行了一项大规模的注释研究,询问工人给定的聊天机器人文本声明是否会损害创建它的公司的声誉。注释者之间的一致性的可接受的高值表明,不适当的概念存在,并且可以被不同的人统一理解。为了以客观的方式定义敏感话题的概念,我们使用大型上市公司法律和公关部门专家通常建议的可能有害的指导方针。
2022-03-04 cs.CL
Application of Topic Models to Judgments from Public Procurement Domain
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw(华沙大学跨学科数学与计算建模中心)
在这项工作中,自动分析的主题包含在一个大型语料库的判断,从公共采购领域进行。所采用的技术是无监督的潜在狄利克雷分配(LDA)。此外,建议使用LDA结合最近开发的无监督关键字提取方法。这种方法提高了自动获得的主题的可解释性,并允许更好的计算性能。所述分析说明了该方法在发现反复出现的主题和发现提出的合同上诉的时间趋势方面的潜力。这些结果可能在未来应用,以改善信息检索从法律文本的知识库或作为辅助材料进行法律分析的人类专家。
2014-12-16 cs.CL
Multiple topic identification in telephone conversations
LIA, University of Avignon(阿维尼翁大学LIA实验室);McGill University(麦吉尔大学)
本文论述了自动分析的客户和代理之间的对话在呼叫中心的客户服务。分析的目的是假设对话中讨论的问题和抱怨的主题。主题由应用程序文档主题定义。对话可能包含与应用程序目的无关的提及和多个主题,其提及可能是对话的交错部分,无法很好地定义。提出了两种多主题假设的方法。其中之一是基于余弦相似性度量,使用从整个对话中提取的一袋特征。另一种方法引入了围绕会话中特定单词位置分布的主题密度的概念。除了自动选择单词之外,还考虑并选择在连续单词之间具有可能间隙的单词二元语法。实验结果表明,在相同的数据集上,该方法的分类效果优于支持向量机。此外,使用从中导出主题密度的会话的主题骨架,将有可能提取要用于改进服务性能的自动会话报告的成分。索引术语:多主题音频文档分类,人类/人类对话分析,语音分析,距离二元组
2018-12-29 cs.CL
Hierarchical Multi-Label Classification of Scientific Documents
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
自动主题分类已被广泛研究,以帮助管理和索引的数字收集的科学文献。随着近年来出现的大量主题,有必要将它们按层次排列。因此,自动分类系统需要能够分级地对文档进行分类。此外,每篇论文往往被分配到一个以上的相关主题。例如,一篇论文可以被分配到层次树中的几个主题。在本文中,我们介绍了一个新的数据集,用于科学论文的分层多标签文本分类(HMLTC),称为SciHTC,它包含来自ACM CCS树的186,160篇论文和1,233个类别。我们为HMLTC建立了强大的基线,并提出了一种多任务学习方法,用于主题分类,关键字标记作为辅助任务。我们的最佳模型达到了34.57%的Macro-F1得分,这表明该数据集为分层科学主题分类提供了重要的研究机会。我们在Github上提供数据集和代码。
2022-11-05 cs.CL
Semi-Automatic Data Annotation, POS Tagging and Mildly Context-Sensitive Disambiguation: the eXtended Revised AraMorph (XRAM)
EPHE(法国高等研究实践学院);Sapienza University of Rome(罗马大学);Roma Tre University(罗马第三大学)
Tim Buckwalter的阿拉伯语词汇和形态资源AraMorph,扩展修订AraMorph(以下简称XRAM)的扩展,修订形式,它解决了一些弱点和不一致的原始模型,允许更广泛地覆盖现实世界的古典和当代(正式和非正式)阿拉伯语文本。基于先前的研究,XRAM增强包括(i)标记可选择的使用标记,(ii)概率轻度上下文敏感的POS标记,过滤,消歧和替代形态分析的排名,(iii)通过从现有词汇资源中提取词汇和形态信息来半自动增加词汇覆盖率。通过前端Python模块对XRAM进行的测试显示出了显著的成功水平。
2016-03-06 cs.CL cs.IR
Generating Diversified Comments via Reader-Aware Topic Modeling and Saliency Detection
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Tencent AI Lab(腾讯人工智能实验室)
评论自动生成是一项特殊而具有挑战性的任务,它需要验证模型对新闻内容的理解能力和语言生成能力。评论不仅传达了新闻文章中的显著和有趣的信息,而且还暗示了各种不同的读者特征,我们认为这是多样性的重要线索。然而,大多数评论生成方法只关注显著性信息抽取,而忽略了评论所隐含的读者感知因素。为了解决这个问题,我们提出了一个统一的读者感知的主题建模和显着性信息检测框架,以提高生成的评论的质量。对于读者感知的主题建模,我们设计了一种变分生成聚类算法,用于潜在语义学习和读者评论主题挖掘。在显著性信息检测方面,我们引入了新闻内容的伯努利分布估计来选择显著性信息。所获得的主题表示以及所选择的显著性信息被并入到解码器中以生成多样化的和信息丰富的评论。在三个数据集上的实验结果表明,我们的框架在自动度量和人工评估方面都优于现有的基线方法。潜在的伦理问题也进行了详细讨论。
2021-02-13 cs.CL
Automatic Summarization of Online Debates
The University of Sheffield(谢菲尔德大学)
辩论文摘是自动文摘领域中一个新颖且具有挑战性的研究领域,目前还没有得到广泛的研究。在本文中,我们开发了一个辩论摘要管道,以总结在线辩论的对立双方讨论或争论的关键主题。我们认为,辩论摘要的生成可以通过聚类、聚类标记和可视化来实现。在我们的工作中,我们研究了两种不同的聚类方法的摘要的生成。在第一种方法中,我们通过应用纯粹的基于术语的聚类和聚类标记来生成摘要。第二种方法利用X均值聚类和互信息标记的集群。这两种方法都由本体驱动。我们使用条形图来可视化结果。我们认为,我们的结果是一个顺利的入口,旨在接收的第一印象是什么讨论的辩论主题包含浪费的论证数量的用户。
2017-08-15 cs.AI cs.CL cs.IR