Multi-turn Dialogue Comprehension from a Topic-aware Perspective
Shanghai Jiao Tong University(上海交通大学)
本文从主题感知视角建模多轮对话,提出无监督对话切分算法和主题感知双注意力匹配网络TADAM,在主题检测与回复选择任务上显著优于基线。
2023-09-18 cs.CL
Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
在客户服务系统中,对话摘要可以通过自动为客户和代理尝试解决有关特定主题的问题的长时间对话创建摘要来提高服务效率。在这项工作中,我们专注于面向主题的对话摘要,它生成高度抽象的摘要,保留对话的主要思想。在口语对话中,大量的对话噪音和共同的语义可能会掩盖潜在的信息内容,使一般的主题建模方法难以应用。此外,对于客户服务而言,特定角色的信息至关重要,是不可或缺的一部分。为了有效地进行主题建模的对话和捕获多角色的信息,在这项工作中,我们提出了一种新的主题增强的两阶段对话摘要(TDS)与显着性感知神经主题模型(SATM)共同面向主题的客户服务对话摘要。对真实世界的中国客户服务数据集的综合研究证明了我们的方法对几个强基线的优越性。
2021-06-25 cs.CL
Adversarial Topic-aware Prompt-tuning for Cross-topic Automated Essay Scoring
Shandong University of Finance and Economics(山东财经大学);University of Toronto(多伦多大学)
针对跨主题自动作文评分中主题差异导致的迁移难题,提出对抗性主题感知提示微调方法ATOP,通过联合学习主题共享与特定特征并结合对抗训练及伪标签策略,显著提升了评分性能。
2025-08-08 cs.CL
Not All Comments are Equal: Insights into Comment Moderation from a Topic-Aware Model
University of Helsinki(赫尔辛基大学);Queen Mary University of London(伦敦玛丽女王大学);Jožef Stefan Institute(约瑟夫·斯特凡研究所)
读者评论的审核是在线新闻平台的一个重要问题。在这里,我们使用来自克罗地亚一家流行报纸的评论数据集,对自动审核模型进行了实验。我们的分析表明,虽然违反适度规则的评论大多具有共同的语言和主题特征,但它们的内容在报纸的不同部分中有所不同。因此,我们使我们的模型主题感知,将语义特征从主题模型到分类决策。我们的研究结果表明,主题信息提高了模型的性能,增加了其正确输出的信心,并帮助我们理解模型的输出。
2021-09-21 cs.CL
TA-DA: Topic-Aware Domain Adaptation for Scientific Keyphrase Identification and Classification (Student Abstract)
University Politehnica of Bucharest(布加勒斯特理工大学);National Institute for Research and Development in Informatics - ICI Bucharest(国家信息研究与开发研究所 - ICI布加勒斯特)
关键词识别和分类是一项自然语言处理和信息检索任务,涉及从与主要主题相关的给定文本中提取相关词组。在这项工作中,我们专注于从科学文献中提取关键词。我们介绍了TA-DA,一个主题感知的领域自适应框架的关键词提取,集成了多任务学习与对抗训练和领域自适应。我们的方法在F1分数的精确匹配中将基线模型的性能提高了5%。
2022-12-30 cs.CL
Topic-Aware Neural Keyphrase Generation for Social Media Language
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
每天都有大量的用户生成内容在社交媒体上产生。为了促进自动语言理解,我们研究了关键短语预测,从大量帖子中提取突出信息。虽然大多数现有的方法从源帖子中提取单词来形成关键词,但我们提出了一个基于序列到序列(seq2seq)的神经关键词生成框架,可以创建缺失的关键词。此外,我们的模型,是主题感知,允许联合建模的语料库级别的潜在主题表示,这有助于缓解数据稀疏,广泛表现在社会媒体语言。在英文和中文社交媒体平台上收集的三个数据集上的实验表明,我们的模型明显优于不利用潜在主题的提取和生成模型。进一步的讨论表明,我们的模型学习有意义的主题,这解释了它在社交媒体关键词生成的优越性。
2019-06-10 cs.CL
Topic-Aware Response Generation in Task-Oriented Dialogue with Unstructured Knowledge Access
University College London(伦敦大学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
为了缓解结构化数据库的有限覆盖的问题,最近的面向任务的对话系统将外部非结构化知识,以指导系统响应的生成。然而,这些通常使用单词或句子级别的相似性来检测相关的知识上下文,这只能部分捕获主题级别的相关性。在本文中,我们研究如何更好地整合主题信息的知识为基础的面向任务的对话,并提出了“主题感知响应生成”(TARG),一个端到端的响应生成模型。TARG结合了多个主题感知的注意力机制,以获得对对话话语和外部知识源的重要性加权方案,从而更好地理解对话历史。实验结果表明,TARG在知识选择和响应生成方面达到了最先进的性能,在Doc 2Dial上的EM,F1和BLEU-4中分别比以前的最先进性能高出3.2,3.6和4.2分,并在DSTC 9上与以前的工作进行了比较;两者都是以知识为基础的面向任务的对话数据集。
2022-12-10 cs.CL
Enhancing Dialogue Summarization with Topic-Aware Global- and Local- Level Centrality
Beihang University(北京航空航天大学);ByteDance Inc.(字节跳动公司);Lark Platform Engineering-AI(飞书平台工程-人工智能部)
对话摘要旨在将给定的对话浓缩成简单而集中的摘要文本。通常,角色的观点和对话主题在对话流中都会发生变化。因此如何有效地处理话题的转换,选择最突出的话语成为这一任务的主要挑战之一。在本文中,我们提出了一种新的主题感知的全局-局部中心性(GLC)模型,以帮助选择所有子主题的显着背景。这些中心是在全球和地方两级建立的。全球对话的目的是确定对话中的重要分专题,地方对话的目的是选择每个分专题中最重要的背景。具体地,GLC基于话语表征来收集子主题。每句话都对应一个子主题。根据这些分专题,全球生命周期计算全球和地方一级的中心性。最后,我们结合两者来指导模型在生成摘要时捕获突出的上下文和子主题。实验结果表明,我们的模型在三个公共对话摘要数据集上的性能优于强基线:CSDS,MC和SAMSUM。进一步的分析表明,我们的GLC可以准确地识别子主题中的重要内容。\footnote{\url{https://github.com/xnliang98/bart-glc}}
2023-01-29 cs.CL
CAST: Corpus-Aware Self-similarity Enhanced Topic modelling
The University of Manchester(曼彻斯特大学);Durham University(杜伦大学)
CAST通过语料感知的候选中心词嵌入和自相似性过滤功能词,提升主题建模的连贯性、多样性及抗噪能力,并在新闻和Twitter数据集上优于强基线。
2025-02-06 cs.CL
Topic-Aware Encoding for Extractive Summarization
文档摘要提供了一种更快地理解文本文档集合的工具,并有几个实际应用。随着在线文本数据的增长,近年来提出了许多摘要模型。基于序列到序列(Seq2Seq)的神经摘要模型由于其高性能而在摘要领域中应用最广泛。这是因为在编码时充分考虑了文本中的语义信息和结构信息。然而,现有的抽取式摘要模型很少关注和利用中心主题信息来辅助摘要的生成,导致模型不能保证生成的摘要是在主主题下生成的。一个冗长的文档可以跨越多个主题,而一个摘要无法公正地处理所有主题。因此,生成高质量摘要的关键是确定中心主题,并在此基础上构建摘要,特别是对于长文档。我们提出了一个主题感知编码的文档摘要来处理这个问题。该模型有效地结合了句法级和主题级信息,构建了一个全面的句子表示。具体而言,在基于神经元的文本级表示学习中添加神经元主题模型,以充分考虑用于捕获原始文档中的关键内容的中心主题信息。在三个公共数据集上的实验结果表明,我们的模型优于最先进的模型。
2022-03-31 cs.CL
Generating Diversified Comments via Reader-Aware Topic Modeling and Saliency Detection
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Tencent AI Lab(腾讯人工智能实验室)
评论自动生成是一项特殊而具有挑战性的任务,它需要验证模型对新闻内容的理解能力和语言生成能力。评论不仅传达了新闻文章中的显著和有趣的信息,而且还暗示了各种不同的读者特征,我们认为这是多样性的重要线索。然而,大多数评论生成方法只关注显著性信息抽取,而忽略了评论所隐含的读者感知因素。为了解决这个问题,我们提出了一个统一的读者感知的主题建模和显着性信息检测框架,以提高生成的评论的质量。对于读者感知的主题建模,我们设计了一种变分生成聚类算法,用于潜在语义学习和读者评论主题挖掘。在显著性信息检测方面,我们引入了新闻内容的伯努利分布估计来选择显著性信息。所获得的主题表示以及所选择的显著性信息被并入到解码器中以生成多样化的和信息丰富的评论。在三个数据集上的实验结果表明,我们的框架在自动度量和人工评估方面都优于现有的基线方法。潜在的伦理问题也进行了详细讨论。
2021-02-13 cs.CL
Topic-Controllable Summarization: Topic-Aware Evaluation and Transformer Methods
School of Informatics(信息学院);Aristotle University of Thessaloniki(亚里士多德大学(塞萨洛尼基))
针对主题可控摘要生成现有方法性能受限、缺乏专用评估指标的问题,本研究提出主题导向评估指标,以及基于Transformer、通过控制令牌引导生成的高效方法,性能更优且速度更快。
2024-04-17 cs.CL
Topic-aware Pointer-Generator Networks for Summarizing Spoken Conversations
Institute for Infocomm Research (I2R)(资讯通信研究所);Changi General Hospital(樟宜综合医院)
由于缺乏公开可用的资源,会话摘要受到的关注远远低于文本摘要。由于对话的目的是在至少两个对话者之间交换信息,因此关于某个主题的关键信息通常分散并跨越来自不同说话者的多个话语和回合。这一现象在口语对话中更为明显,在口语对话中,诸如反向引导和错误开始之类的言语特征可能会打断主题流。此外,话题扩散和(话语内)话题漂移也更常见于人与人之间的对话。对话主题的这种语言特征使得口语文档中使用的会话级提取摘要方法不适合用于摘要会话。指针生成器网络通过文本摘要中的神经建模有效地展示了其在集成提取和抽象能力方面的实力。据我们所知,迄今为止还没有人采用它来总结对话。在这项工作中,我们提出了一个主题感知架构,利用固有的层次结构的对话,以进一步适应指针生成器模型。我们的方法显著优于竞争基准,实现更有效的学习成果,并获得更强大的性能。
2019-10-03 cs.CL
Topic Aware Probing: From Sentence Length Prediction to Idiom Identification how reliant are Neural Language Models on Topic?
ADAPT Research Centre(ADAPT研究中心);Technological University Dublin(都柏林理工大学);School of Computer Science and Statistics(计算机科学与统计学院);Trinity College Dublin(都柏林圣三一学院)
提出主题感知探测方法,通过 BERT 与 RoBERTa 在句长预测到习语识别等任务上的表现,揭示模型对主题信息的依赖。
2024-03-04 cs.CL
Augmenting Neural Response Generation with Context-Aware Topical Attention
University of Alberta(阿尔伯塔大学)
序列到序列(Seq2Seq)模型在生成自然会话交换方面取得了显着的成功。尽管这些神经网络模型生成的响应在句法上是良好的,但它们往往是上下文的、简短的和通用的。在这项工作中,我们介绍了一个主题分层递归编码器解码器(THRED),一种新颖的,完全数据驱动的,多轮响应生成系统,旨在产生上下文和主题感知的响应。我们的模型是建立在基本的Seq2Seq模型的基础上,通过增加一个分层的联合注意力机制,将主题概念和以前的相互作用纳入响应生成。为了训练我们的模型,我们提供了一个从Reddit评论中挖掘出来的干净且高质量的会话数据集。我们评估THRED的两个新的自动化指标,被称为语义相似性和响应回声指数,以及与人类的评价。我们的实验表明,所提出的模型是能够产生更多样化和上下文相关的反应相比,强基线。
2019-06-04 cs.CL
Coherence-Aware Neural Topic Modeling
Amazon Web Services(亚马逊云科技)
主题模型的评估是基于它们描述文档的能力(即低困惑度)和产生具有连贯语义的主题的能力。在目前的主题建模中,困惑度是一个直接的优化目标。然而,由于其具有挑战性的计算,主题一致性并没有优化,并且仅在训练后进行评估。在这项工作中,在神经变分推理框架下,我们提出了将主题一致性目标纳入训练过程的方法。我们证明,这样的连贯性意识的主题模型表现出类似的困惑水平的基线模型,但实现了更高的主题连贯性。
2018-09-07 cs.CL cs.LG
Sequential Topic Selection Model with Latent Variable for Topic-Grounded Dialogue
Huazhong University of Science and Technology(华中科技大学);Pingan Property & Casualty Research(平安财产保险研究院);Beijing Institute of Technology(北京理工大学)
近年来,基于话题的对话系统因其能够根据历史语境和给定的话题序列预测下一个话题从而获得更好的响应而受到广泛关注。然而,几乎所有现有的主题预测解决方案都只关注当前会话和相应的主题序列来预测下一个会话主题,而不利用可能包含与当前会话相关的主题转换的其他主题引导会话。为了解决这个问题,在本文中,我们提出了一种新的方法,命名为顺序全局主题注意力(SGTA),利用主题转换在所有的对话中,以一种微妙的方式,更好地建模后响应主题转换,并指导响应生成当前的对话。具体来说,我们引入了一个潜在空间建模为一个多元偏态分布与混合核函数,灵活地整合全球层面的信息与序列层面的信息,并预测的基础上的分布抽样结果的主题。我们还利用主题感知的先验-后验方法对预测主题进行二次选择,以优化响应生成任务。大量的实验表明,我们的模型在预测和生成任务上优于竞争基线。
2022-10-17 cs.CL
Steering Output Style and Topic in Neural Response Generation
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了简单而灵活的训练和解码方法,以影响基于神经编码器-解码器的语言生成的输出风格和主题。这种能力在各种应用中都是理想的,包括会话系统,成功的代理需要以特定的风格产生语言,并生成由人类操纵者或外部知识操纵的响应。我们将神经生成过程分解为经验上更容易的子问题:忠诚度模型和基于选择性采样的解码方法。我们还描述了训练和采样算法,这些算法使用特定的语言风格限制或主题限制来偏置生成过程。人工评估结果表明,我们提出的方法能够限制风格和主题,而不会降低输出质量的会话任务。
2017-09-09 cs.CL
Assisting Composition of Email Responses: a Topic Prediction Approach
Xerox Research Centre Europe(施乐欧洲研究中心)
我们提出了一种方法,帮助代理撰写电子邮件回复客户的请求。为了实现这一点,我们使用LDA从电子邮件交换的集合中提取潜在主题。然后,我们使用这些潜在的主题来标记我们的数据,获得所谓的“银标准”主题标签。我们利用这个标签集训练分类器:(一)预测整个代理的电子邮件响应的主题分布,根据客户的电子邮件的功能;和(二)预测的主题分布的下一句在代理的答复,根据客户的电子邮件功能和代理的当前句子的功能。在电信领域联络中心的大量电子邮件集上的实验结果表明,该方法能够有效地预测Agent下一句话的最佳主题。在80%的情况下,正确的主题出现在前五个推荐主题中(50个可能的主题中)。这表明了这种方法在交互式环境中应用的潜力,在这种环境中,代理人会收到一个小的可能主题列表,供下一句话选择。
2015-10-07 cs.CL
FINEST: Improving LLM Responses to Sensitive Topics Through Fine-Grained Evaluation
KAIST(韩国科学技术院);Samsung(三星)
FINEST通过细粒度评估分类法,改进LLM对敏感话题的响应,显著减少错误率并提升帮助性与安全性。
2026-03-04 cs.CL
Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
自动聊天摘要可以帮助人们从众多的聊天信息中快速掌握重要信息。与传统文档不同,聊天记录通常具有分散和不断变化的主题。此外,这些日志包含大量的省略和疑问句,这使得聊天摘要高度依赖于上下文。在这项工作中,我们提出了一种新的无监督框架RankAE来执行聊天摘要,而无需使用手动标记的数据。RankAE由一个面向主题的排名策略组成,该策略同时根据中心性和多样性选择主题话语,以及一个精心设计的去噪自动编码器,用于根据所选话语生成简洁但上下文信息丰富的摘要。为了评估所提出的方法,我们从客户服务环境中收集了一个大规模的聊天日志数据集,并构建了一个仅用于模型评估的注释集。实验结果表明,RankAE显著优于其他无监督方法,并且能够在相关性和主题覆盖率方面生成高质量的摘要。
2021-06-25 cs.CL
TopicRefine: Joint Topic Prediction and Dialogue Response Generation for Multi-turn End-to-End Dialogue System
The Chinese University of Hong Kong(香港中文大学)
多轮对话总是遵循特定的主题线索,随着对话的进行,话语级别的主题转移自然发生,这需要模型能够捕捉不同的主题并生成主题感知响应。以往的研究要么先预测主题然后生成相关反应,要么简单地将注意力机制应用于所有主题,忽视了主题预测和反应生成模型的联合分布,导致反应不可控且不相关。在本文中,我们提出了一个联合框架与主题细化机制,同时学习这两个任务。具体而言,我们设计了一个三遍迭代机制,首先生成粗响应,然后预测相应的主题,最后生成精细的响应条件下预测的主题。此外,我们分别使用GPT 2 DoubleHeads和BERT进行主题预测任务,旨在研究联合学习的效果和GPT模型的理解能力。实验结果表明,我们提出的框架实现了新的国家的最先进的性能在响应生成任务和GPT模型的巨大潜力的理解能力。
2021-09-11 cs.AI cs.CL
Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact Verification
Southeast University(东南大学);University of Warwick(华威大学)
事实验证是一项具有挑战性的任务,需要同时推理和汇总多个检索到的证据,以评估索赔的真实性。现有的方法通常(i)探索不同粒度级别的索赔和证据之间的语义交互,但在推理过程中未能捕获它们的主题一致性,我们认为这对于验证至关重要;(ii)平均聚合多条证据,而不考虑它们对索赔的隐含立场,从而引入虚假信息。为了解决上述问题,本文提出了一种新的基于主题的证据推理和语义感知的证据聚合模型,该模型具有以下四个关键特性:1)检查证据与主题的一致性; 2)保持多个证据之间的主题一致性; 3)确保全局主题信息与证据语义表示之间的语义相似性;(4)根据他们对索赔的隐含立场来收集证据。在两个基准数据集上进行的大量实验表明,该模型优于几种最先进的事实验证方法。源代码可以从https://github.com/jasenchn/TARSA获得。
2021-06-02 cs.AI cs.CL
ToReMi: Topic-Aware Data Reweighting for Dynamic Pre-Training Data Selection
Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University(上海数据科学 key 实验室,计算机科学学院,复旦大学)
ToReMi提出两阶段主题感知数据重加权框架,动态调整预训练样本权重,加速困惑度下降并提升下游任务性能。
2025-04-20 cs.CL
Don't Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们介绍极端的摘要,一个新的单文档摘要任务,不赞成提取策略,并要求一个抽象的建模方法。这个想法是创建一个简短的,一句话的新闻摘要回答这个问题:“这篇文章是关于什么的?”".我们收集了一个真实世界的,大规模的数据集为这项任务收获的在线文章从英国广播公司(BBC)。我们提出了一种新的抽象模型,这是有条件的文章的主题和完全基于卷积神经网络。我们通过实验证明,这种架构捕获文档中的长距离依赖关系,并识别相关内容,在自动和人工评估时优于Oracle提取系统和最先进的抽象方法。
2018-08-27 cs.CL
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection
Cardiff University(卡迪夫大学);Université d’Artois(阿图瓦大学);CRIL-CNRS(法国国家科学研究中心计算机与自动化研究所)
词汇语义学的一个长期存在的挑战在于学习反映其语义属性的词的表示。词嵌入在这方面的显著成功表明,通过总结词提及的句子上下文可以获得高质量的表示。在本文中,我们提出了一种学习单词表示的方法,遵循这一基本策略,但在两个重要方面不同于标准的词嵌入。首先,我们利用上下文化的语言模型(CLM),而不是词向量袋编码上下文。其次,我们不是直接学习单词向量,而是使用主题模型来划分单词出现的上下文,然后为每个单词学习不同的主题特定向量。最后,我们使用一个特定于任务的监督信号,使软选择的结果向量。我们发现,这种简单的策略导致高质量的词向量,这是更预测的语义属性比词嵌入和现有的CLM为基础的战略。
2021-06-15 cs.CL
Time-aware topic identification in social media with pre-trained language models: A case study of electric vehicles
SK Innovation(SK创新);Konkuk University(建国大学);Korea Institute of Science and Technology(韩国科学技术研究院)
最近广泛竞争的商业环境使公司保持对社交媒体的关注,因为对客户语言的认可度越来越高(例如,需求、兴趣和抱怨)作为未来机会的来源。这种分析社交媒体数据的研究方法在学术界受到了广泛的关注,但由于大多数方法提供的是回顾性结果,因此其实用性有限。此外,越来越多的客户生成的内容和快速变化的主题,使时间感知的主题演变分析的必要性。最近,一些研究人员已经证明了预先训练的语义语言模型作为社交媒体输入功能的适用性,但在理解不断变化的主题方面存在局限性。在这项研究中,我们提出了一个时间感知的主题识别方法与预先训练的语言模型。该方法包括两个阶段:动态聚焦功能与语言模型跟踪随时间变化的主题和紧急评分功能,以检查未来有前途的主题。在这里,我们将所提出的方法应用于电动汽车的reddit数据,我们的研究结果强调了以时间感知的方式从大量社交媒体中捕获新兴客户主题的可行性。
2022-10-11 cs.CL cs.SI
What is this Article about? Extreme Summarization with Topic-aware Convolutional Neural Networks
Google Research(谷歌研究院);University of Edinburgh(爱丁堡大学)
我们引入了“极端摘要”,一个新的单文档摘要任务,旨在创建一个简短的,一句话的新闻摘要回答问题“这篇文章是关于什么的?''.我们认为,极端的总结,本质上,是不适合提取策略,需要一个抽象的建模方法。为了进一步推动这项任务的研究:(a)我们通过从英国广播公司(BBC)收集在线文章来收集真实世界的大规模数据集;(b)提出一种新的抽象模型,该模型以文章的主题为条件,完全基于卷积神经网络。我们通过实验证明,该架构可以捕获文档中的长期依赖关系并识别相关内容,在自动评估和由人类在极端摘要数据集上评估时,其性能优于Oracle提取系统和最先进的抽象方法。
2019-07-19 cs.CL
Embedded Topic Models Enhanced by Wikification
University of Tsukuba(筑波大学)
本文提出将维基百科知识融入神经主题模型以感知命名实体,实验表明该方法能提升模型泛化能力并更好地捕捉主题的时间演变。
2024-10-03 cs.CL
Prior-aware Dual Decomposition: Document-specific Topic Inference for Spectral Topic Models
Cornell University(康奈尔大学)
谱主题建模算法对词共现统计的矩阵/张量进行操作,以学习特定于主题的词分布。这种方法消除了对原始文档的依赖,并在效率和可证明的主题推理方面产生了实质性的收益,但代价是:模型不再能够提供有关单个文档的主题组成的信息。最近提出的线性逆(TLI)映射观察到的词的每个文件回到其主题组成。然而,它的线性特性限制了推理质量,没有考虑主题的重要先验信息。在本文中,我们评估简单的概率逆(SPI)方法和新的先验感知的双重分解(PADD),能够学习文档特定的主题组成并行。实验表明,PADD成功地利用主题相关性作为先验,特别是优于TLI和学习质量的主题组成可比吉布斯采样的各种数据。
2017-11-19 cs.CL cs.IR cs.LG
Response Selection for Multi-Party Conversations with Dynamic Topic Tracking
Salesforce Research Asia(Salesforce亚洲研究院);Nanyang Technological University(南洋理工大学)
当多方多话轮会话中的参与者同时参与多个会话主题时,现有的响应选择方法主要针对两方单会话场景开发。因此,现有的方法忽略了会话话题的延伸和转换。在这项工作中,我们框架响应选择作为一个动态的主题跟踪任务,以匹配响应和相关的会话上下文之间的主题。有了这个新的公式,我们提出了一个新的多任务学习框架,通过一次只有两个话语的大型预训练模型来支持有效的编码,以执行动态主题解纠缠和响应选择。我们还提出了主题-BERT的一个必要的预训练步骤嵌入主题信息到BERT与自监督学习。在DSTC-8 Ubuntu IRC数据集上的实验结果显示,响应选择和主题分解任务的最新结果远远优于现有方法。
2020-10-15 cs.AI cs.CL
Diversity-Aware Coherence Loss for Improving Neural Topic Models
University of British Columbia(不列颠哥伦比亚大学);University of Fraser Valley(弗雷泽谷大学)
本文提出多样性感知连贯性损失,在保持主题多样性的同时学习语料库级连贯性得分,无需预训练或额外参数即可显著提升神经主题模型性能。
2023-05-26 cs.CL cs.LG
Detecting Polarized Topics Using Partisanship-aware Contextualized Topic Embeddings
University of Southern California(南加州大学);Columbia University(哥伦比亚大学);University of Chile(智利大学)
人们指责新闻媒体日益两极分化,煽动分歧、争议甚至暴力。因此,尽早确定两极分化的议题是一个有助于缓解冲突的紧迫事项。然而,准确测量主题极化仍然是一个开放的研究挑战。为了解决这一差距,我们提出了党派意识的上下文主题嵌入(PaCTE),一种方法来自动检测两极分化的主题从党派的新闻来源。具体而言,利用语言模型,已微调识别新闻文章的党派性,我们表示的意识形态的新闻语料库的主题嵌入语料库的上下文和测量的极化使用余弦距离。我们将我们的方法应用于关于COVID-19大流行的新闻文章数据集。在不同的新闻源和主题上进行的大量实验表明,我们的方法可以有效地捕捉主题极化,并有效地检索出最极化的主题。
2021-09-10 cs.CL cs.IR cs.LG
Topic-aware chatbot using Recurrent Neural Networks and Nonnegative Matrix Factorization
Hunan University(湖南大学);University of Vermont(佛蒙特大学);Zhejiang University(浙江大学);University of California, Los Angeles(加州大学洛杉矶分校);Harvey Mudd College(哈维穆德学院);Shanghai Jiao Tong University(上海交通大学);Beihang University(北京航空航天大学)
我们提出了一个新的模型,为主题感知聊天机器人结合传统的递归神经网络(RNN)编码器-解码器模型与基于非负矩阵分解(NMF)的主题注意力层。在通过NMF从辅助文本语料库中学习主题向量之后,训练解码器,使得它更有可能从最相关的主题向量中采样响应词。在我们的架构的主要优点之一是,用户可以很容易地切换NMF学习的主题向量,使聊天机器人获得所需的主题意识。我们通过在单个会话数据集上进行训练来展示我们的模型,然后使用从不同辅助数据集学习的主题矩阵来增强该模型。我们表明,我们的主题感知聊天机器人不仅优于非主题对应,而且每个主题感知模型在定性和上下文上都根据问题的主题给出了最相关的答案。
2019-12-04 cs.CL cs.LG math.OC
Unsupervised Dialogue Topic Segmentation with Topic-aware Utterance Representation
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);SIAT, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
针对现有无监督对话主题分割方法主题识别不充分、未标注数据利用不足的问题,提出通过邻接话语匹配与伪分割学习主题感知话语表示的框架,在两个基准上性能优于强基线。
2023-05-04 cs.AI cs.CL
Topic Taxonomy Expansion via Hierarchy-Aware Topic Phrase Generation
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院);Pohang University of Science and Technology (POSTECH)(浦项科技大学)
主题分类法显示文本语料库的层次结构,并提供主题知识,以增强各种NLP应用。为了动态地整合新的主题信息,最近的一些研究试图通过插入一组新文档中识别的新兴主题来扩展(或完成)主题分类。然而,现有的方法只关注文档中的频繁术语和分类法中的局部主题-子主题关系,这导致有限的主题术语覆盖率,并且无法对全局主题层次结构进行建模。在这项工作中,我们提出了一个新的主题分类扩展框架,命名为TopicExpan,它直接生成属于新主题的主题相关术语。具体来说,TopicExpan利用围绕新主题的层次关系结构和用于主题术语生成的输入文档的文本内容。这种方法鼓励新插入的主题进一步覆盖重要但不太频繁的术语,并保持它们在分类法中的关系一致性。在两个真实文本语料库上的实验结果表明,TopicExpan在输出分类的质量方面明显优于其他基线方法。
2022-10-18 cs.AI cs.CL
Topic-aware Causal Intervention for Counterfactual Detection
National University of Singapore(新加坡国立大学);Ho Chi Minh city University of Technology(胡志明市技术大学)
本文针对反事实检测中依赖线索短语和类别偏差问题,提出融合神经主题模型并进行因果干预的方法,在多个任务上取得最优性能。
2024-09-30 cs.CL
ConCET: Entity-Aware Topic Classification for Open-Domain Conversational Agents
Emory University(埃默里大学)
在开放域会话系统中识别每个用户话语的主题(域)是所有后续语言理解和响应任务的关键步骤。特别地,对于复杂域,话语通常被路由到负责该域的单个组件。因此,正确地将用户话语映射到正确的域是至关重要的。为了解决这个问题,我们引入了ConCET:一个并发的可信度感知的会话主题分类器,它将实体类型信息与话语内容特征结合在一起。具体来说,ConCET利用实体信息来丰富话语表示,将字符,单词和实体类型嵌入到单个表示中。然而,对于具有数百万个可用实体的丰富域,将需要不切实际的标记训练数据量。为了补充我们的模型,我们提出了一个简单而有效的方法,用于生成合成训练数据,以增加通常有限数量的标记训练数据,使用常用的知识库,以生成额外的标记话语。我们首先在一个名为Self-Dialogue的公开可用的人与人对话数据集上广泛评估ConCET和我们提出的训练方法,以根据以前最先进的方法校准我们的方法;其次,我们在与真实用户进行人机对话的大型数据集上评估ConCET,作为Amazon Alexa Prize的一部分收集。我们的研究结果表明,ConCET显著提高了两个数据集上的主题分类性能,包括比最先进的深度学习方法提高了8-10%。我们补充我们的定量结果与系统性能的详细分析,这可用于进一步改进的会话代理。
2020-05-28 cs.CL
TATA: Stance Detection via Topic-Agnostic and Topic-Aware Embeddings
Stanford University(斯坦福大学)
提出TATA模型,利用对比学习和未标注新闻数据训练主题无关与主题感知嵌入,结合二者在多个立场检测数据集上达到最先进性能,Zero-shot VAST上F1为0.771。
2024-02-08 cs.CL cs.CY cs.LG
Generating Pertinent and Diversified Comments with Topic-aware Pointer-Generator Networks
Baidu, Inc.(百度公司);NJUPT(南京邮电大学)
注释生成是自然语言生成中一个新的、具有挑战性的课题,近年来引起了人们的广泛关注。然而,以往工作产生的评论往往缺乏针对性和多样性。本文提出了一种基于话题感知指针生成器网络(TPGN)的新的生成模型,该模型能够利用文章中隐藏的话题信息来指导针对性和多样性的评论生成。首先,我们设计了一个关键词级和主题级的编码器注意力机制来捕获文章中的主题信息。接下来,我们将主题信息集成到指针生成器网络中,以指导评论生成。在大规模评论生成数据集上的实验表明,该模型能够生成有价值的评论,并且显著优于竞争对手的基线模型。
2020-05-09 cs.CL cs.IR cs.LG
Diversifying Topic-Coherent Response Generation for Natural Multi-turn Conversations
Southwest University(西南大学);Chongqing University of Education(重庆第二师范学院);The University of Western Australia(西澳大学)
虽然单轮对话的反应生成(RG)多样化已经得到了很好的发展,但对于自然的多轮对话的研究较少。此外,过去的工作侧重于使答复多样化,而没有考虑主题与背景的一致性,从而产生了信息量不大的答复。在本文中,我们提出了主题连贯的分层递归编码器-解码器模型(THRED),以多样化的生成的响应,而不偏离上下文主题的多轮会话。总的来说,我们建立了一个序列到序列网络(Seq 2Seq)来模拟多轮对话。然后,我们求助于潜在变量层次递归编码器-解码器模型(VHRED)来学习对话的全局上下文分布。此外,我们还构造了一个稠密的话题矩阵,该矩阵包含了会话语料库的词级相关性。话题矩阵用于学习上下文话语的局部话题分布。通过结合全局上下文分布和局部主题分布,THRED产生多样化和主题一致的回复。此外,我们提出了一个明确的指标(\emph{TopicDiv})来衡量的主题之间的分歧后,产生的反应,我们还提出了一个整体的指标相结合的多样化指标(\emph{Distinct})和\emph{TopicDiv}。我们评估我们的模型与三个基线(Seq 2Seq,HRED和VHRED)在两个真实世界的语料库,分别进行比较,并证明其在多样化和主题一致性的出色表现。
2019-10-24 cs.AI cs.CL
Towards Region-aware Bias Evaluation Metrics
University of Michigan(密歇根大学);Adobe Research(Adobe研究)
本文提出区域感知的自下而上偏见评估方法,识别不同地区的性别偏见主题对,并用于WEAT指标,发现LLMs对高代表性地区偏见对齐度更高。
2025-10-14 cs.CL
A Topic-aware Summarization Framework with Different Modal Side Information
KAUST(阿卜杜拉国王科技大学);Ant Group(蚂蚁集团);Shandong University(山东大学);Peking University(北京大学);University of Notre Dame(圣母大学)
提出一种通用主题感知摘要框架,通过统一主题编码器和三元组对比学习机制灵活融合多模态侧信息,在三个基准数据集上显著超越强基线。
2023-05-19 cs.CL
Latent Topic Conversational Models
PolyAI;Google Brain(谷歌大脑)
与序列到序列(seq2seq)模型相比,潜变量模型一直是会话建模的首选,后者倾向于生成通用和重复的响应。尽管如此,训练潜变量模型仍然是困难的。在本文中,我们提出了潜在主题会话模型(LTCM),它使用神经潜在主题组件来增强seq2seq,以更好地指导响应生成并使训练更容易。神经主题组件对来自源句子的信息进行编码,以构建单词的全局“主题”分布,然后在每个生成步骤中由seq2seq模型进行咨询。我们详细研究了如何在香草模型和LTCM中学习潜在表示。我们广泛的实验有助于更好地理解和训练语言的条件潜在模型。我们的研究结果表明,通过从学习的潜在代表采样,LTCM可以产生多样化和有趣的反应。在主观的人类评估中,法官也确认LTCM是总体首选选项。
2018-09-19 cs.CL
Gated Convolutional Bidirectional Attention-based Model for Off-topic Spoken Response Detection
LAIX Inc.(流利说公司);Shanghai Key Laboratory of Artificial Intelligence in Learning and Cognitive Science(上海市学习与认知人工智能重点实验室)
口语反应的跑题检测是口语自动评估系统的重要组成部分,其目的是预测一个反应是否与相应的提示语跑题。在许多现实世界的教育应用中,需要离题口语反应检测器不仅在看到的提示上而且在训练期间看不到的提示上实现对离题反应的高召回。在本文中,我们提出了一种新的方法,用于偏离主题的口语反应检测与高偏离主题的召回上看到的和看不见的提示。本文提出了一种新的基于双向注意力的门控卷积模型(GCBiA),该模型利用双向注意力机制和卷积提取提示的主题词和响应的关键短语,并在主要层之间引入门控单元和剩余连接,以更好地表示响应和提示的相关性。此外,提出了一种新的负采样方法来增加训练数据。实验结果表明,我们的新方法可以实现显着的改善,在检测具有极高的主题召回,无论是看到的和看不见的提示的主题外的反应。
2020-08-17 cs.CL cs.IR cs.LG
Knowledge-Aware Bayesian Deep Topic Model
National Laboratory of Radar Signal Processing(雷达信号处理国家重点实验室);Xidian University(西安电子科技大学);McCombs School of Business(麦库姆斯商学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个贝叶斯生成模型,将先验领域知识的层次主题建模。尽管嵌入式主题模型(ETM)及其变体在文本分析中取得了很好的性能,但它们主要集中在挖掘词的共现模式,而忽略了潜在的易于获得的有助于增强主题连贯性的先验主题层次。虽然最近已经提出了几个基于知识的主题模型,它们要么只适用于浅层次结构,要么对所提供的先验知识的质量敏感。为此,我们开发了一种新的深度ETM,它通过将单词和主题嵌入到同一空间中来对文档和给定的先验知识进行联合建模。在所提供的知识的指导下,所提出的模型倾向于发现被组织成可解释的分类的主题层次结构。此外,与一种技术,用于适应一个给定的图,我们的扩展版本允许提供的先验主题结构进行微调,以匹配目标语料库。大量的实验表明,我们提出的模型有效地集成了先验知识,提高了层次主题发现和文档表示。
2022-09-20 cs.CL cs.LG
Neural Attention-Aware Hierarchical Topic Model
Monash University(莫纳什大学);Deakin University(迪肯大学)
神经主题模型(NTM)将深度神经网络应用于主题建模。尽管他们的成功,NTMs通常忽略了两个重要方面:(1)只有文档级的单词计数信息被用于训练,而更细粒度的文本级信息被忽略,以及(2)关于文档,句子和单词的外部语义知识没有被利用的训练。为了解决这些问题,我们提出了一个变分自编码器(VAE)NTM模型,该模型使用词袋(BoW)主题嵌入和预训练语义嵌入的组合来联合重建句子和文档字数。预训练的嵌入首先被转换到一个公共的潜在主题空间中,以使它们的语义与BoW嵌入保持一致。我们的模型还具有分层KL分歧,以利用每个文档的嵌入来正则化其句子的嵌入,从而更加关注语义相关的句子。定量和定性实验都表明了我们的模型在以下方面的有效性:1)降低句子和文档级别的重建错误; 2)从真实世界的数据集中发现更连贯的主题。
2021-10-14 cs.CL cs.LG
Explainable and Discourse Topic-aware Neural Language Understanding
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
本文提出一种神经复合语言模型,在主题与语言模型的联合学习框架中,引入可解释的主题表示与句子级主题篇章建模,实验证明其有效提升了多任务的语言理解能力。
2023-06-27 cs.AI cs.CL cs.LG
Classification-Aware Neural Topic Model Combined With Interpretable Analysis -- For Conflict Classification
University of Sheffield(谢菲尔德大学);International Food Policy Research Institute(国际食物政策研究所)
本文提出分类感知神经主题模型CANTM-IA,结合可解释性分析用于冲突信息分类与主题发现,提升分类性能并降低模型复杂度。
2023-08-29 cs.CL cs.IR cs.LG
A Cost-aware Study of Depression Language on Social Media using Topic and Affect Contextualization
Universidad Politécnica de Madrid(马德里理工大学)
本文提出基于机器学习的社交媒体抑郁症检测系统,结合集成学习与主题情感上下文化策略,并分析模型能耗以权衡分类性能与计算成本。
2023-06-30 cs.CL
Topic Shift Detection in Chinese Dialogues: Corpus and Benchmark
Soochow University(苏州大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对无回复信息的对话话题转移预测难题,构建了含1308段对话的中文CNTD语料库,提出基于层级对比学习的师生框架,实验验证了模型有效性。
2023-05-02 cs.CL cs.LG
Topic-Aware Contrastive Learning for Abstractive Dialogue Summarization
Beijing University of Posts and Telecommunications(北京邮电大学)
与结构良好的文本(如新闻报道和百科全书文章)不同,对话内容通常来自两个或多个对话者,彼此交换信息。在这种情况下,对话的主题可以随着进展而变化,并且特定主题的关键信息通常分散在不同说话者的多个话语中,这对抽象总结对话提出了挑战。为了捕获会话的各种主题信息并概述所捕获主题的突出事实,这项工作提出了两个主题感知的对比学习目标,即连贯性检测和子摘要生成目标,期望隐式地建模主题变化并处理对话摘要任务的信息分散挑战。所提出的对比目标的框架作为辅助任务的主要对话摘要任务,通过一个替代参数更新策略。在基准数据集上的大量实验表明,所提出的简单方法显着优于强基线,并实现了新的最先进的性能。代码和训练模型可通过\href{https://github.com/Junpliu/ConDigSum}{https://github.com/Junpliu/ConDigSum}公开获得。
2021-09-10 cs.AI cs.CL cs.LG
StanceNakba Shared Task: Actor and Topic-Aware Stance Detection in Public Discourse
Northwestern University in Qatar(卡塔尔西北大学);Hamad Bin Khalifa University(哈利法大学)
提出 StanceNakba 2026 共享任务,通过两个子任务(行动者级和跨主题立场检测)利用微调 Transformer 模型(如 MARBERT、AraBERT)在巴以冲突相关社交媒体数据上实现高 Macro F1 分数。
2026-06-11 cs.CL
N-best Response-based Analysis of Contradiction-awareness in Neural Response Generation Models
Tohoku University(东北大学);RIKEN(理化学研究所);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
避免生成与前面的上下文相矛盾的响应是对话响应生成中的一个重大挑战。一种可行的方法是后处理,例如从产生的n-最佳响应列表中过滤掉矛盾的响应。在这种情况下,n-best列表的质量会显著影响矛盾的发生,因为最终响应是从这个n-best列表中选择的。本文利用n-最佳列表的一致性定量分析了神经反应生成模型的语境矛盾意识。特别是,我们使用极性问题作为刺激输入,进行简明和定量分析。我们的测试说明了最近的神经反应生成模型和方法的矛盾意识,其次是它们的属性和局限性的讨论。
2022-08-04 cs.CL