Predicting Above-Sentence Discourse Structure using Distant Supervision from Topic Segmentation
University of British Columbia(不列颠哥伦比亚大学)
RST风格的语篇分析在许多NLP任务中起着至关重要的作用,揭示了潜在的复杂和多样的文档的潜在语义/语用结构。尽管它的重要性,在现代话语分析中最普遍的限制之一是缺乏大规模的数据集。为了克服数据稀疏性问题,最近提出了来自情感分析和摘要等任务的远程监督方法。在这里,我们通过利用主题分割的远程监督来扩展这条研究路线,这可以为高级话语结构提供强大的,通常是互补的信号。在两个人类注释的话语树库上的实验证实,我们的建议在句子和段落级别上生成准确的树结构,在句子到文档任务上始终优于以前的远程监督模型,并且偶尔在句子到段落级别上达到更高的分数。
2021-12-12 cs.AI cs.CL
LTSG: Latent Topical Skip-Gram for Mutually Learning Topic Model and Vector Representations
Sun Yat-Sen University(中山大学)
在文本挖掘中,主题模型被广泛用于发现跨文档共享的潜在主题。向量表示、词嵌入和主题嵌入将词和主题映射到低维、稠密的实值向量空间,在自然语言处理任务中获得了很高的性能。然而,大多数现有的模型假设其中一个模型训练的结果是完全正确的,并作为先验知识用于改进另一个模型。其他一些模型使用从外部大型语料库中训练的信息来帮助改进较小的语料库。在本文中,我们的目标是建立这样一个算法框架,使主题模型和向量表示在同一语料库中相互改善。采用EM风格的算法框架来迭代优化主题模型和向量表示。实验结果表明,我们的模型在各种NLP任务上的性能优于最先进的方法。
2017-02-23 cs.CL
Analyzing Public Reactions, Perceptions, and Attitudes during the MPox Outbreak: Findings from Topic Modeling of Tweets
Emory University(埃默里大学)
本研究针对2022年MPox疫情期间的60余万条推文开展主题建模,将相关讨论划分为四大主题并明确热度排序,填补了该领域主题建模研究的不足。
2023-12-19 cs.AI cs.CL cs.CY
Analyzing Cancer Patients' Experiences with Embedding-based Topic Modeling and LLMs
Leiden Institute of Advanced Computer Science (LIACS), Leiden, The Netherlands(莱顿高级计算机科学研究所(LIACS),莱顿,荷兰);Leiden University Medical Center (LUMC), Leiden, The Netherlands(莱顿大学医学中心(LUMC),莱顿,荷兰)
本研究利用BERTopic和Top2Vec等神经主题建模方法,结合LLM(GPT4)进行主题标注,从癌症患者访谈数据中提取有意义主题,并评估不同嵌入模型的效果,发现领域特定的BioClinicalBERT嵌入能提高主题精度和可解释性。
2026-05-27 cs.CL
More than Memes: A Multimodal Topic Modeling Approach to Conspiracy Theories on Telegram
本研究提出基于BERTopic和CLIP的多模态主题建模方法,分析德语Telegram频道中的阴谋论,揭示跨模态主题结构,并构建分析文本与视觉话语策略的框架。
2025-08-03 cs.CL cs.CV cs.MM
Analyzing Self-Driving Cars on Twitter
COMSATS Institute of Information Technology(COMSATS信息技术研究所);International Islamic University(国际伊斯兰大学)
本文研究了用户对一个有争议的产品,即自动驾驶汽车的看法。为了找到人们对这项新技术的看法,我们使用了一个带注释的Twitter数据集,并使用一种称为主题建模的无监督概率模型提取了积极和消极推文中的主题。我们后来使用主题,以及语言学家和Twitter的特定功能来分类推文的情绪。关于意见,我们的分析结果表明,人们对未来技术感到乐观和兴奋,但同时他们认为它危险且不可靠。对于分类任务,我们发现Twitter的特定功能,如主题标签以及语言特征,如在分类推文的情感的顶级属性中的缩略词。
2018-04-05 cs.CL cs.LG cs.SI
MALTopic: Multi-Agent LLM Topic Modeling Framework
MALTopic通过多智能体框架整合结构化数据,提升调查数据的主题连贯性、多样性和可解释性。
2026-01-07 cs.CL cs.IR cs.MA
Multi-environment Topic Models
Columbia University(哥伦比亚大学)
针对文本协变量环境调节全局主题表示的问题,提出可分离全局与环境特定术语的无监督多环境主题模型MTM,在多环境政治内容数据上的分布内外表现优于强基线,还能实现准确的因果效应发现。
2024-11-01 cs.CL
Topics in the Haystack: Extracting and Evaluating Topics beyond Coherence
TU Clausthal(克劳斯塔尔工业大学);University of Göttingen(哥廷根大学)
在自然语言处理(NLP)中,从大型文本语料库中提取和识别潜在主题变得越来越重要。大多数模型,无论是类似于潜在狄利克雷分配(LDA)的概率模型还是神经主题模型,都遵循相同的主题可解释性和主题提取的基本方法。我们提出了一种方法,它结合了句子和文档主题的更深入的理解,并超越了简单地分析数据中的词频。这使得我们的模型能够检测潜在的主题,这些主题可能包括不常见的单词或新词,以及文档中不存在的单词。此外,我们提出了几个新的评估指标的基础上入侵者的话和相似性措施的语义空间。我们提出的相关系数与人类识别入侵者的话,并实现接近人类水平的结果,在词入侵任务。我们证明了我们的方法与一个大型的基准研究的竞争力的表现,并取得优异的结果相比,国家的最先进的主题建模和文档聚类模型。
2023-03-30 cs.CL
Topical Phrase Extraction from Clinical Reports by Incorporating both Local and Global Context
Aston University(阿斯顿大学)
理解单词通常需要同时检查术语的周围环境以及表征整个语料库的全局主题。一些主题模型已经利用了词嵌入来识别局部语境,但是在主题推理过程中,它与全局语境的结合还很弱。本文提出利用潜在语义分析检测出的全局上下文提取与词嵌入信息相一致的主题短语,然后利用Pólya瓮模型进行组合。为了突出这种组合方法的有效性,对该模型进行了评估,分析临床报告,这是一个具有挑战性的场景,其特点是技术术语和有限的词汇统计。实验结果表明,该方法在主题一致性和计算成本方面都优于现有的方法。
2019-11-22 cs.CL
TwiSent: A Multistage System for Analyzing Sentiment in Twitter
在本文中,我们提出了TwiSent,一个情感分析系统的Twitter。根据搜索的主题,TwiSent收集与之相关的推文,并将其分类为积极,消极和客观的不同极性类别。然而,与其他文本类型相比,分析微博帖子有许多固有的挑战。通过TwiSent,我们解决了以下问题:1)Twitter中与情感分析有关的垃圾邮件,2)文本中的结构异常,如拼写错误、不标准的缩写、俚语等,3)主题语境中的实体特异性; 4)语篇中的语用学。该系统的性能进行了评估手动注释的黄金标准数据和自动注释的推文集的基础上的标签。在自动注释的数据集上显示监督系统的有效性是一种常见的做法。然而,我们表明,这样的系统实现较低的分类精度时,测试通用twitter数据集。我们还表明,我们的系统比现有的系统表现得更好。
2012-09-18 cs.CL cs.IR
GINopic: Topic Modeling with Graph Isomorphism Network
Indian Association for the Cultivation of Science(印度文化研究会)
针对现有主题模型忽视词语依赖关系的问题,本文提出基于图同构网络的 GINopic 框架以建模词语相关性,并在多个基准上通过内外部评估验证其优于现有模型。
2025-02-17 cs.CL cs.LG
FLATM: A Fuzzy Logic Approach Topic Model for Medical Documents
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);Johns Hopkins University(约翰斯·霍普金斯大学)
医学领域文本分析的挑战之一是分析大规模的医学文档。因此,查找相关文件变得更加困难。主题建模是一种基于主题发现的信息检索方法。文档中的主题有助于在有查询和没有查询的情况下检索相同主题的文档。在本文中,我们提出了一种新的方法,使用模糊聚类的主题建模。为了评估我们的模型,我们用两个医学文档的文本数据集进行了实验。通过文档分类和文档建模进行的评价指标表明,我们的模型产生更好的性能比LDA,表明模糊集理论可以提高在医疗领域的主题模型的性能。
2019-11-25 cs.CL cs.IR
Steering Output Style and Topic in Neural Response Generation
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了简单而灵活的训练和解码方法,以影响基于神经编码器-解码器的语言生成的输出风格和主题。这种能力在各种应用中都是理想的,包括会话系统,成功的代理需要以特定的风格产生语言,并生成由人类操纵者或外部知识操纵的响应。我们将神经生成过程分解为经验上更容易的子问题:忠诚度模型和基于选择性采样的解码方法。我们还描述了训练和采样算法,这些算法使用特定的语言风格限制或主题限制来偏置生成过程。人工评估结果表明,我们提出的方法能够限制风格和主题,而不会降低输出质量的会话任务。
2017-09-09 cs.CL
Analyzing users' sentiment towards popular consumer industries and brands on Twitter
Lithium Technologies | Klout
社交媒体是一个统一的平台,让用户表达他们对从日常生活到消费品牌和产品的看法等主题的想法。这些用户在塑造其他消费者的意见方面发挥着巨大的影响力,并影响品牌认知,品牌忠诚度和品牌宣传。在本文中,我们分析了1900万Twitter用户对62个热门行业的意见,包括12,898个企业和消费者品牌,以及相关的主题,通过情感分析的3.3亿推文在一个月的时间跨度。我们发现用户往往对制造业最为积极,而对服务业最为消极。此外,他们在与品牌互动时往往比在Twitter上更积极或消极。我们还发现,一个行业内对品牌的看法差异很大,我们使用两个行业作为用例来证明这一点。此外,我们发现,不同行业的主题情绪之间没有很强的相关性,表明主题情绪高度依赖于他们所提到的行业的背景。我们展示了这种分析的价值,以评估品牌对社交媒体的影响。我们希望这项初步研究将证明对研究人员和公司都有价值,有助于了解用户对行业,品牌和相关主题的看法,并鼓励在这一领域进行更多的研究。
2017-09-21 cs.CL cs.IR cs.SI
Fast, Flexible Models for Discovering Topic Correlation across Weakly-Related Collections
Columbia University(哥伦比亚大学);University of Chicago(芝加哥大学);Princeton University(普林斯顿大学)
不同文档集合之间的弱主题相关性(在单个集合中具有不同数量的主题)对现有的交叉集合主题模型提出了挑战。本文介绍了两种概率主题模型:相关LDA(C-LDA)和相关HDP(C-HDP)。这些解决了在分析大型、不对称和潜在弱相关集合时可能出现的问题。弱相关集合中的主题相关性通常位于主题分布的尾部,在那里它们会被无法适应大量主题的模型所忽略。为了有效地为大规模分析建模这个长尾,我们的模型实现了基于Metropolis-Hastings和别名方法的并行采样算法(Yuan等人,2015)。这些模型首先在合成数据上进行评估,生成这些数据是为了模拟各种集合级不对称。然后,我们提出了一个案例研究的建模超过30万文件的科学和人文研究的集合从JSTOR。
2015-08-19 cs.CL cs.IR
A Structural Text-Based Scaling Model for Analyzing Political Discourse
Paris Lodron University Salzburg(萨尔茨堡巴黎洛顿大学);WU Vienna University of Economics and Business(维也纳经济大学)
本文提出STBS模型,拓展泊松分解并结合收缩先验与发言者协变量,用于从文本推断潜在主题的意识形态立场,经美国参议院演讲验证,可有效识别政党分歧议题及发言者特征对立场的影响。
2024-10-14 cs.CL math.ST stat.ME
Topic Modeling on User Stories using Word Mover's Distance
Technische Universität Berlin(柏林工业大学)
需求获取最近得到了基于人群的技术的补充,这些技术不断地涉及到大型的、不同的用户群体,这些用户群体通过各种媒体表达他们的反馈。基于人群的启发在早期与(潜在)用户互动方面具有很大的潜力,但也会导致大量原始和非结构化的反馈。整合和分析这些反馈是将其转化为合理的用户需求的关键挑战。在本文中,我们专注于主题建模作为一种手段,以确定大量的人群生成的用户故事中的主题,并比较三种方法:(1)传统的方法,基于潜在的Dirichlet分配,(2)结合词嵌入和主成分分析,(3)结合词嵌入和词移动器的距离。我们评估了一组公开的2,966个用户故事的方法,这些故事是由人群工作者编写和分类的。我们发现,结合词嵌入和词移动距离是最有前途的。根据我们在方法中使用的词嵌入,我们设法以两种方式对用户故事进行聚类:一种更接近原始分类,另一种允许对数据集进行新的见解,例如找到潜在的新类别。不幸的是,没有任何措施可以客观地评价我们的结果的质量。尽管如此,我们的研究结果为未来分析众包用户故事的工作提供了基础。
2020-07-13 cs.CL cs.IR
DeepStyle: User Style Embedding for Authorship Attribution of Short Texts
University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学);University of Saskatchewan(萨斯喀彻温大学)
作者归属(AA)是一个重要的研究课题,具有广泛的应用,它是一个发现给定文本的所有者的任务。最近的研究表明,深度学习方法可以显著提高AA任务的准确性。然而,这些提出的方法中的大多数使用单一类型的特征(例如,单词二元语法)并采用文本分类方法来解决该任务。此外,这些方法对AA结果的解释非常有限。在本文中,我们通过提出DeepStyle来解决这些限制,DeepStyle是一种基于嵌入的新框架,可以学习用户突出写作风格的表示。我们对来自Twitter和微博的两个真实世界数据集进行了广泛的实验。我们的实验结果表明,DeepStyle在AA任务上的表现优于最先进的基线。
2021-03-14 cs.CL cs.SI
Prior matters: simple and general methods for evaluating and improving topic quality in topic modeling
Harvard University(哈佛大学)
在没有去除停用词的情况下训练的潜在狄利克雷分配(LDA)模型通常会在无信息词上产生具有高后验概率的主题,从而掩盖了底层语料库内容。即使手动删除规范停用词,该语料库中常见的无信息词仍将主导主题中最可能的词。在这项工作中,我们首先展示了如何标准的主题质量措施的连贯性和逐点互信息的行为违反直觉的共同存在,但不相关的话,甚至难以定量识别的情况下,主题可能占主导地位的停用词。我们提出了一个额外的主题质量指标,目标的停用词问题,并表明,它与标准的措施,正确地与人类的质量判断。我们还提出了一个简单的实现策略,用于生成被评估为更高质量的人类评估和我们的新指标的主题。这种方法,一个信息丰富的先验集合很容易引入到大多数LDA风格的推理方法,自动提升领域相关性和降级领域特定的停止词。我们证明了这种方法的有效性,在三个非常不同的领域:劳工部事故报告,在线健康论坛的帖子,和NIPS摘要。总的来说,我们发现,目前的做法认为解决这个问题并没有充分这样做,我们的建议提供了一个实质性的改进,为那些有兴趣解释他们的主题作为对象在自己的权利。
2017-10-14 cs.CL cs.IR cs.LG
Topic Similarity Networks: Visual Analytics for Large Document Sets
Institute for Defense Analyses(国防分析研究所)
我们研究的方法,以提高LDA主题模型的可解释性,更好地分析和可视化其输出。我们专注于研究我们所说的主题相似性网络:图中的节点代表文本集合中的潜在主题,链接代表主题之间的相似性。我们描述了高效和有效的方法来构建和标记这样的网络。基于这些网络的主题模型的可视化被证明是探索,表征和总结大量非结构化文本文档的强大手段。它们有助于“梳理”不同文档集之间的非明显联系,并提供有关主题如何形成更大主题的见解。我们通过两个案例研究证明了这些方法的有效性和实用性:1)NSF资助的基础研究跨越14年的时间和2)维基百科的整个英文部分。
2014-09-26 cs.CL cs.HC cs.IR
Same Author or Just Same Topic? Towards Content-Independent Style Representations
Utrecht University(乌得勒支大学)
语言风格是语言的重要组成部分。风格表征发展的最新进展越来越多地使用作者身份验证(AV)的训练目标:两个文本是否具有相同的作者?AV训练任务的假设(同一作者近似相同的写作风格)使自我监督,因此,广泛的培训。然而,在AV任务上的良好表现并不能确保良好的“通用”风格表示。例如,由于同一作者通常可能会撰写某些主题,因此在AV上训练的表示也可能编码内容信息,而不仅仅是风格。我们介绍了一个变异的AV训练任务,控制使用会话或域标签的内容。我们评估是否已知的风格尺寸表示和首选的内容信息,通过一个原始的变化,最近提出的STEL框架。我们发现,通过控制会话训练的表示比用域或没有内容控制训练的表示在表示独立于内容的风格方面更好。
2022-04-11 cs.CL
Characterizing the Language of Online Communities and its Relation to Community Reception
University of Washington(华盛顿大学)
这项工作调查的风格和主题方面的语言在网上社区:看两个效用作为社区的标识符和相关性与社区接收的内容。风格的特点是使用一个混合的词和词性标记n-gram语言模型,而主题表示使用潜在的狄利克雷分配。对几个Reddit论坛的实验表明,风格是比主题更好的社区身份指标,即使是围绕特定主题组织的社区。此外,社区对贡献的接受程度与该社区的风格相似性之间存在正相关关系,但主题相似性并非如此。
2016-09-15 cs.CL
Analyzing Scientific Publications using Domain-Specific Word Embedding and Topic Modelling
SUTD-MIT International Design Centre(新加坡科技设计大学-麻省理工学院国际设计中心);Singapore University of Technology and Design(新加坡科技设计大学)
科学世界正在快速变化,新技术的开发和新趋势的出现越来越频繁。本文提出了一个对学术出版物进行科学分析的框架,这对于监测研究趋势和识别潜在的创新至关重要。该框架采用并结合了自然语言处理的各种技术,如词嵌入和主题建模。词嵌入用于获取特定领域词的语义。我们提出了两个新的科学出版物嵌入,即,PUB-G和PUB-W,能够学习各种研究领域中的通用词和特定领域词的语义。此后,主题建模用于确定这些较大的研究领域内的研究主题集群。我们策划了一个出版物数据集,包括1995年至2020年两个研究领域的两个会议和两种期刊。实验结果表明,我们的PUB-G和PUB-W嵌入优于其他基线嵌入的基础上主题一致性的利润率为~0.18-1.03。
2021-12-24 cs.AI cs.CL
Predicting Steering Vectors and Adapter Weights for Few-Shot Author-Style Transfer
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对少样本作者风格迁移,提出对比激活引导、预测引导向量网络和预测LoRA适配器的超网络三种方法,发现超网络在风格模仿与输出质量间取得最佳平衡,且引导向量可存在多个正交方向。
2026-10-05 cs.AI cs.CL
The Constant in HATE: Analyzing Toxicity in Reddit across Topics and Languages
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文基于Reddit上481个社区、六种语言、80个主题的150万条评论线程,系统分析了毒性语言在不同主题和语言社区中的分布规律,发现部分主题的毒性激增模式跨语言一致,而特定语言社区内部则存在显著差异。
2024-04-29 cs.CL
Separating Style from Substance: Enhancing Cross-Genre Authorship Attribution through Data Selection and Presentation
Information Sciences Institute, University of Southern California(南加州大学信息科学学院)
针对跨主题与跨体裁作者归属识别中训练数据稀缺及模型依赖主题的问题,本文提出训练数据选择方法和新型学习课程,显著提升跨体裁识别性能。
2024-08-09 cs.CL
Winning on the Merits: The Joint Effects of Content and Style on Debate Outcomes
Northeastern University(东北大学)
辩论和审议在政治和政府中起着至关重要的作用,但大多数模型认为,辩论主要是通过优越的风格或议程控制赢得的。然而,理想的情况是,辩论将根据是非曲直获胜,这取决于哪一方的论点更有力。我们提出了一个预测模型的辩论,估计语言特征和不同主题的潜在说服力的影响,以及两者之间的相互作用。使用118个牛津风格辩论的数据集,我们的模型结合了内容(作为潜在主题)和风格(作为语言特征),使我们能够以74%的准确率预测观众裁定的获胜者,显著优于单独的语言特征(66%)。我们的模型发现,获胜方采用更强的论点,并允许我们识别与强或弱的论点相关的语言特征。
2017-05-15 cs.CL
Formalizing Style in Personal Narratives
Université Paris-Saclay, CNRS, ENS Paris-Saclay, LMF(巴黎-萨克雷大学、法国国家科学研究中心、巴黎-萨克雷高等师范学校、数学与形式化方法实验室);Université Paris-Saclay, CNRS, LISN(巴黎-萨克雷大学、法国国家科学研究中心、计算机科学跨学科数字科学实验室)
提出一个整合功能语言学、计算机科学与心理学的框架,将个人叙事中的风格形式化为语言选择模式,并通过对梦境叙事的案例研究揭示了语言选择与心理状态的关系。
2025-10-13 cs.AI cs.CL
Analyzing German Parliamentary Speeches: A Machine Learning Approach for Topic and Sentiment Classification
Leipzig University(莱比锡大学);TU Dresden(德累斯顿技术大学);University of Regensburg(雷根斯堡大学)
本研究利用机器学习模型分析德国联邦议院约28,000篇演讲,实现高精度主题与情感分类,揭示政党角色转变对话语风格的影响。
2025-08-05 cs.CL cs.LG
LimTopic: LLM-based Topic Modeling and Text Summarization for Analyzing Scientific Articles limitations
Northern Illinois University(北伊利诺伊大学);Northwestern University(西北大学)
本文提出LimTopic框架,结合BERTopic与LLM从科学论文局限性中提取主题、生成标题与摘要,实验证明BERTopic+GPT-4主题建模及GPT-4摘要效果最佳。
2025-03-08 cs.CL cs.LG
Comparing Writing Styles using Word Embedding and Dynamic Time Warping
Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)
小说情节或故事的发展反映在内容和使用的词语上。情感的流动,这是写作风格的一个方面,可以通过分析的话流量化。本研究以文学作品作为词嵌入空间的信号,尝试运用动态时间弯曲的方法比较经典通俗小说的写作风格。
2015-11-05 cs.CL
Analyzing Stylistic Variation across Different Political Regimes
University of Bucharest(布加勒斯特大学)
在这篇文章中,我们提出了一个文体分析的文本写在两个不同的时期,这不仅是时间上的不同,但在政治和文化上:罗马尼亚的共产主义和民主。我们的目标是分析在这两个时期写的文本之间的风格变化,并确定在什么水平的变化是更明显的(如果有的话):在风格层面,在主题层面等,我们看看这些文本的风格比较,通过对文本进行聚类和分类实验,使用传统的作者归属方法和功能。为了确认文体变化确实是政治和文化环境变化的影响,而不仅仅是反映作者风格随时间的自然变化,我们研究了随着时间的推移各种文体指标,并表明两个时期之间的风格变化具有统计学意义。我们还分析了两个时代之间的主题的变化,以比较在风格层面上的变化。这些分析表明,这两个时期的文本确实可以区分,无论是从风格的角度,并从语义内容(主题)。
2020-12-02 cs.CL
Topical Language Generation using Transformers
University of Denver(丹佛大学)
大规模的基于transformer的语言模型(LM)在开放文本生成方面表现出令人印象深刻的能力。然而,控制生成的文本的属性,如主题,风格和情感是具有挑战性的,通常需要对模型架构进行重大更改,或者在新的监督数据上重新训练和微调模型。提出了一种将预先训练好的LM与主题建模信息相结合的主题语言生成方法。我们投的问题,使用贝叶斯概率公式与主题概率作为先验,LM概率的可能性,和主题语言生成概率作为后验。在学习模型的过程中,我们从用户提供的文档的自然结构中推导出主题概率分布。此外,我们通过引入新的参数和函数来影响生成的文本中呈现的主题特征的数量,从而扩展了我们的模型。这个特性将允许我们轻松地控制生成文本的主题属性。我们的实验结果表明,我们的模型优于国家的最先进的结果一致性,多样性和流畅性,同时在解码速度更快。
2021-03-11 cs.AI cs.CL
StAyaL | Multilingual Style Transfer
Cohere for AI Community(Cohere AI社区)
本文提出StAyaL方法,仅用100行文本提取说话者风格嵌入,实现跨语言风格迁移,测试准确率74.9%,F1分数0.75,为个性化内容生成铺路。
2025-01-22 cs.AI cs.CL
Improving Emotional Expression and Cohesion in Image-Based Playlist Description and Music Topics: A Continuous Parameterization Approach
针对图像平台音乐文本生成中风格控制不足和缺乏连续条件的问题,提出连续参数化受控文本生成方法(CPCTG),整合语义连贯性与情感表达比例,提升播放列表描述和音乐主题生成的ROUGE分数。
2023-10-12 cs.CL
Analyzing Polarization in Social Media: Method and Application to Tweets on 21 Mass Shootings
Stanford University(斯坦福大学);Brown University(布朗大学)
我们提供了一个NLP框架来揭示社交媒体中政治极化的四个语言维度:话题选择,框架,影响和言外之力。我们量化这些方面与现有的词汇方法,并提出聚类的推文嵌入作为一种手段,以确定突出的主题,跨事件的分析;人类的评价表明,我们的方法比传统的基于LDA的模型产生更多的凝聚力的主题。我们应用我们的方法来研究21起大规模枪击事件的440万条推文。我们提供的证据表明,这些事件的讨论是高度两极分化的政治,这种两极分化主要是由党派之间的差异,而不是主题选择的框架。我们确定框架设备,如接地和对比使用的术语“恐怖分子”和“疯狂”,有助于两极分化。有关主题选择,影响和言外之力的结果表明,共和党人更关注枪手和事件的具体事实(新闻),而民主党人更关注受害者,并呼吁改变政策。我们的工作有助于更深入地了解语言中的群体划分方式,并有助于研究它们的计算方法。
2019-04-04 cs.CL
Weakly Supervised Learning of Nuanced Frames for Analyzing Polarization in News Media
Purdue University(普渡大学)
在本文中,我们提出了一种最小监督的方法来识别政治分歧话题的新闻报道中的细微差别的框架。我们建议打破Boeastun等人提出的广泛的政策框架,将2014年划分为细粒度的子帧,可以更好地捕捉政治意识形态的差异。我们评估了建议的子帧及其嵌入,学习使用最小的监督,在三个主题,即移民,枪支管制和堕胎。我们展示了子帧捕捉意识形态差异和分析新闻媒体中的政治话语的能力。
2020-09-21 cs.AI cs.CL cs.CY
Stylized Text Generation Using Wasserstein Autoencoders with a Mixture of Gaussian Prior
University of Waterloo(滑铁卢大学);University of Alberta(阿尔伯塔大学)
Wasserstein自动编码器对于文本生成是有效的。然而,如果数据集有多个类并且包括不同的主题,它们不提供对生成的句子的风格和主题的任何控制。在这项工作中,我们提出了一个半监督的方法来生成风格化的句子。我们的模型是在多类数据集上训练的,并使用高斯先验混合来学习句子的潜在表示,而没有任何对抗性损失。这允许我们通过从其相应的先验分布中采样来生成指定类或多个类的风格的句子。此外,我们可以在相对较小的数据集上训练我们的模型,并通过将具有其他样式/类的外部数据添加到我们的数据集来学习指定类的潜在表示。虽然在这种情况下,简单的WAE或VAE不能生成多样化的句子,但使用我们的方法生成的句子是多样化的,流畅的,并且保留了所需类的风格和内容。
2019-11-10 cs.CL
What Truly Matters? Using Linguistic Cues for Analyzing the #BlackLivesMatter Movement and its Counter Protests: 2013 to 2020
Michigan State University(密歇根州立大学)
自2012年2月佛罗里达州桑福德的白人社区看守乔治·齐默尔曼枪杀17岁黑人少年特雷沃恩·马丁以来,美国针对警察暴行和种族动机事件的数字行动主义显着增加。在这项工作中,我们管理的数字行动主义的创新研究,利用社交媒体作为一个权威的工具,检查和分析这三个媒体的语言线索和主题关系。我们对36,984,559条推文进行了多层次的文本分析,以调查用户的行为,以检查所使用的语言,并了解数字行动主义对每个社会运动中社交媒体的影响。我们的研究结果表明,反抗议活动过度使用与种族有关或有偏见的标签,描绘了潜在的歧视倾向。因此,我们的研究结果强调,黑人生命物质活动家所做的社会活动并没有偏离社会问题和涉及警察暴行相关和种族动机杀害黑人个人的主题,因为其主题图的形状,主题和对话包围最大的组成部分直接与黑人生命物质的主题有关。最后,我们看到蓝色生命物质和所有生命物质运动都描绘了一个不同的方向,因为蓝色生命物质或所有生命物质的主题并不位于中心。这些发现表明,每一个社会运动中的话题和对话是倾斜的,随机的或具有种族相关的色调,从而偏离了突出的社会不公正问题。
2021-09-20 cs.CL
StyleKQC: A Style-Variant Paraphrase Corpus for Korean Questions and Commands
Seoul National University(首尔大学);Tokyo Institute of Technology(东京工业大学);Google LLC(谷歌有限责任公司)
释义通常不太关心受控的风格转换。特别是对于问题和命令,风格变体释义在语气和方式上可能至关重要,这对于对话系统等工业应用也很重要。在本文中,我们攻击这个问题的语料库建设计划,同时考虑的核心内容和风格的指令,即意图和形式,为韩国语。利用人工生成的自然语言查询的六个日常话题,我们扩大了语料库的正式和非正式的句子,通过人工重写和转移。我们验证了我们的方法的有效性和工业适用性,通过检查适当的分类和推理性能,适合与传统的微调方法,在同一时间提出了一个监督的形式转移任务。
2022-04-28 cs.CL
Analyzing User Perceptions of Large Language Models (LLMs) on Reddit: Sentiment and Topic Modeling of ChatGPT and DeepSeek Discussions
Florida State University(佛罗里达州立大学)
本研究利用情感分析和 LDA 主题建模分析 Reddit 上关于 ChatGPT 和 DeepSeek 的讨论,揭示用户对 AI 的信任、期望、偏见和伦理担忧,为开发者和政策制定者提供公众认知参考。
2025-02-22 cs.CL cs.HC cs.SI
Detecting English Writing Styles For Non-native Speakers
Stony Brook University(石溪大学)
分析非本族语者的写作风格是一项具有挑战性的任务。在本文中,我们分析了英文维基百科的讨论页中写的评论。使用学习算法,我们能够以74%的准确率检测母语者的写作风格。鉴于英语维基百科用户的多样性和他们说的语言的大量,我们通过比较他们对英语写作风格的影响来衡量他们的母语之间的相似性。我们的研究结果表明,已知具有相同起源和发展路径的语言在其使用者的英语写作风格上具有相似的足迹。为了进一步研究,我们从维基百科提取的数据集将公开提供。
2012-11-02 cs.CL
CommentWatcher: An Open Source Web-based platform for analyzing discussions on web forums
University Lyon2(里昂第二大学)
我们提出CommentWatcher,一个开源工具,旨在分析网络论坛上的讨论。CommentWatcher构建为一个Web平台,其功能是自动从多个网站的论坛中大量获取用户帖子,提取主题,将主题可视化为表达云并探索其时间演变。同时,使用用户之间的引用关系构建用户的底层社交网络,并将其可视化为图结构。我们的平台通过实现一个独立于网页HTML结构的解析器架构来解决托管论坛的网页结构的多样性和动态性问题。这允许轻松地在飞行中添加新网站。两种类型的用户是有针对性的:最终用户谁寻求研究所讨论的主题及其时间演变,和研究人员需要建立一个论坛基准数据集和比较分析工具的性能。
2015-04-28 cs.CL cs.SI
Text Style Transfer: An Introductory Overview
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文概述文本风格迁移任务,涵盖其挑战、方法、数据集、评估、子任务及应用,旨在增进对文本风格迁移背景和基本原理的理解。
2024-07-20 cs.CL
Taming the Beast: Learning to Control Neural Conversational Models
The Hong Kong University of Science and Technology(香港科技大学)
本文研究了基于深度学习的端到端生成式对话系统在面向任务和聊天场景下的可控性。特别地,我们研究了控制生成对话系统的不同方面,包括控制风格和主题以及不断添加和组合对话技巧。自第一个对话系统商业化以来的三十年中,这种系统的基本架构基本上保持不变,由四个流水线基本组件组成,即自然语言理解(NLU)、对话状态跟踪(DST)、对话管理器(DM)和自然语言生成(NLG)。对话管理器是模块化系统的关键组成部分,它控制响应的内容和风格。该模块通常按规则编程,并设计为高度可控和易于扩展。随着强大的“深度学习“架构的出现,端到端生成式对话系统被提出来优化整体系统性能并简化训练。然而,这些系统不能像模块化对话管理器那样容易地控制和扩展。这是因为使用了单个神经系统,其通常是大型的预训练语言模型(例如,GPT-2),因此难以通过手术改变期望的属性(例如,风格、主题等)。更重要的是,不可控的对话系统会产生攻击性甚至有毒的反应。因此,本论文主要研究面向任务和聊天场景的端到端生成式对话系统的可控方法。在整个章节中,我们描述了1)如何控制聊天模型的风格和主题,2)如何持续控制和扩展面向任务的对话系统,以及3)如何组合和控制多技能对话模型。
2021-08-24 cs.AI cs.CL cs.LG
Deep Learning for Text Style Transfer: A Survey
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Max Planck Institute(马克斯·普朗克研究所);ETH Zürich(苏黎世联邦理工学院);UC San Diego(加州大学圣迭戈分校);University of Waterloo(滑铁卢大学);University of Michigan(密歇根大学)
文本风格转换是自然语言生成中的一项重要任务,旨在控制生成文本中的某些属性,如礼貌、情感、幽默等。它在自然语言处理领域有着悠久的历史,最近由于深度神经模型带来的有前途的性能而重新获得了极大的关注。本文对神经文本风格迁移的研究进行了系统的综述,涵盖了自2017年第一个神经文本风格迁移工作以来的100多篇代表性文章。我们讨论的任务制定,现有的数据集和子任务,评估,以及丰富的方法,在并行和非并行数据的存在。我们还就有关这项任务未来发展的各种重要主题进行了讨论。我们的策展论文列表位于https://github.com/zhijing-jin/Text_Style_Transfer_Survey
2021-12-16 cs.AI cs.CL cs.LG
How You Ask Shapes What You Get: A Theory-Seeded Measurement of Articulation in Advice-Seeking LLM Conversations
KAIST(韩国科学技术院)
该研究探究建议寻求型LLM对话中提问的表达清晰度是否为可与话题分离的潜在维度,从16447条提示词中提取出可复现的表达清晰度因子,发现其与模型回应存在关联,提出基准测试应按表达清晰度分层。
2026-09-01 cs.CL
Analyzing Learned Representations of a Deep ASR Performance Prediction Model
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
本文解决了一个相对较新的任务:预测看不见的广播节目的ASR性能。在以前的论文中,我们提出了一个ASR性能预测系统,使用CNN对文本(ASR成绩单)和语音进行编码,以预测单词出错率。这项工作致力于分析CNN在训练我们的预测模型时学习的语音信号嵌入和文本嵌入。我们试图更好地理解哪些信息被深度模型捕获,以及它与不同条件反射因素的关系。结果表明,隐藏层传达了一个清晰的信号,语音风格,口音和广播类型。然后,我们尝试通过多任务学习在训练时利用这3种类型的信息。我们的实验表明,这允许训练稍微更有效的ASR性能预测系统,此外,同时根据他们的语音风格,口音和广播节目起源标记分析的话语。
2018-08-28 cs.CL
Detecting English Writing Styles For Non Native Speakers
Stony Brook University(石溪大学)
本文提出了第一次尝试,据我们所知,分类英语写作风格在这个规模上的挑战,分类日常语言写的作家与不同背景的涵盖各个领域的topics.The论文提出了简单的机器学习算法和简单的生成功能来解决困难的问题。依赖于从维基百科等大型知识来源获得的数据规模。我们相信,这些数据源对于为Web生成高准确性和易于在实践中部署的强大解决方案至关重要。本文对本族语者和非本族语者写作风格的分类准确率达到74%。此外,本文显示了一些有趣的观察不同的语言之间的相似性衡量其用户的英语写作风格的相似性。这种技术可以用来显示一些众所周知的事实,如将它们分组到家庭中,我们的实验支持。
2017-04-24 cs.CL
Analyzing 16,193 LLM Papers for Fun and Profits
Rutgers, The State University of New Jersey(新泽西州立大学拉特格斯分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of California, Davis(加州大学戴维斯分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
本研究分析了2019-2024年间77个顶级会议中的16,193篇LLM论文,从主题转变、主题建模、机构贡献和国家影响四个角度揭示LLM研究生态的演变,并提炼出十项关键见解。
2025-04-22 cs.CL cs.DL
Isolating authorship from content with semantic embeddings and contrastive learning
Universidad Politécnica de Madrid(马德里理工大学)
针对作者身份识别中内容与风格纠缠导致内容泄露的问题,提出结合语义相似性模型生成难负样本的对比学习(InfoNCE)解耦技术,提升多产作者识别准确率并保留零样本能力。
2024-11-27 cs.CL cs.LG
Sentence-Level Content Planning and Style Specification for Neural Text Generation
Northeastern University(东北大学)
构建有效的文本生成系统需要三个关键组成部分:内容选择,文本规划和表面实现,传统上它们是作为单独的问题来处理的。最近的一体式神经生成模型取得了令人印象深刻的进展,但它们经常产生不连贯且不忠实于输入的输出。为了解决这些问题,我们提出了一个端到端的训练两步生成模型,其中一个文档级内容规划器首先决定要覆盖的关键短语以及所需的语言风格,然后是一个生成相关和连贯文本的表面实现解码器。对于实验,我们考虑了三个任务,从不同的主题和不同的语言风格的域:有说服力的论点建设从Reddit,段落生成的正常和简单版本的维基百科,和摘要生成的科学文章。自动评估表明,我们的系统可以显着优于竞争力的比较。与不考虑语言风格的变体相比,人类法官进一步将我们的系统生成的文本评为更流畅和正确。
2019-09-02 cs.CL
Multimodal Text Style Transfer for Outdoor Vision-and-Language Navigation
UC Santa Barbara(加州大学圣巴巴拉分校);UC Santa Cruz(加州大学圣克鲁兹分校);UC San Diego(加州大学圣地亚哥分校);Google(谷歌)
基于视觉的语言理解和推理是自然语言处理(NLP)中最具挑战性的课题之一。户外视觉和语言导航(VLN)是这样一个任务,其中智能体遵循自然语言指令并在现实生活中的城市环境中导航。由于缺乏人类注释的说明,说明复杂的城市场景,户外VLN仍然是一个具有挑战性的任务来解决。本文介绍了一种多模态文本风格转换(MTST)学习方法,并利用外部多模态资源来缓解户外导航任务中的数据稀缺性。我们首先通过传输Google Maps API生成的指令样式来丰富导航数据,然后使用增强的外部户外导航数据集对导航器进行预训练。实验结果表明,我们的MTST学习方法是模型不可知的,我们的MTST方法显着优于基线模型在室外VLN任务,提高任务完成率8.7%,相对于测试集。
2021-02-04 cs.AI cs.CL cs.CV