Reliable News or Propagandist News? A Neurosymbolic Model Using Genre, Topic, and Persuasion Techniques to Improve Robustness in Classification
Airbus Defence and Space, France(空中客车防务与航天公司,法国);Université Paris-Saclay, CentraleSupélec, MICS, France(巴黎-萨克雷大学,中央理工-高等电力学院,MICS,法国);LIP6, Sorbonne Université, CNRS, France(LIP6,索邦大学,法国国家科学研究中心,法国);Université de Rennes, CNRS, Inria, IRISA, France(雷恩大学,法国国家科学研究中心,法国国家信息与自动化研究所,IRISA,法国);IRL Crossing, CNRS, Australia(IRL Crossing,法国国家科学研究中心,澳大利亚)
本文提出结合非上下文文本嵌入与符号概念特征的神经符号模型,以提高分类鲁棒性,通过实验验证其在识别宣传新闻方面的有效性。
2026-04-02 cs.AI cs.CL
Topic Modeling and Progression of American Digital News Media During the Onset of the COVID-19 Pandemic
当前,世界正处于一场严重的全球性大流行病之中,这场大流行病影响到人们生活的方方面面。因此,由于疫情的不同影响,美国发表了大量与COVID相关的数字媒体文章。这样大量的信息很难在合理的时间内被受众消费。在本文中,我们开发了一个自然语言处理(NLP)管道,该管道能够自动将各种数字文章提取为可管理的信息片段,同时还对随着时间的推移讨论的进展主题进行建模,以帮助读者快速获得对紧迫问题的整体观点(即,COVID-19大流行)从不同来源获得。我们首先在疫情爆发期间收集大量与COVID相关的文章,以实现这些目标。之后,我们应用无监督和半监督学习程序来总结文章,然后使用社区发现方法基于它们的相似性对它们进行聚类。接下来,我们使用BART算法识别每个文章集群的主题。最后,我们根据NLP管道输出提供了详细的数字媒体分析,并展示了围绕COVID-19的对话如何随着时间的推移而演变。
2021-05-25 cs.CL
Unsupervised Machine Commenting with Neural Variational Topic Model
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
文章评论可以为读者提供补充性的观点和事实,从而增加文章的吸引力和参与度。因此,自动评论有助于提高社区的活跃度,例如在线论坛和新闻网站。以前的工作表明,训练一个自动评论系统需要大型的平行语料库。虽然部分文章与某些网站上的评论自然配对,但大多数文章和评论在互联网上是不配对的。为了充分利用未配对的数据,我们完全消除了对并行数据的需求,并提出了一种新的无监督方法来训练自动文章评论模型,只依赖于未配对的文章和评论。我们的模型是基于检索的评论框架,它使用新闻检索评论的基础上,他们的主题的相似性。主题表示是从神经变分主题模型中获得的,该模型是以无监督的方式训练的。我们在新闻评论数据集上评估我们的模型。实验表明,我们提出的基于主题的方法显着优于以前的基于词典的模型。该模型还受益于配对语料库,并在半监督场景下实现了最先进的性能。
2018-09-13 cs.CL
Explainable and Discourse Topic-aware Neural Language Understanding
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
本文提出一种神经复合语言模型,在主题与语言模型的联合学习框架中,引入可解释的主题表示与句子级主题篇章建模,实验证明其有效提升了多任务的语言理解能力。
2023-06-27 cs.AI cs.CL cs.LG
BERTilda: Explainable Topic Lifecycle Tracking with Split/Merge Detection via Similarity-and-Flow Temporal Graphs
Faculty of Sciences, University of Porto(波尔图大学理学院);INESCTEC
BERTilda是基于嵌入的可解释时序主题框架,通过构建含语义相似度与双向覆盖信号的主题图检测主题分裂/合并等转换,在政治语料库上验证后其生命周期标签标注同意率优于基线方法。
2026-08-20 cs.CL cs.LG
Temporal Topic Modeling to Assess Associations between News Trends and Infectious Disease Outbreaks
Virginia Tech(弗吉尼亚理工大学);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院);University of Washington(华盛顿大学);Epidemico, Inc.(Epidemico公司);McGill University(麦吉尔大学)
在回顾性评估中,互联网新闻报道已被证明可以在官方实验室确认之前捕获未知传染病传播的早期报告。一般来说,媒体的兴趣和报道在疫情爆发期间会达到高峰和减弱。在这项研究中,我们量化了在传染病爆发期间媒体的兴趣在多大程度上表明了报告发病率的趋势。我们介绍了一种方法,使用监督的时间主题模型转换成时间主题趋势的大型语料库的新闻文章。这种方法的主要优点包括,适用于广泛的疾病,并能够捕捉疾病动态-包括季节性,突然的高峰和低谷。我们使用来自美利坚合众国(U.S.)报告的多种传染病暴发的数据评估了该方法,中印两国我们注意到,从疾病相关新闻报道中提取的时间主题趋势成功地捕捉到了多起疫情的动态,如美国的百日咳(2012年),印度的登革热疫情(2013年)和中国(2014年)。我们的观察结果还表明,使用时间序列回归技术对时间主题趋势进行有效建模,可以在卫生组织正式报告之前以更高的精度估计疾病病例数。
2016-06-01 cs.CL cs.IR cs.SI
Ex-Twit: Explainable Twitter Mining on Health Data
Purdue University(普渡大学)
由于大多数机器学习模型没有为预测提供解释,因此它们的预测对人类来说是模糊的。解释模型预测的能力已经成为包括Twitter挖掘在内的许多应用程序的必需品。在这项工作中,我们提出了一种方法,称为可解释的Twitter挖掘(前Twit)结合主题建模和本地可解释的模型不可知解释(LIME)来预测的主题和解释模型的预测。我们证明了Ex-Twit在Twitter健康相关数据上的有效性。
2019-06-22 cs.AI cs.CL cs.LG
Understanding the Impact of News Articles on the Movement of Market Index: A Case on Nifty 50
Praxis Business School(普拉西斯商学院)
本文针对以往研究忽视新闻主题差异的问题,结合多主题新闻情感分析 Nifty 50 指数走势,证明非市场类主题情感也会显著影响指数。
2024-11-22 cs.CL cs.LG q-fin.ST
Automating Historical Insight Extraction from Large-Scale Newspaper Archives via Neural Topic Modeling
Department of Computer Science , University of Luxembourg , 2, place de l’Université , 4365 , Esch-Belval Esch-sur-Alzette , Luxembourg;Centre for Contemporary \& Digital History (C 2 DH) , University of Luxembourg , 11 Porte des Sciences , 4366 , Esch-Belval Esch-sur-Alzette , Luxembourg
本研究利用BERTopic模型从1955至2018年的新闻档案中提取核能与核安全相关的主题,分析其时间演变,揭示公众 discourse 的长期趋势与变化。
2025-12-12 cs.AI cs.CL cs.IR
Unraveling Media Perspectives: A Comprehensive Methodology Combining Large Language Models, Topic Modeling, Sentiment Analysis, and Ontology Learning to Analyse Media Bias
Institute of IT Management and Digitization Research (IFID)(信息管理与数字化研究学院)
本文提出结合层次主题建模、情感分析和大语言模型本体学习的可扩展媒体偏见分析方法,通过三个政治新闻案例验证其在多粒度识别事件选择、标签、用词及委托遗漏偏见方面的有效性。
2025-05-03 cs.AI cs.CL cs.IR
A Coarse-to-fine Cascaded Evidence-Distillation Neural Network for Explainable Fake News Detection
Jilin University(吉林大学);Hong Kong Baptist University(香港浸会大学)
现有的虚假新闻检测方法旨在区分新闻的真伪,并提供准确的解释,取得了显著的效果。然而,他们经常根据人工事实核查报告定制自动化解决方案,受到新闻报道有限和揭穿延迟的困扰。当一条新闻尚未经过事实核查或揭穿时,通常会在各种媒体上传播一定数量的相关原始报道,其中包含群众的智慧,以核实新闻声称并解释其判决。在本文中,我们提出了一种新的粗到细级联证据蒸馏(CCED)神经网络,用于基于此类原始报告的可解释假新闻检测,减轻了对事实检查的依赖。具体来说,我们首先利用一个分层编码器的Web文本表示,然后开发两个级联的选择器,选择最可解释的句子的判决顶部的选定的前K个报告,在一个由粗到细的方式。此外,我们构建了两个可解释的假新闻数据集,这是公开的。实验结果表明,我们的模型显着优于国家的最先进的基线,并从不同的评价角度产生高质量的解释。
2022-09-29 cs.CL
LLM-GAN: Construct Generative Adversarial Network Through Large Language Models For Explainable Fake News Detection
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
针对LLMs易被假新闻误导及解释需大量人工的问题,提出LLM-GAN框架,利用提示机制使LLM充当生成器和检测器进行假新闻生成与检测,有效提升了预测性能与解释质量,并集成至云原生AI平台。
2024-12-24 cs.CL
Trust Oriented Explainable AI for Fake News Detection
本文研究了基于XAI的虚假新闻检测方法,通过比较SHAP、LIME和集成梯度等技术,验证了XAI在提升模型透明性和检测准确率方面的有效性,并探讨了其局限性。
2026-03-12 cs.CL
Explainable Fake News Detection With Large Language Model via Defense Among Competing Wisdom
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Hong Kong Baptist University(香港浸会大学);Guangdong Institute of Smart Education, Jinan University(暨南大学广东智慧教育研究院)
针对现有假新闻检测模型不可解释、群体智慧存在偏差等问题,提出基于防御的可解释检测框架,通过证据提取、大语言模型理由生成及防御推理模块,在两个基准上优于基线且提供高质量理由。
2025-02-18 cs.CL
Ethio-Fake: Cutting-Edge Approaches to Combat Fake News in Under-Resourced Languages Using Explainable AI
Instituto Politécnico Nacional (IPN)(墨西哥国立理工学院);Centro de Investigación en Computación (CIC)(计算机研究中心);College of Engineering and Applied Science, University of Colorado Colorado Springs (UCCS)(科罗拉多大学科罗拉多斯普林斯分校工程与应用科学学院)
本文提出Ethio-Fake方法,融合社会语境与新闻内容特征,结合集成学习和迁移学习,在资源匮乏语言虚假新闻检测中取得最高0.99的F1分数,并利用可解释AI分析模型关键特征。
2024-10-03 cs.CL
Can News Predict the Market? Limits of Zero-Shot Financial NLP and the Role of Explainable AI
University of Nottingham(诺丁汉大学)
本研究通过零样本自然语言处理框架,结合时间聚合与多层次可解释性,发现零样本方法无法超越简单基线,但可解释性信号能区分可靠与不可靠预测,强调透明性和不确定性感知在决策支持中的价值。
2026-06-11 cs.CL
TELLER: A Trustworthy Framework for Explainable, Generalizable and Controllable Fake News Detection
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学);University of Electronic Science and Technology of China(电子科技大学)
针对现有虚假新闻检测方法缺乏可解释性、泛化性和可控性的问题,提出TELLER双系统框架,结合认知与决策系统生成逻辑原子和规则,在四个数据集上验证了其可行性与可信性。
2024-05-28 cs.CL
Variation between Credible and Non-Credible News Across Topics
Språkbanken Text(语言银行文本机构);University of Gothenburg(哥德堡大学)
本文通过分析经济、娱乐、健康、科学和体育五个主题,研究可信与欺骗性新闻在语言和文体特征上的差异,强调分类任务需适应不同主题的风格和语言差异以提升实际表现。
2024-11-19 cs.CL
From Outliers to Topics in Language Models: Anticipating Trends in News Corpora
LIP6, Sorbonne University, CNRS, France(LIP6,索邦大学,国家科学研究中心,法国)
本文提出利用语言模型嵌入和累积聚类方法,将主题建模中的离群点视为新兴主题的弱信号,并在法英新闻数据上验证了离群点随时间演变为连贯主题的规律。
2026-09-22 cs.CL
TopExNet: Entity-Centric Network Topic Exploration in News Streams
Heidelberg University(海德堡大学)
最近引入的以实体为中心的隐式网络表示的非结构化文本提供了新的方式来探索文档集合和流中的实体关系,有效地和交互式。在这里,我们将TopExNet作为一种工具,用于探索新闻文章流中以实体为中心的网络主题。该应用程序作为Web服务在https://topexnet.ifi.uni-heidelberg.de/上提供。
2019-05-31 cs.CL
Bangla BERT for Hyperpartisan News Detection: A Semi-Supervised and Explainable AI Approach
Bangladesh University of Business and Technology(孟加拉国商业与技术大学);Chittagong University of Engineering and Technology(吉大港工程技术大学);European University of Bangladesh(孟加拉国欧洲大学);Cosmic IT;Kidz Programming
针对孟加拉语低资源场景下极端党派新闻检测方法匮乏的问题,研究微调Bangla BERT模型,结合半监督学习提升性能,用LIME提供可解释性,最终以95.65%的准确率超越传统方法,验证了Transformer模型在低资源环境的有效性。
2025-07-28 cs.CL
ExFake: Towards an Explainable Fake News Detection Based on Content and Social Context Information
University of Montreal(蒙特利尔大学)
ExFake结合内容、社交上下文及可信实体数据,并引入可解释AI助手与用户可信度评分机制,在真实数据集上显著优于基线方法,实现可解释的假新闻检测。
2023-11-16 cs.AI cs.CL cs.LG
Detecting Potential Topics In News Using BERT, CRF and Wikipedia
Dailyhunt(每日猎讯)
对于Dailyhunt这样的新闻内容分发平台,命名实体识别是构建更好的用户推荐和通知算法的关键任务。除了从13种以上的印度语言的新闻中识别名称,位置,组织并在算法中使用它们之外,我们还需要识别不一定适合命名实体定义的n元语法,但它们很重要。例如,“我也是运动”、“牛肉禁令”、“alwar暴民私刑”。在这个练习中,给定一个英语文本,我们试图检测传达重要信息并可用作新闻主题和/或主题标签的无大小写n元语法。模型的建立使用维基百科的标题数据,私人英语新闻语料库和BERT多语言预训练模型,Bi-GRU和CRF架构。与行业最佳的Flair,Spacy和Stanford-caseless-NER相比,它在F1,特别是Recall方面显示出令人鼓舞的结果。
2020-02-28 cs.CL
A Graph-Enhanced Defense Framework for Explainable Fake News Detection with LLM
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Hong Kong Baptist University(香港浸会大学);Guangdong Institute of Smart Education, Jinan University(暨南大学广东智慧教育研究院);University of Science and Technology Beijing(北京科技大学);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence(知识驱动人机智能教育部工程研究中心);International Center of Future Science, Jilin University(吉林大学未来科学国际合作中心)
本文提出G-Defense框架,通过构建以声明为中心的图,利用检索增强生成技术获取证据并生成竞争性解释,以提高假新闻检测的准确性和解释质量。
2026-04-08 cs.AI cs.CL
Fake News Detection System using XLNet model with Topic Distributions: CONSTRAINT@AAAI2021 Shared Task
Indraprastha Institute of Information Technology, Delhi(德里英德拉普拉斯塔信息技术学院)
随着获取信息的便利性及其在互联网上的快速传播(速度和数量),从虚假信息中过滤出真实信息变得具有挑战性。研究界现在面临着自动检测假新闻的任务,这些假新闻具有现实世界的社会政治影响。其中一项研究贡献是以英语中COVID 19假新闻检测的约束@AAA12021共享任务的形式。在本文中,我们阐明了我们提出的一种新方法,作为这一共同任务的一部分。我们的团队介绍了一种方法,将潜在狄利克雷分配(LDA)的主题分布与XLNet的上下文表示相结合。我们还将我们的方法与现有的基线进行了比较,结果表明XLNet + Topic Distributions的F1得分为0.967,优于其他方法。
2021-01-12 cs.CL
Interpretable Fake News Detection with Topic and Deep Variational Models
University of Connecticut(康涅狄格大学);University of Pittsburgh(匹兹堡大学)
社会对社交媒体和用户生成的新闻和信息内容的依赖日益增加,增加了不可靠来源和虚假内容的影响,这混淆了公共话语,降低了对媒体的信任。验证这些信息的可信度是一项艰巨的任务,容易受到确认偏差的影响,导致算法技术的发展,以区分假新闻和真新闻。然而,大多数现有方法很难解释,因此很难建立对预测的信任,并且在许多现实场景中做出不切实际的假设,例如,视听功能或出处的可用性。在这项工作中,我们专注于使用可解释的特征和方法来检测文本内容的假新闻。特别是,我们开发了一个深度概率模型,该模型使用变分自编码器和双向长短期记忆(LSTM)网络集成了文本新闻的密集表示,并具有从贝叶斯混合模型推断出的语义主题相关特征。使用3个真实世界数据集进行的广泛实验研究表明,我们的模型与最先进的竞争模型具有可比性,同时促进了学习主题的模型可解释性。最后,我们进行了模型消融研究,通过评估性能和定性地通过低维嵌入中的可分性来定量地证明集成神经嵌入和主题特征的有效性和准确性。
2022-09-04 cs.CL
Statistical Analysis on Bangla Newspaper Data to Extract Trending Topic and Visualize Its Change Over Time
Shahjalal University of Science & Technology(沙赫贾拉勒科技大学)
报纸的热点话题是了解一个国家情况的指标,也是评价一份报纸的一种方式。本文提出了一个模型,描述了一些技术,从孟加拉国报纸选择趋势的主题。在孟加拉国报纸上比其他报纸更经常讨论的话题将被标记,一个非常著名的话题如何随着时间的变化而失去其重要性,另一个话题将被证明。收集了两份受欢迎的孟加拉报纸的数据,并注明了日期和时间。对预处理后的数据进行统计分析。通过分析,从孟加拉语关键字流中提取了流行和最常用的关键字。该模型还可以聚类类别明智的新闻趋势或新闻趋势列表在每天或每周的基础上有足够的数据。在他们的新闻趋势上也可以找到一个模式。通过对孟加拉国报纸以往新闻走向的比较,可以对孟加拉国的情况有一个直观的了解。这种可视化将有助于预测孟加拉报纸未来的趋势主题。
2017-01-27 cs.CL cs.IR
NEWTS: A Corpus for News Topic-Focused Summarization
Brown University(布朗大学);EPFL(洛桑联邦理工学院)
文本摘要模型正在接近人类的保真度水平。现有的基准语料库提供了完整和删节版本的Web,新闻或专业内容的一致对。到目前为止,所有的摘要数据集都是在一种通用的模式下运行的,这种模式可能无法反映有机摘要的全部需求。最近提出的几种模型(例如,即插即用(plug and play)语言模型)具有根据期望的主题范围来调节所生成的概要的能力。这些能力在很大程度上仍然未被使用和评估,因为没有专门的数据集来支持以主题为中心的摘要任务。本文介绍了第一个基于CNN/Dailymail数据集的主题摘要语料库NEWTS,并通过在线众包进行标注。每一篇源文章都有两个参考摘要,每个参考摘要都关注源文档的不同主题。我们评估了一系列有代表性的现有技术,并分析了不同的激励方法的有效性。
2022-05-31 cs.CL
Explainable Tsetlin Machine framework for fake news detection with credibility score assessment
University of Agder(阿格德大学)
假新闻的扩散,即,新闻故意传播错误信息,对个人和社会构成威胁。尽管有各种事实核查网站,如PolitiFact,但仍需要强大的检测技术来应对假新闻的增加。几个深度学习模型在假新闻分类方面显示出了很好的效果,然而,它们的黑盒性质使得很难解释它们的分类决策和保证模型的质量。我们在这里解决这个问题,提出了一个新的可解释的假新闻检测框架的基础上,最近推出的Tsetlin机(TM)。简而言之,我们利用TM的连接子句来捕获真实和虚假新闻文本的词汇和语义属性。此外,我们使用子句集合来计算假新闻的可信度。为了进行评估,我们在两个公开的数据集PolitiFact和GossipCop上进行了实验,并证明TM框架在准确性方面明显优于先前发布的基线至少$5\%$,并具有可解释的基于逻辑的表示的额外好处。此外,我们的方法提供了比BERT和XLNet更高的F1分数,但是,我们获得的准确性略低。最后,我们提出了一个案例研究我们的模型的可解释性,展示了它如何分解成有意义的词和他们的否定。
2021-05-19 cs.AI cs.CL cs.LG
FinReport: Explainable Stock Earnings Forecasting via News Factor Analyzing Model
South China University of Technology(华南理工大学);ByteDance AI Lab(字节跳动AI实验室);Pazhou Lab(琶洲实验室)
针对普通投资者缺乏金融知识、难以分析股票新闻的问题,提出包含三个模块的FinReport系统,基于财经新闻与多因子模型实现可解释的股票收益预测,经真实数据集验证有效,相关资源已开源。
2024-03-05 cs.AI cs.CL
Topic-Preserving Synthetic News Generation: An Adversarial Deep Reinforcement Learning Approach
Arizona State University(亚利桑那州立大学);Illinois Institute of Technology(伊利诺伊理工学院)
如今,存在强大的语言模型,例如OpenAI的GPT-2,可以生成可读的文本,并可以进行微调以生成特定领域的文本。考虑到GPT-2,它不能直接生成关于给定主题的合成新闻,并且语言模型的输出不能被显式地控制。在本文中,我们研究了新的问题的主题保持合成新闻生成。我们提出了一种新的基于深度强化学习的方法来控制GPT-2关于给定新闻主题的输出。当使用GPT-2生成文本时,默认情况下,从词汇表中选择最可能的单词。RL代理不是每次都从GPT-2的输出中选择最佳单词,而是尝试选择优化给定主题匹配的单词。此外,使用假新闻检测器作为对手,我们研究使用我们提出的方法生成真实的新闻。在本文中,我们认为真实新闻是不能被假新闻分类器轻易检测到的新闻。实验结果表明,所提出的框架在生成主题保持的新闻内容比最先进的基线的有效性。
2020-10-30 cs.CL cs.LG
GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media
National Cheng Kung University(国立成功大学)
本文解决了社交媒体上更真实场景下的假新闻检测问题。给定源短文本推文和相应的无文本评论的转推用户序列,我们的目标是预测源推文是否是假的,并通过突出可疑转推者及其关注的词的证据来产生解释。我们开发了一种新的神经网络为基础的模型,图形感知的协同注意力网络(GCAN),以实现这一目标。在真实的tweet数据集上进行的大量实验表明,GCAN的平均准确率可以显著超过最先进的方法16%。此外,案例研究也表明,GCAN可以产生合理的解释。
2020-04-24 cs.CL cs.LG stat.ML
Explainable Text-Driven Neural Network for Stock Prediction
Insight Centre for Data Analytics(洞察数据分析中心);University College Dublin(都柏林大学学院);Beijing Dublin International College(北京都柏林国际学院);School of Computer Science(计算机科学学院)
已有研究表明,财经新闻会导致股票价格的波动。然而,以前的工作,新闻驱动的金融市场预测只集中在预测股票价格的运动,没有提供一个解释。在本文中,我们提出了一个双层的注意力为基础的神经网络来解决这个问题。在初始阶段,我们引入了一种基于知识的方法来自适应地提取相关的金融新闻。然后,我们使用输入注意力来更多地关注更有影响力的新闻,并将日期嵌入与新闻表示的输出连接起来。最后,我们使用一个输出注意力机制来分配不同的权重,以不同的日子,他们对股票价格的运动的贡献。基于几只个股的历史价格的深入实证研究表明,我们提出的方法在股票价格预测相比,国家的最先进的方法的优越性。
2019-02-13 cs.CL cs.LG
Similarity Detection Pipeline for Crawling a Topic Related Fake News Corpus
虚假新闻检测是一项具有挑战性的任务,旨在减少人类检查新闻真实性的时间和精力。然而,打击假新闻的自动化方法受到缺乏标记基准数据集的限制,特别是英语以外的语言。此外,许多公开可用的语料库有特定的限制,使他们难以使用。为了解决这个问题,我们的贡献是三方面的。首先,我们提出了一个新的,公开可用的德语主题相关语料库,用于假新闻检测。据我们所知,这是同类语料库中的第一个。在这方面,我们开发了一个管道来抓取类似的新闻文章。作为我们的第三个贡献,我们进行了不同的学习实验来检测假新闻。使用SBERT的句子级嵌入结合Bi-LSTM(k=0.88)实现了最佳性能。
2021-03-01 cs.CL cs.IR
Joint Image-Text News Topic Detection and Tracking with And-Or Graph Representation
University of California, Los Angeles (UCLA)(加利福尼亚大学洛杉矶分校)
在本文中,我们的目标是开发一种方法,自动检测和跟踪广播新闻的主题。我们提出了一个分层的与或图(AOG),共同代表文本和视觉的潜在结构。AOG嵌入了一个上下文敏感的语法,可以描述新闻主题的层次组成的语义元素有关的人,相关的地方和发生了什么,和模型的层次结构中的元素之间的上下文关系。我们通过聚类抽样过程检测新闻主题,该过程将密切相关的事件的故事分组。Swendsen-Wang Cuts(SWC)是一种有效的聚类抽样算法,通过遍历解空间,最大化贝叶斯后验概率,得到最优聚类解。跟踪主题以处理不断更新的新闻流。我们生成主题轨迹,以显示主题如何随着时间的推移出现,发展和消失。实验结果表明,该方法可以显式地描述新闻视频中的文本和视觉数据,并产生有意义的主题轨迹。我们的方法在公共数据集Reuters-21578和名为UCLA Broadcast News Dataset的自收集数据集上实现了优于最先进方法的性能。
2015-12-15 cs.CL cs.IR cs.SI
Research on Multilingual News Clustering Based on Cross-Language Word Embeddings
School of Computer and Cyberspace Security, Communication University of China(中国传媒大学计算机与网络空间安全学院);University of Hong Kong(香港大学)
本文研究跨语言新闻聚类问题,提出用知识蒸馏训练中英跨语言句向量模型,并结合LDA主题分布表示新闻,同时改进Single-Pass增量聚类算法,以高效实现多语言新闻事件分类。
2023-05-30 cs.CL
Detecting Polarized Topics Using Partisanship-aware Contextualized Topic Embeddings
University of Southern California(南加州大学);Columbia University(哥伦比亚大学);University of Chile(智利大学)
人们指责新闻媒体日益两极分化,煽动分歧、争议甚至暴力。因此,尽早确定两极分化的议题是一个有助于缓解冲突的紧迫事项。然而,准确测量主题极化仍然是一个开放的研究挑战。为了解决这一差距,我们提出了党派意识的上下文主题嵌入(PaCTE),一种方法来自动检测两极分化的主题从党派的新闻来源。具体而言,利用语言模型,已微调识别新闻文章的党派性,我们表示的意识形态的新闻语料库的主题嵌入语料库的上下文和测量的极化使用余弦距离。我们将我们的方法应用于关于COVID-19大流行的新闻文章数据集。在不同的新闻源和主题上进行的大量实验表明,我们的方法可以有效地捕捉主题极化,并有效地检索出最极化的主题。
2021-09-10 cs.CL cs.IR cs.LG
SPICED: News Similarity Detection Dataset with Multiple Topics and Complexity Levels
Technological University Dublin(都柏林理工大学);Huawei Ireland Research Centre(华为爱尔兰研究中心);University College Dublin(都柏林大学学院)
本文提出了一个包含七个主题和四个复杂度级别的新颖新闻相似度检测数据集 SPICED,并通过 MinHash、BERT、SBERT 和 SimCSE 模型进行了基准测试,以解决现有新闻相似度数据集缺乏主题细分的问题。
2024-08-23 cs.CL cs.LG
News-Driven Stock Prediction With Attention-Based Noisy Recurrent State Transition
Beijing Institute of Technology(北京理工大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
我们考虑在新闻驱动的股票走势预测中,直接建模基础股票价值随时间的变动序列。构造了一个经常性的状态转换模型,通过对过去和未来价格变动之间的相关性进行建模,更好地捕捉股票运动的渐进过程。通过分离新闻和噪声的影响,噪声随机因子也显式拟合的基础上的经常性状态。结果表明,该模型优于强基线。由于使用了对新闻事件的关注,我们的模型也更容易解释。据我们所知,我们是第一个明确建模事件和噪音的基本股票价值状态的新闻驱动的股票走势预测。
2020-04-04 cs.CL
NewsDialogues: Towards Proactive News Grounded Conversation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
本文提出主动式新闻 grounding 对话任务,构建含1K对话的 NewsDialogues 中文数据集,并设计 Predict-Generate-Rank 方法,通过知识预测、回复生成与排序缓解曝光偏差,实验验证其有效性。
2023-08-12 cs.CL
Automated stance detection in complex topics and small languages: the challenging case of immigration in polarizing news media
School of Humanities, Tallinn University, Estonia(塔林大学人文学科学院,爱沙尼亚);Baltic Film, Media and Arts School, Tallinn University, Estonia(巴尔蒂克电影、媒体与艺术学院,塔林大学,爱沙尼亚);ERA Chair for Cultural Data Analytics, Tallinn University, Estonia(塔林大学文化数据分析埃拉教席,爱沙尼亚)
本文探讨了在形态复杂、低资源语言和复杂社会文化主题下,使用大语言模型进行自动化立场检测的可行性,通过对比多种语言模型和ChatGPT的表现,展示了其在新闻分析中的应用潜力。
2023-05-22 cs.CL
A Topic-Agnostic Approach for Identifying Fake News Pages
New York University(纽约大学);Federal University of Amazonas(亚马逊联邦大学)
假新闻和错误信息越来越多地被用来操纵公众舆论和影响政治进程。为了更好地了解假新闻,它们是如何传播的,以及如何对抗它们的影响,有必要首先识别它们。最近,已经提出了基于其内容将文章自动分类为虚假的方法。这些方法的一个重要挑战来自新闻的动态性质:随着新的政治事件被报道,主题和话语不断变化,因此,使用在给定时间发布的文章内容训练的分类器在未来可能变得无效。为了应对这一挑战,我们提出了一种主题不可知(TAG)分类策略,该策略使用语言和网络标记特征来识别假新闻页面。我们报告了使用多个数据集的实验结果,这些数据集表明,我们的方法在识别假新闻方面具有很高的准确性,即使主题随着时间的推移而变化。
2019-05-02 cs.CL cs.IR cs.SI
'If you build they will come': Automatic Identification of News-Stakeholders to detect Party Preference in News Coverage
IIT Kharagpur(印度理工学院卡拉格普尔分校)
新闻文章中提到的不同利益相关者的报道显著影响相关新闻出版商的倾向或极性检测。举例而言,亲政府的传媒机构会对政府持份者作出更多报道,以增加他们接触新闻受众的机会。相比之下,反政府的新闻机构会更多地关注反对派利益相关者的观点,以告知读者政府政策的不足之处。在本文中,我们解决的问题,利益相关者提取新闻文章,从而确定固有的偏见,目前在新闻报道。在多主题新闻场景中识别潜在的利益相关者是具有挑战性的,因为每个新闻主题都有不同的利益相关者。本文提出的研究利用上下文信息和外部知识,以确定特定主题的利益相关者从新闻文章。我们还应用了一个顺序增量聚类算法来分组具有相似的利益相关者类型的实体。我们对许多国家和国际新闻机构发表的关于印度政府四项政策的新闻文章进行了所有实验。实验结果表明,该模型可以推广到其他新闻主题。
2022-12-17 cs.AI cs.CL cs.CY
SheffieldVeraAI at SemEval-2023 Task 3: Mono and multilingual approaches for news genre, topic and persuasion technique classification
The University of Sheffield(谢菲尔德大学)
本研究针对 SemEval-2023 任务 3 的三个新闻分类子任务,分别设计单语与多语集成模型,在多语言赛道取得优异排名,同时验证了不同语言方案及类别不平衡技术的效果。
2023-05-09 cs.CL
Event detection in Colombian security Twitter news using fine-grained latent topic analysis
Universidad Nacional de Colombia(哥伦比亚国立大学)
文化和社会动态是重要的概念,必须加以理解,以便掌握社区关心的问题。为此,新闻是一个很好的社区信息来源,特别是近年来,大众媒体巨头使用社交网络与受众沟通和互动。在这项工作中,我们使用的方法来发现潜在的主题,从哥伦比亚的Twitter新闻帐户,以确定该国最突出的事件。我们特别关注与安全、暴力和犯罪有关的推文,因为哥伦比亚社会周围存在暴力环境。我们使用的潜在主题发现方法通过使用FastText构建推文的向量表示,并通过K-means聚类算法发现推文的聚类。通过测量潜在狄利克雷分配(LDA)模型的一系列主题的$C_V$相干性来找到聚类的数量。最后,我们使用均匀流形近似和投影(UMAP)降维可视化的推文向量。一旦确定了与安全、暴力和犯罪相关的聚类,我们将在每个聚类中应用相同的方法来执行细粒度分析,其中将新闻中提到的特定事件分组在一起。我们的方法能够发现特定于事件的新闻集,这是对人们如何参与不同类型新闻的Twitter线程进行广泛分析的基准,重点是安全,暴力和犯罪相关的推文。
2019-11-19 cs.CL cs.SI
Extracting and Analyzing Semantic Relatedness between Cities Using News Articles
University of Tennessee(田纳西大学);Kent State University(肯特州立大学)
新闻报道捕捉了关于我们社会的各种话题。它们不仅反映了我们物质世界中发生的社会经济活动,还反映了一些只存在于人们感知中的文化、人类利益和公共关注。城市经常在新闻文章中被提及,并且两个或更多城市可能在同一篇文章中同时出现。这种同时出现的情况往往表明所提及的城市之间存在某种联系,而这种联系可能会根据新闻文章的内容而在不同的主题下出现。我们把不同主题下的关联度称为语义关联度。通过阅读新闻文章,人们可以掌握城市之间的一般语义相关性,然而,鉴于数十万篇新闻文章,任何人都很难(如果不是不可能的话)手动阅读它们。本文提出了一个计算框架,可以“阅读”大量的新闻文章,并提取城市之间的语义相关性。该框架基于自然语言处理模型,并采用机器学习过程来识别新闻文章的主要主题。我们描述了这个框架的整体结构及其各个模块,然后将其应用于一个实验数据集,该数据集包含超过50万篇新闻文章,涵盖了美国100个城市,时间跨度为10年。我们在不同的主题和多年的探索性可视化提取的语义相关性。我们还分析了地理距离对语义相关性的影响,发现不同的距离衰减效应。该框架可用于支持城市网络研究中的大规模内容分析。
2018-09-08 cs.CL cs.SI
INS: An Interactive Chinese News Synthesis System
Peking University(北京大学)
如今,我们被越来越多的网络新闻所包围。如果我们想探讨一个热点新闻事件或话题,需要阅读数十或数百篇新闻文章。因此,为了方便读者,将一批与事件或主题相关的新闻文章自动合成为新的合成文章(或概述文章)至关重要。实现新闻合成的全自动化是一个很大的挑战,目前还没有成功的解决方案。本文提出了一种新的交互式新闻合成系统(INS),它可以自动生成新闻综述文章,也可以通过用户交互生成。更重要的是,INS可以作为编辑的工具,帮助他们完成工作。在我们的实验中,INS在主题表征和合成文章生成方面表现良好。一项用户研究也表明了INS工具的实用性和用户满意度。演示视频可在\url{https://youtu.be/7ItteKW3GEk}上获得。
2019-07-25 cs.CL cs.HC
Machine Learning to study the impact of gender-based violence in the news media
Universidad de Valladolid(巴利亚多利德大学);Complejo Asistencial de Soria(索里亚综合医疗中心);Hospital General Universitario de Ciudad Real(雷阿尔城大学综合医院);Sermes CRO
虽然性别暴力仍然是一个禁忌话题,但它损害了受害者的健康、尊严、安全和自主权。人们研究了产生或维持这种暴力的许多因素,但媒体的影响仍然不确定。在这里,我们使用机器学习工具来推断新闻在GBV中的影响。通过向神经网络提供新闻,可以恢复与每篇文章相关联的主题信息。我们的研究结果显示,性别暴力新闻和公众意识之间的关系,媒体的性别暴力案件的影响,以及性别暴力新闻的内在主题关系。由于所使用的神经模型可以很容易地调整,这也使我们能够将我们的方法扩展到其他媒体源或主题
2020-11-27 cs.CL cs.SI
Potrika: Raw and Balanced Newspaper Datasets in the Bangla Language with Eight Topics and Five Attributes
King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
知识是人类和科学发展的核心。自然语言处理(NLP)允许自动分析和创建知识。数据是NLP和机器学习的重要组成部分。开放数据集的稀缺性是机器和深度学习研究中的一个众所周知的问题。对于英语和其他主要世界语言的文本NLP数据集来说,情况就是如此。对于孟加拉语来说,情况更具挑战性,用于NLP研究的大型数据集的数量几乎为零。我们在此介绍Potrika,这是一个大型的单标签孟加拉新闻文章文本数据集,为2014-2020年期间孟加拉国六个流行的在线新闻门户网站(Jugantor,Jaijaidin,Ittefaq,Kaler Kontho,Inqilab和Somoyer Alo)的NLP研究而策划。文章分为八个不同的类别(国家,体育,国际,娱乐,经济,教育,政治和科学\&技术)提供五个属性(新闻文章,类别,标题,出版日期和报纸来源)。原始数据集包含664,880篇新闻文章中的1.8551亿个单词和1257万个句子。此外,使用NLP增强技术,我们从原始(不平衡)数据集创建了另一个(平衡)数据集,包括320,000篇新闻文章,其中8个新闻类别中的每个类别有40,000篇文章。Potrika包含两个数据集(原始和平衡),以适应广泛的NLP研究。到目前为止,据我们所知,Potrika是最大和最广泛的新闻分类数据集。
2022-10-17 cs.AI cs.CL
Graph-based Topic Extraction from Vector Embeddings of Text Documents: Application to a Corpus of News Articles
Imperial College London(帝国理工学院)
新闻内容的生产正在以惊人的速度增长。为了帮助管理和监测大量的文本,越来越需要开发有效的方法,以便深入了解新兴的内容领域,并将非结构化的文本语料库分层为本质上源于内容相似性的“主题”。在这里,我们提出了一个无监督的框架,汇集了强大的矢量嵌入从自然语言处理与工具,从多尺度图分区,可以揭示自然分区在不同的分辨率,而无需作出先验假设的集群在语料库中的数量。我们通过与其他流行的聚类和主题建模方法的端到端比较,展示了基于图的聚类的优势,并评估了不同的文本向量嵌入,从经典的词袋到Doc2Vec,再到最近的基于Transformers的模型BERT。这项比较工作是通过对2016年总统大选期间美国新闻报道语料库的分析来展示的。
2020-10-28 cs.AI cs.CL cs.LG
Batch Clustering for Multilingual News Streaming
BNP Paribas AI(法国巴黎银行人工智能部门)
如今,数字新闻文章被广泛使用,由各种编辑发布,并且通常以不同的语言编写。这种大量的、多样的、无组织的信息使人类阅读变得非常困难,甚至几乎不可能。这导致需要能够将大量多语言新闻安排到故事中的算法。为此,我们扩展了以前的工作主题检测和跟踪,并提出了一个新的系统的灵感来自newsLens。我们每批处理文章,寻找单语本地主题,然后跨时间和语言链接。在这里,我们介绍了一种新颖的“重播”策略,将单语本地主题链接到故事中。此外,我们提出了新的微调多语言嵌入使用SBERT创建跨语言的故事。我们的系统给出了西班牙语和德语新闻数据集上的单语最先进的结果,以及英语,西班牙语和德语新闻的跨语言最先进的结果。
2020-04-17 cs.CL cs.IR
Extracting Entities and Topics from News and Connecting Criminal Records
Temple University(天普大学)
本文的目标是总结方法,用于提取实体和主题的犯罪记录数据库和报纸的数据库。统计模型已成功地用于研究《纽约时报》约30万篇文章的主题。此外,这些模型也被成功地用于分析与人、组织和地点相关的实体(D Newman,2006)。此外,在一些研究中使用了分析方法,特别是在热点制图方面,目的是预测未来的犯罪地点和情况,这些方法已经得到了相当成功的测试(S Chainey,2008年)。基于上述两个概念,本研究旨在应用数据科学技术分析大量数据,选择有价值的情报,根据犯罪类型对违规行为进行聚类,并创建随时间变化的犯罪图。在这项研究中,任务是从Kaggle下载犯罪数据集,并从Kaggle和EAGER项目数据库下载新闻文章集,然后将这些数据集合并为一个通用数据集。该项目最重要的目标是执行统计和自然语言处理方法来提取实体和主题,并将类似的数据点分组到正确的集群中,以便更好地了解有关美国相关犯罪的公共数据。
2020-05-03 cs.CL cs.IR
Sentimental Content Analysis and Knowledge Extraction from News Articles
Ferdowsi University of Mashhad(马什哈德菲尔多西大学)
在网络时代,由于技术的进步,人类的生活发生了革命性的变化,每天都有大量的数据和信息发布在互联网上。例如,新闻机构在世界各地的网站上发布新闻。这些原始数据可能是知识提取的重要资源。这些共享数据包含情感(即,积极的、中性的或消极的);因此,情感内容提取在许多方面可以是有益的任务。提取新闻的情感说明了在一段时间内关于事件的非常有价值的信息,媒体或新闻机构对这些事件的观点。在本文中,试图提出一种方法,新闻分析,并从中提取有用的知识。首先,我们尝试提取新闻文档的噪声鲁棒情感;因此,下载与六个国家相关的新闻:美国,英国,德国,加拿大,法国和澳大利亚,5个不同的新闻类别:政治,体育,商业,娱乐和技术。本文在提取新闻文本中的情感内容的基础上,对不同国家在每5个新闻主题中的情况进行了比较。此外,我们提出了一种方法,以减少庞大的新闻数据,提取最热门的话题和新闻标题作为知识。最后,我们生成一个词模型,通过Word 2 Vec将每个词映射到一个固定大小的向量,以了解我们收集的新闻数据库中的词之间的关系。
2018-08-09 cs.CL cs.IR
Linking Social Media Posts to News with Siamese Transformers
Institute for Data Science(数据科学研究所);Carleton University(卡尔顿大学)
许多计算社会科学项目研究围绕特定趋势主题的在线话语。这些工作通常涉及到获取与事件相关的大型语料库,以分析对事件的反应的各个方面。关键词搜索呈现出精确度和召回率的权衡,而众包注释虽然有效,但成本高昂。这项工作的目的是使自动和准确的ad-hoc检索的评论讨论一个热门话题,从一个大的语料库,只使用少数种子新闻文章。
2020-01-10 cs.CL cs.IR