Extended Multilingual Protest News Detection -- Shared Task 1, CASE 2021 and 2022
KNAW Humanities Cluster(荷兰皇家艺术与科学学院人文集群);Koc University(科奇大学);Mersin University(梅尔辛大学);Huawei(华为);UNC Charlotte(北卡罗来纳大学夏洛特分校);Birmingham City University(伯明翰城市大学);ETH Zurich(苏黎世联邦理工学院);National Institute of Japanese Literature(日本国立文学研究所);Bulgarian Academy of Sciences(保加利亚科学院);University of São Paulo(圣保罗大学);Sabanci University(萨班哲大学)
我们报告了CASE 2022多语言抗议事件检测共享任务1的结果。该任务是CASE 2021的延续,CASE 2021由四个子任务组成,即i)文档分类,ii)句子分类,iii)事件句子共指识别,以及iv)事件提取。CASE 2022扩展包括扩展测试数据,使用更多以前可用语言(即英语、印地语、葡萄牙语和西班牙语)的数据,并为子任务1(文档分类)添加普通话、土耳其语和乌尔都语的新测试数据。使用来自CASE 2021的英语、葡萄牙语和西班牙语的训练数据。因此,预测印地语、汉语、土耳其语和乌尔都语的文档标签发生在zero-shot设置中。CASE 2022研讨会也接受为预测CASE 2021的测试数据而开发的系统的报告。我们观察到,CASE 2022参与者提交的最佳系统在zero-shot设置中为新语言实现了79.71和84.06之间的F1宏。获胜的方法主要是集成模型和合并多种语言的数据。在所有语言中,CASE 2021数据中最好的两个提交都优于去年子任务1和子任务2的提交。在CASE 2021中,只有以下场景的表现没有被新提交的案例所超越:Subtask 3 Portuguese \& Subtask 4 English。
2022-11-21 cs.AI cs.CL cs.LG
Words that Matter: The Impact of Negative Words on News Sentiment and Stock Market Index
Korea University(高丽大学);University of St. Gallen(圣加仑大学)
该研究基于45,723篇韩国经济新闻,利用Word2Vec和余弦相似度构建包含前1,000个负面词的增强词典Sent1000,证明其比原始词典Sent0更能有效捕捉新闻情绪对KOSPI200指数的影响。
2024-02-23 cs.CL
Few-Shot Upsampling for Protest Size Detection
Massachusetts Institute of Technology(麻省理工学院);UNC Charlotte(北卡罗来纳大学夏洛特分校)
我们提出了一个新的任务和数据集的社会科学研究中的一个常见问题:“上采样”粗文档标签细粒度的标签或跨度。我们以问答的形式提出问题,答案提供细粒度的标签。我们提供了一个对社会有影响力的任务的基准数据集和基线:在美国的抗议和示威活动中确定确切的人群规模,仅提供有关抗议出席率的数量级信息,非常小的细粒度示例样本和英语新闻文本。我们评估了几个基线模型,包括基于规则和问答模型的zero-shot结果,在一小部分文档上微调的Few-Shot模型,以及使用较大的粗标记文档集的弱监督模型。我们发现,我们的基于规则的模型最初优于zero-shot预训练的Transformer语言模型,但进一步微调一个非常小的子集25个例子大大提高了样本外的性能。我们还演示了一种方法,用于微调Transformer跨度上只有粗糙的标签,执行类似于我们的基于规则的方法。这项工作将有助于提高社会科学家生成数据的能力,以了解集体行动的原因和成功。
2021-05-24 cs.CL cs.LG
Linking Tweets with Monolingual and Cross-Lingual News using Transformed Word Embeddings
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
社交媒体平台已经发展成为传播关于传统媒体发布的事件的信息的重要媒介,例如新闻文章。从不同角度讨论同一主题的各种信息来源提供了新的见解。但是,非正式的社交媒体内容(如推文)和精心撰写的内容(如新闻文章)之间的词汇使用差距使得这种组装变得困难。在本文中,我们提出了一个转换框架,利用他们的词嵌入跨越语言的鸣叫和在线新闻文章之间的词使用的差距。使用我们的框架,从推文和新闻文章中提取的词嵌入在不同语言中彼此更接近,从而便于识别新闻文章和推文之间的相似性。实验结果表明,单语推文和新闻文章比较的基线有显着改善,而跨语言比较的新发现。
2017-10-25 cs.CL
Global Contentious Politics Database (GLOCON) Annotation Manuals
数据库的创建利用了自动化的文本处理工具,这些工具检测新闻文章是否包含抗议事件,在文章中定位抗议信息,并提取关于检测到的抗议事件的信息片段。培训和测试自动化工具的基础是GLOCON Gold Standard Corpus(GSC),其中包含来自每个重点国家的多个来源的新闻文章。GSC中的文章由熟练的注释者在分类和提取任务中手动编码,具有自动化工具开发所需的最高准确性和一致性。为了确保这些,本文档中的注释手册列出了注释者对新闻文章进行编码的规则。注释者在所有注释任务中始终参考手册,并应用其中包含的规则。注释手册的内容建立在其他著名注释手册(如ACE,CAMEO和TimeML)中规定的语言注释的一般原则和标准之上。然而,这些原则已被改编或修改,以适应社会科学的概念和变量中使用的EMW项目。该手册是在长期的试错过程中形成的,伴随着GSC的注释。它现在的形状在很大程度上归功于高度专业化的注释者团队的细致工作和宝贵的反馈,他们的勤奋和专业知识大大提高了语料库的质量。
2022-05-17 cs.CL cs.CY cs.LG
KoWit-24: A Richly Annotated Dataset of Wordplay in News Headlines
HSE University(俄罗斯高等经济大学);Ural Federal University(乌拉尔联邦大学);Interdisciplinary Transformation University Austria(奥地利跨学科转型大学)
本文构建了包含2,700条俄语新闻标题的细粒度文字游戏标注数据集KoWit-24,涵盖类型、锚点及指涉对象,并附新闻导语与摘要作为上下文,实验表明五个LLM在检测与解释任务上仍有较大提升空间。
2025-08-26 cs.CL
Words are the Window to the Soul: Language-based User Representations for Fake News Detection
Amazon(亚马逊);University of Amsterdam(阿姆斯特丹大学)
语言使用反映了个体的认知和社会特征。此外,容易在网上传播假新闻的人往往有共同的特点。在这些想法的基础上,我们引入了一个模型,该模型仅基于他们产生的语言在社交媒体上创建个人的表示,并使用它们来检测假新闻。我们表明,基于语言的用户表示是有益的这项任务。我们还对假新闻传播者的语言进行了扩展分析,表明其主要特征在两个英语数据集上大多是独立的和一致的。最后,我们利用社交图中语言使用和连接之间的关系来评估我们数据中回音室效应的存在。
2020-11-14 cs.CL
Characterizing Linguistic Shifts in Croatian News via Diachronic Word Embeddings
TakeLab, Faculty of Electrical Engineering and Computing, University of Zagreb(TakeLab,电子工程与计算学院,泽格雷布大学)
本研究利用25年的950万篇克罗地亚新闻语料,通过分五年窗口训练的skip-gram历时词嵌入量化语义变化,验证了其可捕捉重大事件相关术语的语言变迁,并发现2020年后嵌入的情感积极性上升,与同期心理健康下降的研究结论形成反差。
2025-06-16 cs.CL
Bridging Thoughts and Words: Graph-Based Intent-Semantic Joint Learning for Fake News Detection
Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences(媒体合成与取证实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
针对现有假新闻检测仅依赖语义线索易受表层模式影响、性能受限的问题,提出基于图的意图-语义联合建模方法InSide,通过异构图构建、粗细粒度意图建模及动态路径图对齐实现意图与语义融合,在四个基准数据集上性能优于前沿方法。
2025-09-01 cs.CL
One-to-X analogical reasoning on word embeddings: a case for diachronic armed conflict prediction from news texts
University of Oslo(奥斯陆大学)
我们将著名的词类比任务扩展到一对X的制定,包括一对零的情况下,没有正确的答案存在。该任务被转换为一个关系发现问题,并应用于历史的武装冲突数据集,试图预测新的关系类型的“位置:武装集团”的基础上有关过去的事件的数据。作为语义信息的来源,我们使用英语新闻文本训练的历时词嵌入模型。一个简单的技术,以提高在这样的任务的历时性能证明,使用阈值的基础上的函数的余弦距离,以减少误报的数量,这种方法被证明是有益的两个不同的语料库。最后,我们发布了一个现成的测试集,用于对历史武装冲突数据进行一对X类比评估。
2019-07-29 cs.CL
Information Extraction from Broadcast News
本文讨论了从电视和广播新闻广播中提取内容的可训练统计模型的发展。特别是,我们专注于统计有限状态模型,用于识别广播语音中的专有名称和其他命名实体。提出了两种模型:第一个将名称类信息表示为字属性;第二个显式地表示字-字和类-类转换。一个共同的n-gram为基础的配方用于这两个模型。命名实体识别的任务的特点是相对稀疏的训练数据和平滑相关的问题进行了讨论。实验报告使用DARPA/NIST Hub-4 E评估北美广播新闻。
2000-03-30 cs.CL
MuSeM: Detecting Incongruent News Headlines using Mutual Attentive Semantic Matching
University of Stavanger(斯塔万格大学);Lero, NUI Galway(爱尔兰国立高威大学莱尔软件工程研究中心);DFKI(德国人工智能研究中心);University of Zurich(苏黎世大学)
测量两个文本之间的一致性有几个有用的应用,例如检测网络上流行的欺骗性和误导性新闻标题。许多工作已经提出了基于机器学习的解决方案,例如标题和正文之间的文本相似度来检测不一致。基于文本相似度的方法由于不同的固有挑战,如新闻标题和其正文内容之间的相对长度不匹配和非重叠词汇,无法很好地执行。另一方面,最近的作品,使用标题引导的注意力来学习的标题派生的上下文表示的新闻体也会导致复杂的整体表示,由于新闻体的长度。本文提出了一种基于相互注意力的语义匹配方法,该方法利用了标题中所有词嵌入对之间的差异,在标题和合成标题之间进行语义匹配。本文还研究了我们的方法的两个变化,使用连接和点积的原始和合成标题的话的词嵌入。我们观察到,所提出的方法优于现有技术显着两个公开可用的数据集。
2020-10-07 cs.CL
Multi-document Summarization using Semantic Role Labeling and Semantic Graph for Indonesian News Article
School of Electrical Engineering and Informatics(电气工程与信息学院);Bandung Institute of Technology(万隆理工学院)
在本文中,我们提出了一个多文档摘要系统使用语义角色标注(SRL)和语义图的印尼新闻文章。为了改进现有的摘要器,我们的系统修改的摘要器,采用主语,谓语,宾语和状语(SVOA)提取谓词论元结构(PAS)提取。印度尼西亚语的SVOA提取被SRL模型取代。我们还取代了遗传算法,以确定与决策树分类器的重要PAS,因为没有遗传算法的汇总器,给更好的性能。采用决策树模型识别重要PAS。具有10个特征的决策树模型比具有4个句子特征的决策树模型具有更好的性能。实验和评估进行生成100字的摘要和200字的摘要。实验结果表明,该模型在100字摘要中的平均ROUGE-2召回率为0.313,在200字摘要中的平均ROUGE-2召回率为0.394。
2021-03-05 cs.CL
Identification of Biased Terms in News Articles by Comparison of Outlet-specific Word Embeddings
University of Konstanz(康斯坦茨大学);University of Wuppertal(伍珀塔尔大学)
倾斜的新闻报道,也被称为媒体偏见,可以严重影响新闻消费者对新闻的解读和反应。为了自动识别有偏见的语言,我们提出了一个探索性的方法,比较相关的词的上下文。我们训练了两个词嵌入模型,一个是左翼的文本,另一个是右翼的新闻媒体。我们的假设是,一个词的表示在两个词嵌入空间是更相似的非偏见的话比偏见的话。其基本思想是,不同新闻媒体中有偏见的词语的语境比无偏见的词语的语境变化更大,因为对一个词有偏见的看法取决于其语境。虽然我们没有发现统计意义接受的假设,结果表明该方法的有效性。例如,在两个词嵌入空间的线性映射之后,具有最大距离的31%的词潜在地引起偏差。为了改善结果,我们发现,数据集需要显着更大,我们得出进一步的方法作为未来的研究方向。据我们所知,本文提出了第一次深入研究的背景下,偏见的话衡量的词嵌入。
2021-12-14 cs.CL cs.IR
Better Reasoning Behind Classification Predictions with BERT for Fake News Detection
Norwegian University of Science and Technology(挪威科技大学)
随着近年来互联网上虚假新闻的不断增多,虚假新闻检测已经成为一项重要的任务。虽然已经提出了许多基于统计学习方法的分类模型,显示出良好的效果,但分类性能背后的推理可能是不够的。在自监督学习研究中,已经强调了表示(嵌入)空间的质量很重要,并直接影响下游任务的性能。在这项研究中,代表空间的质量进行了视觉分析和分析方面的线性可分性不同类的真实和假新闻数据集。为了进一步增加分类模型的可解释性,提出了类激活映射(CAM)的修改。修改后的CAM为每个单词标记提供CAM分数,其中单词标记上的CAM分数表示对该单词标记的关注程度以进行预测。最后,它表明,天真的BERT模型加上一个可学习的线性层是足够的,以实现强大的性能,同时与CAM兼容。
2022-07-23 cs.CL
Research on Multilingual News Clustering Based on Cross-Language Word Embeddings
School of Computer and Cyberspace Security, Communication University of China(中国传媒大学计算机与网络空间安全学院);University of Hong Kong(香港大学)
本文研究跨语言新闻聚类问题,提出用知识蒸馏训练中英跨语言句向量模型,并结合LDA主题分布表示新闻,同时改进Single-Pass增量聚类算法,以高效实现多语言新闻事件分类。
2023-05-30 cs.CL
No News is Good News: A Critique of the One Billion Word Benchmark
Cohere
10亿字基准是一个来自WMT 2011新闻抓取的数据集,通常用于衡量自然语言处理中的语言建模能力。我们训练模型只在按年划分的公共爬行网络上进行,并证明随着时间的推移,由于分布的变化,它们在这项任务上的表现会更差。对这一语料库的分析表明,它包含了几个有害文本的例子,以及对当前事件的过时引用。我们认为,新闻的时间性质及其随时间的分布偏移使其不适合测量语言建模能力,并讨论了潜在的影响和考虑因素的研究人员建立语言模型和评估数据集。
2021-10-25 cs.CL cs.LG
Izindaba-Tindzaba: Machine learning news categorisation for Long and Short Text for isiZulu and Siswati
University of Pretoria(比勒陀利亚大学);Open Cities Lab(开放城市实验室)
针对南非isiZulu语和Siswati语这两种低资源语言,研究构建了新闻主题分类标注数据集,通过数据增强和过采样解决数据短缺与类别不平衡问题,测试多模型与词嵌入组合,发现Word2vec训练的XGBoost、逻辑回归和LSTM表现更优。
2023-06-12 cs.CL
Diverse Word Choices, Same Reference: Annotating Lexically-Rich Cross-Document Coreference
University of Göttingen(戈丁根大学);Humboldt University(洪堡大学);University of Zurich(苏黎世大学)
本文提出修订的NewsWCL50数据集CDCR注释方案,通过处理身份和近身份关系,增强对新闻话语中词汇多样性和框架变化的分析能力。
2026-03-05 cs.CL
NPA: Neural News Recommendation with Personalized Attention
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);USTC(中国科学技术大学);Peking University(北京大学)
新闻推荐对于帮助用户发现感兴趣的新闻、缓解信息过载具有重要意义。不同的用户通常具有不同的兴趣,并且同一用户可以具有各种兴趣。因此,不同的用户可以点击关注不同方面的同一新闻文章。本文提出了一种具有个性化注意力的神经网络新闻推荐模型。我们的方法的核心是一个新闻表示模型和用户表示模型。在新闻表示模型中,我们使用CNN网络来学习基于标题的新闻文章的隐藏表示。在用户表示模型中,我们根据用户点击新闻文章的表示来学习用户的表示。由于不同的词和不同的新闻文章可能有不同的信息量代表新闻和用户,我们建议应用词和新闻级别的注意力机制,以帮助我们的模型参加重要的词和新闻文章。此外,同一篇新闻文章和同一个词对于不同的用户可能有不同的信息量。因此,我们提出了一个个性化的注意力网络,利用嵌入的用户ID生成查询向量的单词和新闻级的注意力。在MSN新闻的真实新闻推荐数据集上进行了大量的实验,实验结果验证了本文方法在新闻推荐上的有效性。
2019-07-12 cs.CL cs.IR
Affect Enriched Word Embeddings for News Information Retrieval
Adobe(奥多比)
词的分布式表示已被证明是有用的,以提高效率的IR系统在许多子任务,如查询扩展,检索和排名。像word 2 vec、GloVe等算法也是不同NLP任务中许多改进的关键因素。这种嵌入模型的一个常见问题是,像快乐和悲伤这样的词出现在类似的上下文中,因此在嵌入空间中被错误地聚集在一起。在本文中,我们利用Aff 2 Vec,一组词嵌入模型,其中包括影响信息,以更好地捕捉新闻文本中的影响方面,以实现更好的结果在信息检索任务,也这样的嵌入是由同义词/反义词的问题较少击中。我们评估其有效性的两个IR相关的任务(查询扩展和排名)在纽约时报数据集(TREC-core '17)比较他们对其他词嵌入为基础的模型和经典的排名模型。
2019-09-04 cs.CL cs.IR
Measuring Economic Policy Uncertainty Using an Unsupervised Word Embedding-based Method
Yazd University(亚兹德大学)
经济政策不确定性(EPU)是经济研究中的一个重要指标,它可以用来预测经济衰退。在更高的不确定性下,企业所有者削减了投资,这导致了更长的衰退后复苏。EPU指数是通过统计包含与政策制定和经济相关的预定义关键词并传达不确定性的新闻文章来计算的。不幸的是,这种方法对原始关键字集,其丰富性和新闻报道敏感。因此,在不同国家复制其结果具有挑战性。在本文中,我们提出了一种无监督的文本挖掘方法,使用词嵌入表示空间来选择相关的关键字。该方法对应用于词嵌入向量的语义相似度阈值不严格敏感,并且不需要预定义的字典。我们的实验使用了大量的波斯语新闻库表明,EPU系列计算所提出的方法精确地遵循影响伊朗经济的重大事件,并与伊朗的世界不确定性指数(WUI)兼容。
2021-05-10 cs.CL
Framing by Wording, Framing by Selection: A Large-Scale Two-Dimensional Audit of French News Headlines, 2022-2025
Le French News Lab(法国新闻实验室)
针对2022-2025年法国新闻标题,提出二维框架分离措辞与选择框架,基于10,000条监督集和25家媒体90万+标题,发现显著性估计偏差并揭示群体显著性不平等,为最大规模法语标题审计。
2026-09-25 cs.CL
Leverage Financial News to Predict Stock Price Movements Using Word Embeddings and Deep Neural Networks
York University(约克大学)
财经新闻包含了关于上市公司和市场的有用信息。在本文中,我们应用流行的词嵌入方法和深度神经网络来利用金融新闻预测市场上的股票价格走势。实验结果表明,我们提出的方法是简单的,但非常有效,它可以显着提高股票预测精度的标准金融数据库上的基线系统,仅使用历史价格信息。
2015-06-24 cs.AI cs.CE cs.CL
Visualizing Trends of Key Roles in News Articles
University of California Los Angeles(加州大学洛杉矶分校);Taboola
每天都有大量的新闻报道,反映了人们、组织和政党等关键角色的活动。分析这些关键角色可以让我们了解新闻的趋势。本文提出了一个基于自然语言处理技术的可视化新闻文章中关键角色趋势的演示系统。具体而言,我们应用语义角色标签和动态词嵌入技术,以了解在不同的时间段的新闻中的关键角色之间的关系,并可视化的关键角色和新闻话题的变化趋势随着时间的推移。
2019-09-12 cs.CL
A Finnish News Corpus for Named Entity Recognition
我们提出了一个语料库的芬兰新闻文章与手动准备命名实体注释。该语料库由953篇文章(193,742个单词标记)组成,具有六个命名实体类(组织,位置,人员,产品,事件和日期)。这些文章摘自芬兰在线科技新闻来源Digitoday的档案。语料库可用于研究目的。我们提出了基线实验的语料库使用基于规则的和两个深度学习系统的两个,域内和域外,测试集。
2019-08-12 cs.CL
An Interdisciplinary Approach for the Automated Detection and Visualization of Media Bias in News Articles
University of Wuppertal(伍珀塔尔大学)
媒体报道对公众对事件的看法有重大影响。然而,媒体往往有偏见。使新闻文章产生偏见的一种方法是改变用词。通过词语选择自动识别偏见是具有挑战性的,主要是由于缺乏黄金标准数据集和高度的上下文依赖性。在这个研究项目中,我的目标是设计数据集和方法来识别媒体偏见。为了实现这一目标,我计划研究使用自然语言处理和深度学习的方法,同时使用心理学和语言学的模型和分析概念。第一批结果表明了跨学科研究方法的有效性。我的愿景是设计一个系统,帮助新闻读者意识到偏见造成的媒体报道差异。到目前为止,我最好的基于BERT的模型是在由远距离标签组成的更大语料库上进行预训练的,这表明远距离监督有可能成为偏见检测这一困难任务的解决方案。
2021-12-26 cs.CL
Sentimental Content Analysis and Knowledge Extraction from News Articles
Ferdowsi University of Mashhad(马什哈德菲尔多西大学)
在网络时代,由于技术的进步,人类的生活发生了革命性的变化,每天都有大量的数据和信息发布在互联网上。例如,新闻机构在世界各地的网站上发布新闻。这些原始数据可能是知识提取的重要资源。这些共享数据包含情感(即,积极的、中性的或消极的);因此,情感内容提取在许多方面可以是有益的任务。提取新闻的情感说明了在一段时间内关于事件的非常有价值的信息,媒体或新闻机构对这些事件的观点。在本文中,试图提出一种方法,新闻分析,并从中提取有用的知识。首先,我们尝试提取新闻文档的噪声鲁棒情感;因此,下载与六个国家相关的新闻:美国,英国,德国,加拿大,法国和澳大利亚,5个不同的新闻类别:政治,体育,商业,娱乐和技术。本文在提取新闻文本中的情感内容的基础上,对不同国家在每5个新闻主题中的情况进行了比较。此外,我们提出了一种方法,以减少庞大的新闻数据,提取最热门的话题和新闻标题作为知识。最后,我们生成一个词模型,通过Word 2 Vec将每个词映射到一个固定大小的向量,以了解我们收集的新闻数据库中的词之间的关系。
2018-08-09 cs.CL cs.IR
Word Embeddings for the Construction Domain
École Polytechnique(巴黎综合理工学院);CU Boulder(科罗拉多大学博尔德分校)
我们为构造域引入词向量。我们的向量是通过在一个1100万字的语料库上运行word2vec获得的,这个语料库是我们通过利用免费访问的在线构建相关文本资源从头开始创建的。我们首先探索嵌入空间,并表明我们的向量捕获有意义的特定于构造的概念。然后,我们评估了我们的向量的性能对100 B字语料库(谷歌新闻)的伤害报告分类任务的框架内训练的。在没有任何参数调整的情况下,我们的嵌入给出了有竞争力的结果,并且在许多情况下优于Google News向量。使用基于关键字的报告压缩还可以显著提高速度,而性能损失有限。我们公开发布我们的语料库和我们为分类任务创建的数据集,希望它们将被未来的研究用于基准测试和建立我们的工作。
2016-10-28 cs.CL
A Machine Learning Analysis of the Features in Deceptive and Credible News
Simon Fraser University(西蒙弗雷泽大学)
假新闻是一种无处不在的宣传,在网上传播错误信息,利用社交媒体的广泛影响力来操纵公众的看法。在过去的三年里,假新闻因其对2016年美国总统大选的影响而成为媒体的焦点讨论点。假新闻可能会对现实世界产生严重的影响:2016年,一名男子手持步枪走进一家比萨店,因为他读到希拉里克林顿窝藏儿童作为性奴隶。该项目提出了一个高准确度(87%)的机器学习分类器,该分类器基于文章前几句中的单词分布和特定语言和风格差异来确定新闻的有效性。这可以帮助读者通过寻找开场白中的具体特征来识别文章的有效性,从而帮助他们做出明智的决定。该项目使用来自30个不同网站的2,107篇文章的数据集,通过检查模型,数据集和特征,建立了对虚假和可信新闻之间差异的理解。这个分类器似乎利用了词的分布,语气真实性的水平,以及副词,形容词和名词的频率的差异。这些文章特征的差异可以用来改进未来的分类器。该分类器还可以作为Google Chrome扩展程序直接应用于浏览器,或者作为社交媒体或新闻网站的过滤器,以减少错误信息的传播。
2019-10-05 cs.CL
KaWAT: A Word Analogy Task Dataset for Indonesian
Kata Research Team(卡塔研究团队)
我们介绍了KaWAT(Kata Word Analogy Task),一个新的印度尼西亚语单词类比任务数据集。我们评估了几个现有的预训练的印尼语词嵌入和印尼语在线新闻语料库上训练的嵌入。我们还在两个下游任务上测试了它们,发现预训练的词嵌入通过减少训练时间或产生显着的性能增益来帮助。
2019-06-17 cs.CL
Newsroom: A Dataset of 1.3 Million Summaries with Diverse Extractive Strategies
Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院)
我们介绍了NEWSROOM,这是一个由38家主要新闻出版物的编辑室的作者和编辑撰写的130万篇文章和摘要的摘要数据集。从1998年至2017年的搜索和社交媒体元数据中提取,这些高质量的摘要展示了摘要风格的高度多样性。特别是,摘要结合了抽象和提取策略,以不同的速度从文章中借用单词和短语。我们分析了NEWSROOM摘要中使用的提取策略,以量化新数据的多样性和难度,并对数据进行训练,以评估其实用性和挑战性。
2020-05-17 cs.CL
AraWEAT: Multidimensional Analysis of Biases in Arabic Word Embeddings
Data and Web Science Research Group(数据与网络科学研究组);University of Mannheim(曼海姆大学)
最近的研究表明,分布式词向量空间经常编码人类偏见,如性别歧视或种族主义。在这项工作中,我们进行了广泛的分析,在阿拉伯语词嵌入的偏见,通过应用一系列最近推出的偏见测试各种嵌入空间在阿拉伯语中的语料库。我们在几个维度上衡量偏见的存在,即:嵌入模型(Skip-Gram,CBOW和FastText)和向量大小,文本类型(百科文本,新闻与用户生成的内容),方言(埃及阿拉伯语与现代标准阿拉伯语)和时间(对不同时期语料库的历时分析)。我们的分析产生了一些有趣的发现,例如,在阿拉伯语新闻语料库上训练的嵌入中的隐性性别偏见随着时间的推移(2007年至2017年)稳步增加。我们公开提供阿拉伯语偏差规范(AraWEAT)。
2020-11-03 cs.CL
No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media
Leibniz University Hannover(汉诺威莱布尼茨大学);Universität Hamburg(汉堡大学)
新闻文章塑造并反映了整个政治领域的公众舆论。因此,分析它们的社会偏见可以提供有价值的见解,例如社会和媒体中普遍存在的刻板印象,这些刻板印象通常被在相应数据上训练的NLP模型所采用。最近的工作依赖于词嵌入偏差的措施,如WEAT。然而,嵌入的几个表示问题可能会损害测量的准确性,包括低资源设置和令牌频率差异。在这项工作中,我们研究了什么样的嵌入算法最适合准确地测量已知存在于美国在线新闻文章中的社会偏见类型。为了涵盖美国政治偏见的整个范围,我们收集了50万篇文章,并回顾了心理学文献中关于预期社会偏见的内容。然后,我们使用WEAT以及嵌入算法来量化社会偏见,这些算法可以解释上述问题。我们比较了用新闻文章的算法训练的模型如何代表预期的社会偏见。我们的研究结果表明,量化偏见的标准方法与心理学知识并不一致。虽然所提出的算法减少~差距,他们仍然不完全匹配的文献。
2022-11-07 cs.CL
Exploiting Transformer-based Multitask Learning for the Detection of Media Bias in News Articles
University of Wuppertal(伍珀塔尔大学);University of Konstanz(康斯坦茨大学);University of Passau(帕绍大学);Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研发研究院);University of Kassel(卡塞尔大学);NII Tokyo(东京国立信息学研究所)
媒体对公众对事件的看法有重大影响。对任何话题的片面或两极分化的观点通常被描述为媒体偏见。在新闻报道中引入偏见的方法之一就是改变用词。有偏见的词语选择并不总是显而易见的,也不表现出高度的上下文依赖性。因此,检测偏差往往是困难的。我们提出了一个基于transformer的深度学习架构,通过多任务学习训练,使用六个偏见相关的数据集来解决媒体偏见检测问题。我们的最佳性能实现达到了0.776的宏$F_{1}$,与我们的基线相比,性能提高了3%,优于现有的方法。我们的研究结果表明,多任务学习作为一个有前途的替代方案,以改善现有的基线模型,在确定倾斜的报告。
2022-11-07 cs.CL
Written and spoken corpus of real and fake social media postings about COVID-19
本研究构建了COVID-19相关的真实与虚假社交媒体发帖的书面及口语语料库,利用LIWC软件分析发现两类新闻在书面和语音数据中均存在可区分的语言特征,为研究语言与假新闻传播的关系提供参考。
2023-10-06 cs.CL
Analyzing the Generalizability of Deep Contextualized Language Representations For Text Classification
Boğaziçi University(海峡大学);Institute for Graduate Studies in Science and Engineering(科学与工程研究生院)
本研究评估了两种最先进的深度上下文语言表示,ELMo和DistilBERT,对二进制抗议新闻分类的监督学习和产品评论的情感分析的鲁棒性。使用与训练数据不同的测试集来启用“交叉上下文”设置。具体而言,在新闻分类任务中,模型是从印度本地新闻和测试从中国本地新闻。在情感分析任务中,模型在电影评论上进行训练,并在客户评论上进行测试。这种比较旨在探索当今自然语言处理系统在通往可推广到现实生活场景的系统的道路上的代表性能力的限制。这些模型被微调,并送入前馈神经网络和双向长短期记忆网络。多项朴素贝叶斯和线性支持向量机被用作传统的基线。结果表明,在二进制文本分类,DistilBERT是显着优于ELMo推广到跨上下文设置。观察到ELMo对交叉上下文测试数据的稳健性显著高于两个基线。另一方面,当训练数据和测试数据是同一语料库的子集(没有交叉上下文)时,基线表现得比ELMo好。DistilBERT比ELMo小30%,快83%。结果表明,DistilBERT可以更好地传递一般语义知识到其他领域比ELMo。DistilBERT也有利于融入现实生活中的系统,因为它需要较小的计算训练预算。当泛化不是最大的偏好并且测试域与训练域相似时,传统的ML算法仍然可以被认为是深度语言表示的更经济的替代方案。
2023-03-22 cs.CL
Exploiting Transliterated Words for Finding Similarity in Inter-Language News Articles using Machine Learning
Bahria University(巴赫里亚大学)
本文针对跨语言新闻相似性发现难题,提出结合英语-乌尔都语单词转写与词典的机器学习模型,以解决低资源语言场景下英语与乌尔都语新闻文章的相似性判断问题。
2022-05-29 cs.AI cs.CL cs.LG
Prosody-Based Automatic Segmentation of Speech into Sentences and Topics
在处理语音音频数据以进行信息抽取、主题检测或浏览/回放的过程中,关键的一步是将输入分割成句子和主题单元。语音分割是具有挑战性的,因为通常用于分割文本(标题、段落、标点符号)的线索在口语中不存在。我们调查使用韵律(信息收集的时间和旋律的讲话)为这些任务。使用决策树和隐马尔可夫模型技术,我们结合韵律线索与基于词的方法,并评估两个语音语料库,广播新闻和总机的性能。结果表明,单独的韵律模型的表现与基于单词的统计语言模型相当,甚至更好-无论是真实的和自动识别的话在新闻讲话。韵律模型实现了相当的性能与显着更少的训练数据,不需要手工标记的韵律事件。在任务和语料库中,我们获得了显着的改善,只有单词模型使用的韵律和词汇信息的概率组合。检查发现,韵律模型捕获的语言独立的边界指标中描述的文献。最后,线索使用是任务和语料库依赖。例如,停顿和音高特征对于分割新闻语音是高度信息化的,而停顿、持续时间和基于单词的线索对于自然对话占主导地位。
2000-06-27 cs.CL
Code Book for the Annotation of Diverse Cross-Document Coreference of Entities in News Articles
本文提出一种跨新闻文章的实体共指标注方案,涵盖同一性、近同一性和桥接关系,并链接至Wikidata知识图谱,为通过用词选择分析媒体偏见提供创建多样跨文档共指语料库的方法论。
2023-10-18 cs.CL
Headline Diagnosis: Manipulation of Content Farm Headlines
随着技术的快速发展,新闻通过社交媒体传播。为了吸引更多的读者和获取额外的利润,一些通讯社以更有吸引力的方式复制大量的新闻。因此,准确预测一篇新闻文章是否来自官方新闻机构至关重要。本文提出了一种基于卷积神经网络的新闻标题分类方法,以确定新闻文章的可信度。该模型主要侧重于研究标题中的关键因素。这些因素包括分词、词性标记和情感特征。将这些特征集成到所提出的分类模型中,所展示的评估准确率达到93.99%。
2022-04-25 cs.CL
News is More than a Collection of Facts: Moral Frame Preserving News Summarization
Department of Intelligent Systems, Delft University of Technology(代尔夫特理工大学智能系统系);ADAPT Research Centre, Dublin City University(都柏林城市大学ADAPT研究中心)
本文首次研究AI新闻摘要中道德框架的保留问题,提出保留记者有意使用的道德负载词汇的方法,并通过自动化、众包和专家评估验证其有效性。
2025-08-27 cs.CL
Realised Volatility Forecasting: Machine Learning via Financial Word Embedding
Alliance Manchester Business School at the University of Manchester(曼彻斯特大学阿利安斯商业学校);Department of Engineering Science, University of Oxford(牛津大学工程科学系);Alliance Manchester Business School, University of Manchester(曼彻斯特大学阿利安斯商业学校)
本文研究新闻如何提升现实波动率预测,通过现代且操作简单的NLP框架,发现新闻内容在高波动日具有更强预测作用,结合领先指标可提升统计性能和经济收益。
2026-08-31 cs.CL cs.LG q-fin.CP
Generating News-Centric Crossword Puzzles As A Constraint Satisfaction and Optimization Problem
Nikkei Inc.(日经公司)
本文提出将新闻主题填字游戏自动生成建模为约束满足与优化问题,以尽可能多地纳入新闻词汇,并通过实验验证其可行性及教育应用价值。
2023-08-09 cs.CL cs.DS
Using Word Embeddings to Examine Gender Bias in Dutch Newspapers, 1950-1990
DHLab KNAW Humanities Cluster(荷兰皇家艺术与科学学院人文集群数字实验室)
当代关于公共和社交媒体中的过滤泡沫和两极分化的辩论提出了一个问题,即过去的新闻媒体在多大程度上表现出偏见。本文专门探讨偏见有关的性别在1950年和1990年之间的六个荷兰全国性报纸。我们通过比较在具有不同意识形态背景的报纸上训练的词嵌入模型的局部变化来衡量与性别相关的偏见。我们展示了性别偏见的明显差异,以及随着时间的推移报纸内部和之间的变化。在性和休闲等主题方面,我们看到偏向女性的倾向,而一般来说,偏向男性的倾向,尽管女性就业人数和女权主义运动不断增加。尽管荷兰社会在意识形态上变得不那么分层(去支柱化),但我们发现宗教和社会民主派与自由派报纸之间的性别偏见越来越大。在方法论上,本文阐述了如何利用词嵌入来考察历史语言变化。未来的工作将研究如何微调深度上下文嵌入模型,如ELMO,可能用于具有更多上下文信息的类似任务。
2019-07-21 cs.CL cs.CY cs.LG
Fine-grained Narrative Classification in Biased News Articles
Indraprastha Institute of Information Technology Delhi(印度普拉斯塔理工大学德里);Bharat Electronics Limited(巴哈特电子有限公司)
本文提出INDI-PROP数据集和FANTA/TPTC框架,用于细粒度偏见新闻文章中的叙事分类和说服技巧识别。
2025-12-03 cs.AI cs.CL
Approach to Predicting News -- A Precise Multi-LSTM Network With BERT
National Sun Yat-sen University(国立中山大学);The University of London(伦敦大学);Academia Sinica(中央研究院)
民主的多样性(V-Dem)是一种概念化和衡量民主和政治的新方法。它拥有200个国家的信息,是最大的政治学数据库之一。根据V-Dem 2019年度民主报告,台湾是外国政府传播虚假信息最多的两个国家之一。这也说明,“假新闻”在台湾社会造成了很大的混乱,对全球稳定造成了严重影响。虽然有几个应用程序可以帮助区分虚假信息,但我们发现,对新闻进行分类的预处理仍然是由人工完成的。但是,人力劳动可能会产生错误,不能长期工作。近几十年来,对自动化机器的需求不断增长,这表明虽然机器可以做得和人类一样好,甚至更好,但使用机器可以减轻人类的负担,降低成本。因此,在这项工作中,我们建立了一个预测模型来分类的新闻类别。我们使用的语料库包含28358条新闻和200条从在线报纸Liberty Times Net(LTN)网站上抓取的新闻,包括8个类别:技术,娱乐,时尚,政治,体育,国际,金融和健康。首先,我们使用双向编码器表示从Transformers(BERT)的词嵌入转换成(1,768)向量的每个汉字。然后,我们使用一个长短期记忆(LSTM)层将词嵌入转换为句子嵌入,并添加另一个LSTM层将它们转换为文档嵌入。每个文档嵌入都是最终预测模型的输入,该模型包含两个密集层和一个激活层。每个文档嵌入被转换为一个8个实数的向量,然后最高的一个将对应于8个新闻类别,准确率高达99%。
2022-04-26 cs.CL
A Simple Disaster-Related Knowledge Base for Intelligent Agents
National University(国立大学)
在本文中,我们描述了我们的努力,建立一个简单的知识库,通过建立一个语义网络组成的概念和词的关系在菲律宾的灾害。我们的主要数据来源是从各种菲律宾新闻网站上收集的新闻文章。使用词嵌入,我们从初始种子词列表中提取语义相似和共现的词。我们到达一个扩展的本体,共有450个字的断言。我们让来自语言学、灾害和天气科学领域的专家评估我们的知识库,并得出了64%的同意率。然后,我们执行基于时间的分析的断言,以确定重要的语义变化所捕获的知识库,如(a)人类实体所扮演的角色的趋势,(b)人类实体的成员资格,(c)灾害相关的词的共同关联。从这项研究中开发的特定于上下文的知识库可以通过智能代理进行调整,例如集成在Facebook Messenger等平台中的聊天机器人,用于回答与灾害相关的查询。
2021-01-25 cs.CL
Personalized Prediction of Offensive News Comments by Considering the Characteristics of Commenters
Kyushu University(九州大学)
当阅读社交网络服务和新闻网站上的新闻文章时,读者可以查看其他人对这些文章的评论。通过阅读这些评论,读者可以了解有关新闻的舆论,往往有助于把握新闻的全貌。然而,这些评论通常包含读者不喜欢阅读的攻击性语言。本研究旨在预测此类攻击性评论,以提高读者在阅读评论时的体验质量。该方法考虑到读者价值观的多样性,根据读者过去评价为“攻击性”的少量新闻评论的反馈,预测每个读者的攻击性新闻评论。此外,我们使用了一个机器学习模型,该模型考虑评论者的特征来进行预测,独立于新闻评论中的单词和主题。实验结果表明,该方法可以个性化预测,即使在预测中使用的读者的反馈数据量是有限的。特别是,所提出的方法,它考虑了评论者的特点,具有较低的错误检测攻击性评论的概率。
2022-12-26 cs.CL
Stock Prediction: a method based on extraction of news features and recurrent neural networks
Peking University(北京大学)
提出了一种股票预测方法。在特征提取方面,我们提取了股票相关新闻的除股价外的特征。我们首先根据经验选取了一些种子词,它们分别代表好消息和坏消息。然后我们提出了一种优化方法,并计算所有的词的正极。在此基础上,我们根据新闻话语的积极极性来构建新闻的特征。考虑到连续性新闻效应和连续性股票价格,我们提出了一个递归神经网络模型来帮助预测股票价格。实验结果表明,与基于价格特征的SVM分类器相比,该方法在股票预测准确率上提高了5%以上。
2017-07-19 cs.CL cs.IR cs.LG
1.5 billion words Arabic Corpus
Umm Al-Qura University(乌姆·库拉大学);Minia University(明亚大学)
本研究是建立现代阿拉伯语语料库的一次尝试。该语料库制作完成后,是一个包含500多万篇报刊文章的文本语料库。它总共包含超过15亿个单词,其中大约有300万个独特的单词。这些数据是从八个阿拉伯国家的十个主要新闻来源的报纸文章中收集的,为期十四年。语料库使用两种类型的编码进行编码,即:UTF-8和Windows CP-1256。它还使用两种标记语言进行标记,即:SGML和XML。
2016-11-12 cs.CL cs.DL cs.IR
Transform and Tell: Entity-Aware News Image Captioning
Australian National University(澳大利亚国立大学)
我们提出了一个端到端的模型,生成标题嵌入在新闻文章中的图像。新闻图像面临两个关键挑战:它们依赖于现实世界的知识,特别是关于命名实体的知识;它们通常具有语言丰富的标题,其中包括不常见的单词。我们通过多模态、多头注意力机制,将字幕中的单词与图像中的人脸和物体相关联,来解决第一个挑战。我们用最先进的Transformer语言模型来解决第二个挑战,该模型使用字节对编码来生成标题作为单词部分的序列。在GoodNews数据集上,我们的模型在CIDER评分(13至54)方面优于之前的最新技术水平4倍。这种性能提升来自于语言模型、单词表示、图像嵌入、人脸嵌入、对象嵌入以及神经网络设计改进的独特组合。我们还介绍了NYTimes 800 k数据集,它比GoodNews大70%,具有更高的文章质量,并包括文章中图像的位置作为额外的上下文线索。
2020-06-13 cs.CL cs.CV
Unsupervised Stemming based Language Model for Telugu Broadcast News Transcription
Osmania University(奥斯曼尼亚大学)
在印度语言中,母语者能够理解通过组合或修改具有时态和/或性别的词根而形成的新词。由于数据不足,自动语音识别系统(ASR)可能无法容纳语言模型中的所有单词,无论文本语料库的大小如何。如果数据量由于词根的形态变化而呈指数级增加,则计算也变得具有挑战性。本文在印地语无监督方法的基础上,提出了一种新的无监督方法来生成语言模型中的词汇外(OOV)词。通过使用平滑和插值的预处理数据与监督和无监督的词干,不同的问题在语言模型印度语:泰卢固语的技术已经解决。我们观察到,平滑技术Witten-Bell和Kneser-Ney相比,其他技术的预处理数据从监督学习。有监督和无监督词干提取分别提高了ASRs的准确率0.76%和0.94%。
2019-08-10 cs.CL eess.AS
Detecting Fake News with Capsule Neural Networks
Amirkabir University of Technology(阿米尔卡比尔理工大学)
近年来,社交媒体上的假新闻急剧增加。这促使人们需要有效的假新闻检测算法。胶囊神经网络在计算机视觉中已经取得了成功,并正在受到关注,用于自然语言处理(NLP)。本文旨在将胶囊神经网络用于虚假新闻的检测任务。对于不同长度的新闻,我们使用不同的嵌入模型。静态词嵌入用于短新闻项,而允许在训练阶段中增量式向上训练和更新的非静态词嵌入用于中等长度或大新闻语句。此外,我们应用不同级别的n-gram的特征提取。我们提出的架构进行了评估,最近在该领域的两个著名的数据集,即ISOT和LIAR。结果显示出令人鼓舞的性能,在ISOT上超过最先进的方法7.8%,在验证集上超过3.1%,在LIAR数据集的测试集上超过1%。
2020-02-03 cs.CL cs.CY