Deep Ordinal Regression for Pledge Specificity Prediction
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学)
许多承诺是在竞选过程中作出的,构成了对竞选战略和政府问责制进行政治分析的重要语料库。目前,还没有公开的认捐附加说明的数据集,大多数政治分析依靠人工分析。在本文中,我们整理了一个来自11个澳大利亚联邦选举周期的新的宣言数据集,其中有超过12,000个句子带有特殊性(例如,修辞与详细的承诺)在细粒度的规模。我们提出了深度有序回归方法的特异性预测,在监督和半监督的设置,并提供实证结果表明,所提出的技术的有效性超过几个基线方法。我们分析了在执行意识形态预测的一系列政策问题上的承诺特异性建模的实用性,并进一步提供了定性分析,以捕获跨选举周期的特定政党问题的显着性。
2019-08-31 cs.CL
Towards Automated Factchecking: Developing an Annotation Schema and Benchmark for Consistent Automated Claim Detection
Full Fact;University of Warwick(华威大学);Queen Mary University of London(伦敦玛丽女王大学)
为了在事实核查过程中帮助事实核查人员,我们解决了索赔检测任务,这是确定索赔真实性之前的必要阶段之一。它包括从一个长文本中识别出一组被认为能够进行事实核查的句子。这篇论文是一个独立的事实核查慈善机构Full Fact和学术合作伙伴之间的合作作品。利用专业事实检查员的专业知识,我们开发了一个注释模式和一个自动化索赔检测的基准,它在时间、主题和注释者之间比以前的方法更加一致。我们的注释模式已被用于众包注释的数据集与英国政治电视节目的句子。我们引入了一种基于通用句子表示的方法来执行分类,实现了0.83的F1得分,与最先进的方法ClaimBuster和ClaimRank相比,相对提高了5%以上。该系统已投入生产,并收到了积极的用户反馈。
2020-08-17 cs.CL
A Context-Aware Approach for Detecting Check-Worthy Claims in Political Debates
Sofia University “St. Kliment Ohridski”(索非亚大学“圣克里门特·奥赫里德斯基”);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
在调查性新闻的背景下,我们解决的问题,自动识别在给定的文件中的索赔是最有价值的,应该优先进行事实核查。尽管它的重要性,这是一个相对研究不足的问题。因此,我们创建了一个新的政治辩论数据集,其中包含已经由九个有信誉的来源进行事实检查的声明,我们训练机器学习模型来预测哪些主张应该优先进行事实检查,即,我们将该问题建模为排序任务。与以前的工作,主要是孤立地看句子,在本文中,我们专注于一个丰富的输入表示建模的背景下:目标语句和更大的辩论背景之间的关系,对手之间的互动,由主持人和公众的反应。我们的实验显示了最先进的结果,在一定程度上超过了强大的竞争系统,同时也证实了上下文信息的重要性。
2019-12-14 cs.CL cs.IR cs.LG
Multi-Hop Fact Checking of Political Claims
University of Copenhagen(哥本哈根大学)
最近的工作提出了多跳模型和数据集,用于研究复杂的自然语言推理。需要多跳推理的一个值得注意的任务是事实检查,其中一组连接的证据片段导致索赔的最终判决。然而,现有的数据集要么不为黄金证据页提供注释,要么唯一的数据集(FEVER)主要由可以通过简单推理进行事实检查的声明组成,并且是人工构建的。在这里,我们研究了更复杂的索赔验证自然发生的索赔与多跳互连的证据块。我方:1)构建一个小型的注释数据集PolitiHop,用于验证声明的证据语句; 2)将其与现有的多跳数据集进行比较; 3)研究如何将知识从更广泛的域内和域外资源转移到PolitiHop。我们发现,该任务是复杂的,并实现了最佳性能的架构,具体模型推理的证据块结合域内迁移学习。
2021-06-01 cs.AI cs.CL cs.LG
Cross-context News Corpus for Protest Events related Knowledge Base Construction
我们描述了一个黄金标准语料库的抗议事件,包括来自不同国家的英语各种本地和国际来源。语料库包含文档、句子和标记级别的注释。该语料库有助于创建机器学习模型,自动分类新闻文章和提取抗议事件相关信息,构建知识库,使比较社会和政治科学研究。对于每个新闻源,注释从新闻文章的随机样本开始,并继续使用主动学习绘制的样本。每批样本都由两名社会和政治科学家进行注释,由注释监督员进行裁决,并通过半自动识别注释错误进行改进。我们发现,语料库的品种和质量的发展和基准文本分类和事件提取系统在跨上下文设置,这有助于自动化文本处理系统的泛化性和鲁棒性。这个语料库和报告的结果将设置目前缺乏自动抗议事件收集研究的共同点。
2020-08-01 cs.CL
L(u)PIN: LLM-based Political Ideology Nowcasting
Department of Linguistics, University of British Columbia(不列颠哥伦比亚大学语言学系);Department of Political Science, University of Toronto Scarborough(多伦多大学斯卡伯勒分校政治学系);Vector Institute, Department of Computer Science, University of Toronto(向量研究所、多伦多大学计算机科学系)
针对过往定量政治分析数据有限、多聚焦宏观层面的问题,提出L(u)PIN方法,结合微调BERT分类器与GPT-4生成的参考种子,实现个体议会代表在自选议题上的意识形态立场灵活评估。
2024-05-12 cs.CL
"You are no Jack Kennedy": On Media Selection of Highlights from Presidential Debates
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Washington(华盛顿大学)
政治演讲和辩论在塑造政治家形象方面发挥着重要作用,公众往往依赖媒体从大量言论中选择政治传播。这是一个重要的研究问题,以了解哪些因素影响这一选择过程。为了定量地探索选择过程,我们建立了一个三十年的总统辩论记录和辩论后报道的数据集。我们首先研究措辞的影响,并提出了一个二元分类框架,控制扬声器和辩论的情况。我们发现,众包工作者在这项任务中只能达到60%的准确率,这表明媒体选择并不完全明显。我们的分类器平均表现优于众包工作者,主要是在初选辩论中。我们还比较了众包工作者的自由形式解释与数据驱动方法的重要因素,并发现了有趣的差异。很少有群众工作者提到“语境很重要”,而我们的数据显示,引用得好的句子比引用得少的句子与同一说话者之前的话语更不同。最后,我们研究了媒体偏好对不同措辞的综合影响,以了解媒体之间的碎片化程度。通过分析从我们的数据中引用行为构建的二分图,我们观察到两党报道的下降趋势。
2018-02-23 cs.CL cs.SI physics.soc-ph
The ParlaSent-BCS dataset of sentiment-annotated parliamentary debates from Bosnia-Herzegovina, Croatia, and Serbia
University of Luxembourg(卢森堡大学);University of Ljubljana(卢布尔雅那大学)
议会辩论中的情绪表达被认为与社交媒体或产品评论中的情绪表达有很大不同。本文增加了一个新兴的机构的研究议会辩论的句子注释检测政治话语中的情感极性的数据集。我们从三个东南欧议会的会议记录中抽取句子进行注释:克罗地亚,波斯尼亚-黑塞哥维那和塞尔维亚。六个级别的模式被应用到数据与训练的分类模型,在议会程序中的情绪检测的目的。Krippendorff的alpha测量注释者之间的一致性,范围从六层注释模式的0.6到三层模式的0.75和两层模式的0.83。我们在数据集上的初步实验表明,Transformer模型的性能明显优于使用简单架构的模型。此外,尽管三种语言的相似性,我们观察到不同语言的性能差异。执行特定的训练和评估表明,议会之间的不同性能的主要原因似乎是不同的自动分类任务的复杂性,这是不可观察的注释性能。语言距离似乎并没有发挥任何作用,无论是在注释器,也在自动分类性能。我们在许可证下发布数据集和性能最佳的模型。
2022-06-02 cs.CL
Text Classification of Manifestos and COVID-19 Press Briefings using BERT and Convolutional Neural Networks
ESRC Business and Local Government Data Research Centre(ESRC商业与地方政府数据研究中心)
我们使用来自Manifestion Project的现有人类专家注释的政治宣言语料库构建了一个政治级政治话语分类器(Rehens等人,2020 a)并将其应用于COVID-19新闻简报(Chatsiou,2020)的语料库。我们使用手动标注的政治宣言作为训练数据来训练局部主题卷积神经网络(CNN)分类器;然后将其应用于COVID-19新闻简报语料库,以自动分类测试语料库中的句子。我们报告了一系列实验,其中CNN在预先训练的嵌入基础上进行训练,用于执行文档级分类任务。我们表明,CNN与像BERT这样的Transformers相结合的性能优于CNN与其他嵌入(Word 2 Vec,Glove,ELMo)相结合的性能,并且可以使用预先训练的分类器对不同的政治文本进行自动分类,而无需额外的训练。
2020-11-02 cs.CL cs.LG
Modeling Political Discourse with Sentence-BERT and BERTopic
Department of Computer Science, Faculty of Sciences, University of Porto, Portugal(计算机科学系,科学学院,波尔图大学,葡萄牙)
本研究结合BERTopic与道德基础理论,提出主题演化框架,分析美国国会Twitter政治话语,发现细粒度主题短暂、道德基础影响持久性,贡献于计算政治话语分析。
2025-10-27 cs.CL cs.CY cs.SI
Discourse Structures Guided Fine-grained Propaganda Identification
Texas A&M University(德克萨斯A&M大学)
本文提出利用局部和全局语篇结构辅助细粒度宣传识别,通过两个教师模型分别建模句子间语篇关系和句子语篇角色,并以特征融合或知识蒸馏方式融入,在基准数据集上显著提升了宣传内容识别的精确率和召回率。
2023-10-28 cs.CL
Assessing the Political Fairness of Multilingual LLMs: A Case Study based on a 21-way Multiparallel EuroParl Dataset
本研究通过21种语言的EuroParl数据集评估多语言大语言模型的政治公平性,发现多数政党翻译质量优于边缘政党。
2026-03-11 cs.CL
Non-Parallel Text Style Transfer with Self-Parallel Supervision
Dartmouth College(达特茅斯学院);Northwestern University(西北大学);University of Texas, Austin(德克萨斯大学奥斯汀分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
现有的文本风格转换模型的性能受到训练模型的非并行数据集的严重限制。在非平行数据集中,源语言和目标语言风格的句子之间不存在直接映射,因此风格迁移模型在训练过程中只接受目标语言的弱监督,这往往导致模型丢弃太多与风格无关的信息,或者完全无法迁移风格。在这项工作中,我们提出了LaMer,一个新的文本风格转换框架的基础上大规模的语言模型。LaMer首先利用场景图挖掘非并行数据集中的大致并行表达式,然后采用MLE训练,然后进行模仿学习细化,以利用数据中的内在并行性。在两个基准任务(情感和形式转移)和一个新提出的具有挑战性的任务(政治立场转移)上,我们的模型在转移准确性,内容保留和流畅性方面取得了质的进步。进一步的经验和人工评估表明,我们的模型不仅使训练更有效,而且比以前的模型生成更可读和更多样化的表达式。
2022-04-18 cs.AI cs.CL cs.LG
(Male, Bachelor) and (Female, Ph.D) have different connotations: Parallelly Annotated Stylistic Language Dataset with Multiple Personas
Carnegie Mellon University(卡内基梅隆大学)
文本中的文体变异需要从不同的角度来研究,包括作者的个人特征、人际关系、修辞等。尽管最近尝试的计算模型的变化,缺乏平行语料库的风格语言,使得它很难系统地控制风格的变化,以及评估这样的模型。我们发布了并行和注释的风格语言数据集PASTEL,其中包含约41K并行句子(8.3K并行故事),注释了不同的人物角色。每个人物角色都有不同的风格:性别、年龄、国家、政治观点、教育、种族和写作时间。该数据集是从人工注释者那里收集的,对输入表示进行了可靠的控制:不仅保留了文本之间的原始含义,而且还促进了注释者的风格多样性。我们在两个有趣的风格语言应用程序上测试了数据集,PASTEL帮助设计了适当的实验和评估。首先,在预测目标风格(例如,在给定一个文本的情况下,PASTEL的多种风格使其他外部风格变量受控(或固定),这是一个更准确的实验设计。其次,一个简单的监督模型与我们的平行文本优于无监督模型使用非平行文本的风格转移。我们的数据集是公开的。
2019-08-31 cs.CL
Analyzing Political Bias in LLMs via Target-Oriented Sentiment Classification
Université Paris-Saclay, CEA, List(巴黎-萨克雷大学、欧洲原子能机构、List)
本研究提出基于熵不一致性指标的新方法,通过1319个政治人物姓名和450个政治句子在七模型六语言中分析LLM政治偏见,发现偏见普遍存在且与政治立场相关,更大模型偏见更强,并用虚构姓名部分缓解不可靠性。
2025-05-26 cs.AI cs.CL
EMONA: Event-level Moral Opinions in News Articles
Texas A&M University(德克萨斯农工大学)
本文提出新任务并构建 EMONA 数据集,标注新闻文章中事件级道德观点,通过基线模型和下游任务实验证明事件道德观点有助于识别意识形态偏见和主观事件。
2024-04-02 cs.CL
Context in Informational Bias Detection
Leibniz ScienceCampus(莱布尼茨科学园区);Heidelberg University(海德堡大学)
信息偏见是通过句子或子句传达的偏见,这些句子或子句提供了可能影响读者对实体的看法的切线,推测或背景信息。从本质上讲,信息偏差是依赖于上下文的,但以前的工作信息偏差检测没有探讨的作用,上下文以外的句子。在本文中,我们探讨了英语新闻文章中的信息偏见的四种语境:相邻的句子,完整的文章,来自其他新闻出版商的同一事件的文章,和来自同一领域的文章(但可能不同的事件)。我们发现,整合事件上下文提高了分类性能在一个非常强大的基线。此外,我们在这个任务上进行了模型的第一次误差分析。我们发现,表现最好的上下文包容模型优于基线较长的句子,从政治中间派的文章句子。
2020-12-03 cs.CL
ANUBHUTI: A Comprehensive Corpus For Sentiment Analysis In Bangla Regional Languages
Ahsanullah University of Science and Technology(阿萨努拉大学科学与技术学院)
ANUBHUTI是一个包含10000个句子的全面数据集,用于孟加拉语方言的情感分析,通过双标注方案和多类主题标注,提供政治、宗教和中性内容,以支持更准确的自然语言处理。
2026-01-17 cs.CL cs.LG
Structure-Invariant Testing for Machine Translation
ETH Zurich(苏黎世联邦理工学院)
近年来,机器翻译软件越来越多地融入我们的日常生活。人们通常将机器翻译用于各种应用,例如向外国医生描述症状和阅读外语政治新闻。然而,支持现代机器翻译的神经机器翻译(NMT)模型的复杂性和棘手性使得这些系统的鲁棒性甚至难以评估,更不用说保证了。机器翻译系统可能返回劣质结果,导致误解、医疗误诊、人身安全威胁或政治冲突。尽管其明显的重要性,验证机器翻译系统的鲁棒性是非常困难的,因此,被大大低估了。为了应对这一挑战,我们引入了结构不变测试(SIT),一种新的变形测试方法来验证机器翻译软件。我们的主要观点是,“相似”的源语句的翻译结果通常应该表现出相似的句子结构。具体来说,SIT(1)通过用语义相似、句法等价的词替换给定句子中的一个词来生成相似的源句子;(2)通过句法分析树(通过选区或依存句法分析获得)来表示句子结构;(3)报告结构差异超过某个阈值的句子对。为了评估SIT,我们使用它来测试Google翻译和Bing Microsoft翻译,输入200个源句子,导致64个和70个错误问题,准确率分别为69.5%和70%。翻译错误是多种多样的,包括翻译不足,过度翻译,不正确的修改,单词/短语误译,和逻辑不清。
2020-07-14 cs.CL cs.SE
Predicting Sentence-Level Factuality of News and Bias of Media Outlets
Institute of Mathematical and Computer Sciences, University of São Paulo(圣保罗大学数学与计算机科学研究所);Computer Science Department, Federal University of Minas Gerais(米纳斯吉拉斯联邦大学计算机科学系);Centre for Trusted Internet and Community, National University of Singapore(新加坡国立大学可信互联网与社区中心)
本研究构建了巴西葡萄牙语句子级新闻数据集FactNews,通过两个文本分类任务预测新闻事实性与媒体偏见,实验验证了细粒度主观性分析对媒体可靠性预测的有效性。
2024-09-13 cs.CL
Target-Aware Contextual Political Bias Detection in News
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所)
针对现有媒体偏见检测增强技术过度泛化上下文边界引入噪声的问题,提出偏见敏感、目标感知的数据增强方法,结合BERT等预训练模型在BASIL数据集上取得SOTA结果,F1达58.15。
2023-10-02 cs.CL
Automated Extraction of Socio-political Events from News (AESPEN): Workshop and Shared Task Report
European Commission Joint Research Centre(欧盟委员会联合研究中心)
我们描述了我们在语言资源和评估会议(LREC 2020)上组织的研讨会和共享任务范围内从新闻中自动提取社会政治事件的努力。我们认为,在计算语言学和社会和政治科学的事件提取研究应该进一步相互支持,以使大规模的跨源,国家和语言的社会政治事件信息收集。该活动包括定期的研究论文和一个共享的任务,这是关于事件句共指识别(ESCI),跟踪。所有提交的文件都由项目委员会的五名成员审查。研讨会吸引了与评价机器学习方法、语言资源、材料冲突预测有关的研究论文,以及社会政治事件信息收集范围内的共同任务参与报告。它向我们展示了与社会政治事件相关的数据源和事件信息收集方法的数量和种类,以及填补自动化文本处理技术与社会和政治科学要求之间差距的必要性。
2020-05-12 cs.CL cs.CY cs.LG
Directional Hallucinations: Ideological Drift in News-Grounded LLM Question Answering
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
研究基于新闻的语言模型问答中的意识形态漂移,提出可重复测量框架,利用大量新闻文章对多个模型进行实验,发现幻觉率因模型和话题而异,幻觉内容有向左漂移现象,并探讨了相关意义。
2026-07-27 cs.AI cs.CL
Disentangling Structure and Style: Political Bias Detection in News by Inducing Document Hierarchy
KAIST AI(韩国科学技术院人工智能学院);KAIST Moon Soul Graduate School of Future Strategy(韩国科学技术院文术未来战略研究生院)
本文提出一种多头层级注意力模型,通过同时建模句子语义和文档修辞结构,实现与写作风格无关的新闻政治偏见检测,并在稳健性和准确性上优于已有方法。
2023-10-27 cs.CL cs.LG
High Risk of Political Bias in Black Box Emotion Inference Models
Institute of Psychology, Polish Academy of Sciences(波兰科学院心理学研究所);Stowarzyszenie Otwartej Nauki(开放科学协会);Institute of Philosophy and Sociology, Polish Academy of Sciences(波兰科学院哲学与社会学研究所)
本文通过审计波兰语情感分析模型,揭示政治偏见会从人工标注传播到模型预测中,提出数据清洗可部分缓解偏见,并建议采用基于词典的系统作为更中立的替代方案。
2024-11-21 cs.AI cs.CL
Multitask Models for Supervised Protests Detection in Texts
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
CLEF 2019 ProtestNews Lab要求参与者在更大的新闻数据库中识别与政治抗议相关的文本。三个任务包括文章分类、句子检测和事件提取。我应用多任务神经网络,能够同时为其中的两个和三个任务产生预测。多任务框架允许模型从所有三个任务的训练数据中学习相关特征。本文展示了性能接近或高于所报告的最先进的自动化政治事件编码,虽然注意到的差异,研究设计进行直接比较困难。
2020-05-06 cs.CL cs.CY
The ParlaSent Multilingual Training Dataset for Sentiment Identification in Parliamentary Proceedings
Radboud University(拉德堡德大学)
本文提出了包含7种语言的ParlaSent情感标注数据集,并引入在17.2亿议会词汇上预训练的首个政治学多语言transformer模型,显著提升了议会会议跨语言情感识别的稳健性与泛化性能。
2024-03-20 cs.CL
KHAN: Knowledge-Aware Hierarchical Attention Networks for Accurate Political Stance Prediction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Hanyang University(汉阳大学);Ajou University(亚洲大学)
本文提出知识感知分层注意力网络KHAN,通过分层注意力网络和知识编码融合文章语境、基调与现实世界实体外部知识,并构建两个独立政治知识图谱,在三个数据集上实现了高准确性的政治立场预测。
2023-04-04 cs.AI cs.CL cs.LG
The Table of Media Bias Elements: A sentence-level taxonomy of media bias types and propaganda techniques
Center for Responsible Artificial Intelligence (CRAI), Coburg University of Applied Sciences and Arts(负责任人工智能中心(CRAI)、科堡应用科学与艺术大学);Center for Responsible Artificial Intelligence (CRAI), and University of Sheffield, Department of Computer Science(负责任人工智能中心(CRAI)、谢菲尔德大学计算机科学系)
本文提出一个句子级的媒体偏见分类体系,通过分析26,464个句子,揭示偏见表达的细粒度类型及传播技巧,并提供识别指导。
2026-01-08 cs.CL cs.CY
Detecting Propaganda on the Sentence Level during the COVID-19 Pandemic
Tunghai University(东海大学)
随着COVID-19大流行,社交媒体上的虚假信息、阴谋、可疑内容和外国对手操纵的信息传播激增。这种恶意的网络行为可能会导致社会两极分化、健康危机和财产损失。在本文中,我们使用在Reddit上训练的微调上下文嵌入,解决了2020年3月COVID-19疫情被确认为大流行期间此类用户账户及其在Twitter上的目标问题的宣传检测。我们的研究结果显示,亲中国的群体似乎比中立群体多发了35到115倍。与此同时,中立群体在推特上发布了更多积极态度的内容,并对COVID-19疫情发出警报。这个亲中国的团体也在政治问题上使用了更多呼吁采取行动的措辞,而这些问题不一定与中国有关。
2021-07-31 cs.CL cs.CY cs.LG
Limited Generalizability in Argument Mining: State-Of-The-Art Models Learn Datasets, Not Arguments
Heinrich-Heine-University Düsseldorf(海因里希-海涅大学多特蒙德);GESIS - Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所)
本研究重新评估了最先进的transformers在论辩挖掘中的泛化能力,发现模型多依赖词汇捷径而非真正理解任务,在未见数据集上性能显著下降,但任务特定预训练与联合基准训练可有效提升鲁棒性与泛化性。
2025-05-28 cs.AI cs.CL cs.LG
ThatiAR: Subjectivity Detection in Arabic News Sentences
Hamad bin Khalifa University(哈马德·本·哈利法大学);Qatar Computing Research Institute(卡塔尔计算研究所);Free University of Berlin(柏林自由大学)
本文提出了首个阿拉伯语新闻主观性检测数据集ThatiAR(约3.6K人工标注句子及GPT-4o解释),并通过基准实验表明上下文学习LLM性能更优。
2024-06-08 cs.AI cs.CL
Who Blames or Endorses Whom? Entity-to-Entity Directed Sentiment Extraction in News Text
Soongsil University(崇实大学);UCLA(加州大学洛杉矶分校)
理解新闻文本中谁在指责谁或支持谁是计算社会科学的一个重要研究问题。然而,用于情感分析的传统方法和数据集不适合政治文本领域,因为它们不考虑实体之间表达的情感的方向。在本文中,我们提出了一种新的NLP任务,从给定的新闻文档中识别政治实体之间的定向情感关系,我们称之为定向情感提取。从一个百万级的新闻语料库中,我们构建了一个数据集的新闻句子中的情感关系的政治实体手动注释。我们提出了一种简单但有效的方法来利用预训练的Transformer,它通过预测多个问答任务并结合结果来推断目标类。我们通过分析2016年美国总统大选和COVID-19这两个重大事件中政治实体之间的正面和负面意见,展示了我们提出的方法在社会科学研究问题中的实用性。新提出的问题,数据和方法将促进跨学科的NLP方法和应用的未来研究。
2021-06-22 cs.CL cs.CY cs.IR
Evaluating Gender Bias in Large Language Models
Darmstadt University of Applied Sciences(达姆施塔特应用科学大学)
本研究评估了 GPT-4 等大型语言模型在职业代词选择中的性别偏见,发现提示方法对性别分布的影响大于模型选择,句子补全与实际数据相关性最强。
2024-11-14 cs.CL
Embedding-Based Approaches to Hyperpartisan News Detection
本文提出利用大型语言模型嵌入生成检测超党派新闻,准确率达92%,优于基于ELMo和双向LSTM的83%基线,旨在识别极端政治立场文章。
2025-07-07 cs.CL cs.LG
The Algorithmic Caricature: Auditing LLM-Generated Political Discourse Across Crisis Events
New York University (NYUAD), Division of Science, Computer Science Department(纽约大学(NYUAD),科学学院,计算机科学系)
本文通过对比真实与生成的政治言论,发现生成内容在情感强度、结构规律性和词汇框架上不如真实言论真实,提出了'漫画差距'作为评估生成内容社会真实性的指标。
2026-05-12 cs.AI cs.CL cs.CY
More Context, Larger Models, or Moral Knowledge? A Systematic Study of Schwartz Value Detection in Political Texts
PRHLT Research Center, Universitat Politècnica de València, Spain(巴塞罗那理工大学研究中心,西班牙 Valencia理工大学);School of Science, Engineering and Design, Universidad Europea de Valencia, Spain(Valencia欧洲大学科学、工程与设计学院,西班牙);Valencian Graduate School and Research Network of Artificial Intelligence (ValgrAI)(瓦伦西亚人工智能研究生学院与研究网络(ValgrAI))
本研究系统比较了上下文范围、检索增强道德知识和模型规模对政治文本中施瓦茨价值观检测的影响,发现全文档上下文和检索知识对监督编码器有效,但对零样本大语言模型帮助有限,且模型扩展不保证性能提升。
2026-09-09 cs.AI cs.CL cs.LG
Automatically Neutralizing Subjective Bias in Text
Stanford University(斯坦福大学);Kyoto University(京都大学);Georgia Institute of Technology(佐治亚理工学院)
像新闻、百科全书和一些社交媒体这样的文本都力求客观。然而,以不适当的主观性为形式的偏见--通过框架、预设真理和怀疑来引入态度--仍然无处不在。这种偏见侵蚀了我们的集体信任,助长了社会冲突。为了解决这个问题,我们引入了一个新的测试平台自然语言生成:自动将不适当的主观文本带入一个中立的观点(“中和”有偏见的文本)。我们还提供了第一个有偏见的语言平行语料库。该语料库包含180,000个句子对,来源于维基百科的编辑,从有偏见的句子中删除了各种框架,预设和态度。最后,我们为任务提出了两个强编码器-解码器基线。一个简单而不透明的CONCURRENT系统使用一个BERT编码器来识别主观词,作为生成过程的一部分。一个可解释和可控制的模块化算法将这些步骤分开,使用(1)基于BERT的分类器来识别有问题的单词,以及(2)一个新的连接嵌入,通过它分类器可以编辑编码器的隐藏状态。跨四个领域(百科全书、新闻标题、书籍和政治演讲)的大规模人类评估表明,这些算法是自动识别和减少偏见的第一步。
2019-12-12 cs.AI cs.CL
LASTIST: LArge-Scale Target-Independent STance dataset
姿态检测已经成为人工智能领域中的一个研究领域。然而,目前大多数研究都集中在目标相关的立场检测任务,这是基于一个人的立场,有利于或反对一个特定的目标。此外,大多数基准数据集都是基于英语的,这使得很难用韩语等低资源语言开发模型,特别是对于像姿态检测这样的新兴领域。本研究提出了LASTIST数据集来填补这一研究空白。LASTIST数据集收集了两党关于韩国政党的新闻稿,使用了563,299个标记的韩语句子。我们详细描述了我们如何收集和构建数据集,以及如何训练最先进的深度学习和姿态检测模型。我们的LASTIST数据集是专为各种任务的立场检测,包括目标独立的立场检测和历时演变的立场检测。我们将数据集部署在https://anonymous.4open.science/r/LASTIST-3721/上。
2025-10-28 cs.AI cs.CL
To Bias or Not to Bias: Detecting bias in News with bias-detector
Technical University of Munich (TUM)(慕尼黑技术大学);Sapienza University of Rome(罗马大学)
本文提出了一种基于RoBERTa模型的句子级偏见检测方法,通过微调专家标注的BABE数据集,在媒体偏见检测中实现了性能提升,并探讨了上下文感知建模等未来方向。
2025-12-26 cs.AI cs.CL cs.HC
How ChatGPT Changed the Media's Narratives on AI: A Semi-Automated Narrative Analysis Through Frame Semantics
Umeå University(于默奥大学);Uppsala University(乌普萨拉大学)
本研究通过基于框架语义学的混合方法分析ChatGPT发布前后12个月的5846篇AI相关新闻,发现发布后6个月媒体关注度增长10倍,话语更聚焦专家与政治领导人,AI与危险风险关联更紧密,威胁类型和拟人化特质发生质性转变。
2024-11-25 cs.CL cs.CY
The Media Bias Detector: A Framework for Annotating and Analyzing the News at Scale
Department of Computer and Information Science, University of Pennsylvania(计算机与信息科学系,宾夕法尼亚大学);Harvard Business School(哈佛商学院);Microsoft Research(微软研究院);Annenberg School for Communication, University of Pennsylvania(传播学院,宾夕法尼亚大学);Department of Operations, Information, and Decisions, University of Pennsylvania(运营、信息与决策系,宾夕法尼亚大学)
本研究推出结合大语言模型与近实时新闻爬取的媒体偏见分析框架及持续更新的大规模数据集,支持多维度量化新闻选择与框架偏见,还提供交互式平台,为媒体偏见研究与媒体问责制建设提供资源。
2025-09-30 cs.CL