Argument from Old Man's View: Assessing Social Bias in Argumentation
Paderborn University(帕德博恩大学)
语言中的社会偏见-对性别,种族,年龄和其他社会群体-对许多NLP应用程序造成了道德影响的问题。最近的研究表明,在相应数据上训练的机器学习模型不仅可以采用,甚至可以放大偏差。然而,到目前为止,很少有人注意到在计算论证的偏见。本文研究了大型英语辩论网站中存在的社会偏见。特别是,我们训练词嵌入模型的门户特定的语料库和系统地评估他们的偏见使用WEAT,现有的度量标准来衡量偏见词嵌入。在一个词的共现分析,我们然后调查偏见的原因。结果表明,所有测试的辩论语料库包含不平衡和偏见的数据,大多有利于男性与欧美人的名字。我们的经验见解有助于理解偏见的争论性数据源。
2020-11-24 cs.CL cs.CY
The Unfolding Structure of Arguments in Online Debates: The case of a No-Deal Brexit
Venice International University(威尼斯国际大学)
在过去的十年里,政治辩论逐渐转向社交媒体。可以捕捉和分析在这些辩论舞台上运作的在线行为者和派别所使用的修辞手段,以对社会争议及其论证动态进行统计阅读。在本文中,我们提出了一个五步的方法,提取,分类和探索潜在的辩论结构的在线辩论。利用Twitter上有关“无协议”脱欧的数据,我们关注的是这一事件发生后的预期影响。首先,我们使用RegEx提取推文中包含的因果关系声明,这些声明利用了与创造,破坏和因果关系相关的动词。其次,我们使用基于一元和二元的结构主题模型对提取的“无交易”效应进行分类。第三,我们选择有争议的效果主题,并探讨自我宣称的党派用户派系之间的主题内的论证差异。因此,我们使用估计的协变量对主题倾向的影响类型的主题,然后,使用主题相关网络,我们研究的拓扑结构的辩论,以确定连贯的主题星座。最后,我们分析了辩论的时间动态,并推断出领导/追随关系的派别。结果表明,所提出的方法可以用来进行统计分析的辩论,并绘制跨时间的争议的架构。特别是,“无协议”脱欧辩论被证明具有一个明显的论证结构,其特点是争论的派系星座,以及通过与创造和毁灭相关的动词调用的两极化叙事框架。我们的研究结果强调了实施系统方法来分析辩论的好处,这使得在网上辩论中使用的参数之间的主题和派别的依赖关系。
2021-03-09 cs.CL cs.CY stat.AP
Before Name-calling: Dynamics and Triggers of Ad Hominem Fallacies in Web Argumentation
Technische Universität Darmstadt(达姆施塔特工业大学);Bauhaus-Universität Weimar(魏玛包豪斯大学)
不犯谬误的辩论是理想辩论的主要要求之一。但是,即使辩论规则得到严格执行,错误的论点受到惩罚,辩论者也常常会用人身攻击的论点攻击对手。由于现有的研究缺乏对人身攻击论点的类型学及其潜在原因的坚实的实证调查,本文通过以下方式填补了这一空白:(1)进行几次大规模的注释研究,(2)实验各种神经架构并验证我们的工作假设,例如争议或合理性,以及(3)使用可解释的神经网络架构提供对人身攻击触发因素的语言学见解。
2018-02-23 cs.CL
Claim Optimization in Computational Argumentation
Leibniz University Hannover(汉诺威莱布尼茨大学);University of Bremen(不来梅大学)
本文提出论点优化任务,通过BART等大语言模型生成多样化候选论点并结合质量指标选择最佳候选,在英语语料库上改进了60%的论点质量,且能力可泛化至指导性文本等其他领域。
2023-09-07 cs.CL
NLAS-multi: A Multilingual Corpus of Automatically Generated Natural Language Argumentation Schemes
Centre for Argument Technology, University of Dundee(邓迪大学论证技术中心);VRAIN, Universitat Politècnica de València(瓦伦西亚理工大学VRAIN研究院)
本文提出了一种多语言自然语言论证方案自动生成方法,构建了目前最大的公开语料库NLAS-multi,并提供了用于论证方案自动识别的基线与微调模型。
2024-02-22 cs.AI cs.CL
Crowdsourcing Argumentation Structures in Chinese Hotel Reviews
Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Information Science and Technology University(北京信息科技大学)
论证挖掘的目的是自动提取自然语言文本中的声明-声明语篇结构。有一个很大的需求论证语料库的客户评论。然而,由于论证注释任务的争议性质,存在很少的大规模的客户评论论证语料库。在这项工作中,我们新颖地使用众包技术来收集中国酒店评论中的论证注释。作为第一个中文论辩语料集,我们的语料库包含4814个论元成分标注和411个论元关系标注,其标注质量可以与其他语言中广泛使用的论辩语料库相媲美。
2017-05-05 cs.CL
MultiOpEd: A Corpus of Multi-Perspective News Editorials
University of Pennsylvania(宾夕法尼亚大学)
我们提出了MultiOpEd,一个开放领域的新闻社论语料库,支持有关的论证结构在新闻社论的各种任务,专注于自动的角度发现。新闻社论是一种说服性语篇,其论证结构通常是含蓄的。然而,社论中提出的论点通常围绕着一个简洁、集中的论点,我们称之为他们的观点。MultiOpEd旨在支持与自动视角发现相关的多个任务的研究,其中系统预计会产生一个总结所提出论点的单句论文陈述。我们认为,识别和抽象这样的自然语言的观点,从社论是一个关键的一步,研究隐含的论证结构的新闻社论。我们首先讨论挑战,并为我们的目标定义一些概念性任务。为了证明MultiOpEd和诱导任务的实用性,我们研究了多任务学习环境中的视角摘要问题,作为案例研究。我们发现,与诱导的任务作为辅助任务,我们可以提高质量的观点摘要生成。我们希望MultiOpEd将成为未来新闻编辑领域论证研究的有用资源。
2021-06-04 cs.CL
Comparing and Modeling Argumentation in German Political Communication across Arenas
Universität Stuttgart(斯图加特大学);Universität Bremen(不来梅大学)
本研究构建了1.7万句的德国三政治场域论证标注语料库,发现新闻发布会中领域专业知识依据更常见,还开展了论证段落自动识别试点研究,揭示边界难界定及模型存在确认偏差。
2026-08-04 cs.CL
OpenDebateEvidence: A Massive-Scale Argument Mining and Summarization Dataset
Howard Community College(霍华德社区学院);UC Berkeley(加州大学伯克利分校);University of New South Wales(新南威尔士大学);Stanford University(斯坦福大学);Oracle Corporation(甲骨文公司);University of Texas(德克萨斯大学);New York University(纽约大学)
该研究推出源自美国竞技辩论界的大规模OpenDebateEvidence数据集,经实验验证微调大语言模型可实现论证性抽象摘要,旨在推进计算论证并公开数据集供研究使用。
2026-08-04 cs.AI cs.CL cs.LG
Automatic Summarization of Russian Texts: Comparison of Extractive and Abstractive Methods
Vyatka State University(维亚特卡国立大学)
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发,显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中,我们使用的翻译版本的议论文,说服性的文章和UKP句子语料库微调RuBERT模型。最后,利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调,生成论元文本。结果表明,与原始ruGPT-3模型相比,这种方法将参数生成的准确性提高了20个百分点(63.2%对42.5%)。
2022-06-18 cs.CL
VIANA: Visual Interactive Annotation of Argumentation
University of Konstanz(康斯坦茨大学)
辩论挖掘解决了识别辩论文本片段的边界并提取它们之间关系的挑战性任务。完全自动化的解决方案并没有达到令人满意的准确性,由于它们的语义和领域知识的不足。因此,专家目前依赖于耗时的手动注释。在本文中,我们提出了一个可视化的分析系统,增强了手动注释过程中自动建议哪些文本片段注释。这些建议的准确性随着时间的推移通过结合语言知识和语言建模来从用户交互中学习参数相似性的度量来提高。基于与领域专家的长期合作,我们确定并建模了五个高级分析任务。我们使仔细阅读和笔记,注释的论点,论点重建,提取的论点关系,并探讨论点图。为了避免上下文切换,我们通过无缝变形在所有视图之间转换,在视觉上锚定所有基于文本和图形的层。我们评估我们的系统与两个阶段的专家用户研究的基础上,总统辩论的语料库。结果表明,专家更喜欢我们的系统,由于提供的自动建议和文本和图形视图之间的紧密集成的加速比现有的解决方案。
2019-07-29 cs.CL cs.HC
ConQRet: Benchmarking Fine-Grained Evaluation of Retrieval Augmented Argumentation with LLM Judges
Department of Computer Science(计算机科学系);Emory University(埃默里大学)
针对检索增强论证缺乏整体细粒度评估的问题,本文提出多LLM评判者自动评估方法,并构建基于真实网站证据的ConQRet基准以衡量检索、论证质量与依据性。
2024-12-06 cs.AI cs.CL cs.IR
Automatic Paper Reviewing with Heterogeneous Graph Reasoning over LLM-Simulated Reviewer-Author Debates
ReViewGraph通过异构图推理分析LLM模拟的评审者-作者辩论,提升论文评审的准确性和细致程度。
2026-03-10 cs.CL
Teaching LLMs Human-Like Editing of Inappropriate Argumentation via Reinforcement Learning
Leibniz University Hannover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究所)
本文通过强化学习方法使LLMs学会进行类人化的文本编辑,提升论证适当性。方法生成可独立接受或拒绝的句子级编辑建议,通过多组件奖励函数优化语义相似性、流畅性和论证适当性。
2026-04-14 cs.CL
Automatic Summarization of Online Debates
The University of Sheffield(谢菲尔德大学)
辩论文摘是自动文摘领域中一个新颖且具有挑战性的研究领域,目前还没有得到广泛的研究。在本文中,我们开发了一个辩论摘要管道,以总结在线辩论的对立双方讨论或争论的关键主题。我们认为,辩论摘要的生成可以通过聚类、聚类标记和可视化来实现。在我们的工作中,我们研究了两种不同的聚类方法的摘要的生成。在第一种方法中,我们通过应用纯粹的基于术语的聚类和聚类标记来生成摘要。第二种方法利用X均值聚类和互信息标记的集群。这两种方法都由本体驱动。我们使用条形图来可视化结果。我们认为,我们的结果是一个顺利的入口,旨在接收的第一印象是什么讨论的辩论主题包含浪费的论证数量的用户。
2017-08-15 cs.AI cs.CL cs.IR
DebateBench: A Challenging Long Context Reasoning Benchmark For Large Language Models
Birla Institute of Technology and Science, Pilani(比拉理工学院皮拉尼分校)
该研究引入DebateBench数据集,含32场超1小时辩论的256篇演讲(每条输入平均32,000token),用于评估LLMs的长上下文推理能力,初步测试显示现有模型表现不佳,需提升技术。
2025-02-10 cs.CL cs.LG
Sentiment and position-taking analysis of parliamentary debates: A systematic literature review
University of Manchester(曼彻斯特大学)
议会和立法辩论记录提供了有关当选政治家的意见、立场和政策偏好的信息。它们吸引了从政治和社会科学到计算机科学等各种背景的研究人员的注意。因此,自动情绪和立场分析的问题已经从不同的角度,使用不同的方法和手段来解决,并且相对较少的合作或想法的交叉授粉。现有的研究分散在各个领域和场所的出版物中。在这篇文章中,我们提出了一个系统的文献回顾61项研究的结果,所有这些研究都解决了自动分析的情绪和意见所表达的立场发言人在议会(和其他立法)辩论。在这篇评论中,我们讨论了现有的研究的目的和目标的研究人员谁在这些问题上,他们承担的自动分析任务,以及他们使用的方法和途径。最后,我们总结了他们的研究结果,讨论了将计算分析应用于议会辩论的挑战,并提出了进一步研究的可能途径。
2020-01-16 cs.CL
Argumentative Text Generation in Economic Domain
Vyatka State University(维亚特卡国立大学);ITMO University(圣彼得堡国立信息技术机械与光学大学)
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发,显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中,我们使用的翻译版本的议论文,说服性的文章和UKP句子语料库微调RuBERT模型。最后,利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调,生成论元文本。结果表明,与原始ruGPT-3模型相比,该方法将参数生成的准确性提高了20个百分点(63.2% vs. 42.5%)。
2022-06-18 cs.CL
Detecting Attackable Sentences in Arguments
Carnegie Mellon University(卡内基梅隆大学);University of Dundee(邓迪大学)
在论证中找到可攻击的句子是成功反驳的第一步。我们提出了第一个大规模的分析句子攻击在线参数。我们分析了论证中攻击的驱动原因,并识别了句子的相关特征。我们证明,一个句子的攻击性与许多这些特征有关的句子的内容,命题类型和语气,外部知识源可以提供有用的信息攻击性。基于这些发现,我们证明了机器学习模型可以自动检测论点中的可攻击句子,明显优于几个基线,并且对外行人很好。
2020-10-06 cs.CL
Understanding Enthymemes in Argument Maps: Bridging Argument Mining and Logic-based Argumentation
Université Paul Sabatier(保罗萨巴蒂埃大学);CNRS(法国国家科学研究中心);IRIT(图灵与信息技术研究所);Inria(法国国家信息与自动化研究所);I3S(信息、信号与系统实验室);University College London(伦敦大学学院)
本研究针对论证挖掘得到的论证图难以自动分析的问题,提出用经典逻辑表示文本显式信息、缺省逻辑表示隐式信息来对论证图进行逻辑实例化,以支撑后续自动推理分析。
2024-08-16 cs.AI cs.CL
From Argumentation to Deliberation: Perspectivized Stance Vectors for Fine-grained (Dis)agreement Analysis
Heidelberg University(海德堡大学);Bielefeld University(比勒费尔德大学)
提出 Perspectivized Stance Vectors 框架,通过问题与论证概念建模多方视角化立场,细粒度衡量结构化(不)一致并识别冲突解决的可行动点。
2025-02-10 cs.AI cs.CL cs.CY
Towards a Benchmark of Natural Language Arguments
INRIA Sophia Antipolis(法国国立信息学及其应用研究院索菲亚·安提波利斯分院)
近年来,自然语言处理与论证理论之间的联系越来越紧密,越来越多的工作朝着这个方向发展,在不同的场景下,应用异构技术。在本文中,我们提出了两个数据集,我们建立,以应付结合的文本蕴涵框架和双极抽象论证。在我们的方法中,此类数据集用于通过文本蕴涵系统自动识别参数之间的关系(即,攻击,支持),然后分析得到的双极论证图以计算可接受的论证。
2014-05-05 cs.AI cs.CL
Gold Standard Online Debates Summaries and First Experiments Towards Automatic Summarization of Online Debate Data
The University of Sheffield(谢菲尔德大学)
在线文本媒体的使用正在稳步增长。每天,越来越多的新闻故事,博客文章和科学文章被添加到在线卷。这些都是免费访问,并已被广泛应用于多个研究领域,例如自动文本摘要,信息检索,信息抽取等,同时,在线辩论论坛最近变得流行,但在很大程度上还未开发。由于这个原因,没有足够的资源注释的辩论数据可用于进行研究,在这一体裁。在本文中,我们收集和注释的自动摘要任务的辩论数据。与提取黄金标准摘要生成类似,我们的数据包含值得包含到摘要中的句子。五个人类注释者执行了这项任务。基于语义相似性的注释者间一致性,Cohen的kappa为36%,Krippendorff的alpha为48%。此外,我们还实现了一个在线辩论的提取摘要系统,并讨论了自动总结在线辩论数据的任务的突出特点。
2017-08-15 cs.AI cs.CL cs.IR
Decoupling Thought from Speech: Knowledge-Grounded Counterfactual Reasoning for Resilient Multi-Agent Argumentation
Institute of Computer Science, Warsaw University of Technology(华沙技术大学计算机科学学院)
提出知识反事实推理(KG-CFR)双阶段架构,通过私有规划缓冲与公共执行层分离,在动态资源分配环境下将扰动后论证质量从0.694提升至0.822,并减少语义循环。
2026-06-09 cs.AI cs.CL cs.MA
High Quality Real-Time Structured Debate Generation
Columbia University(哥伦比亚大学)
自动生成辩论是一项具有挑战性的任务,需要理解论点以及如何否定或支持它们。在这项工作中,我们定义了辩论树和路径生成的辩论,同时执行一个高层次的结构和语法。我们利用了一个大型的树结构辩论语料库,每个论点都有元数据。我们开发了一个框架,用于生成似是而非的辩论是不可知的句子嵌入模型。我们的研究结果表明,有能力在实时的【形】产生辩论的复杂主题的质量,是接近人类,评估的风格,内容和战略指标用于判断竞争性的人类辩论。本着可重复研究的精神,我们将我们的数据、模型和代码公开提供。
2020-12-01 cs.CL
DebateKG: Automatic Policy Debate Case Creation with Semantic Knowledge Graphs
Plailabs;NeuML
DebateKG通过构建论证性语义知识图谱并进行带约束的最短路径遍历,自动生成政策辩论案例,并基于DebateSum数据集新增53180个示例和9个知识图谱,显著提升了辩论案例生成质量。
2023-10-27 cs.AI cs.CL cs.IR
DebateSum: A large-scale argument mining and summarization dataset
University of Oregon(俄勒冈大学);Texas A&M University(德克萨斯农工大学)
先前在论证挖掘方面的工作经常提到它在自动辩论系统中的潜在应用。尽管如此,几乎没有数据集或模型存在的应用自然语言处理技术的竞争性正式辩论中发现的问题。为了解决这个问题,我们提出了DebateSum数据集。DebateSum包含187,386个独特的证据,以及相应的论点和摘要。DebateSum是使用国家演讲和辩论协会(National Speech and Debate Association)的竞争对手在7年内收集的数据制作的。我们训练了几个Transformer摘要模型,以在DebateSum上测试摘要性能。我们还介绍了一组在DebateSum上训练的快速文本词向量,称为debate2vec。最后,我们提出了一个搜索引擎,这是广泛使用的全国演讲和辩论协会的成员今天这个数据集。DebateSum搜索引擎可在以下网站向公众开放:http://www.debate.cards
2020-11-14 cs.CL
RuArg-2022: Argument Mining Evaluation
Vyatka State University(维亚特卡国立大学);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
论证分析是计算语言学的一个研究领域,它研究从文本中提取论证的方法以及它们之间的关系,并建立文本的论证结构。本文是主办方在对话会议框架内举办的第一届俄语语篇论证分析系统竞赛的报告。在比赛中,参与者被提供了两个任务:立场检测和论点分类。一个包含9,550个句子(社交媒体帖子的评论)的语料库,涉及与COVID-19大流行相关的三个主题(疫苗接种、隔离和戴口罩),已准备好,并进行了注释,用于培训和测试。在这两项任务中获得第一名的系统使用了BERT架构的NLI(自然语言推理)变体,自动翻译成英语以应用专门的BERT模型,在讨论COVID-19的Twitter帖子上进行重新训练,以及对目标实体进行额外的掩蔽。该系统显示了以下结果:对于立场检测任务,F1分数为0.6968,对于论点分类任务,F1分数为0.7404。我们希望准备好的数据集和基线将有助于促进对俄语参数挖掘的进一步研究。
2022-06-18 cs.CL
Pretraining on the Test Set Is No Longer All You Need: A Debate-Driven Approach to QA Benchmarks
Faculty of Mathematics University of Waterloo(数学系大学水疗)
提出辩论驱动的QA评估范式,将现有数据集转化为对抗性辩论以惩罚浅层记忆并降低策展成本,实验证明其能有效对抗数据污染并可持续衡量模型真实推理能力。
2025-08-08 cs.AI cs.CL
Political corpus creation through automatic speech recognition on EU debates
Leiden University(莱顿大学)
本文通过无监督领域自适应改进Wav2vec2.0自动语音识别流程,构建了360万词的欧盟议会LIBE委员会转写语料库,将WER从28.22降至17.95,并验证了其在下游主题建模中的实用性。
2023-04-17 cs.CL
Chinese Competitive Debating Dataset and Benchmark
University of Auckland(奥克兰大学);South China Agricultural University(华南农业大学);Sanming University(三明学院)
本文构建了中文竞技辩论数据集,含148场比赛及专业评委裁决,并定义三个预测任务,零样本评估显示大模型最高准确率分别为66.2%、0.250相关系数和56.8%,为研究互动论证理解提供基准。
2026-10-02 cs.AI cs.CL
AMELIA: A Family of Multi-task End-to-end Language Models for Argumentation
Universite Claude Bernard Lyon 1(里昂1大学);CNRS(国家科学研究中心);Ecole Centrale de Lyon(里昂中央理工大学);INSA Lyon(里昂国立应用科学学院);Université Lumiere Lyon 2(里昂2大学);LIRIS(图像研究所)
本文构建统一格式的多任务论证挖掘数据集,基于Llama-3.1-8B-Instruct探索单任务、多任务联合微调及模型合并策略,发现多任务微调性能稳定、模型合并成本低且性能具竞争力。
2025-08-25 cs.AI cs.CL
The ParlaSent-BCS dataset of sentiment-annotated parliamentary debates from Bosnia-Herzegovina, Croatia, and Serbia
University of Luxembourg(卢森堡大学);University of Ljubljana(卢布尔雅那大学)
议会辩论中的情绪表达被认为与社交媒体或产品评论中的情绪表达有很大不同。本文增加了一个新兴的机构的研究议会辩论的句子注释检测政治话语中的情感极性的数据集。我们从三个东南欧议会的会议记录中抽取句子进行注释:克罗地亚,波斯尼亚-黑塞哥维那和塞尔维亚。六个级别的模式被应用到数据与训练的分类模型,在议会程序中的情绪检测的目的。Krippendorff的alpha测量注释者之间的一致性,范围从六层注释模式的0.6到三层模式的0.75和两层模式的0.83。我们在数据集上的初步实验表明,Transformer模型的性能明显优于使用简单架构的模型。此外,尽管三种语言的相似性,我们观察到不同语言的性能差异。执行特定的训练和评估表明,议会之间的不同性能的主要原因似乎是不同的自动分类任务的复杂性,这是不可观察的注释性能。语言距离似乎并没有发挥任何作用,无论是在注释器,也在自动分类性能。我们在许可证下发布数据集和性能最佳的模型。
2022-06-02 cs.CL
LLMs as Debate Partners: Utilizing Genetic Algorithms and Adversarial Search for Adaptive Arguments
Birla Institute of Technology and Science, Pilani(毕拉理工学院皮尔拉分校)
本文提出DebateBrawl平台,融合LLM、遗传算法与对抗性搜索,实现自适应辩论,实验显示AI得分2.72优于人类2.67,事实准确率达92%,显著提升用户辩论技能。
2024-12-09 cs.AI cs.CL cs.CY
A Two-Phase Approach Towards Identifying Argument Structure in Natural Language
IIT Kharagpur(印度理工学院克勒格布尔分校)
我们提出了一种新的方法提取论点结构的自然语言文本,包含一个潜在的论点。我们的方法包括两个阶段:分数分配和结构预测。分数分配阶段训练模型来分类参数单元之间的关系(支持,攻击或中立)。为此,探讨了不同的培训战略。我们识别不同的语言和词汇特征来训练分类器。通过消融研究,我们观察到,我们的新使用的词嵌入功能是最有效的这项任务。结构预测阶段利用得分分配阶段的得分来获得最佳结构。我们在三个论证数据集上进行实验,即AraucariaDB,Debatepedia和Wikipedia。我们还提出了两个基线,并观察到所提出的方法优于基线系统的结构预测的最后任务。
2016-12-16 cs.CL
Overview of the CLEF-2018 CheckThat! Lab on Automatic Identification and Verification of Political Claims. Task 1: Check-Worthiness
SiteGround;Amazon(亚马逊);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Qatar University(卡塔尔大学);College of Humanities and Social Sciences, HBKU(哈马德·本·哈利法大学人文与社会科学学院);Sofia University “St Kliment Ohridski”(索非亚大学“圣克里门特·奥赫里德斯基”)
我们现在概述了CLEF-2018 CheckThat!政治主张的自动识别和验证实验,重点是任务1:检查价值。这项任务要求预测政治辩论中的哪些主张应该优先进行事实核查。特别是,对于一场辩论或一场政治演讲,目标是根据其对事实核查的价值生成一个句子的排名列表。我们根据2016年美国总统竞选的辩论以及竞选期间和之后的一些演讲,以英语和阿拉伯语提供了这项任务。总共有30个团队注册参加实验,7个团队实际上提交了任务1的系统。参与者使用的最成功的方法依赖于循环和多层神经网络,以及分布表示的组合,匹配索赔词汇与词汇,以及句法依赖性的测量。最好的系统在英语和阿拉伯语测试数据集上分别达到了0.18和0.15的平均精度。这为进一步改进留下了很大的空间,因此我们发布了所有的数据集和评分脚本,这应该能够进一步研究检查价值评估。
2018-08-08 cs.CL
Rhetoric, Logic, and Dialectic: Advancing Theory-based Argument Quality Assessment in Natural Language Processing
Data and Web Science Group, University of Mannheim(曼海姆大学数据与网络科学组);Grammarly;Dataminr, Inc.(Dataminr公司)
虽然先前的计算论证质量(AQ)的工作主要集中在评估整体AQ,研究人员认为,作者将受益于针对个别维度的论证理论的反馈。然而,缺乏大规模的基于理论的语料库和相应的计算模型。我们填补了这一空白,进行了广泛的分析,涵盖了三个不同领域的在线议论文写作和GAQCorpus:第一个大规模的英语多领域(社区问答论坛,辩论论坛,评论论坛)语料库注释与理论为基础的AQ分数。然后,我们提出了第一个计算方法,以理论为基础的评估,这可以作为未来工作的强有力的基线。我们展示了大规模AQ注释的可行性,表明利用维度之间的关系可以提高性能,并探索基于理论的预测和实际AQ评估之间的协同作用。
2020-11-03 cs.CL
Mining Arguments from Cancer Documents Using Natural Language Processing and Ontologies
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
在医学领域,科学研究的连续流包含由论点和反论点支持的相互矛盾的结果。由于医学专业知识发生在不同的层面,部分人类代理人难以面对大量的研究,也难以理解争论主题的支持者和反对者所声称的理由和证据。为了更好地理解与医学领域当前最新技术水平相关的新发现的支持论点,我们需要能够识别科学论文中论点的工具。我们的工作旨在填补上述技术空白。非常清楚这项任务的难度,我们依靠众所周知的领域知识与自然语言处理的交叉来走这条路。为了将现有的医学知识形式化,我们依赖于本体论。为了构建论证模型,我们还使用了描述逻辑的表达能力和推理能力。为了进行论证挖掘,我们在基于规则的语言中正式化了各种语言模式。我们针对与乳腺癌相关的科学论文语料库测试了我们的解决方案。运行实验表明,F-测量值在0.71和0.86之间,用于识别论点的结论,在0.65和0.86之间,用于识别论点的前提。
2016-07-27 cs.AI cs.CL
Enhancing Argument Summarization: Prioritizing Exhaustiveness in Key Point Generation and Introducing an Automatic Coverage Evaluation Metric
Lakehead University(湖首大学);Université de Sherbrooke(谢布鲁克大学)
本文提出一种基于抽取式聚类的关键点生成方法,提高覆盖率并减少冗余,同时引入一种新的覆盖率评估指标,以解决现有指标无法区分关键点质量的问题。
2024-04-17 cs.CL
M2C: Towards Automatic Multimodal Manga Complement
Beihang University(北京航空航天大学)
本文提出多模态漫画补全(M2C)任务及双语基准数据集,设计MCoT方法挖掘漫画事件知识,并提出基于细粒度视觉提示的FVP-M²基线,实验验证其有效性。
2023-10-26 cs.CL
Enhancing Legal Argument Mining with Domain Pre-training and Neural Networks
University College Dublin(都柏林大学学院);Birkbeck, University of London(伦敦大学伯贝克学院)
上下文词嵌入模型BERT已经证明了其在有限数量的注释数据的下游任务上的能力。BERT及其变体有助于减轻许多跨学科研究领域中复杂注释工作的负担,例如,数字人文学科中的法律论证挖掘。论证挖掘旨在开发能够自动检索论证并识别论证子句之间关系的文本分析工具。由于论证是判例法的一个关键方面,法律文本的论证挖掘工具适用于学术和非学术法律研究。特定领域的BERT变体(使用来自特定背景的语料库进行预训练)在许多任务中也取得了很好的性能。据我们所知,以前的机器学习研究的论点挖掘的司法判例法仍然严重依赖于统计模型。在本文中,我们提供了一个广泛的研究经典和上下文嵌入模型和他们的实际案例法从欧洲人权法院(ECHR)的表现。在我们的研究中,我们还探索了一些神经网络与不同嵌入相结合的情况。我们的实验提供了一个全面的概述各种方法的法律论据挖掘任务。我们的结论是,域预训练的Transformer模型在这一领域具有很大的潜力,虽然传统的嵌入也可以实现强大的性能时,与额外的神经网络层相结合。
2022-04-06 cs.CL
On the interaction of automatic evaluation and task framing in headline style transfer
University of Pisa(比萨大学);Istituto di Linguistica Computazionale “Antonio Zampolli”(“安东尼奥·赞波利”计算语言学研究所);University of Groningen(格罗宁根大学);University of Malta(马耳他大学)
NLG社区正在进行的一场辩论涉及评估系统的最佳方式,与基于语料库的指标相比,人类评估通常被认为是最可靠的方法。然而,涉及微妙的文本差异的任务,如风格转换,往往是人类难以执行的。在本文中,我们提出了一种评估方法,这项任务的基础上经过严格训练的分类器,它比传统的指标,如BLEU和ROUGE更好地反映系统的差异。
2021-01-05 cs.CL
AMPERSAND: Argument Mining for PERSuAsive oNline Discussions
Columbia University(哥伦比亚大学)
辩论是一种话语类型,演讲者试图通过提出支持性论点来说服听众关于主张的合理性。大部分的论点挖掘工作都集中在独白中的论点建模。我们提出了一个计算模型的参数挖掘在网上有说服力的论坛,汇集了微观层面(参数作为产品)和宏观层面(参数作为过程)的模型的论证。从根本上说,这种方法依赖于识别讨论线程中参数组件之间的关系。我们的关系预测方法使用上下文信息,微调预训练的语言模型,并利用基于修辞结构理论的话语关系。我们还提出了一个候选人选择方法,自动预测一个人的论点的哪些部分将有针对性的其他参与者在讨论中。与最近使用指针网络和预训练的语言模型的最先进方法相比,我们的模型获得了显着的改进。
2020-04-30 cs.AI cs.CL
Persuasive Natural Language Generation -- A Literature Review
MIT Center for Collective Intelligence(麻省理工学院集体智慧中心)
这篇文献综述集中在使用自然语言生成(NLG)自动检测和生成说服性文本。扩展以前的研究自动识别的说服文本,我们专注于生成方面,通过概念化的说服在五个业务为重点的类别的决定因素:仁慈,语言得体,逻辑论证,可信度,工具和数据集。这些允许NLG增加现有信息的说服力。以前的研究说明了上述五个类别中每个类别的关键方面。进一步研究说服性NLG的研究议程。该评论包括77篇文章的分析,概述了现有的知识体系,并显示了在这一研究领域的稳步进展。
2021-01-14 cs.AI cs.CL
A systematic review of Hate Speech automatic detection using Natural Language Processing
University of Oulu(奥卢大学)
随着提供匿名、方便访问和在线社区形成的社交媒体平台以及在线辩论的增加,仇恨言论的检测和跟踪问题成为社会、个人、政策制定者和研究人员面临的日益严峻的挑战。尽管努力利用自动技术进行自动检测和监测,但其性能仍然远远不能令人满意,这不断要求对该问题进行进一步的研究。本文系统地回顾了该领域的文献,重点介绍了自然语言处理和深度学习技术,重点介绍了术语、处理流程和核心方法,并重点介绍了深度学习架构。从方法学的角度,我们采用PRISMA指南,对ACM数字图书馆和Google Scholar近10年的文献进行系统综述。在续集中,现有的调查,局限性和未来的研究方向进行了广泛的讨论。
2021-05-22 cs.CL
Reinforcement Learning Based Argument Component Detection
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
论证成分检测是论证挖掘中的一个重要子任务。ACD的目标是检测和分类自然语言文本中的不同论点成分。历史注释(HA)是注释人员在手动执行ACD任务时考虑的重要功能。然而,HA在很大程度上被现有的自动ACD技术所忽略。强化学习(RL)已被证明是在某些自然语言处理任务中使用HA的有效方法。在这项工作中,我们提出了一个基于RL的ACD技术,并评估其性能上两个良好的注释语料库。结果表明,在分类精度方面,HAS增强的RL优于普通RL最多17.85%,优于最先进的监督学习算法最多11.94%。
2017-02-21 cs.CL
MArgE: Meshing Argumentative Evidence from Multiple Large Language Models for Justifiable Claim Verification
MArgE框架通过为多个大语言模型的证据构建形式化论证树,实现可辩护的声明验证,实验证明其性能优于单个模型及非结构化多模型辩论方法。
2025-08-04 cs.AI cs.CL
Mining United Nations General Assembly Debates
Warsaw University of Technology(华沙理工大学);University of Warsaw(华沙大学);Modul University Vienna(维也纳 modul 大学)
本研究将NLP技术应用于联合国大会演讲分析,旨在构建配套数据集与分析工具,助力政治科学家深入研究国际关系、理解全球外交话语。
2024-06-19 cs.CL cs.IR
Debate-to-Write: A Persona-Driven Multi-Agent Framework for Diverse Argument Generation
The Hong Kong Polytechnic University(香港理工大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院);Case Western Reserve University(凯斯西储大学)
本文提出一种人格驱动的多智能体辩论式写作框架,通过为不同智能体赋予独特视角信念并设计协作辩论过程,提升议论文论证的多样性与说服力,实验验证其有效性。
2025-01-03 cs.AI cs.CL
Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays
ELLIS Alicante(埃利斯阿尔瓦雷斯);Universitat d'Alacant(阿尔瓦雷斯大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出基于特征的自动论说作文评分方法,通过两种建模范式提升评分准确性,并展示小型LLM在无需微调下的竞争力。
2026-02-04 cs.CL
Cross-lingual Argument Mining in the Medical Domain
University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU);HiTZ - Ixa
本文研究医学文本的跨语言论辩挖掘,提出基于数据迁移的自动标注生成策略,证明其优于模型迁移方法,并实现全自动数据增强以提升英语单语效果。
2024-07-23 cs.CL
Automatic coding of students' writing via Contrastive Representation Learning in the Wasserstein space
对言语数据的定性分析在学习科学中具有核心重要性。然而,这是劳动密集型和耗时的,这限制了研究人员可以包括在研究中的数据量。这项工作是朝着建立一个统计机器学习(ML)的方法,以实现自动化的支持定性分析的学生的写作,在这里特别是在分数实验室报告介绍生物学的复杂性的论证和推理。我们从本科生物学课程的一组实验报告开始,通过四个级别的方案进行评分,该方案考虑了论点结构的复杂性,证据的范围以及结论的谨慎性和细微差别。使用这组标记数据,我们表明一种流行的自然语言建模处理管道,即单词的矢量表示,也就是词嵌入,然后是长短期记忆(LSTM)模型,用于捕获语言生成作为状态空间模型,能够定量捕获评分,具有高的二次加权Kappa(QWK)预测得分,当通过新的对比学习设置进行训练时。我们表明,ML算法接近人的分析的评分员间的可靠性。最终,我们得出结论,用于自然语言处理(NLP)的机器学习(ML)有望帮助学习科学研究人员在比目前更大的规模上进行定性研究。
2020-12-01 cs.CL cs.LG
AutoAM: An End-To-End Neural Model for Automatic and Universal Argument Mining
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出端到端神经模型AutoAM,通过引入论证组件注意力机制,在无树结构约束下统一完成论证挖掘的三个子任务,并在两个公开数据集上取得优于现有方法的效果。
2023-09-17 cs.CL
Transformer-Based Models for Automatic Identification of Argument Relations: A Cross-Domain Evaluation
Universitat Politècnica de València(瓦伦西亚理工大学);Valencian Research Institute for Artificial Intelligence (VRAIN)(瓦伦西亚人工智能研究所)
论证挖掘被定义为自动识别和提取论证成分的任务(例如,房地、索赔等)并检测它们之间的现有关系(即,支持,攻击,换句话说,没有关系)。在处理这个问题时的主要问题之一是缺乏数据,以及公开可用的语料库的大小。在这项工作中,我们使用最近注释的US2016辩论语料库。US2016是现有最大的参数注释语料库,它允许探索自然语言处理在复杂领域(如参数(关系)挖掘)的最新进展的好处。我们对基于transformer的模型的行为进行了详尽的分析(即,BERT、XLNET、RoBERTa、DistilBERT和ALBERT)。最后,我们评估了五个不同领域的模型,目的是找到更少的领域依赖模型。我们使用US2016评估语料库获得的宏观F1分数为0.70,使用道德迷宫跨域语料库获得的宏观F1分数为0.61。
2021-04-15 cs.CL