Even for domain experts, it is a non-trivial task to verify a scientific claim by providing supporting or refuting evidence rationales. The situation worsens as misinformation is proliferated on social media or news websites, manually or programmatically, at every moment. As a result, an automatic fact-verification tool becomes crucial for combating the spread of misinformation. In this work, we propose a novel, paragraph-level, multi-task learning model for the SciFact task by directly computing a sequence of contextualized sentence embeddings from a BERT model and jointly training the model on rationale selection and stance prediction.
ParaRev: Building a dataset for Scientific Paragraph Revision annotated with revision instruction
Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室);JFLI(日本信息学研究所联合实验室);Nantes University(南特大学);National Institute of Informatics(日本信息学研究所)
HNR-DAC: Hard-Negative Reranking and Distribution-Aligned Classification for Scientific Claim Verification
Southern University of Science and Technology(南方科技大学);Institute of Artificial Intelligence, Shenzhen University of Advanced Technology(深圳先进技术研究院人工智能研究所);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
Paragraph-based complex networks: application to document classification and authenticity verification
Institute of Mathematics and Computer Science, University of São Paulo(圣保罗大学数学与计算机科学研究所);São Carlos Institute of Physics, University of São Paulo(圣保罗大学圣卡洛斯物理研究所);School of Informatics, Computing and Engineering, Indiana University(印第安纳大学信息学、计算与工程学院)
QMUL-SDS at SCIVER: Step-by-Step Binary Classification for Scientific Claim Verification
Queen Mary University of London(伦敦玛丽女王大学)
科学声明验证是一个独特的挑战,正吸引越来越多的兴趣。SCIVER共享任务提供了一个基准场景,用于测试和比较参与团队的声明验证方法,包括三个步骤:相关摘要选择,理由选择和标签预测。在本文中,我们提出了团队QMUL-SDS的参与共享任务。我们提出了一种方法,通过逐步进行二进制分类来执行科学声明验证。我们训练了一个BioBERT大型分类器,根据每个<claim,title of the abstract>的成对相关性评估来选择摘要,并继续训练它,根据<claim,sentence>从每个检索到的摘要中选择理由。然后,我们提出了一个两步的标签预测设置,即首先预测“NOT_ENOUGH_INFO”或“ENOUGH_INFO”,然后将那些标记为“ENOUGH_INFO”的标签标记为“SUPPORT”或“SUPPORT DICT”。与基线系统相比,我们在开发集上实现了实质性的改进。结果,我们队是排行榜上的第四名。
Table-Text Alignment: Explaining Claim Verification Against Tables in Scientific Papers
National Institute of Informatics, Japan(日本信息机构国家研究所);The University of Tokyo, Japan(日本东京大学);National Taiwan University(台湾国立大学);JFLI, CNRS, Nantes Université, France(法国CNRS-纳antes大学联合研究所)
Overview of SCIDOCA 2025 Shared Task on Citation Prediction, Discovery, and Placement
RIKEN Center for Advanced Intelligence Project (AIP), Japan(日本先进情报项目研究所);The Institute of Statistical Mathematics, Japan(日本统计数学研究所);Japan Advanced Institute of Science and Technology(日本先进科学技术研究所)
Encoded but Not Routed: Explaining the Table-Chart Gap in Scientific Claim Verification
The University of Tokyo(东京大学);NII LLMC(日本信息处理学会LLMC);National Institute of Informatics(日本信息处理研究所);University of Göttingen(哥廷根大学);Inria, LS2N, Nantes Université(法国国家信息与自动化技术研究院(Inria)、LS2N实验室、南特大学)
ClimateViz: A Benchmark for Statistical Reasoning and Fact Verification on Scientific Charts
University of Oxford(牛津大学);Qilu University of Technology(Shandong Academy of Sciences)(齐鲁工业大学(山东科学院));Hong Kong University of Science and Technology(香港科学大学);Hong Kong University of Science and Technology (Guangzhou)(香港科学大学(广州))
Few-Shot Anaphora Resolution in Scientific Protocols via Mixtures of In-Context Experts
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
指代消解是跨语言、文本类型和领域的信息抽取的重要任务,激发了对不需要大的注释数据集的方法的需求。上下文学习是一种很有前途的方法,但将上下文学习应用于指代消解还存在一些挑战。例如,编码一个由以下内容组成的上下文演示:一个照应词、一个段落长度的上下文和一个相应的先行词列表,需要在一个长序列的标记上调节语言模型,限制每个提示的演示数量。在本文中,我们提出了MICE(Mixtures of In-Context Experts),我们证明了它对于科学协议中的Few-Shot回指解析是有效的(Tamari et al.,2021年)。在只给出少量训练样本的情况下,MICE结合了数百名上下文专家的预测,使F1分数比竞争性即时检索基线提高了30%。此外,我们表明MICE可以用于训练紧凑的学生模型,而不牺牲性能。据我们所知,这是第一个工作,目前的实验结果表明,在上下文学习的有效性的任务,Few-Shot照应决议在科学协议。
Shanghai AI Laboratory(上海人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学);Fudan University(复旦大学);CUHK(香港中文大学);Tsinghua University(清华大学);CUHK-Shenzhen(香港中文大学深圳校区);UESTC(电子科技大学);USTC(中国科学技术大学)
MEVER: Multi-Modal and Explainable Claim Verification with Graph-based Evidence Retrieval
University of Sheffield(谢菲尔德大学);University of Science and Technology Beijing(北京科技大学);University of California San Diego(加州大学圣地亚哥分校);The Pennsylvania State University(宾夕法尼亚州立大学)
COVID-Fact: Fact Extraction and Verification of Real-World Claims on COVID-19 Pandemic
Columbia University(哥伦比亚大学)
我们引入了一个类似FEVER的数据集COVID-Fact of $4,086$ claims about the COVID-19 pandemic.数据集包含声明、声明的证据以及被证据反驳的矛盾声明。与以前的方法不同,我们自动检测真正的索赔及其源文章,然后使用自动方法生成反诉,而不是采用人工注释。随着我们的构造资源,我们正式提出的任务,确定相关的证据索赔和验证证据是否反驳或支持给定的索赔。除了科学声明外,我们的数据还包含来自媒体来源的简化的一般声明,使其更适合检测有关COVID-19的一般错误信息。我们的实验表明,COVID-Fact将为新系统的开发提供一个具有挑战性的测试平台,我们的方法将降低构建用于检测错误信息的特定领域数据集的成本。
Does Finetuning with Scientific Data Increase Hallucinations? A Multi-domain Factuality Evaluation of LLMs
Deutsches Forschungszentrum für Künstliche Intelligenz GmbH(德国人工智能研究中心 GmbH);Technische Universität Berlin(柏林技术大学);Humboldt-Universität zu Berlin(柏林洪堡大学)