arXiv 2311.174382024-06-07cs.CLcs.AI

CLOMO：基于大语言模型的反事实逻辑修改

CLOMO: Counterfactual Logical Modification with Large Language Models

City University of Hong Kong（香港城市大学）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；MBZUAI（Mohamed bin Zayed 人工智能大学）；DarkMatter AI Research（DarkMatter AI 研究院）

Yinya Huang, Ruixin Hong, Hongming Zhang, Wei Shao, Zhicheng Yang, Dong Yu, Changshui Zhang, Xiaodan Liang, Linqi Song

发表信息：: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (ACL 2024)

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出反事实逻辑修改任务CLOMO及人工标注基准，并设计分解式自评估分数SES来直接评估LLMs的自然语言输出，实验表明LLMs虽具备一定反事实推理能力但与人类仍有差距。

摘要：

在本研究中，我们深入探讨大语言模型（LLMs）的反事实推理能力。我们的主要目标是培养LLMs的反事实思维过程，并严格评估这些过程的有效性。具体而言，我们引入了一个新任务——反事实逻辑修改（CLOMO），以及一个高质量的人工标注基准。在该任务中，LLMs必须熟练地修改给定的论证性文本，以维持预定的逻辑关系。为了有效评估生成模型的反事实能力，我们提出了一种创新的评估指标——分解式自评估分数（SES），直接评估LLMs的自然语言输出，而不是将该任务建模为多项选择题。分析表明，所提出的自动指标与人类偏好高度一致。我们的实验结果表明，尽管LLMs在逻辑反事实思维方面表现出显著的能力，但其当前能力与人类表现之间仍存在明显差距。代码和数据可在 https://github.com/Eleanor-H/CLOMO 获取。

英文摘要：

In this study, we delve into the realm of counterfactual reasoning capabilities of large language models (LLMs). Our primary objective is to cultivate the counterfactual thought processes within LLMs and rigorously assess these processes for their validity. Specifically, we introduce a novel task, Counterfactual Logical Modification (CLOMO), and a high-quality human-annotated benchmark. In this task, LLMs must adeptly alter a given argumentative text to uphold a predetermined logical relationship. To effectively evaluate a generation model's counterfactual capabilities, we propose an innovative evaluation metric, the decomposed Self-Evaluation Score (SES) to directly evaluate the natural language output of LLMs instead of modeling the task as a multiple-choice problem. Analysis shows that the proposed automatic metric aligns well with human preference. Our experimental results show that while LLMs demonstrate a notable capacity for logical counterfactual thinking, there remains a discernible gap between their current abilities and human performance. Code and data are available at https://github.com/Eleanor-H/CLOMO.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。