arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2410.05252cs.CLcs.AIcs.IRcs.LG

因果微观叙事

Causal Micro-Narratives

University of Chicago(芝加哥大学);Northwestern University(西北大学);Hoover Institution, Stanford University(斯坦福大学胡佛研究所)

Mourad Heddaya, Qingcheng Zeng, Chenhao Tan, Rob Voigt, Alexander Zentefis

AI总结:

本文提出从文本中分类因果微观叙事的新方法,仅需特定因果本体,通过微调 Llama 3.1 8B 在通胀叙事检测与分类任务上取得高 F1 分数,为社会科学研究建立了从真实数据提取因果微观叙事的框架。

摘要:

我们提出了一种从文本中分类因果微观叙事的新方法。这些叙事是对目标主体原因和/或结果的句子级解释。该方法仅需特定主体的因果本体,我们通过通胀叙事应用进行了演示。使用涵盖历史与现代美国新闻文章的人工标注数据集进行训练,我们在该多标签分类任务上评估了多个大语言模型(LLMs)。表现最佳的模型——微调后的 Llama 3.1 8B——在叙事检测上达到 0.87 的 F1 分数,在叙事分类上达到 0.71。全面的错误分析揭示了语言歧义带来的挑战,并表明模型错误常反映人工标注者的分歧。本研究建立了从真实数据中提取因果微观叙事的框架,在社会科学研究中具有广泛应用。

英文摘要:

We present a novel approach to classify causal micro-narratives from text. These narratives are sentence-level explanations of the cause(s) and/or effect(s) of a target subject. The approach requires only a subject-specific ontology of causes and effects, and we demonstrate it with an application to inflation narratives. Using a human-annotated dataset spanning historical and contemporary US news articles for training, we evaluate several large language models (LLMs) on this multi-label classification task. The best-performing model--a fine-tuned Llama 3.1 8B--achieves F1 scores of 0.87 on narrative detection and 0.71 on narrative classification. Comprehensive error analysis reveals challenges arising from linguistic ambiguity and highlights how model errors often mirror human annotator disagreements. This research establishes a framework for extracting causal micro-narratives from real-world data, with wide-ranging applications to social science research.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑