NAACL

A Calibrated Reflection Approach for Enhancing Confidence Estimation in LLMs

一种用于增强大语言模型（LLM）置信度估计的校准反思方法

Umesh Bodhwani, Yuan Ling, Shujing Dong, Yarong Feng, Hongfei Li, Ayush Goyal

AI总结 本研究提出一种结合结构化推理与感知距离校准技术的校准反思方法，通过三项创新提升LLM置信度估计，在多数据集上验证了其在两类任务中的有效性，助力LLM可靠置信度估计的发展。

Comments Published at TrustNLP 2025 (NAACL 2025 Workshop)

Journal ref Proceedings of the 5th Workshop on Trustworthy Natural Language Processing (TrustNLP 2025), pages 399-411, Albuquerque, New Mexico. Association for Computational Linguistics, 2025

Histoires Morales: A French Dataset for Assessing Moral Alignment

Thibaud Leteno, Irina Proskurina, Antoine Gourru, Julien Velcin, Charlotte Laclau, Guillaume Metzler, Christophe Gravier

机构 * Laboratoire Hubert Curien（于贝尔·屈里安实验室） ； CNRS（法国国家科学研究中心） ； Université Lumière Lyon 2（里昂第二大学） ； Université Claude Bernard Lyon 1（里昂第一大学） ； ERIC（信息、表示与智能认知研究室） ； Télécom Paris（巴黎高等电信学院） ； Institut Polytechnique de Paris（巴黎理工学院） 纠错

Comments Accepted to NAACL 2025

ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring

ICLE++：为整体作文评分建模细粒度特征

Shengjie Li, Vincent Ng

AI总结 该研究推出标注了整体与特征分数的ICLE++语料库，可测试ASAP训练的AES模型泛化性，助力新型AES问题模型评估，为AES研究提供关键语料库。

Comments Accepted as a long paper to NAACL 2024

Can Language Model Moderators Improve the Health of Online Discourse?

语言模型调解者能否改善在线讨论的健康状况？

Hyundong Cho, Shuai Liu, Taiwei Shi, Darpan Jain, Basem Rizk, Yuyang Huang, Zixun Lu, Nuan Wen, Jonathan Gratch, Emilio Ferrara, Jonathan May

机构 * Department of Computer Science and Information Sciences Institute University of Southern California（计算机科学系和信息科学研究所 南加州大学） 纠错

AI总结 本文探讨了语言模型作为对话调解员的效果，发现其能提供具体公平的反馈，但难以提升用户尊重与合作水平。

Comments 9 pages, NAACL 2024 Main

Journal ref Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies

Beyond LLMs: A Linguistic Approach to Causal Graph Generation from Narrative Texts

超越大语言模型：一种从叙事文本生成因果图的语言学方法

Zehan Li, Ruhua Pan, Xinyu Pi

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

AI总结 该研究提出从叙事文本生成因果图的框架，先以LLM提取顶点，引入含七个语言特征的“专家索引”并集成到分类模型，结合RoBERTa嵌入提升因果关系识别精度，经五次迭代提示构建因果图，实验证明其优于GPT-4o和Claude 3.5，还提供开源工具。

Comments published at the 7th Workshop on Narrative Understanding, NAACL 2025

Ad Headline Generation using Self-Critical Masked Language Model

使用自批判掩码语言模型生成广告标题

Yashal Shakti Kanungo, Sumit Negi, Aruna Rajan

机构 * amazon（亚马逊） 纠错

AI总结 研究如何为电商网站生成吸引人的广告标题，核心方法是将强化学习策略梯度方法应用于基于Transformer的掩码语言模型，通过联合多种产品信息生成标题，该方法在指标和质量审核上优于现有方法，生成标题质量也优于人工提交的。

Comments Accepted at NAACL-HLT 2021 (Industry Track). 9 pages, 3 tables, 3 figures - ACL Anthology URL: https://aclanthology.org/2021.naacl-industry.33/ - Editors of the proceedings: Young-bum Kim, Yunyao Li, Owen Rambow - Bibkey: kanungo-etal-2021-ad

Journal ref Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, pages 263-271, June 2021

Paraphrasing Attack Resilience of Various AI-Generated Text Detection Methods

各种AI生成文本检测方法的改写攻击鲁棒性研究

Andrii Shportko, Inessa Verbitsky

机构 * Northwestern University（西北大学） 纠错

AI总结 本文评估了三种AI生成文本检测方法的改写攻击鲁棒性，发现Binoculars集成方法性能最强但攻击损失最严重，揭示了文本检测领域性能与鲁棒性之间的矛盾。

Comments NAACL 2025

Using Text-Based Causal Inference to Disentangle Factors Influencing Online Review Ratings

使用基于文本的因果推断解构影响在线评论评分的因素

Linsen Li, Aron Culotta, Nicholas Mattei

机构 * Department of Computer Science Tulane University（计算机科学系路易斯安那大学） 纠错

AI总结 提出基于CausalBERT的文本因果分析方法，通过温度缩放、超参数优化和可解释性改进，从60万条美国K-12学校评论中解构各因素对整体评分的影响。

Comments HLT/NAACL 2025

Journal ref In Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies

Scaling Natural-Language Graph-Based Test Time Compute for Automated Theorem Proving

扩展基于自然语言图结构的测试时计算用于自动定理证明

Vincent Li, Tim Knappe, Yule Fu, Kevin Han, Kevin Zhu

机构 * Boston University ； Provadis School of International Management \& Technology ； Duke University ； Algoverse AI Research 纠错

AI总结 提出KG-prover框架，利用从权威数学文本挖掘的知识图谱增强通用大语言模型，通过扩展图结构的测试时计算显著提升自动定理证明性能。

Comments Accepted to ICML AI4Math Workshop 2025, NAACL SRW 2025

Machine-Assisted Script Curation

机器辅助脚本编纂

Manuel R. Ciosici, Joseph Cummings, Mitchell DeHaven, Alex Hedges, Yash Kankanampati, Dong-Ho Lee, Ralph Weischedel, Marjorie Freedman

机构 * Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） 纠错

AI总结 提出MASC系统，通过自动化建议事件类型、链接维基数据和提醒遗漏子事件，实现人机协作脚本创作。

Comments Identical to the NAACL 2021 Demo version

CODESIM: Multi-Agent Code Generation and Problem Solving through Simulation-Driven Planning and Debugging

CODESIM: 通过仿真驱动的规划与调试进行多智能体代码生成与问题解决

Md. Ashraful Islam, Mohammed Eunus Ali, Md Rizwan Parvez

机构 * Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） ； Qatar Computing Research Institute（卡塔尔计算研究所） 纠错

AI总结 CODESIM提出了一种基于仿真的多智能体代码生成框架，通过仿真验证和内部调试提升代码生成能力，在多个基准测试中取得新高成绩。

Comments Accepted in NAACL 2025 Findings

$\mathcal{S}^2$IT: Stepwise Syntax Integration Tuning for Large Language Models in Aspect Sentiment Quad Prediction

$\mathcal{S}^2$IT：面向大语言模型的方面情感四元预测的分步语法整合调优

Bingfeng Chen, Chenjie Qiu, Yifeng Xie, Boyan Xu, Ruichu Cai, Zhifeng Hao

机构 * School of Computer Science, Guangdong University of Technology（广东技术大学计算机科学学院） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； College of Science, Shantou University（汕头大学理学院） 纠错

AI总结 本文提出S^2IT框架，通过分步调优整合语法结构信息，提升大语言模型在方面情感四元预测中的性能，实验表明其在多个数据集上表现优异。

Comments Accepted to Findings of NAACL 2025

Mimicking How Humans Interpret Out-of-Context Sentences Through Controlled Toxicity Decoding

模仿人类如何解读无上下文句子通过受控毒性解码

Maria Mihaela Trusca, Liesbeth Allein

机构 * Department of Computer Science（计算机科学系） 纠错

AI总结 本文通过生成多样化的无上下文句子解读，模拟人类对不同毒性水平内容的感知，通过控制生成解读中的毒性来提高对人类写作解读的对齐性。

Comments Short paper; accepted at TrustNLP @ NAACL 2025

Constraining Sequential Model Editing with Editing Anchor Compression

通过编辑锚压缩约束序列模型编辑

Hao-Xiang Xu, Jun-Yu Ma, Zhen-Hua Ling, Ningyu Zhang, Jia-Chen Gu

机构 * National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学语音及语言信息处理国家工程研究中心） ； Zhejiang University（浙江大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

AI总结 本文提出Editing Anchor Compression框架，通过选择重要编辑锚点压缩参数矩阵，减少序列编辑中的偏差，保留模型通用能力并提升编辑知识保留度。

Comments Accepted by NAACL 2025 Findings

Linguistic Frameworks Go Toe-to-Toe at Neuro-Symbolic Language Modeling

语言框架在神经符号语言建模中展开对决

Jakob Prange, Nathan Schneider, Lingpeng Kong

机构 * Georgetown University（乔治城大学） ； The University of Hong Kong（香港大学） 纠错

AI总结 研究探讨了语言图表示如何提升神经语言模型性能，发现语义短语结构最有效，且词性类别影响效果差异。

Comments Accepted to NAACL 2022 (slight typesetting divergences to NAACL camera-ready due to TexLive 2020/2021 mismatches)

Track-SQL: Enhancing Generative Language Models with Dual-Extractive Modules for Schema and Context Tracking in Multi-turn Text-to-SQL

Track-SQL: 通过双提取模块增强生成语言模型以在多轮文本到SQL中进行模式和上下文跟踪

Bingfeng Chen, Shaobin Shi, Yongqi Luo, Boyan Xu, Ruichu Cai, Zhifeng Hao

机构 * School of Computer Science, Guangdong University of Technology（广东技术大学计算机科学学院） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室） ； Peng Cheng Laboratory（鹏城实验室） ； College of Science, Shantou University（汕头大学理学院） 纠错

AI总结 Track-SQL通过双提取模块提升生成语言模型在多轮文本到SQL任务中的模式和上下文跟踪能力，实现性能显著提升。

Comments Accepted at the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025), Long Paper, 19 pages

Journal ref Proceedings of the 2025 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 10690-10708. Association for Computational Linguistics, 2025

CowPilot: A Framework for Autonomous and Human-Agent Collaborative Web Navigation

CowPilot：自主与人机协作的网页导航框架

Faria Huq, Zora Zhiruo Wang, Frank F. Xu, Tianyue Ou, Shuyan Zhou, Jeffrey P. Bigham, Graham Neubig

机构 * School of Computer Science, Carnegie Mellon University（计算机科学系，卡内基梅隆大学） 纠错

AI总结 CowPilot通过自主与人机协作机制提升网页导航效率，实现95%的任务成功率，减少人类操作步骤至15.2%

Comments Published at NAACL System Demonstration Track, 2025

Journal ref 2025.naacl-demo.17

Augmenting Lateral Thinking in Language Models with Humor and Riddle Data for the BRAINTEASER Task

通过幽默和谜语数据增强语言模型的横向思维以完成BRAINTEASER任务

Mina Ghashami, Soumya Smruti Mishra

机构 * Amazon Web Services（亚马逊网络服务） 纠错

AI总结 通过引入幽默和谜语数据增强语言模型，提升其在BRAINTEASER任务中的横向推理能力，提高句子谜题和词语谜题的准确率。

Comments Accepted at SemEval 2024 (Colocated with NAACL 2024)

Journal ref Proceedings of the 18th International Workshop on Semantic Evaluation (SemEval-2024)

Benchmarking Large Language Models on Answering and Explaining Challenging Medical Questions

在回答和解释具有挑战性的医疗问题上评估大型语言模型

Hanjie Chen, Zhouxiang Fang, Yash Singla, Mark Dredze

机构 * Rice University（里士满大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

AI总结 本文提出两个新数据集用于评估大型语言模型在回答和解释具有挑战性的医疗问题上的能力，并通过实验展示了这些数据集的难度及模型表现。

Comments NAACL 2025

Transferring Extreme Subword Style Using Ngram Model-Based Logit Scaling

使用基于ngram模型的logit缩放进行极端子词风格转移

Craig Messner, Tom Lippincott

机构 * Center for Digital Humanities（数字人文中心） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

AI总结 本文提出基于ngram模型的logit缩放技术，用于在推理阶段将极端子词风格转移到大型语言模型中，通过调整困惑度实现风格迁移与流畅性的平衡。

Comments Accepted for publication at NLP4DH 2025 @ NAACL

Journal ref Proceedings of the 5th International Conference on Natural Language Processing for Digital Humanities (2025)

DEPTH: Discourse Education through Pre-Training Hierarchically

DEPTH: 通过预训练分层实现话语教育

Zachary Bamberger, Ofek Glick, Chaim Baskin, Yonatan Belinkov

机构 * Technion（技术学院） ； Ben-Gurion University of the Negev（贝叶林顿大学） 纠错

AI总结 DEPTH通过预训练分层模型提升语言模型在话语层面的理解能力，优于T5在跨度破坏损失上，并在多个基准测试中表现优异。

Comments 25 pages, 10 figures, 10 tables, accepted to NAACL 2025, Rep4NLP

Journal ref Proceedings of the 10th Workshop on Representation Learning for NLP, 2025, 1-25

MorphNLI: A Stepwise Approach to Natural Language Inference Using Text Morphing

MorphNLI：一种通过文本变形进行自然语言推理的分步方法

Vlad Andrei Negru, Robert Vacareanu, Camelia Lemnaru, Mihai Surdeanu, Rodica Potolea

机构 * Technical University of Cluj-Napoca（克卢日-纳波卡技术大学） ； University of Arizona（亚利桑那大学） 纠错

AI总结 MorphNLI通过文本变形逐步改进自然语言推理任务，在跨领域场景中显著优于现有基线模型。

Comments 16 pages, 11 figures, 8 tables. Accepted for NAACL 2025 Findings

Generative Prompt Internalization

生成性提示内化

Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Microsoft Research（微软研究院） 纠错

AI总结 生成性提示内化通过联合训练方法实现复杂提示的内化，减少计算开销并提升模型性能。

Comments NAACL 2025 (Main Conference)

Journal ref NAACL 2025

ALiiCE: Evaluating Positional Fine-grained Citation Generation

ALiiCE：评估位置细粒度引用生成

Yilong Xu, Jinhua Gao, Xiaoming Yu, Baolong Bi, Huawei Shen, Xueqi Cheng

机构 * State Key Lab of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； Key Lab of AI Safety, Chinese Academy of Sciences（人工智能安全重点实验室，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

AI总结 ALiiCE提出了一种自动评估框架，用于评估位置细粒度引用生成，通过依赖树解析句子并引入三个指标评估引用质量。

Comments NAACL 2025 Main Conference (Long paper)

MiLe Loss: a New Entropy-Weighed Loss for Mitigating the Bias of Learning Difficulties in Large Language Models

MiLe Loss：一种新的熵加权损失，用于减轻大语言模型在学习困难方面的偏差

Zhenpeng Su, Xing Wu, Xue Bai, Zijia Lin, Hui Chen, Guiguang Ding, Wei Zhou, Songlin Hu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； Kuaishou Technology（快手科技） ； Tsinghua University（清华大学） 纠错

AI总结 MiLe Loss通过熵加权机制减轻大语言模型在学习困难方面的偏差，提升模型对难学标记的关注度，从而在下游任务中取得更好的表现。

Comments This paper has been accepted by NAACL 2024

Towards Robust Knowledge Representations in Multilingual LLMs for Equivalence and Inheritance based Consistent Reasoning

多语言大语言模型中基于等价与继承的稳健知识表示研究

Gaurav Arora, Srujana Merugu, Shreya Jain, Vaibhav Saxena

机构 * Amazon（亚马逊公司） ； IIT Jammu（印度理工学院贾姆鲁） 纠错

AI总结 本研究通过引入多语言任务和基准，评估LLMs在等价和继承推理中的稳健性，并提出组合表示以提升跨语言一致性。

Journal ref NAACL 2025 (Main Conference)

Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation

点wise互信息作为检索增强生成的性能评估指标

Tianyu Liu, Jirui Qi, Paul He, Arianna Bisazza, Mrinmaya Sachan, Ryan Cotterell

机构 * ETH Zürich（苏黎世联邦理工学院） ； CLCG, University of Groningen（格罗宁根大学认知语言学中心） ； University of Toronto（多伦多大学） 纠错

AI总结 本文提出利用点wise互信息作为检索增强生成的性能评估指标，通过实验验证其在提升生成性能中的有效性。

Comments NAACL 2025 Main Conference. Code is available at https://github.com/lyutyuh/poptimizer

Thought2Text: Text Generation from EEG Signal using Large Language Models (LLMs)

Thought2Text: 使用大型语言模型（LLMs）从EEG信号生成文本

Abhijit Mishra, Shreya Shukla, Jose Torres, Jacek Gwizdka, Shounak Roychowdhury

机构 * School of Information University of Texas at Austin（信息学院 德克萨斯大学奥斯汀分校） 纠错

AI总结 Thought2Text利用大型语言模型从EEG信号生成文本，通过多阶段微调实现脑活动的可理解表达。

Comments Accepted to Findings of NAACL 2025

Text Annotation via Inductive Coding: Comparing Human Experts to LLMs in Qualitative Data Analysis

通过归纳编码进行文本标注：在定性数据分析中比较人类专家与大语言模型

Angelina Parfenova, Andreas Marfurt, Alexander Denzler, Juergen Pfeffer

机构 * Lucerne University of Applied Sciences and Arts（卢塞恩应用科学大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

AI总结 本文比较了人类专家与大语言模型在定性数据分析中的表现，发现人类在处理复杂句子时表现优异，而LLMs在简单句子上表现更佳。

Journal ref NAACL 2025

UMB@PerAnsSumm 2025: Enhancing Perspective-Aware Summarization with Prompt Optimization and Supervised Fine-Tuning

UMB@PerAnsSumm 2025: 通过提示优化和监督微调增强视角感知摘要

Kristin Qi, Youxiang Zhu, Xiaohui Liang

机构 * Department of Computer Science, University of Massachusetts Boston（计算机科学系，马萨诸塞大学波士顿分校） 纠错

AI总结 UMB@PerAnsSumm 2025通过提示优化和监督微调提升视角感知摘要质量，结合关键词和引导信息优化摘要生成过程。

Comments CL4HEALTH NAACL: Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics