ACL

FinSafetyBench: Evaluating LLM Safety in Real-World Financial Scenarios

FinSafetyBench：评估LLM在现实金融场景中的安全性

Yutao Hou, Yihan Jiang, Yuhan Xie, Jian Yang, Liwen Zhang, Hailiang Huang, Guanhua Chen, Yun Chen

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Beihang University（北航） ； Southern University of Science and Technology（南方科技大学） ； MoE Key Laboratory of Interdisciplinary Research of Computation and Economics（计算与经济学交叉学科研究重点实验室） 纠错

AI总结 本文提出FinSafetyBench，一个双语红队基准，用于测试LLM对违反金融合规请求的拒绝能力，揭示了对抗性提示绕过合规保障的关键漏洞及中文环境下更严重的易受攻击性。

Comments Accepted by Findings of ACL2026

A11y-Compressor: A Framework for Enhancing the Efficiency of GUI Agent Observations through Visual Context Reconstruction and Redundancy Reduction

A11y-Compressor：通过视觉上下文重建和冗余减少提升GUI代理观察效率的框架

Michito Takeshita, Takuro Kawada, Takumi Ohashi, Shunsuke Kitada, Hitoshi Iyatomi

机构 * Hosei University（Hosei大学） 纠错

AI总结 本文提出A11y-Compressor框架，通过视觉上下文重建和冗余减少技术，将线性化可访问性树转换为紧凑结构化表示，实验表明其在OSWorld基准测试中将输入token减少至原22%，任务成功率提升5.1个百分点。

Comments 18 pages, 5 figures, 5 tables. Accepted to ACL SRW 2026. Project page: https://iyatomilab.github.io/a11y-compressor/

Surprisal Minimisation over Goal-directed Alternatives Predicts Production Choice in Dialogue

基于目标导向替代的惊奇最小化预测对话中的产出选择

Tom Utting, Mario Giulianelli, Arabella Sinclair

机构 * University of Aberdeen（阿伯丁大学） ； University College London（伦敦大学学院） 纠错

AI总结 本文通过概率成本敏感选择模型，探讨对话中基于目标导向和上下文合理性的替代选择，发现基于目标导向替代的惊奇最小化在预测对话产出选择中表现最佳。

Comments 9 pages, to appear at ACL 2026 (Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics)

A Survey of Reasoning-Intensive Retrieval: Progress and Challenges

检索推理综述：进展与挑战

Yiyang Wei, Tingyu Song, Siyue Zhang, Yilun Zhao

机构 * Zhejiang University（浙江大学） ； University of the Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Yale University（耶鲁大学） 纠错

AI总结 本文综述了推理密集型检索领域，系统分析了现有基准，提出了结构化分类体系，并总结了挑战与未来方向。

Comments Accepted to the ACL 2026 Main Conference; camera-ready version

Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment

让人类优先：高效LAM评估的人类偏好对齐

Woody Haosheng Gan, William Held, Diyi Yang

机构 * University of Southern California（南加州大学） ； Stanford University（斯坦福大学） ； OpenAthena 纠错

AI总结 本文研究了如何通过最小子集高效评估LAM，发现50个样本即可达到高相关性，并通过回归模型提升预测效果，提出HUMANS基准作为高效评估代理。

Comments Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics

SAHM: A Benchmark for Arabic Financial and Shari'ah-Compliant Reasoning

SAHM：阿拉伯语金融与伊斯兰合规推理的基准

Rania Elbadry, Sarfraz Ahmad, Ahmed Heakl, Dani Bouch, Momina Ahsan, Muhra AlMahri, Marwa Elsaid khalil, Yuxia Wang, Salem Lahlou, Sophia Ananiadou, Veselin Stoyanov, Jimin Huang, Xueqing Peng, Preslav Nakov, Zhuohan Xie

机构 * MBZUAI ； INSAIT, Sofia University "St. Kliment Ohridski"（INSAIT，索菲亚大学"圣克莱门特·欧赫里迪斯"） ； The University of Manchester（曼彻斯特大学） ； The Fin AI（Fin AI） 纠错

AI总结 本文提出SAHM基准，涵盖七个任务，包含14380个专家验证实例，评估20个LLM发现阿拉伯语流畅性不等于金融推理能力，特别是在事件因果推理上存在显著差距。

Comments 29 page

Journal ref ACL 2026

BanglaSocialBench: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction

BanglaSocialBench: 一个评估大语言模型在孟加拉社会互动中社会语用和文化对齐的基准

Tanvir Ahmed Sijan, S. M Golam Rifat, Pankaj Chowdhury Partha, Md. Tanjeed Islam, Md. Musfique Anwar

机构 * Jahangirnagar University（贾亨吉尔纳加尔大学） ； Rajshahi University of Engineering & Technology（拉贾沙希工程与技术大学） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

AI总结 本文提出BanglaSocialBench，通过情境依赖的语言使用评估孟加拉语的社会语用能力，发现当前LLM在文化对齐上存在系统性偏差。

Comments Accepted at ACL SRW 2026

Peek2: Regex-free Byte-level Byte-Pair Encoding Pretokenizer for LLM Inference on Edge Devices

Peek2：无需正则表达式的字节级字节对编码预分词器用于边缘设备上的大语言模型推理

Liu Zai, Iraklis Klampanos

机构 * University of Glasgow（格拉斯哥大学） 纠错

AI总结 Peek2是一种线性时间复杂度且内存消耗低的预分词算法，适用于边缘设备，提升了字节级BPE编码的吞吐量，且结果与基于正则表达式的分词器相同。

Comments 7 pages, 5 figures, accepted to ACL SRW 2026, for associated code, see https://github.com/omegacoleman/tokenizers_peek2 v2: updated to match accepted version in ACL SRW 2026

Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics

用法律问题树准则评估法律推理轨迹

Jinu Lee, Kyoung-Woon On, Simeng Han, Arman Cohan, Julia Hockenmaier

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； LBOX ； Stanford（斯坦福） ； Yale（耶鲁） 纠错

AI总结 本文提出 LEGIT 数据集，用于评估 LLM 在法律领域推理轨迹的质量，发现法律问题覆盖度和正确性影响 LLM 推理能力，RAG 和带准则的 RL 分别提升整体能力与正确性。

Comments ACL 2026 Main Conference

ADVICE: Answer-Dependent Verbalized Confidence Estimation

ADVICE: 答案依赖性口头置信度估计

Ki Jung Seo, Sehun Lim, Taeuk Kim

机构 * Department of Computer Science, Hanyang University（韩国汉阳大学计算机科学系） 纠错

AI总结 本文提出ADVICE框架，通过增强答案依赖性改进大语言模型的置信度校准，减少过度自信现象，提升可信度。

Comments ACL 2026 Main

InterChart: Benchmarking Visual Reasoning Across Decomposed and Distributed Chart Information

InterChart：跨分解与分布式图表信息的基准测试

Anirudh Iyengar Kaniyar Narayana Iyengar, Srija Mukhopadhyay, Adnan Qidwai, Shubhankar Singh, Dan Roth, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） ； IIIT, Hyderabad（海得拉巴印度理工学院） ； Mercer Mettl University（梅森-梅特尔大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

AI总结 InterChart通过评估视觉语言模型在多图表间推理的能力，揭示了模型在复杂图表集成中的局限性，推动多模态推理的发展。

Comments 22 pages, 8 figures, 14 tables. Accepted at IJCNLP-AACL 2025

Journal ref Proceedings of the 14th International Joint Conference on Natural Language Processing and the 4th Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics 2025, 2046-2067

SCAN: Structured Capability Assessment and Navigation for LLMs

SCAN：面向大语言模型的结构化能力评估与导航

Zongqi Wang, Tianle Gu, Chen Gong, Xin Tian, Siqi Bao, Yujiu Yang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； School of Cyber Engineering, Xidian University（西安电子科技大学电子工程学院） ； Baidu, Inc（百度公司） 纠错

AI总结 本文提出SCAN框架，通过细粒度评估实现对LLM能力的深入分析，揭示了同一类别下不同子能力的显著性能差异，强调了细粒度评估的重要性。

Comments Accepted by ACL 2026 Main