语言大模型 / LLM

GAIN: A Benchmark for Goal-Aligned Decision-Making of Large Language Models under Imperfect Norms

GAIN：在不完美规范下评估大语言模型目标对齐决策的基准

Masayuki Kawarada, Kodai Watanabe, Soichiro Murakami

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 GAIN基准通过模拟现实商业场景，评估大语言模型在规范与目标冲突下的决策平衡能力，揭示影响决策的关键因素。

Comments We are working towards releasing the code in April 2026

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pages 4346-4357, Palma de Mallorca, Spain. ELRA Language Resource Association

Agentic Security: A Systematization of Tools, Failure Modes, and Design Laws for LLM-Driven Penetration Testing

智能体安全：LLM驱动渗透测试的工具、失效模式与设计法则体系化研究

Israt Moyeen Noumi, Tarannum Ahmed Nowshin, Md. Mehedi Hasan Nipu, Mohammad Sakib Mahmood, Md. Jakir Hossain, M. F. Mridha

机构 * Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学） ； BRAC University（BRAC大学） ； North South University（北南大学） ； Missouri State University（密苏里州立大学） ； Multimedia University（多媒体大学） ； American International University-Bangladesh（孟加拉国美国国际大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 该研究对LLM驱动渗透测试的智能体安全相关工具、失效模式等体系化，推导定量规律与设计法则，实现Inspectra平台验证。

Beyond Benchmarks: LLM Evaluation with an Anthropomorphic and Lifecycle-oriented Roadmap

超越基准：基于拟人化与生命周期导向路线图的大语言模型评估

Jun Wang, Ninglun Gu, Kailai Zhang, Pengyong Li, Yelun Bao, Jin Yang, Xu Yin, Liwei Liu, Zijiao Zhang, Yihuan Liu, Gary G. Yen, Junchi Yan

机构 * Department of Networks, China Mobile Communications Group Co.,Ltd.（中国移动通信集团有限公司网络部） ； Xidian University（西安电子科技大学） ； Oklahoma State University（俄克拉荷马州立大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对LLM基准分数与实际效用脱节问题，建立诊断本体并提出含IQ、PQ、EQ、VQ的拟人化评估框架，分析200余个基准后为LLM开发提供战略指引。

Comments Preprint. Under Review

Right-Sizing LLM-Agent Decomposition in VAT Determination: A Pilot Controlled Sweep

增值税判定（VAT Determination）中大型语言模型智能体（LLM-Agent）分解的规模适配：一项试点控制扫描研究

Pedro Santos

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本试点研究在带反向收费的跨境增值税判定场景中，对比不同LLM智能体分解配置，发现中间配置准确率领先但未达标准，提出分解规模适配启发式方法并发布相关资源。

Comments 29 pages, 4 figures. Code, data, and traces: https://github.com/pedro-santos-eng/Right-sizing-LLM-agent-decomposition-in-VAT-determination

Large Language Models for Requirements Engineering: A Cross-Task Empirical Evaluation

用于需求工程的大语言模型：跨任务实证评估

Jacek Dąbrowski, Manjeshwar Aniruddh Mallya, Alessio Ferrari, Mohammad Amin Zadenoori, Yijun Yu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文通过两项互补实证研究，开展首个涵盖五项需求工程相关活动的大语言模型跨任务实证评估，明确其性能高度依赖任务，为LLMs在RE中的实际应用提供复现材料与能力认知。

What LLMs explain is not what they believe: Evaluating explanation sufficiency under models' own input beliefs

LLM 解释的内容并非其信念：基于模型自身输入信念评估解释充分性

Nhi Nguyen, Shauli Ravfogel, Rajesh Ranganath

机构 * New York University（纽约大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出自洽充分性（SCSuff）指标，利用 LLM 自身生成替代输入来评估自由文本解释的充分性，发现 LLM 解释通常不充分且与模型大小、准确率等弱相关。

Comments 26 pages, 9 figures, 13 tables, Forty-Third International Conference on Machine Learning (ICML 2026)

Journal ref Forty-Third International Conference on Machine Learning (ICML 2026)

Evidence-State Reliability Under Controlled Degradation: Parser-Validity Divergence in a Multi-Stage LLM Pipeline

受控退化下的证据状态可靠性：多阶段大语言模型（LLM）流水线中的解析器有效性偏差

Naimur Rahman

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 该研究针对多阶段LLM流水线提出证据状态可靠性评估框架，发现受控退化下结构符合性可改善但证据敏感的阶段成功会恶化，且退化证据的检测与恢复存在偏差。

Comments 32 pages, 4 figures, 6 tables. Code and reproducibility materials: https://github.com/NaimurRahmanR/evidence-state-reliability

Framework for Grounding Healthcare LLMs in a Causal Knowledge Graph: A Cardiovascular Example Pilot

将医疗大语言模型（LLM）基于因果知识图谱：框架、指标与心血管试点研究

Ummara Mumtaz, Aimen Noor, Awais Ahmed

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出以因果知识图谱为核心的医疗LLM评估框架，在心血管试点中验证其有效性，发现集成条件C4在因果推理相关指标上表现最优，未基于图的C1原始干预准确性最高但缺乏因果与证据基础。

From Natural Language Policies to Executable Obligations: A Verification Harness for Dependable In-Car LLM Agents

从自然语言策略到可执行义务：面向可靠车载大语言模型智能体的验证工具

Radouane Bouchekir, Damir Safin, Tomas Bueno Momcilovic

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出AgentGuardUtil工具，将车载LLM智能体纳入验证-修正循环，通过运行时策略编译器和25个确定性门等机制，保障智能体满足车载操作策略，提升任务可靠性。

"I want to be pushed, I want to grow": Enabling social workers to design evaluations of LLM augmentation in their work

“我想要被推动，我想要成长”：让社会工作者能够设计工作中大型语言模型（LLM）增强的评估方案

Anna Kawakami, Chloe Qianhui Zhao, Renee Shelby, Fernando Diaz, Haiyi Zhu, Kenneth Holstein

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本研究提出工作者驱动的AI测量方法，通过与19名校社工作者开展8场研讨会，设计LLM评估基准，验证其可区分6种先进LLM性能，该方法可作为自上而下AI评估的补充。

Comments Accepted at AIES 2026

SABER: Benchmarking Operational Safety of LLM Coding Agents in Stateful Project Workspaces

SABER：在有状态项目工作区中对LLM编码代理的操作安全性进行基准测试

Qi Hu, Yifeng Tang, Qinghua Wang, Lanyang Zhao, Pengji Zhang, Yuhao Qing, Xin Yao, Dong Huang, Lin Zhang, Zhuoran Ji

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SABER基准，通过将模型置于真实代理式项目中并评估最终环境状态，来衡量LLM编码代理的操作安全性，发现最佳模型的有害安全违规率超过54%。

Decision-Support and Modeling with Large Language Models for Geothermal Well Arrays

面向地热井阵列的大型语言模型决策支持与建模

Edwin Ouko, Emmanuel Lujan, Alan Edelman, Robert Metcalfe

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本研究评估ChatGPT等前沿LLMs在地热领域的应用潜力，提出用NotebookLM加速生成地热基准，分析地热井阵列等技术的机遇，还展示了LLMs助力地热数值模型自动并行化的案例。

Comments 10 pages, 8 figures. Presented at the 50th Workshop on Geothermal Reservoir Engineering, Stanford University, February 10-12, 2025

Journal ref Proceedings of the 50th Workshop on Geothermal Reservoir Engineering, Stanford University, SGP-TR-229 (2025)

Beyond Benchmarking: Scenario-Based Evaluation of Large Language Models for Personalized Learning

超越基准测试：面向个性化学习的大语言模型场景化评估

Bo Yuan, Jiazi Hu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本研究提出场景化评估框架，以Gemini为外部评估器结合Bradley-Terry模型等，发现不同LLMs在个性化学习场景中教学行为存在差异，为AI增强教育提供有意义的模型行为信号。

Rank Reversal in Multilingual LLM Judges: A Label-Free Double-Centering Calibrator

多语言大语言模型评判器中的排名反转：一种无标签双中心化校准器

Alhasan Mahmood, Samir Abdaljalil, Hasan Kurban

专题命中 评测与基准 ：LLM(title,summary_cn)；language agent(abstract)；分类 cs.CL、cs.AI

AI总结 针对多语言LLM评判器因提示语言导致排名反转的问题，提出无标签共识校准法（CBC），可提升排名一致性及与人工偏好的契合度，验证了其下游实用性。

Register Shifts Break LLM Safety: A Bengali Benchmark with Culturally Grounded Harms

寄存器偏移破坏大语言模型安全：具有文化相关危害的孟加拉语基准测试

Naymul Islam, Nusrat Jahan Lia, Shubhashis Roy Dipta, Sabik Bin Sultan, Abdullah Khan Zehady

机构 * Institute of Information Technology, University of Dhaka（达卡大学信息技术学院） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； Bangladesh Air Force Shaheen College Kurmitola（孟加拉国空军库尔米托拉沙欣学院） ； Ciroos Inc.（Ciroos公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 针对孟加拉语LLM安全评估的英语中心偏差问题，构建含879个提示的BanglaSafe基准，发现写作风格对有害请求成功率的影响最大，且现有安全分类器难以评估孟加拉语内容。

Large language models simulate intersectional synthetic identities with a budget of one to two dimensions

大型语言模型以1至2个维度的预算模拟交叉合成身份

Virgile Rennard, Christos Xypolopoulos

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 该研究针对皮尤美国趋势调查面板数据，发现大型语言模型模拟交叉身份时，其响应未呈现真实身份的加总特性，且会系统性舍弃种族、宗教等关键驱动因素，仅能单次代表单一身份。

ChemDIRT: A Diversified Instruction, Representation, and Task Benchmark for Robust Chemistry-LLM Evaluation

ChemDIRT：面向稳健化学大语言模型评估的多样化指令、表示与任务基准

Eric Inae, Tim Gunn, Chris Bond, Meng Jiang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究针对现有化学LLM评估基准的局限性，提出ChemDIRT基准，涵盖八大类化学任务，评估模型在指令和分子表示变化下的准确性与一致性，测试发现LLM存在提示敏感性、表示依赖及任务间性能不均问题。

There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items

不存在中立的评估框架：现代大语言模型排行榜由对配置敏感的项目生成

V. S. Raghu Parupudi

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出敏感性网格，发现评估框架的配置差异使LLM分数呈区间变化，配置敏感项目承载模型间大部分分数差，且框架可决定排行榜排名，压缩方法保留此类项目。

Comments 25 pages in total

Do Large Language Models Perform Well on Comprehending Poetic Logic in Modern Chinese Poetry?

大型语言模型在理解现代汉诗的诗意逻辑方面表现良好吗？

Tian Lan, Shanshan Wang, Zehua Duo, Jiang Li, Guanglai Gao, Derek F. Wong, Xiangdong Su

机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究科） ； University of Macau（澳门大学） ； College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 该研究针对当前LLMs在现代汉诗诗意逻辑理解评估上的缺口，构建首个基准Peony，评估发现主流LLMs存在相关理解局限，验证了Peony的有效性与必要性。

Comments 20 pages, 2 figures

Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding

当下与过往时间：针对时间演进的文档理解的大语言模型基准测试

Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

机构 * BRAC University（BRAC大学） ； United International University（联合国际大学） ； North South University（北南大学） ； Spectrum Software & Consulting Ltd.（斯佩克特软件咨询有限公司） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对时间演进的文档理解构建了TIDE基准，评估9种LLMs在版本解析任务上的表现，发现模型在检测错误版本时表现较差，倾向于选择参数化答案而非权威文本。

Omni-SafetyBench: A Benchmark for Safety Evaluation of Audio-Visual Large Language Models

Omni-SafetyBench：视听大语言模型安全评估基准

Leyi Pan, Zheyu Fu, Yunpeng Zhai, Shuchang Tao, Sheng Guan, Shiyu Huang, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Felix Henry, Aiwei Liu, Lijie Wen

机构 * Tsinghua University（清华大学） ； Tongyi Lab（通义实验室） ； Peking University（北京大学） ； OpenRL Lab（OpenRL实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究针对现有OLLM安全基准的不足，构建Omni-SafetyBench基准，提出定制化评估指标，发现多数OLLM存在安全漏洞，为该领域研究提供重要支撑。

Comments ACM MM 2026 (Oral)

TRACE: A Self-Evolving Skill Bank for Consistent, Limit-Aware LLM Agents

TRACE：面向一致性、极限感知的自进化技能库

Wenhao Wu, Menghao Zhang, Xin Wang, Zhi Wang, Kun Shao, Jian Luan

机构 * Xiaomi Inc.（小米公司） ； Nanjing University（南京大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 TRACE是一种无需修改模型权重的自进化技能库方法，通过轨迹对比进化优化技能，在CAR-bench任务上显著提升LLM智能体的一致性性能，缩小潜在与可靠性能的差距。

Comments 9 pages, 5 figures, 2 tables

Forgotten in Weights, Recovered by Tools: Agentic Tool Unlearning for LLM Agents

权重中遗忘，工具中恢复：面向大语言模型智能体的智能体工具遗忘

Baicheng Chen, Zheyuan Liu, Jingyu Zhang, Kaize Ding, Ningshan Ma, Yue Huang, Meng Jiang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Notre Dame（圣母大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； Northwestern University（西北大学） ； MIT（麻省理工学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大语言模型智能体的工具介导恢复问题，提出两阶段的Agentic Tool Unlearning框架，在RWKU和MUSE数据集上实现了更好的遗忘与保留效用平衡。

KSE-Web: An Analysis of Hybrid Retrieval and LLM-Assisted Query Expansion for Low-Resource Khmer Semantic Search

KSE-Web：面向低资源高棉语语义搜索的混合检索与大语言模型辅助查询扩展分析

Nimol Thuon

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文针对低资源高棉语语义搜索，构建专属数据集，评估多种检索方法，发现BM25性能最优，LLM辅助查询扩展未提升效果但模型规模影响显著，为相关研究提供基础。

Do LLM Recommenders Know When They're Hallucinating? Auditing Confidence Calibration in Catalog Faithfulness

大语言模型推荐系统是否知道自己在产生幻觉？针对目录保真度的置信度校准审计

Srijith Ravikumar

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.LG

AI总结 该研究审计了四个零样本LLM推荐系统的幻觉率与置信度校准，发现其系统性置信不足，提出conformal弃权阈值效果有限，建议审计需同时报告校准与OOD率并采用锚定目录的提示。

Comments Accepted at CIKM 2026 (short paper). v2 corrects the catalog-membership matcher, which scored truncated catalog entries as perfect matches to longer hallucinated titles. One finding reverses: v1 reported all four models under-confident in all twelve cells; v2 finds the catalog sets the direction. Amazon Toys hallucination moves from 4.5-8.3% to 49.3-61.0%. Cite v2 or later; v1 is superseded

FIDES: A Concordance Protocol for LLM-Generated Trading Strategies

FIDES：一种针对大语言模型生成交易策略的一致性协议

Arther Tian, Alex Ding, Simon Wu, Aaron Chan

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 FIDES是针对LLM生成交易策略的一致性测量协议，通过三类产物的一致性打分发现一致性不预测收益、自我评估校准不足等关键结果，为测量保真度提供方案。

Emergent Misaligned Communication in Long-Horizon Multi-Agent LLM Commerce

长视野多智能体大语言模型商业环境中涌现的对齐失效通信

Zeyuan Li, Lukas Petersson, Alessandro Acquisti, Michiel A. Bakker

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究在Vending-Bench Arena环境中发现，竞争多智能体LLM交易场景会涌现与操作稀缺性、对手行为相关的可测量对齐失效通信，且该现象不受模型能力排名直接影响。

Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases

每个词元都重要：用于测量大语言模型态度与偏差的精确李克特量表分布

Davood Wadi, Mohsen Ghodrat, Matthew Philp

机构 * McGill University（麦吉尔大学） ； University Canada West（加拿大西部大学） ； Toronto Metropolitan University（多伦多都会大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 该研究提出结合人类心理测量学与LLMs机制的精确框架，通过因子实验、词元级PMFs及对应分析方法，分离LLMs的系统性原产国偏差。

Verbalizing LLMs' assumptions to explain and control sycophancy

使LLM的假设 verbal化以解释和控制谄媚行为

Myra Cheng, Isabel Sieh, Humishka Zope, Sunny Yu, Lujain Ibrahim, Aryaman Arora, Jared Moore, Desmond Ong, Dan Jurafsky, Diyi Yang

机构 * Stanford University（斯坦福大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Verbalized Assumptions框架，通过揭示LLM对用户的错误假设来解释和控制其谄媚行为，发现LLM在面对用户提问时倾向于提供验证而非客观信息，进而提出可解释的细粒度控制方法。

Comments COLM 2026

Evaluating the Efficacy of LLMs to Emulate Realistic Human Personalities

评估大语言模型（LLMs）模拟真实人类人格的效能

Lawrence J. Klinkert, Stephanie Buongiorno, Corey Clark

专题命中 评测与基准 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；LLM(abstract)；prompting(abstract)

AI总结 本研究以超5万份人类人格调查数据为基准，对比前沿与本地LLMs，发现部分前沿模型可100%对齐人类人格，为游戏开发者提供了测试LLMs模拟人类人格的方法。

Comments 11 pages, 4 figures, 3 tables. Published in Proceedings of AIIDE 2024

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment 20(1) (2024) 65-75