语言大模型 / LLM

Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses?

技能使用：智能体框架中的大语言模型（LLM）真的能使用技能吗？

Jinyi Han, Yuanjian Xu, Ying Liao, Xinyi Wang, Zishang Jiang, Zixiang Di, Fanyang Lu, Zhichao Hu, Yanghua Xiao

机构 * East China Normal University（华东师范大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Fudan University（复旦大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究推出Skill-Use基准，评估智能体在渐进式披露下的技能使用，发现8个LLM在两个框架下的SU分数仅0.613，技能使用是依赖框架的能力。

CardioBench: A Real-World Data Benchmark for Evaluating Large Language Models in Clinically Authentic Cardiovascular Care Scenarios

MyoCardBench：用于评估临床真实心血管护理场景中大型语言模型的真实世界数据基准

Xiao Li, Mouxiao Bian, Zhaodi Wu, Sijie Ren, Juechen Chen, Lu Lu, Jingru Ding, Yun Zhong, Jie Xu, Yixiu Liang, Junbo Ge

机构 * Shanghai Institute of Cardiovascular Diseases（上海市心血管病研究所） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Minhang Hospital, Fudan University（复旦大学附属闵行医院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 该研究开发MyoCardBench真实世界基准评估大语言模型在心血管护理场景的性能，涵盖多任务数据集，经专家注释审核。7个模型在零样本设置下输出，GPT-5.4表现最佳。此基准为评估模型提供框架，助于发现优势与不足。

CLIP-CC-Bench: Evaluating Paragraph-Level Video Descriptions in Video-Language Models

CLIP-CC-Bench：评估视频语言模型中的段落级视频描述

Mukhtiar Ali, Harsh Dubey, Sugam Mishra, Chulwoo Pack

机构 * South Dakota State University（南达科他州立大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)

AI总结 CLIP-CC-Bench是针对视频语言模型的长篇段落级视频描述评估套件，采用多LLM嵌入模型集成与粗细粒度语义匹配方法，评估17种模型填补了现有短片段基准的空白。

Comments Accepted and presented at EvalMG 2026, the Second Workshop on Evaluation for Multimodal Generation, co-located with ACM SIGIR 2026

LLM-Based Educational Simulation: Evaluating Temporal Student Persona Stability Across ADHD Profiles

基于LLM的教育模拟：评估跨ADHD类型的时间学生人格稳定性

Jana Gonnermann-Müller, Jennifer Haase, Nicolas Leins, Thomas Kosch, Sebastian Pokutta

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究通过双重评估框架，测试大型语言模型在长时间交互中维持学生人格稳定性的能力，发现结构化交互设计可消除行为漂移，对教师培训和自适应辅导有重要意义。

IslamicTurathBench: A Multi-Task, Multi-Discipline Benchmark for Evaluating Large Language Models on the Islamic Scholarly Tradition (turath)

IslamicTurathBench：用于评估大型语言模型在伊斯兰学术传统（turath）上性能的多任务、多学科基准

Shahd Gaben, Heba Sbahi, Samer Rashwani, Abdessalam Bouchekif, Mutaz Al-Khatib, Emad Mohamed, Somaya Eltanbouly, Mohammed Ghaly

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 该研究推出用于评估大型语言模型伊斯兰学术性能的多任务基准 ISTB，含3465个问答条目，支持多维度可复现评估，填补了该领域高质量标注资源的空白。

Comments Includes supplementary materials. Submitted to the Journal of Scientific Data. Data and code are publicly available

SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models

SIGNPOST-Bench：评估多模态大语言模型文本-视觉冲突解决能力的基准

Sirun Li, Minghao Liu, Ling Dai, Yong Li, Haoxin Lyu, Junting Zhou, Fan Zhang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本研究推出SIGNPOST-Bench基准，通过包含5111个反事实组的25555个图像变体，评估20个多模态大语言模型的文本-视觉冲突解决能力，发现对抗文本会显著提升定位误差，且模型对冲突文本的鲁棒性无法由干净输入的定位性能完全预测。

Comments 27 pages, 25 figures

A Blind Spot in Alignment: Quantifying Biosecurity Risks in Large Language Models

对齐机制中的盲区：量化大语言模型的生物安全风险

Shu Quan, Tianfang Hao, Sitong Fang, He Geng, Jiayi Zhou, Boyuan Chen, Kaile Wang, Donghai Hong, Juntao Dai, Yaodong Yang, Jiaming Ji

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究针对大语言模型生物安全评估盲区，构建SPIKE-Bench评估框架，发现多数模型易生成毒素序列，提出BioSafe-Guard分类器降低功能风险并开源相关资源。

Comments Accepted to COLM 2026. 40 pages, 9 figures

Benchmarking and Improving LLM Robustness for Personalized Generation

Chimaobi Okite, Naihao Deng, Kiran Bodipati, Huaidian Hou, Joyce Chai, Rada Mihalcea

机构 * University of Michigan（密歇根大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments First draft. First camera-ready version

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, 2025

Social Pressure Breaks Majority Voting in LLM Safety Panels

社交压力会破坏大语言模型安全评审团的多数投票机制

Yibo Hu, Jiaming Qu

机构 * Illinois Institute of Technology（伊利诺伊理工学院） ； Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究发现，在LLM安全评审团中，同行的错误标签断言会大幅提升误报率，且评审员更易追随“不安全”方向，多数投票机制会因社交压力失效，还提供了部署前诊断方法。

Leak-Resistant Unlearning: A New Benchmark for Evaluating Multi-Hop Reasoning Consistency and Recovery Robustness

防泄露遗忘：评估多跳推理一致性与恢复鲁棒性的新基准

Haoting Qian, Qingjie Zhang, Zhicong Huang, Cheng Hong, Han Qiu

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出新基准unlearning评估LLM遗忘的鲁棒性，实验发现现有遗忘方法易受多跳推理路径和恢复攻击影响，还探究了遗忘质量、鲁棒性与模型效用的权衡。

Comments 19 pages, 7 figures

Continuous Improvement and Parallel Autonomous Exploration: An LLM-Agent Framework for Searching Large Solution Spaces

持续改进与并行自主探索：用于搜索大型解空间的大语言模型智能体框架

Dulmini Hettiarachchi, Andre Rusli, Julio Christian Young, Sho Akiyama

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 该研究提出一种LLM智能体框架，含持续改进奖励循环与并行自主探索机制，在产品到目录匹配任务中，5个并行智能体的合格覆盖度较单智能体及基线显著提升。

Comments 5 pages, ACM KDD'26 Workshop on SciSoc Agents & LLMs

CURATE: Leveraging LLM Agents to Compose, Catalog, and Deploy Reproducible Workflows

CURATE：利用大语言模型智能体构建、编目和部署可复现工作流

Nolan Cutler, Chia-Chen Kuo, Nanda Velugoti, Kathryn Newhart, Renato Figueiredo

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究提出CURATE多智能体系统，覆盖工作流全生命周期，通过模块目录支持FAIR原则，用Claude Opus 4.8原型验证，完成6项含基准工作流复现及环境工程工作流开发的实验。

Comments 8 pages, 3 figures

ORCA-bench: How Ready Are Language Model Agents for Oncall?

ORCA-bench：语言模型智能体的值班待命准备程度如何？

Albert Gong, Kyuseong Choi, Abhineet Agarwal, Jason Schechner, Ryan Huang, Raj Agrawal, Anish Agarwal, Raaz Dwivedi

机构 * Cornell Tech（康奈尔科技学院） ； Traversal ； Columbia University（哥伦比亚大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究推出ORCA-bench基准，评估编码智能体在生产级值班待命场景下的根本原因分析能力，发现现有前沿智能体表现不佳，凸显其距离安全胜任生产可靠性工作仍有较大差距。

Echoes in the Sky: Computational Thematic Analysis of Online Public Discourse on Bluesky Across Trump's Reelection

空中回响：特朗普连任期间Bluesky平台线上公共话语的计算主题分析

Qile Wang, Ali Salloum, Carolina Coimbra Vieira, Benjamin E. Bagozzi, Mikko Kivelä, Kenneth E. Barner, Matthew Louis Mauriello

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究对特朗普连任期间Bluesky平台上的3850万条相关帖子进行分析，采用LLM辅助聚类结合人工验证识别主题，揭示话语与行政命令的主题分布及情绪变化。

Comments Accepted at ASONAM 2026, to appear in the Springer proceedings

Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification

基于大语言模型的分类置信度估计中的评估缺陷与稀疏性限制

Elena Merdjanovska, Omar Zaidan, Andreas Rücklé

机构 * Humboldt-Universität zu Berlin（柏林洪堡大学） ； Amazon（亚马逊公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 该研究指出 LLM 分类置信度估计中 verbalization 方法存在稀疏性缺陷，AUARC 评估的插值选择会影响排名，提出 verbalization logprobs 方法可解决稀疏性并提升 AUARC 且无额外推理成本。

Comments Published at Findings of ACL 2026

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 33424-33435

Equitable System-Prompt Selection via Constrained Mixed-Strategy GroupDRO

基于约束混合策略GroupDRO的公平系统提示选择

Mengyu Xu, Qiaoxin Yang, Zhihan Liu, Ruiyao Xu, Zachary Liu, Kezhen Chen, Chongyang Gao

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM不同表述问题的答案质量不均问题，提出约束混合策略GroupDRO框架选择系统提示，在双语医疗和消费金融基准上使LLM的最差损失平均降低13.7%。

Amplitude-Only FFN Intervention for Tool-Structured LLM Inference Method: Gated Evaluation Protocol, and Cross-Model Empirical Results

用于工具结构化大语言模型推理方法的仅幅度前馈网络干预：门控评估协议及跨模型实证结果

Sheng Xu, Zhen Chen, Junhua Wang, Boyuan Huang, Ke Jia, Jiadun Zhu, Yiming Xu

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究推理时FFN干预改善大语言模型结构化输出，提出无损的幅度门控方法，定义细粒度干预系统和评估协议。在多个模型上实验，AG在工具结构化任务中效果最佳，不同AG变体各有优劣，确定工具结构化推理是FFN级推理优化首要目标。

Comments 30 pages, 9 figures

Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark

易完成，难选择：探究大型语言模型在ProverbIT基准上的性能

Enrico Mensa, Lorenzo Zane, Calogero Jerik Scozzaro, Matteo Delsanto, Tommaso Milani, Daniele Paolo Radicioni

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建了意大利谚语基准ProverbIT，评估13个前沿LLMs的谚语处理能力，发现LLMs虽能完成谚语任务，但在无正确答案的选择题中性能骤降，暴露其依赖记忆而非深层语义理解的局限。

Journal ref Proceedings of the Eleventh Italian Conference on Computational Linguistics (CLiC-it 2025), pages 722-734

FinRpt: Dataset, Evaluation System and LLM-based Multi-agent Framework for Equity Research Report Generation

FinRpt：用于权益研究报告生成的数据集、评估系统及基于大语言模型的多智能体框架

Song Jin, Shuqi Li, Shukun Zhang, Rui Yan

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文首次明确权益研究报告生成任务，推出含数据集、评估系统的FinRpt基准，提出多智能体框架FinRpt-Gen，实验验证其有效性，相关代码与数据集公开。

Comments AAAI 2026

Do Language Models Know Their Slang? Queer Slang Understanding in User-Generated Content

语言模型了解其俚语吗？用户生成内容中的酷儿俚语理解

Arianna Denitto, Beatrice Savoldi

机构 * University of Torino（都灵大学） ； Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会） 纠错

专题命中 评测与基准 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 针对酷儿俚语在自然语言处理研究中未受充分关注的问题，构建含118个酷儿术语的Slang-Q数据集，对语言模型理解酷儿俚语的能力开展首次探索性评估，为研究模型处理敏感社区语言的能力提供基础。

Breadcrumbing Search Agents

面包屑式搜索智能体

Xuebin Li, Hanqing Zhao, Siyuan Liang, Kejiang Chen, Weiming Zhang, Dacheng Tao, Nenghai Yu

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM搜索智能体的安全问题，提出ACH和TGSE策略，通过操纵搜索结果形成连贯证据链，大幅提升攻击成功率。

Comments 38 pages, 7 figures

Trident : How to Break Deep Reinforcement Learning Cyber Defenses (Agentic)

三叉戟：如何突破深度强化学习网络防御（智能体式）

Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对DRL网络防御对自适应威胁鲁棒性不足的问题，提出Trident智能体式LLM红队框架，通过含三类组件的设计，发现现有防御存在根本性脆弱性，大幅降低蓝方防御性能并揭示新兴行为。

Comments code: https://anonymous.4open.science/r/Trident-A934

When Outputs Disperse, Does Epistemic Revision Follow? A Black-Box Diagnostic for Machine Collectives

当输出分散时，认知修正会随之而来吗？面向机器集体的黑盒耦合诊断方法

Molood Arman

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出黑盒耦合诊断方法，评估LLM集体输出分散度干预与认知立场修正的关联，发现不同模型的错误前提恢复效应存在显著差异，建议报告立场转变及保留前提率。

Comments Reviewed at Collective Intelligence 2026 (CI 2026) Conference. Revised version incorporating reviewer feedback

EDATracer: An Agentic Framework for Large-Scale EDA Artifact Analysis

EDATracer：用于大规模EDA工件分析的智能体框架

Phat Tieu, Sayanti Jana, Matthew DeLorenzo, Jiawen Wu, Narendran Srinivasan, Srinivas Shakkottai, Jiang Hu, Jeyavijayan Rajendran

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出EDATracer框架，将EDA工件组织为知识图谱搭配语义向量索引，构建含2787个开源芯片设计的18.9GB数据集及90题基准，使LLM智能体跨工件检索证据，准确率优于Cursor、Claude Code且token用量更少。

ConlangBench: Exploring Language Knowledge and Learning in LLMs through Diverse Constructed Languages

ConlangBench：通过多样人造语言探索大语言模型的语言知识与学习

Jinhong Jeong, Seungyeop Yi, Sangah Lee, Youngjae Yu

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究人员提出首个针对21种现有人造语言的大规模基准ConlangBench，收集大量平行句对和词汇条目，通过双向翻译实验发现模型在后天人造语言上表现更好，且可学习8种拥有足够语料库的人造语言，为人造语言探索LLMs低资源语言学习提供独特试验台。

Comments 29 pages, 12 figures, 17 tables

LLMs Struggle to Measure What Distinguishes Students of Different Proficiency Levels: A Study of Item Discrimination in Reading Comprehension Assessment

LLMs难以衡量区分不同水平学生的题目：阅读理解评估中题目区分度研究

Han Chen, Ming Li, Chenguang Wang, Yijun Liang, Dawei Zhou, Hong jiao, Tianyi Zhou

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； University of Maryland（马里兰大学） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本研究评估42个LLM在零样本设置下预测题目区分度的能力，发现直接预测与人类校准的区分度相关性弱（最高Spearman 0.152），基于CTT的响应校准相关性有限（0.241），表明LLM尚不能可靠捕捉题目区分度。

DeepInvert: Semi-Supervised Embedding Inversion Against Obfuscated Language Models

DeepInvert：针对混淆语言模型的半监督嵌入反演攻击

Zhicong Huang, Cheng Hong, Tao Wei

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对ObfusLM等混淆语言模型防御提出半监督嵌入反演攻击DeepInvert，其标记恢复率达73.5%，优于现有方法，揭示混淆防御存在效用与反演的权衡问题，呼吁重新评估该防御类别。

Comments 20 pages

NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts

NuclearDiffusion：用于学习核能概念的文生成像基础模型

Mohammed I. Radaideh, Jeremy Moon, Andre Gala-Garza, Emma Son, Yug Shah, Majdi I. Radaideh

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过微调开源扩散模型构建核能文生成像模型，发现微调效果依赖生成架构，且微调后开源模型在专业核能图像生成上优于主流商业系统，证实领域特定微调是开发可信领域生成式AI的可行路径。

Comments 29 pages, 10 figures, and 4 tables

From Research Questions to Columns: Operationalization-Aware Data Discovery

从研究问题到列：感知操作化的数据发现

Houming Chen, H. V. Jagadish

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究提出感知操作化的数据发现（OADD）任务，构建基准OADD-Bench，评估多种方法后发现OADD仍是未解决问题，其中OADD定向智能体表现最佳。

Comments 6 pages, 2 figures

A Multimodal Automatic Redteaming Evaluation based on Atomic Jailbreak Strategy Decoupling and Combination

基于原子越狱策略解耦与组合的多模态自动红队评估

Shiji Zhao, Yuxuan Zhou, Chen Xiong, Dongxian Wu, Yang Bai, Xun Chen

专题命中 评测与基准 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 针对现有多模态越狱攻击的两大挑战，本文提出HACA方法，构建多模态原子越狱策略空间，对5种主流MLLMs平均攻击成功率达95.48%。