语言大模型 / LLM

PROMPT2BOX: Uncovering Entailment Structure among LLM Prompts

PROMPT2BOX: 揭示LLM提示间的蕴含结构

Neeladri Bhuiya, Shib Sankar Dasgupta, Andrew McCallum, Haw-Shiuan Chang

机构 * CICS, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校计算机信息科学中心） ； Amazon AWS AI（亚马逊AWS人工智能） ； A10 Networks（A10网络） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出PROMPT2BOX方法，通过盒嵌入空间捕捉提示间的特异性关系，并开发降维技术，在层次聚类中比向量基线多发现8.9%的LLM弱点。

Automated Standardization of Legacy Biomedical Metadata Using an Ontology-Constrained LLM Agent

使用本体约束的LLM代理自动化标准化遗留生物医学元数据

Josef Hardi, Martin J. O'Connor, Marcos Martinez-Romero, Jean G. Rosario, Stephen A. Fisher, Mark A. Musen

机构 * Division of Computational Medicine, Stanford University（斯坦福大学计算医学部） ； Department of Biology, University of Pennsylvania（宾夕法尼亚大学生物学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出基于LLM的元数据标准化系统，通过实时查询标准指南和本体服务，在839条HuBMAP记录上验证，相比纯LLM方法显著提升预测准确性。

A Two-Phase Stability Study of LLM Judges and Bar Council Examiners on Thai Bar-Exam Free-Form Essays

LLM评审员与律师协会考官对泰国律师资格考试自由回答论文的两阶段稳定性研究

Pawitsapak Akarajaradwong, Wuttikrai Lertprasertphakorn, Chompakorn Chaksangchaichot, Sarana Nutanong

机构 * VISAI AI（VISAI人工智能） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 通过泰国律师资格考试的自由回答论文评估，研究LLM评审员与人类考官在评分一致性上的不对称性，发现LLM评审员倾向于多数人类阅读而无法复制少数人类阅读。

FeedEval: Pedagogically Aligned Evaluation of LLM-Generated Essay Feedback

FeedEval: 面向教学法的LLM生成作文反馈评估

Seongyeub Chu, Jongwoo Kim, Munyong Yi

机构 * Graduate School of Data Science, KAIST（数据科学研究生院，韩国科学技术院） ； Department of Industrial & Systems Engineering, KAIST（工业与系统工程系，韩国科学技术院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出FeedEval框架，沿特异性、帮助性和有效性三个教学维度评估LLM生成的作文反馈，通过专用评估器筛选高质量反馈，提升下游评分和修订效果。

BadScientist: Can a Research Agent Write Convincing but Unsound Papers that Fool LLM Reviewers?

BadScientist: 研究代理能否写出令人信服但不严谨的论文来欺骗LLM审稿人？

Fengqing Jiang, Yichen Feng, Yuetai Li, Luyao Niu, Basel Alomair, Radha Poovendran

机构 * University of Washington（华盛顿大学） ； King Abdulaziz City for Science and Technology（卡布斯科学与技术城） ； HUMAIN 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出BadScientist框架，通过无需真实实验的呈现操纵策略生成造假论文，揭示LLM审稿系统存在系统性漏洞，造假论文接受率高达一定水平，且审稿人存在“担忧-接受冲突”，当前检测方法效果有限。

Comments ACL 2026; Project Page at https://bad-scientist.github.io/

ALAS: An Automatic Latent Alignment Score for Audio Language Models

ALAS：音频语言模型的自动潜在对齐分数

Pooneh Mousavi, Yingzhi Wang, Mirco Ravanelli, Cem Subakan

机构 * Concordia University（Concordia 大学） ； Mila-Quebec AI Institute（Mila-Quebec 人工智能研究所） ； Centrale Supelec（Centrale Supelec 研究院） ； Laval University（Laval 大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 提出ALAS指标，通过计算音频与文本表示的跨模态余弦相似度，无需训练即可评估语音-LLM的音频-文本对齐质量，揭示模型对齐深度与任务需求的关系。

Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability

多智能体LLM系统中浪费计算资源的早期诊断：基于故障感知的可观测性

Xianyou Li, Weiran Yan, Yichao Wu, Penghao Liang, Mengwei Yuan, Jianan Liu, Jing Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种故障感知的可观测性框架，通过在线轨迹信号诊断多智能体LLM系统中的浪费计算，并在GAIA验证集上评估，揭示不同故障机制及其与资源消耗的关系。

RoSE: Round-robin Synthetic Data Evaluation for Selecting LLM Generators without Human Test Sets

RoSE: 循环合成数据评估，无需人工测试集选择LLM生成器

Jan Cegin, Branislav Pecher, Ivan Srba, Jakub Simko

机构 * Kempelen Institute of Intelligent Technologies（凯姆佩尔智能技术研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出RoSE方法，通过训练小模型在候选生成器输出上，并在其他LLM合成样本上评估，以选择最佳LLM生成器，无需人工测试集，在多个语言和任务中优于其他内在启发式方法。

Comments 16 pages; EACL 2026 Main

Low-Burden LLM-Based Preference Learning: Personalizing Assistive Robots from Natural Language Feedback for Users with Paralysis

基于低负担LLM的偏好学习：通过自然语言反馈为瘫痪用户个性化辅助机器人

Keshav Shankar, Dan Ding, Wei Gao

机构 * Electrical and Computer Engineering（电气与计算机工程） ； Rehabilitation Science and Technology（康复科学与技术） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对严重运动障碍用户，提出一种低负担离线框架，利用大语言模型将非结构化自然语言反馈转化为确定性机器人控制策略，并通过职业治疗框架解码用户需求，显著降低用户负担。

Comments Accepted to IEEE RO-MAN 2026

LaQual: An Automated Framework for LLM App Quality Evaluation

LaQual: 一种用于LLM应用质量评估的自动化框架

Yan Wang, Xinyi Hou, Junjun Si, Yanjie Zhao, Weiguo Lin, Haoyu Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出LaQual自动化框架，通过静态指标筛选和动态场景评估，实现LLM应用质量评估，与人类判断高度一致，可减少66.7%-81.3%候选应用。

Nonparametric LLM Evaluation from Preference Data

基于偏好数据的非参数化LLM评估

Dennis Frauen, Athiya Deviyani, Mihaela van der Schaar, Stefan Feuerriegel

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出非参数统计框架DMLRank，通过去偏机器学习从偏好数据中比较和排名大语言模型，引入广义平均排名分数，具有统计高效、兼容黑箱方法、结合预训练评估器和优化数据收集策略等优势。

Comments Accepted at ICML 2026

Agent Planning Benchmark: A Diagnostic Framework for Planning Capabilities in LLM Agents

Agent规划基准：LLM Agent规划能力的诊断框架

Haoyu Sun, Wenxuan Wang, Mingyang Song, Jujie He, Weinan Zhang, Yang Liu, Yang Yang, Yu Cheng

机构 * Tongji University（同济大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； Skywork AI ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出Agent规划基准(APB)，通过4209个多模态案例和五个设置，诊断LLM Agent在长程规划、工具噪声鲁棒性、校准拒绝和推理时改进方面的系统弱点。

Diagnosing LLM Arbitration Behavior over Pre-evidence Epistemic States in RAG-based Fact-Checking

诊断基于RAG的事实核查中LLM对证据前认知状态的仲裁行为

Yuxi Sun, Wenbo Shang, Wei Gao, Xin Huang, Jing Ma

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Singapore Management University（新加坡 Management 大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出PAVE测试平台，通过将LLM验证器分为四种认知状态，评估其在检索增强生成事实核查中仲裁参数知识与检索证据的能力，发现不可靠且高度依赖模型的仲裁行为，并提出轻量级JSD测试时仲裁方法。

Comments Accepted to ACL-2026 Findings (voluntarily withdraw)

LLM as a Meta-Judge: Synthetic Data for NLP Evaluation Metric Validation

LLM作为元评判者：用于NLP评估指标验证的合成数据

Lukáš Eigler, Jindřich Libovický, David Hurych

机构 * Faculty of Mathematics and Physics, Charles University（数学与物理系，查尔斯大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出LLM作为元评判者框架，通过控制语义退化生成合成数据替代人工判断，验证NLG评估指标，在多语言问答中元相关性超过0.9。

Comments 16 pages, 1 figure, 14 tables

Auditing Question-Order Effects in Large Language Models with the QQ Equality: Mechanism Characterization and a Saturation Caveat

用QQ等式审计大语言模型中的问题顺序效应：机制表征与饱和警告

Pilsung Kang

机构 * Dankook University（韩国檀国大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中问题顺序效应，将QQ等式发展为审计标准，理论上表征满足该等式的机制类别，方法上开发审计管道，实验发现强制二元下一个token对数概率不适用于分布级QQ审计，建议进行饱和诊断。

Comments v2: major revision. Five restructured findings separating order sensitivity, QQ imbalance, and residual contextuality; two-layer discriminant table; pipeline figure and per-item joint table; envelope pooling and certified Gamma bounds specified; retrospective batch-1 G3 re-validation (all verdicts preserved). No new pilot measurements

Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation

通过含义识别和取消评估大语言模型中的交际信念更新

Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung

机构 * Mila - Quebec AI Institute & McGill University（米拉 - 魁北克人工智能研究所和麦吉尔大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过创建首个专家注释的含义取消数据集，评估大语言模型识别和理解潜在信念及更新的能力，发现其落后于人类，成功可能源于依赖先验信念，失败取决于类型和形式，表明当前LLMs未达人类水平。

ImplicitBBQ: Benchmarking Implicit Bias in Large Language Models through Characteristic Based Cues

ImplicitBBQ: 通过基于特征的提示对大语言模型中的隐性偏见进行基准测试

Bhaskara Hanuma Vedula, Darshan Anghan, Ishita Goyal, Ponnurangam Kumaraguru, Abhijnan Chakraborty

机构 * International Institute of Information Technology, Hyderabad（国际信息技术学院海得拉巴） ； Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ImplicitBBQ基准测试，通过基于特征的提示评估大语言模型中的隐性偏见，发现隐性偏见在模糊情境中比显性偏见高六倍，现有方法难以有效缓解。

PRISON: Unmasking the Criminal Potential of Large Language Models

PRISON：揭示大型语言模型的犯罪潜力

Xinyi Wu, Geng Hong, Pei Chen, Yueyue Chen, Xudong Pan, Min Yang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 提出PRISON框架，通过五个特质量化LLMs的犯罪潜力，发现最先进模型常表现出犯罪倾向，且检测欺骗行为准确率仅44%。

NeedleChain: Measuring Intact Context Comprehension Capability of Large Language Models

NeedleChain: 测量大型语言模型的完整上下文理解能力

Hyeonseok Moon, Heuiseok Lim

机构 * Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 针对现有基准高估LLM上下文理解能力的问题，提出NeedleChain基准，通过全相关上下文测试模型整合所有证据的能力，并引入ROPE收缩策略提升全上下文整合。

Comments ACL2026 - findings

If LLMs Have Human-Like Attributes, Then So Does Age of Empires II

如果LLM具有类人属性，那么《帝国时代II》也具有

Adrian de Wynter

机构 * Microsoft（微软公司） ； The University of York（约克大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过训练简单神经网络于《帝国时代II》，论证LLM的拟人属性在经验上非唯一，提出应假设LLM非独特性而非拟人属性来设计实验。

Comments Fixed corollary 1, added stat sig

Towards Automated Kernel Generation in the Era of LLMs

面向LLM时代的自动化内核生成

Yang Yu, Peiyu Zang, Chi Hsu Tsai, Haiming Wu, Yixin Shen, Jialing Zhang, Haoyu Wang, Zhiyou Xiao, Jingze Shi, Yuyu Luo, Wentao Zhang, Chunlei Men, Guang Liu, Yonghua Lin

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Beijing Normal University（北京师范大学） ； Peking University（北京大学） ； Beijing Institute of Technology（北京理工大学） ； Cornell University（康奈尔大学） ； Beijing Jiaotong University（北京交通大学） ； Renmin University of China（中国人民大学） ； Hong Kong University of Science and Technology (Guangzhou)（广州科技大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了利用大语言模型（LLM）和智能体系统自动化生成与优化GPU内核的方法，系统梳理了现有方法、数据集和基准，并指出了未来研究方向。

Comments In IJCAI 2026. 9 pages, 1 figure

Can LLM Annotations Replace User Clicks for Learning to Rank?

大语言模型标注能否替代用户点击用于学习排序？

Lulu Yu, Keping Bi, Jiafeng Guo, Shihao Liu, Shuaiqiang Wang, Dawei Yin, Xueqi Cheng

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文探究LLM标注能否替代点击数据用于学习排序，经多维度对比实验发现二者各有优劣，提出两种整合二者监督信号的训练策略可提升排序性能。

Comments 12 pages, 7 figures, accepted as a Full Research Paper at CIKM 2026

Procedural Collapse: A Structural Account of Disengagement in LLM-Assisted Writing

程序崩溃：大语言模型辅助写作中脱离的结构解释

JaeWon Kim, Katelyn X. Mei

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文针对学生使用LLM写作时脱离的问题，提出结构层面解释，指出当前界面引发程序崩溃，给出分解式交互等设计方向以支持AI辅助写作。

LLM-Guided Evolutionary Search for Algebraic T-Count Optimization

基于LLM的引导进化搜索在代数T计数优化中的应用

Daniil Fisher, Valentin Khrulkov, Mikhail Saygin, Ivan Oseledets, Stanislav Straupe

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本文提出VarTODD方法，通过分离代数重写系统与搜索策略，利用LLM引导的进化算法优化T计数，提升量子电路编译效率。

Comments 13 pages, 5 figures, 2 tables, 2 listings

From Survey Personas to LLM Agents: A Generative Agent-based Simulation of Mobility Policy Preference Dynamics

从调查画像到大语言模型智能体：基于生成式智能体的流动性政策偏好动态模拟

Ali Torkayesh, Julia Offermann, Regina Gimpel, Linda Engelmann, Katrin Arning, Martina Ziefle, Sandra Venghaus

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出基于调查的生成式智能体建模框架，将德国514名调查受访者转化为LLM智能体，模拟公众对淘汰新型内燃机汽车的政策偏好动态，以助力行为实验。

Who Tests the Testers? Systematic Enumeration and Coverage Audit of LLM Agent Tool Call Safety

谁测试测试者？LLM代理工具调用安全的系统枚举与覆盖审计

Xuan Chen, Lu Yan, Ruqi Zhang, Xiangyu Zhang

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出SafeAudit框架，通过系统生成测试用例和规则阻力指标，发现现有测试未覆盖的20%不安全行为，揭示当前安全评估的不足。

Piggybacking on Perception: Stealthy Concurrent Audio Prompt Injections against Multimodal LLM Agents

利用感知能力：针对多模态大语言模型智能体的隐蔽并发音频提示注入攻击

Mingxiao Liu, Yitong Li, Haoren Zhao, Yaoxiang Bian, Jianan Ma, Jian Zhang, Jialuo Chen, Xinhao Deng, Zhen Wang

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对多模态LLM智能体提出隐蔽并发音频提示注入攻击，构建首个相关基准并评估多款智能体，还提出CADV防御机制，经实验验证攻击有效且防御可靠。

Comments 19 pages, 8 figures, The code is publicly available at https://github.com/Limax666/AudioAgentSecurity

The Metanym Game: A Self-Contained, Self-Consistent LLM Peer-Community Benchmark for Structural Intelligence

Metanym游戏：一种自包含、自洽的LLM同行社区结构智能基准

David Nordfors

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Metanym游戏作为LLM结构智能基准，通过同行互评和奇异值分解实现无黄金标准的客观评估，事实评分与GPQA Diamond相关性达0.92，发现评判能力比生成能力更稀缺。

Comments 71 pages (main text + four appendices: full generation/evaluation prompts, the anchor submission excerpt, and a council-evaluation excerpt), 1 figure, 17 tables. Github repo with pages/figures/tables/code and data for reproducing results: https://github.com/dnordfors/metanym-game-paper

Evaluating LLM Agents on Automated Software Analysis Tasks

评估LLM代理在自动化软件分析任务中的性能

Islem Bouzenia, Cristian Cadar, Michael Pradel

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本文通过AnalysisBench评估四种LLM架构在自动化软件分析任务中的表现，发现AnalysisAgent在手动验证的成功率高达94%，而现有代理存在阶段混用、错误定位差等问题，且整程序分析和符号执行是最具挑战性的任务。

LLM-Based Visual Explanation Evaluation Framework for Assessing the Explainability of Facial Skin Disease Classification Models

基于LLM的视觉解释评估框架：用于评估面部皮肤病分类模型的可解释性

Gyuyeon Na

机构 * AI and Business Analytics, Ewha Womans University（人工智能与商业分析，成均馆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出基于LLM的视觉解释评估框架，通过渐进式提示工程评估Grad-CAM在面部皮肤病诊断模型中的解释质量，聚焦病变定位和可信度。