语言大模型 / LLM

DS@GT ARC at Touché: Large Language Models for Retrieval-Augmented Debate

DS@GT ARC参与Touché任务：用于检索增强辩论的大型语言模型

Anthony Miyaguchi, Conor Johnston

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；prompting(abstract)

AI总结 DS@GT ARC参与Touché 2025检索增强辩论任务，采用三家提供商的六个主流LLMs通过检索增强提示流水线，发现多LLM评估者一致性无法可靠追踪官方评估目标，在质准则上差距最大。

Comments 12 pages, 4 figures. Accepted for publication in the CLEF 2026 Best of Labs proceedings

TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories

TraceSafe: 对LLM在多步骤工具调用轨迹上的安全护栏的系统评估

Yen-Shan Chen, Sian-Yao Huang, Cheng-Lin Yang, Yun-Nung Chen

机构 * CyCraft AI Lab, Taiwan（CyCraft AI实验室（台湾）） ； National Taiwan University（国立台湾大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract,comments)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TraceSafe-Bench，首个评估中间轨迹安全的综合基准，发现安全护栏效果更依赖结构数据能力而非语义安全对齐，通用模型在轨迹分析中表现更优，且准确性随执行步骤增加而提升。

Comments Accepted to Conference on Language Modeling (COLM) 2026

Unified Hallucination Fuzzing for Multimodal Large Language Models

面向多模态大语言模型的统一幻觉模糊测试

Pengfei Zhou, Jiajun Song, Zhiwei Tang, Yixing Ma, Xiaopeng Peng, Donghui Si, Yuhang Xu, Huiqi Song, Yiyuan Miao, Yichen Qian, Weihua Chen, Wangbo Zhao, Bohan Zhuang, Jiasheng Tang, Yang You

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态大语言模型的幻觉问题，提出含UniHall基准与SAMF自演化模糊测试的评估框架，发现SOTA模型在模糊测试下性能显著下降，存在有用性-幻觉权衡。

Comments 47 pages, 17 figures

Forged Peer Judgments Mislead Multimodal LLM Judge Panels: Source-Blind Anchoring and Panel-Consensus Verification

伪造的同行判断会误导多模态大语言模型（LLM）评判小组：无来源锚定与小组共识验证

Yang Shu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)

AI总结 研究发现多模态LLM评判小组存在无来源锚定的文本攻击面，伪造同行判断可误导判决，提出的小组共识验证方法能有效阻断此类攻击并降低损害。

GRACE: LLM-Grounded Semantic Metric Spaces for Scalable Mixed-Data Clustering

GRACE：用于可扩展混合数据聚类的大语言模型（LLM）基础语义度量空间

Zihua Yang, Zhencheng Xie, Junyang Chen, Liang Xie, Yiqun Zhang, Mengke Li, Yang Lu

机构 * Guangdong University of Technology（广东工业大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； Shenzhen University（深圳大学） ； Xiamen University（厦门大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对混合数据聚类中语义丰富度与可扩展性的矛盾，提出GRACE框架，通过多视角LLM查询实现一次性语义嵌入，兼顾可扩展性与聚类性能，优于11种对比方法。

Comments 13 pages

LLM within MCP Matters: Measuring Inefficient Resource Utilization Driven by LLMs

MCP中的大语言模型很重要：测量由大语言模型驱动的低效资源利用

Minhan Cho, Soyoung Park, Kihyeon Jeong, Byeongkyu Jeon, Daejin Choi, Jinyoung Han

机构 * Sungkyunkwan University（成均馆大学） ； National Assembly Research Service（国会研究服务处） ； AlphaBridge（阿尔法桥公司） ； Ewha Womans University（梨花女子大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对24个LLM开展54000次试验，发现MCP中服务器嵌入的参考数据会因LLM偏好导致低效资源利用，提出需将服务器指令置于客户端LLM工具选择之前的改进方向。

Comments 4 pages, 1 table. Accepted at the AgentSearch Workshop at SIGIR 2026, Melbourne, Australia (non-archival). Code and data: https://github.com/rabqatab/llm-in-mcp-matters

Who Verifies the Benchmark? Decentralizing Trust in Large Language Model Evaluation

谁来验证基准？去中心化大语言模型评估中的信任问题

Sahil Pardasani, Madhusudan Singh

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 针对LLM基准测试的信任问题，该研究分析7种验证模型的身份感知偏差，提出基于区块链的提交-披露协议以实现去中心化、可验证的LLM评估。

Comments Accepted to International Conference on Quantum Enhanced AI and Secure Computing (QASC2026)

Autorubric: A Unifying Framework for Rubric-Based LLM Evaluation on Non-Verifiable Tasks

Autorubric：统一基于评分标准的LLM评估

Delip Rao, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 Autorubric通过整合多种评分标准评估技术，提供统一的评分框架和默认设置，提升LLM评估的可靠性与一致性，并在多个基准测试中展示了其有效性。

Comments 60 pages; COLM 2026 camera ready copy

QuArch: A Benchmark for Evaluating LLM Reasoning in Computer Architecture

QuArch：评估计算机体系结构中大型语言模型推理的基准

Shvetank Prakash, Andrew Cheng, Mark Mazumder, Arya Tschand, Varun Gohil, Jeffrey Ma, Jason Yik, Zishen Wan, Jessica Quaye, Elisavet Lydia Alvanaki, Avinash Kumar, Chandrashis Mazumdar, Tuhin Khare, Alexander Ingare, Ikechukwu Uchendu, Radhika Ghosal, Abhishek Tyagi, Chenyu Wang, Andrea Mattia Garavagno, Sarah Gu, Alice Guo, Grace Hur, Luca P. Carloni, Tushar Krishna, Ankita Nayak, Amir Yazdanbakhsh, Vijay Janapa Reddi

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出QuArch基准，用于评估LLM在计算机体系结构中的推理能力。它包含2671个问答对，发现前沿模型在高阶思维技能上有差距。经微调可提升内存层次结构设计任务性能，为构建和衡量LLM能力提供基础，推动计算系统创新。

Artificial Leviathan: Exploring Social Evolution of LLM Agents Through the Lens of Hobbesian Social Contract Theory

人工智能利维坦：通过霍布斯社会契约理论视角探索大语言模型智能体的社会演化

Gordon Dai, Weijia Zhang, Jinhan Li, Siqi Yang, Chidera Onochie lbe, Srihas Rao, Arthur Caetano, Misha Sra

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究基于LLM智能体构建模拟社会，通过霍布斯社会契约理论验证其演化契合该理论，证实LLMs可模拟复杂社会动态，有望助力人类对社会系统的理解。

When the Defense Writes the Refusal: Auditing Keyword-Scored Evaluation of Inference-Time Defenses for Multimodal Large Language Models

多模态大语言模型推理时防御方法的比较分析

Bulat Nutfullin, Vladimir Evgrafov, Dmitry Namiot

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文比较评估了三种推理时防御方法及其组合在InternVL和Qwen-VL系列共8个模型上的效果，发现无单一防御在所有设置中占优，组合防御导致良性查询过度拒绝率达97-100%，而简单安全提示在保持实用性的同时带来适度安全提升。

Comments 15 pages, 3 figures. Conditionally accepted at DAMDID/RCDL 2026; revised after peer review

Fair on the Surface? Benchmarking Hidden-Output Fairness Gaps in LLM Recommenders

表面上公平？对LLM推荐器的隐藏输出公平性差距进行基准测试

Chan Aristella Lu, Arya Fayyazi, Junhao Zhang, Saeid Shokoufa, Yue Xing, Zhen Xiang, Kyu Hyung Lee, Mehdi Kamal, Massoud Pedram

机构 * University of Georgia（佐治亚大学） ； University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Michigan State University（密歇根州立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 该研究提出首个联合评估LLM推荐器可观测输出与隐藏表示公平性的基准FairGap，发现二者存在根本张力，现有框架无法诊断。

Opportunity Is Not Realizability: Selection-Valid Diagnostics for Multi-LLM Routing

机遇并非可实现性：多大型语言模型（LLM）路由的选择有效诊断方法

Ibne Farabi Shihab, Abu Sa-Adat Mohamed Moon-Im Al Ahsan, Md Najmus Swaqeeb

机构 * Iowa State University（爱荷华州立大学） ； BRAC University（BRAC大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.LG

AI总结 该研究针对多LLM路由的神谕路由诊断缺陷，提出选择有效置信区间方法，通过实验发现可部署路由器仅能恢复部分神谕机遇，且最佳策略的增益下限可能为零。

MOSAIC: Adversarial Co-evolution of Specialist Heuristics and Problem Instances for LLM-based Automated Heuristic Design

MOSAIC：针对基于大语言模型的自动启发式设计的专用启发式算法与问题实例的对抗性协同进化

Oguzhan Gungordu, Siheng Xiong, Faramarz Fekri

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出MOSAIC框架，通过对抗性协同进化组合优化问题的专用启发式算法与问题实例，构建区域专用启发式算法池，所提取的组合在各类基准测试中均优于现有最先进的基于LLM的自动启发式设计方法。

GraphReview: Scientific Paper Evaluation via LLM-based Graph Evidence Expansion

GraphReview: 基于LLM的图消息传递的科学论文评估

Pujun Zheng, Wanying Ren, Jiacheng Yao, Guoxiu He, Star X. Zhao

机构 * School of Economics and Management, East China Normal University（东华师范大学经济管理学院） ； Institute of Big Data, Fudan University（复旦大学大数据研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出GraphReview框架，通过图消息传递整合论文内在质量、同期关联和历时关联，利用LLM生成节点先验和边比较证据，结合个性化PageRank进行质量排序、决策预测和审稿生成，在决策和排序指标上平均提升29.7%。

SurroPilot: An LLM-Assisted Platform for Heterogeneous Surrogate Endpoint Evaluation in Clinical Trials

SurroPilot：用于临床试验中异质性替代终点评估的大语言模型辅助平台

Xingyu Li, Peng Wei

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 SurroPilot是集成LLM与异质性中介框架的辅助平台，可通过自然语言交互完成临床试验异质性替代终点评估全流程，降低了相关方法的应用技术门槛。

Comments Submitted for journal

Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives

大语言模型智能体能坚持剧本吗？交互式叙事中长期一致性的基准测试

Yingpeng Ma, Jianhao Yan, Bei Shi, Ka Hou Kam, Runnan Wang, Xuebo Liu, Yulong Chen, Yue Zhang, Derek F. Wong

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM智能体在交互式叙事中难以维持长期一致性的问题，构建了NCP-Bench基准测试，发现现有顶尖LLM的承诺保持率较低，存在显著的逻辑冲突问题。

Comments Accepted by ICML 2026

A Statistical Framework for Auditing Behavioral Dependence and Induced Bias in LLM Judges

大型语言模型有多独立？一种用于审计行为纠缠和重加权验证者集合的统计框架

Chenchen Kuai, Jiwan Jiang, Zihao Zhu, Hao Wang, Keshu Wu, Zihao Li, Yunlong Zhang, Chenxi Liu, Zhengzhong Tu, Zhiwen Fan, Yang Zhou

机构 * Texas A&M University（德克萨斯农工大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出一种统计框架，用于审计大型语言模型之间的行为纠缠，通过多分辨率层次结构和信息理论度量，分析行为纠缠对验证性能的影响，并通过重加权验证者集合减少相关偏差。

Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models

Jagle：构建大规模日语多模态预训练数据集以构建视觉-语言模型

Issa Sugiura, Keito Sasagawa, Keisuke Nakao, Koki Maeda, Ziqi Yin, Zhishen Yang, Shuhei Kurita, Yusuke Oda, Ryoko Tokuhisa, Daisuke Kawahara, Naoaki Okazaki

机构 * Kyoto University（京都大学） ； NII LLMC（国立信息学研究所LLMC） ； Waseda University（早稻田大学） ； Institute of Science Tokyo（东京科学大学） ； NII（国立信息学研究所） ； Aichi Institute of Technology（爱知工业大学） ； Institute of Physical and Chemical Research（理化学研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；post-training(title,abstract)；LLM(abstract)

AI总结 本文提出Jagle，一个包含920万实例的日语多模态预训练数据集，通过多种策略生成VQA对，实验表明其在日语任务中表现优异，且与FineVision结合能提升英文性能。

Comments Accepted to COLM 2026

IDRAAK: From Multi-Agent NLP to Few-Shot Prompting for Semantic Drift Detection in Technical Requirements

IDRAAK：从多智能体自然语言处理到用于技术需求语义漂移检测的少样本提示

Shiva Ahir

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(title,abstract)；分类 cs.CL

AI总结 IDRAAK是基于语义需求表示的可解释框架，通过含6个少样本示例的LLM单次调用检测技术需求语义漂移，性能优于多种替代方案，证明少样本提示是高效替代方法。

LegoLM: Structured Weight Sharing for Large Language Models

LegoLM：面向大语言模型的结构化权重共享压缩框架

Joseph Bingham

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 LegoLM针对大语言模型全局权重共享的两种失效模式，提出三种无数据适配策略，在GPT-2 small和Mistral-7B上实现优于PTQ-8bit的压缩效果与精度，证实选择性替换是核心机制。

Comments 8 pages, 3 figures

Evolving Safety Landscape of Multi-modal Large Language Models: A Survey of Emerging Threats and Safeguards

多模态大语言模型的演进安全态势：新兴威胁与防护措施综述

Xi Li, Shu Zhao, Xiaohan Zou, Fei Zhao, Fuxiao Liu, Yusen Zhang, Cheng Han, Yushun Dong, Jiaqi Wang

机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； NVIDIA（英伟达公司） ； Penn State University（宾夕法尼亚州立大学） ； Columbia University（哥伦比亚大学） ； University of Missouri-Kansas City（密苏里大学堪萨斯分校） ； Florida State University（佛罗里达州立大学） ； Auburn University（奥本大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本综述针对多模态大语言模型（MLLMs）的新型安全威胁，提出多模态安全威胁分类法，梳理安全策略进展，探讨未来安全机制的研究方向。

Comments Accepted at the ICLR 2026 Workshop on Principled Design for Trustworthy AI

FitAQA: A Benchmark of Fitness Action Quality Assessment for Multimodal Large Language Models

FitAQA：面向多模态大语言模型的健身动作质量评估基准

Kaili Zheng, Kaiwen Wang, Xun Zhu, Qingyuan Yang, Chenyi Guo, Ji Wu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究推出FitAQA基准，含2219个视频等数据，设计三项评估任务，发现当前MLLMs评估健身动作质量及定位错误存在瓶颈，视觉感知是关键瓶颈，相关数据和代码将公开。

Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding

当下与过往时间：针对时间演进的文档理解的大语言模型基准测试

Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

机构 * BRAC University（BRAC大学） ； United International University（联合国际大学） ； North South University（北南大学） ； Spectrum Software & Consulting Ltd.（斯佩克特软件咨询有限公司） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对时间演进的文档理解构建了TIDE基准，评估9种LLMs在版本解析任务上的表现，发现模型在检测错误版本时表现较差，倾向于选择参数化答案而非权威文本。

Performance of large language models in the optical diagnosis of colorectal polyps

大型语言模型在结直肠息肉光学诊断中的性能

Joshua C. Vences, William T. Tran, Nikko Gimpaya, Catharine M. Walsh, Rishad J. Khan, Robert Bechara, Asher C. Wiggins, Celine N. Rousan, Kaitlyn V. G. L. Morgado, Angie Ibrahim, Kevin H. M. Kuo, Daniel von Renteln, Alexander Hann, Dennis L. Shung, Michael A. Scaffidi, Charles Ménard, Joshua Landy, Samir C. Grover

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究评估Claude Opus 4等5款大型语言模型对结直肠息肉的光学诊断性能，发现其区分息肉亚型的准确率接近专家共识，但灵敏度与特异度未达ESGE标准，需进一步研究方可临床应用。

Comments 22 pages, 1 figure, 5 tables

Evaluating Jailbreaking Vulnerabilities in LLMs Deployed as Assistants for Smart Grid Operations: A Benchmark Against NERC Standards

评估部署于智能电网操作中的LLM jailbreaking漏洞：与NERC标准的基准测试

Taha Hammadia, Lucas Rea, Ahmad Mohammad Saber, Amr Youssef, Deepa Kundur

机构 * ECE Department, University of Toronto（多伦多大学电子工程系） ； CIISE, Concordia University（麦吉尔大学CIISE） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文评估了智能电网操作中部署LLM的jailbreaking漏洞，通过与NERC标准的基准测试，发现DeepInception方法攻击成功率最高，Claude 3.5 Haiku完全免疫，Gemini 2.0 Flash-Lite最易受攻击。

Comments \c{opyright} 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

Retrieval-Augmented Defense: Adaptive and Controllable Jailbreak Prevention for Large Language Models

检索增强防御：针对大语言模型的自适应且可控制的越狱防范

Guangyu Yang, Jinghong Chen, Jingbiao Mei, Weizhe Lin, Bill Byrne

机构 * Department of Engineering University of Cambridge（工程系剑桥大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 针对大语言模型越狱攻击的挑战，提出检索增强防御（RAD）框架，在StrongREJECT数据集上验证其可降低强力越狱攻击有效性，同时平衡安全性与实用性。

Safeguarding LLM Agents from Misalignment through Provenance Analysis

通过溯源分析保护LLM智能体免受失调影响

Yining She, Yiliang Liang, Eunsuk Kang

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出基于溯源分析的ProvenanceGuard框架，通过多阶段流水线检测工具调用前的三种失调类型，在Agent-SafetyBench和WorkBench上显著降低失调错误率并减少不必要的干预。

Beyond Questions: Evaluating LLM's Knowledge Expression

超越问题：评估大型语言模型（实际）知道什么

Luca Giordano, Simon Razniewski

机构 * ScaDS.AI Dresden/Leipzig & TU Dresden, Germany（ScaDS.AI 德尔布兰德/莱比锡及德累斯顿技术大学，德国） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出开放知识评估新范式，通过开放式提示（如“告诉我关于M.L. King的一切”）评估模型自然表达的知识，并构建BeQu基准测试10,000个实体。

In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores

针对LLM公平性的在 situ 行为评估，而非标准化测试分数

Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出MAC-Fairness框架，通过多轮对话评估模型在不同身份下的行为变化，揭示稳定的行为特征，超越传统标准化测试的局限。

Comments Accepted to COLM 2026