语言大模型 / LLM

Evaluating Large Language Models on Misconceptions in Multi-Turn Medical Conversations

在多轮医疗对话中的误解上评估大语言模型

Monica Munnangi, Saiph Savage

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

AI总结 研究多轮医疗对话中模型对误解的处理，引入ThReadMed-QA数据集，用基于准则的框架评估五个大语言模型，发现前沿模型在后续轮次表现大幅下降，错误传播致性能降，强调需捕捉多轮行为的评估框架。

Comments Accepted to MLHC 2026

Can Agentic Trading Systems Pay for Their Own Intelligence?

智能交易系统能否为自身智能付费？

Qiqi Duan, Changlun Li, Chen Wang, Fan Zhang, Mengxiang Wang, Dayi Miao, Peixian Ma, Jiangpeng Yan, Liyuan Chen, Shuoling Liu, Preslav Nakov, Yuyu Luo, Nan Tang

机构 * HKUST(GZ)（香港科技大学（广州）） ； Paradoox AI（悖论人工智能公司） ； E Fund Management Co., Ltd（易方达基金管理有限公司） ； MBZUAI（Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）） ； The University of Tokyo（东京大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究基于LLM的交易系统中智能体能否为自身智能付费的问题，引入TradeLens工具包进行评估，通过多方面分析发现可行性取决于智能到利润的转化，不同模型有不同失败模式，重构了此类交易智能体的评估方式。

A safety-oriented hypothetico-deductive framework for AI-assisted differential diagnosis

一种用于人工智能辅助鉴别诊断的面向安全的假设-演绎框架

Fan Ma, Mauro Giuffrè, Donald Wright, Kent McCann, Mark Iscoe, Lingfei Qian, Mingyang Jiang, Chi Wing Ng, Na Hong, Huan He, Cathy Shyr, Qingyu Chen, Lee Schwamm, Lucila Ohno-Machado, Hua Xu

机构 * Yale School of Medicine, Yale University（耶鲁大学医学院，耶鲁大学） ； Università degli Studi di Trieste（的里雅斯特大学） ； Vanderbilt University（范德堡大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对诊断错误威胁，提出AegisDx框架，通过协调LLM组件进行鉴别诊断、筛查危险情况、验证推理等。经多层面评估，该框架在诊断准确率及安全评分等方面表现优于独立LLM，为急性护理提供更优床边决策支持

LEMUR 2: Unlocking Neural Network Diversity for AI

LEMUR 2：释放人工智能的神经网络多样性

Tolgay Atinc Uzun, Waleed Khalid, Saif U Din, Sai Revanth Mulukuledu, Akashdeep Singh, Chandini Vysyaraju, Raghuvir Duvvuri, Avi Goyal, Yashkumar Rajeshbhai Lukhi, Muhammad A. Hussain, Krunal Jesani, Usha Shrestha, Yash Mittal, Roman Kochnev, Pritam Kadam, Mohsin Ikram, Harsh R. Moradiya, Alice Arslanian, Dmitry Ignatov, Radu Timofte

机构 * University of Würzburg（维尔茨堡大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LEMUR 2旨在释放神经网络多样性，通过统一生成、评估和部署管道，利用多种方式生成超14000个不同架构及大量训练记录，采用特定管道进行自动部署和延迟基准测试，涵盖多模态任务，为LLM微调提供数据基础，推动相关新兴范式发展。

Comments 10 pages, 9 figures, 1 table

APeB: Benchmarking Personalization Ability of Large Language Model Agents

APeB：大型语言模型智能体个性化能力基准测试

Garry Yang, Zizhe Chen, Xinru Chen, Yongqiang Chen, Jianxiang Wang, Deyu Zou, Linyi Ding, Jialiang Wu, Yunzhong He, Yu Gong, James Cheng, Huaixiao Tou

机构 * The Chinese University of Hong Kong（香港中文大学） ； ByteDance（字节跳动） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.AI

AI总结 研究大型语言模型智能体在处理原始、未明确查询时的个性化问题，通过引入个性化产品搜索测试平台构建基准测试，评估发现模型处理明确查询较好，但早期查询有困难，简单方法能提升性能。

Comments NA

AGI Maze as a Benchmark Framework for World-Modeling Agents

AGI Maze：作为世界建模智能体的基准框架

Alexey Potapov

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AGI Maze框架，通过部分可观测网格迷宫任务评估LLM构建世界状态表示的能力，发现标准LLM在推理时无法内部表示迷宫，即使借助工作记忆也难以可靠求解。

LOPA: Enhancing Spoken Language Assessment via Latent Ordinal Prototype Alignment

LOPA：通过潜在序数原型对齐增强口语评估

Hong-Yun Lin, Fu-An Chao, Bi-Cheng Yan, Berlin Chen

机构 * National Taiwan Normal University（国立台湾师范大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出LOPA正则化器，在潜在空间施加序数几何先验，结合SALR自适应提取Whisper编码器多层表示，以0.361 RMSE媲美十亿参数系统，无需LLM微调。

BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams

BLUEX v2: 对巴西大学入学考试开放性问题的大语言模型基准测试

João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

机构 * UNICAMP（坎皮纳斯州立大学） ； Tropic AI ； Maritaca AI 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对葡萄牙语开放性问题评估的不足，提出BLUEX v2基准，包含巴西两所顶尖大学第二阶段入学考试的395道题，采用LLM-as-a-judge评估21个模型，发现数学推理和图像理解是最难的能力维度。

Comments 15 pages, 4 figures, 7 tables

An Empirical Analysis of Factual Errors in Human-Written Text and its Application

人类撰写文本中事实错误的实证分析及其应用

Kazuma Iwamoto, Kazumasa Omura, Shotaro Ishihara

机构 * Nikkei Inc.（日本产经公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过分析报纸文章修正，提炼人类事实错误分类，并评估LLM在合成和真实数据上的检测能力，发现GPT-5.4仅达52% F1分数。

Physiology-Aware CNN and Zero-Shot Multimodal LLMs for ECG Image Classification: A Comparative Study

生理感知CNN与零样本多模态大语言模型在心电图图像分类中的比较研究

Khalil Ahammad, Derek Abbott, Mohsen Dorraki

机构 * School of Computer Science and Information Technology, Adelaide University（阿德莱德大学计算机科学与信息学院） ； Australian Institute for Machine Learning (AIML)（澳大利亚机器学习研究所） ； Pi MedTech（Pi医疗科技） ； School of Electrical and Electronic Engineering, Adelaide University（阿德莱德大学电子与电气工程学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究比较了零样本多模态大语言模型和生理感知CNN在正常/异常心电图图像分类中的表现，发现CNN模型稳定且准确，而LLM分类接近随机。

A Reproducible Semantic Benchmark for Multivendor DSM-to-CLI Translation

可复现的多厂商DSM到CLI语义基准测试

Jerônimo Menezes, Leonardo Bitzki, Diego Kreutz, Gefte Almeida, Marcio Pohlmann, Rodrigo Mansilha

机构 * Federal University of Rio Grande do Sul (UFRGS)（里约格朗德杜斯·鲁伊斯联邦大学） ； AI Horizon Labs（AI地平线实验室） ； PPGES -- Federal University of Pampa (UNIPAMPA)（PGEs -- 皮亚蒙特联邦大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对网络意图翻译中语义正确性缺乏基准的问题，提出可复现的DSM-to-CLI语义基准，涵盖5种云LLM、3个厂商、5个用例，发现语义质量与可靠性正交，厂商效应主导，重复运行离散度预测投票不稳定。

Comments 10 pages, including 8 tables and 3 figures, submitted to Workshop on Artificial Intelligence in Networks and Communications (WIARC at SBRC 2026)

Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages

Multi-LCB: 将 LiveCodeBench 扩展到多种编程语言

Maria Ivanova, Pavel Zadorozhny, Rodion Levichev, Ivan Petrov, Adamenko Pavel, Ivan Lopatin, Alexey Kutalev, Dmitrii Babaev

机构 * GigaCode ； Yandex School of Data Analysis, Applied AI Institute（Yandex数据分析学院，应用人工智能研究所） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出 Multi-LCB 基准，将 LiveCodeBench 的 Python 任务扩展到 12 种编程语言，评估 LLM 跨语言代码生成能力，发现 Python 过拟合和语言特定污染等问题。

Comments ICLR 2026

Possible or Definite? A Benchmark for Evaluating Diagnostic Uncertainty Preservation in Clinical Text

可能还是确定？评估临床文本中诊断不确定性保留的基准

Hongbo Du, Zixin Lu, Jiaming Qu

机构 * Trine University（特里尼大学） ； University of Michigan（密歇根大学） ； Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 构建包含9184个不确定性标注的基准，评估LLM在临床文本中保留诊断不确定性的能力，发现LLM保留原始不确定性线索不足一半，且难以区分相邻级别。

Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

评估开源大语言模型在CTI报告上的多标签ATT&CK技术分类

Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

机构 * The University of Dhaka（达卡大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对开源LLM在复杂非结构化CTI报告上的ATT&CK分类性能未被评估的问题，构建了2076句人工标注数据集，评估7个开源LLM，最高F1为0.22，表明当前模型不足以用于生产。

Agentic AI-based Framework for Mitigating Premature Diagnostic Handoff and Silent Hallucination in Healthcare Applications

基于Agentic AI的框架：缓解医疗应用中的过早诊断交接和无声幻觉

Divyansh Srivastava, Shreya Ghosh, Anshul Verma, Rajkumar Buyya

机构 * Distributed Systems (qCLOUDS) Lab, School of Computing ； Information Systems, The University of Melbourne, Australia ； 2Department of Computer Science ； Engineering, School of Electrical ； Computer Sciences (SECS), Indian Institute of Technology Bhubaneswar, India ； 3Department of Computer Science Banaras Hindu University, Varanasi, India 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出多智能体框架，通过确定性编排约束和两个安全机制（神经符号状态跟踪门和语义熵不确定性量化门）解决LLM在医疗对话中的过早诊断交接和无声幻觉问题，诊断精度提升11.3个百分点。

Cluster-Aware Dual-Level Test Specification Generation for Large-Scale Automotive Software Requirements

面向大规模汽车软件需求的集群感知双层测试规格生成

Hazem Ayman, Menna Sedik, Kareem Mostafa, Mahmoud Soliman, Samer Saber, Ibrahim Habib

机构 * CairoMotive Cairo, Egypt（开罗动力埃及） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种“先聚类后总结”流水线，通过嵌入、降维、聚类、多级摘要和双层测试生成，解决大规模需求下LLM处理依赖缺失和上下文窗口限制问题，提升集成测试覆盖率并高效扩展。

Data-Centric Benchmarking of Exploit Generation in LLMs: Understanding the Impact of Fine-Tuning

数据为中心的LLM漏洞利用生成基准测试：理解微调的影响

Yiwei Chen, Lichi Li, Kai Cheung, Vinny Parla, Ganesh Sundaram

机构 * Cisco Systems, Inc.（思科系统公司） ； Michigan State University（密歇根州立大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 采用数据驱动方法，构建高质量数据集并设计评估框架，对17个大语言模型进行零样本漏洞利用生成能力基准测试，发现8B开源模型经微调后性能提升超42.5%，接近部分商业模型。

Comments Technical Report

ReportQA: QA-Based Radiology Report Evaluation

ReportQA: 基于问答的放射学报告评估

Yiming Shi, Shaoshuai Yang, Xi Chen, Haolin Li, Hengyu Zhang, Che Jiang, Kaiwen Wang, Xun Zhu, Dong Xie, Fei Wang, Dejing Dou, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； Beijing Electronic Digital & Intelligence（北京电子数字与智能） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ReportQA框架，利用知识树和LLM从报告中提取结构化信息生成QA对，以问答准确率作为评估指标，比现有指标更符合放射科医生判断。

SemPiper: Interactive Code Synthesis for Semantic Operators in Machine Learning Pipelines

SemPiper：机器学习流水线中语义算子的交互式代码合成

Olga Ovcharenko, Luciano Duarte, Sebastian Schelter

机构 * BIFOLD & TU Berlin（BIFOLD 与柏林工业大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出SemPipes编程模型，通过声明式语义算子和LLM合成专用实现，结合Python代码，实现可控、可优化的ML流水线开发。

Comments Accepted at VLDB 2026 (Demonstrations track)

FactoryLLM: A Safe and Open-Source AI Playground for Evaluating LLMs in Smart Factories

FactoryLLM：用于评估智能工厂中大语言模型的安全开源AI实验场

Yash Pulse, Yong-Bin Kang, Abhik Banerjee, Abdur Forkan, Prem Prakash Jayaraman

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出FactoryLLM，一个安全开源的AI实验场，通过多机器文档分析评估基于RAG的大语言模型，采用RAGAS和NVIDIA LLM-as-a-Judge双评估机制，案例验证了跨机器文档推理的有效性。

Comments 6 pages, 3 figures, IEEE INDIN 2026

RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue

RogueAI: 一种用于检测对话中授权AI欺骗的逆向图灵测试

Sara Candussio, Emanuele Ballarin, Lorenzo Bonin, Sandro Junior Della Rovere, Luca Bortolussi

机构 * AILab, MIGe, University of Trieste（的里雅斯特大学） ； Computational Statistics and Machine Learning, Istituto Italiano di Tecnologia（意大利理工学院） ； DIA, University of Trieste（的里雅斯特大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出RogueAI，一种通过玩家与两个LLM代理的对话游戏来检测授权欺骗的逆向图灵测试，并引入AutoRogueAI扩展。实验发现简单启发式方法准确率75.6%，而人类仅56.6%，表明人类忽略关键信号。

Prefill Awareness in Large Language Models

大型语言模型中的预填充感知

Andy Wang, Parv Mahajan, David Demitri Africa, Alexandra Souly, Jordan Taylor, Robert Kirk

机构 * Constellation University of Wisconsin-Madison（威斯康星大学麦迪逊分校星座研究所） ； Constellation Georgia Institute of Technology（佐治亚理工学院星座研究所） ； UK AI Security Institute（英国人工智能安全研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；分类 cs.AI

AI总结 研究大型语言模型能否识别并响应其助手消息被预填充或篡改，发现前沿模型具有显著预填充感知能力，可能影响安全评估方法。

Comments Submitted to NeurIPS 2026

Which Models Are Our Models Built On? Auditing Invisible Dependencies in Modern LLMs

我们的模型建立在哪些模型之上？审计现代LLM中的隐形依赖

Sanjay Adhikesaven, Haoxiang Sun, Sewon Min

机构 * University of California, Berkeley（加州大学伯克利分校） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 本文提出ModSleuth系统，通过递归重建LLM依赖图，揭示多跳许可义务、训练-评估耦合等隐藏依赖问题，并发布工具和依赖图以支持透明分析。

MSUE: Multi-Modal Soccer Understanding Expert

MSUE：多模态足球理解专家

Litao Li, Yibo Yu, Yufeng Hu, Zhuo Yang, Jiali Wen, Yixin Chen, Yixi Zhou

机构 * South China University of Technology（华南理工大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MSUE多专家问答架构，结合VLM数据合成管道与LLM动态调度文本、图像、视频专家，在SoccerNet VQA挑战中达到0.95准确率，获第三名。

Comments 6 pages, 1 figures

ABC-Bench: An Agentic Bio-Capabilities Benchmark for Biosecurity

ABC-Bench：生物安全的主体生物能力基准

Andrew Bo Liu, Samira Nedungadi, Bryce Cai, Alex Kleinman, Harmon Bhasin, Seth Donoughe

机构 * Andrew Bo Liu（安德鲁·刘） ； Samira Nedungadi（萨米拉·纳杜加迪） ； Bryce Cai（布莱斯·凯） ； Alex Kleinman（亚历克斯·克莱因曼） ； Harmon Bhasin（哈蒙·巴辛） ； Seth Donoughe（塞斯·多诺赫） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ABC-Bench基准，评估LLM主体在生物安全相关任务上的能力，包括液体处理机器人编程、DNA片段设计和合成筛选规避，所有测试主体均优于人类专家基线。

Comments 18 pages. To be published in ICML 2026

Benchmarking and Exploring the Capabilities of LLMs for Attack Investigations

基准测试与探索LLM在攻击调查中的能力

Aniket Anand, Yiwei Hou, Daniel Fields, Alex Kantchelian, David Tao, Kurt Thomas, Grant Ho

机构 * University of Chicago（芝加哥大学） ； University of California, Berkeley（加州大学伯克利分校） ； Google（谷歌） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 提出AuditBench基准数据集，评估LLM在安全审计日志分析中的性能，涵盖四种常见调查任务，揭示模型在不同设计选择下的表现差异与错误类型。

IDP-Bench: Benchmarking ability of LLMs to protect personal information in interdependent privacy contexts

IDP-Bench：评估大语言模型在相互依赖隐私上下文中保护个人信息能力的基准

Ayana Hussain, Soumya Sharma, Golnoosh Farnadi, Nicholas Vincent, Héber Hwang Arcolezi, Ulrich Aïvodji

机构 * Simon Fraser University（西蒙弗雷泽大学） ； McGill University（麦吉尔大学） ； Mila（Mila研究所） ； ÉTS 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出IDP-Bench，首个基于情境完整性框架的LLM相互依赖隐私基准，评估8个开源模型在三个推理层次上的表现，发现模型在识别CI参数和IDP特定参数方面存在弱点。

Mind the Gap: Bridging Behavioral Silos with LLMs in Multi-Vertical Recommendations

注意差距：用LLM弥合多垂直领域推荐中的行为孤岛

Nimesh Sinha, Raghav Saboo, Martin Wang, Sudeep Das

机构 * DoorDash Inc.（DoorDash公司） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出利用LLM从数据丰富垂直领域（如餐厅）向稀疏领域（如杂货）迁移知识的框架，通过分层RAG生成多级特征，集成到MTL排序模型，显著提升新兴业务个性化与参与度。

Interrupting the Loop: Periodic Subject Changes Raise Judged Surprise and Connection in Base Language Models

打断循环：周期性主体变化提升基础语言模型的惊讶度与关联度

Roberto I. Ono Filho

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究探究基础语言模型的长文本生成特性，发现周期性注入新主体的打断操作可提升模型生成文本的惊讶度与关联度，还提出了长文本生成的评估方案。

Comments 48 pages including appendix; code, data pipeline and lab notebook at https://github.com/RobertoOno/interrupting-the-loop

When Stories Evolve: Benchmarking LLM Storytelling Across Agent Architectures in Open-Ended World Simulations

当故事演变时：在开放世界模拟中针对智能体架构对大语言模型故事讲述能力进行基准测试

Yuqi Chen, Sixuan Li, Yunfeng Cai, Xueai Li, Ka Man Yan, Ying Li

机构 * The University of Hong Kong（香港大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； Beijing Institute of Mathematical Sciences and Applications (BIMSA)（北京数学科学与应用研究院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究推出WSE-bench基准，评估开放世界模拟中不同智能体架构的大语言模型故事讲述的持续生成、规范一致性和有意义发展，发现三者存在竞争关系，模型规模仅提升持续生成能力。