语言大模型 / LLM

Trust, but Don't Verify: Epistemic Blind Spots in LLM Source Evaluation

信任，但不验证：LLM 源评估中的认知盲点

Rohan N. Pradhan, Steve Goley

机构 * Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；post-training(abstract)；prompting(abstract)

AI总结 研究语言模型在多源综合中是否评估证据质量，发现模型虽能检测伪造统计但未在综合中启用，而是依赖方法论-语域门控，导致数值有效性被抑制。

LiveOIBench: Can Large Language Models Outperform Human Contestants in Informatics Olympiads?

LiveOIBench：大语言模型在信息学奥林匹克竞赛中能超越人类参赛者吗？

Kaijian Zou, Aaron Xiong, Yunxiang Zhang, Frederick Zhang, Yueqi Ren, Jirong Yang, Ayoung Lee, Shitanshu Bhushan, Lu Wang

机构 * University of Michigan（密歇根大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型在信息学奥林匹克竞赛中的表现，引入含403个专家策划问题的LiveOIBench基准，通过四个关键特性评估34个模型，发现GPT - 5等不及顶级人类参赛者，还表明强大推理模型特点及基准数据污染少。

Comments ICML 2026 Camera Ready

Comprehensive Evaluation of Large Language Model Responses: A Multi-Factor Scoring System

大语言模型回答的综合评估：一种多因素评分系统

Yiming Gai, Junde Lu, Xuefei Huang

机构 * School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院） ； Data Science and Intelligent Computing Laboratory, Hangzhou International Innovation Institute, Beihang University, Hangzhou, Zhejiang（北京航空航天大学杭州国际创新研究院数据科学与智能计算实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型回答质量评估，提出多因素评分范式，融合准确性等多方面因素，通过图形用户界面可视化结果，在TruthfulQA数据集上评估揭示模型优缺点，为知识工程和模型优化提供新途径。

Human-in-the-Loop Nugget Annotation for Accountable LLM-as-a-Judge Evaluations

人在环路的金块标注：用于可问责的LLM作为评判者评估

Laura Dietz

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出一种原型标注工具，通过人类识别信息金块、LLM进行匹配的分工方式，实现高效且可问责的AI系统评估。

Terminus-4B: Can a Smaller Model Replace Frontier LLMs at Agentic Execution Tasks?

Terminus-4B：一个较小的模型能否在智能体执行任务中取代前沿大语言模型？

Spandan Garg, Vikram Nitin, Yufan Huang

机构 * Microsoft USA（微软公司） 纠错

专题命中 评测与基准 ：SLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；LLM(abstract)；language model(abstract)

AI总结 研究智能体终端执行任务中较小模型能否取代前沿大语言模型。提出经监督微调及强化学习训练的Terminus-4B模型，评估发现其能减少主智能体令牌使用量约30%，不影响性能，还缩小与前沿模型差距甚至超越其性能。

Comments The current article involves some product IP issues and needs to be withdrawn and re-approved

Fast segmentation of watermarked texts from large language models through an epidemic change-point framework

通过流行变化点框架对大语言模型中的水印文本进行快速分割

Soham Bonnerjee, Subhrajyoty Roy, Sayar Karmakar

机构 * University of Chicago（芝加哥大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； University of Florida（佛罗里达大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对大语言模型水印文本分割问题，利用流行变化点视角提出WISER算法，建立检测多水印片段的理论结果，通过数值实验表明其在计算速度和准确性上优于基线方法，是水印定位的有效工具。

Comments 68 pages

The Poisoned Chalice of LLM Evaluation Report

大语言模型评估报告的毒圣杯

Jonathan Katzy, Ali Al-Kaswan, Razvan Mihai Popescu, Zhou Yang

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究大语言模型评估中因数据污染致结果不可靠的问题，通过举办竞赛将污染检测设为白盒成员推理任务，提供相关资源，报告竞赛设置与结果，推动软件工程中可信大语言模型评估社区发展。

Comments Report of the competition hosted at FSE 2026

LEMUR 2: Unlocking Neural Network Diversity for AI

LEMUR 2：释放人工智能的神经网络多样性

Tolgay Atinc Uzun, Waleed Khalid, Saif U Din, Sai Revanth Mulukuledu, Akashdeep Singh, Chandini Vysyaraju, Raghuvir Duvvuri, Avi Goyal, Yashkumar Rajeshbhai Lukhi, Muhammad A. Hussain, Krunal Jesani, Usha Shrestha, Yash Mittal, Roman Kochnev, Pritam Kadam, Mohsin Ikram, Harsh R. Moradiya, Alice Arslanian, Dmitry Ignatov, Radu Timofte

机构 * University of Würzburg（维尔茨堡大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LEMUR 2旨在释放神经网络多样性，通过统一生成、评估和部署管道，利用多种方式生成超14000个不同架构及大量训练记录，采用特定管道进行自动部署和延迟基准测试，涵盖多模态任务，为LLM微调提供数据基础，推动相关新兴范式发展。

Comments 10 pages, 9 figures, 1 table

Counterfactual Modeling with Fine-Tuned LLMs for Health Intervention Design and Sensor Data Augmentation

基于微调大语言模型的反事实建模用于健康干预设计与传感器数据增强

Shovito Barua Soumma, Asiful Arefeen, Stephanie M. Carpenter, Melanie Hingle, Hassan Ghasemzadeh

机构 * College of Health Solutions, Arizona State University（亚利桑那州立大学健康解决方案学院） ； School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） ； School of Nutritional Sciences and Wellness, University of Arizona（亚利桑那大学营养科学与健康学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究利用微调后的大型语言模型生成高质量反事实解释，用于健康干预设计和传感器数据增强，实验表明LLM生成的反事实能有效提升模型性能，具有临床应用价值。

Comments IEEE Open Journal of Engineering in Medicine and Biology (Volume: 7), Date of Publication: 28 May 2026. Page(s): 232-240

Journal ref IEEE Open Journal of Engineering in Medicine and Biology (Volume: 7), Date of Publication: 28 May 2026. Page(s): 232-240; Electronic ISSN: 2644-1276

AI Chatbot Suicide Risk Detection and Response: Human Validation Study of the Open-Source VERA-MH Safety Evaluation

人工智能聊天机器人自杀风险检测与应对：开源VERA-MH安全评估的人工验证研究

Kate H. Bentley, Luca Belli, Adam M. Chekroud, Emily J. Ward, Emily R. Dworkin, Emily Van Ark, Kelly M. Johnston, Will Alexander, Millard Brown, Matt Hawrilenko

机构 * Spring Health ； Harvard Medical School（哈佛医学院） ； UC Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对人工智能聊天机器人用于心理支持时的安全性评估问题，以VERA-MH为基准，模拟用户与聊天机器人对话，通过持牌临床医生和基于LLM的评估器评级，验证了VERA-MH在检测自杀风险方面的可靠性，为后续研究指明方向。

Journal ref JMIR AI. 2026;5

Rethinking Code Performance Benchmarks for LLMs

重新思考大语言模型的代码性能基准测试

Nhat Minh Le, Yisen Xu, Zhijie Wang, Tse-Hsun, Chen

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究重新审视大语言模型代码性能基准测试，发现现有测试存在局限。提出基于LLM的多智能体框架生成性能导向测试，能更好暴露运行时差异，在原始测试无显著差异的任务中，该框架生成的测试有显著改进，优于当前最优技术。

Vision Foundation Models in Radiology: A Scoping Review of Data, Methodology, Evaluation and Clinical Translation

放射学中的视觉基础模型：数据、方法、评估和临床转化的范围综述

Alejandro Vergara-Richart, Xavier Rafael-Palou, Almudena Fuster-Matanzo, Ignacio Iborra Roncales, Ángel Alberich-Bayarri, Ana Jiménez-Pastor

机构 * Universitat Politècnica de València（瓦伦西亚理工大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 对2017年1月至2026年3月关于放射成像数据训练基础模型的研究综述，涵盖数据、架构、评估等方面。Transformer架构和自监督预训练为主，评估集中在分割和分类。虽有可迁移性，但临床转化因多种问题受限。

Comments 33 pages, 8 tables, 2 figures

A knowledge-augmented dataset of high-risk driving scenarios with LLM annotations for autonomous driving

一个用于自动驾驶的具有大语言模型注释的高风险驾驶场景知识增强数据集

Heye Huang, Jingguang Li, Zhiyuan Zhou, Paul Liang, Mingyu Wu, Kitae Jang, Jianqiang Wang

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Fudan University（复旦大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究自动驾驶中高风险场景数据不足问题，核心方法是构建K-Risk数据集，整合多源轨迹数据并利用大语言模型生成注释，主要贡献是为自动驾驶开发和评估提供标准化基础。

Comments 22 pages, 9 figures

Framing Instability in LLM Ethical Stance: Auditing Negation Sensitivity in Moral Dilemmas

框架对大语言模型伦理立场的不稳定性影响：道德困境中否定敏感性的审计

Katherine Elkins, Jon Chun

机构 * Kenyon College（肯尼恩学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型在伦理问题上因框架改变导致立场不稳定的问题，通过极性配对提议审计16个模型，发现小型模型波动大，商业模型也有变化，提出否定敏感性指数来衡量立场稳定性，指出立场易翻转的模型在高风险决策中不可靠。

Comments 16 pages, 5 figures (added gold labeled human datasets and additional statistical tests)

Mining Workflow Graphs for Black-Box Boundary Testing of Conversational LLM Agents

挖掘工作流图用于对话式大语言模型代理的黑盒边界测试

Liting Lin, Boxi Yu, Yuzhong Zhang, Lionel Briand, David-Paul Niland, Emir Muñoz

专题命中 评测与基准 ：LLM(title,abstract)；prompting(abstract)

AI总结 研究针对对话式大语言模型代理内部工作流失败难测问题，提出黑盒测试框架AgentEval，通过挖掘对话工作流图，利用其结构枚举测试目标，执行测试，在与白盒审计器对比测试中，能有效覆盖多个不同边界，降低重复率和误报率。

Informing AI Policy Assessment using Large-Scale Simulation of Interventions

利用大规模干预模拟为AI政策评估提供信息

Julia Barnett, Kimon Kieslich, Natali Helberger, Nicholas Diakopoulos

机构 * Northwestern University USA ； University of Amsterdam, The Netherlands \& University of Hohenheim Germany ； University of Amsterdam The Netherlands ； Northwestern University ； University of Amsterdam, The Netherlands \& University of Hohenheim ； University of Amsterdam 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出一种结合参与式评估、专家成本评估和基于LLM的伤害缓解评估的方法，通过遗传算法模拟探索政策组合空间，以识别缓解特定AI危害的可行政策选项。

Comments This work is published in the proceedings of the ACM Conference on Fairness, Accountability, and Transparency (FAccT) 2026. 15 pages plus end matter and appendix

Journal ref In Proceedings of the 2026 ACM Conference on Fairness, Accountability, and Transparency (FAccT '26). Association for Computing Machinery, New York, NY, USA, 3942-3978

Healthier LLMs: Retrieval-Augmented Generation for Public Health Question Answering

更健康的语言模型：用于公共卫生问答的检索增强生成

Felix Feldman, Joshua Harris, Timothy Laurence, Leo Loman, Ollie Higgins, Fan Grayson, Poonam Soma, Bethany Pace-Bonello, Michael Borowitz, Toby Nonnenmacher

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大型语言模型在公共卫生问答受幻觉等限制的问题，采用检索增强生成方法，通过扩展基准并系统评估检索与生成选择，比较多种检索方式，引入评判方法，突出检索对可靠公共卫生问答的作用并提供实用指导。

Comments 19 Pages, 14 Main Text Pages, 6 Figures

Evaluation of Multilingual Ability to Use Spatial Deictic Expressions in Vision-Language Models

视觉语言模型中使用空间指示表达式的多语言能力评估

Kaito Watanabe, Taisei Yamamoto, Tomoki Doi, Hitomi Yanaka

机构 * The University of Tokyo（东京大学） ； Riken（理化学研究所） ； Tohoku University（东北大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 研究聚焦视觉语言模型的空间推理能力，通过开发基准评估其使用四种语言空间指示表达式的多语言能力，实验发现测试模型使用指示词方式与人类不同，特别是在依距离选指示词方面。

Comments Accepted to ACL SRW 2026

Reliable and Developer-Aligned Evaluation of Agents for Software Engineering

软件工程中智能体的可靠且与开发者一致的评估

Razvan Mihai Popescu

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型驱动智能体评估技术的局限，提出基于实际软件开发实践的综合评估方法，通过污染感知、实际行为评估及轨迹感知基准指标，来弥合差距，实现可靠且与开发者一致的评估。

Comments International Conference on the Foundations of Software Engineering '26

Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale

比埃利克模型知道它所不知道的吗？激活离散度在模型规模上区分实体熟悉度与事实可靠性

Grzegorz Brzezinka

机构 * Prosit AS（Prosit公司） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究大语言模型中实体熟悉度与事实可靠性，通过两种无监督离散度度量及有监督线性探测，在比埃利克模型上区分不同实体，发现激活离散度信号在模型规模上与事实可靠性表现不同，已知实体中区分正误更难，模型几乎不弃权。

Comments 23 pages, 6 figures and 7 tables

TimEE: End-to-end Time Series Classification via In-Context Learning

TimEE：通过上下文学习实现的端到端时间序列分类

Jaris Küken, Shi Bin Hoo, Martin Mráz, Frank Hutter, Lennart Purucker

机构 * University of Freiburg（弗莱堡大学） ； Zuse School ELIZA Darmstadt（达姆施塔特祖斯学校ELIZA） ； Prior Labs（普瑞尔实验室） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） 纠错

专题命中 评测与基准 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对时间序列分类两阶段范式的不足，提出TimEE模型，通过上下文学习实现端到端时间序列分类。该模型基于PFN框架在合成任务上元训练，无需针对每个数据集训练，在UCR基准测试中表现优异，为TSC提供新方向。

Named-Entity Recognition in the Crime Domain (CrimeNER): Case Study and Dataset

犯罪领域中的命名实体识别（CrimeNER）：案例研究与数据集

Miguel Lopez-Duran, Julian Fierrez, Aythami Morales, Daniel DeAlcala, Gonzalo Mancera, Javier Irigoyen, Ruben Tolosana, Oscar Delgado, Francisco Jurado, Alvaro Ortigosa

机构 * BiometricsAI, Universidad Autónoma de Madrid（生物度AI，马德里自治大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现实犯罪场景注释数据匮乏问题，提出CrimeNER及数据库CrimeNER-db，定义多种犯罪实体类型，通过完全监督微调通用NER模型实验等处理数据库质量，解决泛化能力问题，数据库可在GitHub获取。

Comments Sent for review at the main conference of the Iberoamerican Congress on Pattern Recognition

VLM-Aware Meta-Optic Front-End Design for Frozen Vision-Language Models

面向冻结视觉语言模型的VLM感知元光学前端设计

Chanik Kang, Raphaël Pestourie, Haejun Chung

机构 * Department of Artificial Intelligence, Hanyang University（汉阳大学人工智能系） ； School of Computational Science and Engineering, Georgia Institute of Technology（佐治亚理工学院计算科学与工程学院） ； Department of Electronic Engineering, Hanyang University（汉阳大学电子工程系） 纠错

专题命中 评测与基准 ：language model(title)

AI总结 提出CODA框架，通过可微成像和伴随梯度更新优化连续密度元光学前端，直接优化冻结CLIP分类器的交叉熵损失，在ImageNet-100上将零样本准确率从53.75%提升至65.41%，并跨模型和数据集泛化。

Comments 18 pages, 6 figures, 3 tables

From Content to Audience: A Multimodal Annotation Framework for Broadcast Television Analytics

从内容到受众：一种多模态注释框架用于广播电视分析

Paolo Cupini, Francesco Pierri

机构 * Dipartimento di Elettronica, Informazione e Bioingegneria, Politecnico di Milano, Italy（意大利米兰理工大学电子、信息与生物工程系） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种多模态注释框架，用于广播电视内容分析，通过构建特定领域的基准测试，评估不同管道架构在广播新闻中的表现，展示了框架在受众分析中的应用价值。

AGAPI-Agents: An Open-Access Agentic AI Platform for Accelerated Materials Design on AtomGPT.org

AGAPI-Agents：用于在AtomGPT.org上加速材料设计的开放访问智能代理人工智能平台

Jaehyung Lee, Justin Ely, Kent Zhang, Akshaya Ajith, Charles Rhys Campbell, Kamal Choudhary

机构 * Johns Hopkins University（约翰霍普金斯大学） ； West Virginia University（西弗吉尼亚大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究智能代理人工智能系统中工具访问对预测准确性的影响，核心方法是构建AGAPI平台整合多种模型与工具，主要贡献是明确其在材料设计中能提高精度、展示多步骤工作流程且证实工具在特定情况下不可或缺。

Comments 35 pages, 5 figures

Explain Before You Answer: A Survey on Compositional Visual Reasoning

回答之前先解释：组合视觉推理综述

Fucai Ke, Joy Hsu, Zhixi Cai, Zixian Ma, Xin Zheng, Xindi Wu, Sukai Huang, Weiqing Wang, Pari Delir Haghighi, Gholamreza Haffari, Ranjay Krishna, Jiajun Wu, Hamid Rezatofighi

机构 * Monash University（墨尔本大学） ； Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； Griffith University（格里菲斯大学） ； Princeton University（普林斯顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 评测与基准 ：LLM(abstract)；language model(abstract)；分类 cs.AI

AI总结 综述2023年至2025年组合视觉推理文献，形式化核心定义，追溯范式转变，编目基准指标，提炼见解、识别挑战并概述方向，为该领域提供统一分类、历史路线图和批判性展望。

Comments Project Page: https://github.com/pokerme7777/Compositional-Visual-Reasoning-Survey

BlossomPsy: A User-Centric AI System for Adaptive and Engaging MBTI Personality Assessments

BlossomPsy：一个用于自适应且引人入胜的MBTI人格评估的以用户为中心的人工智能系统

Bingjia Huang

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对现有MBTI评估工具的不足，BlossomPsy引入多轮对话与基于照片的问题，结合深度学习等算法，动态适应并提升用户参与度，实验证明其预测稳定，用户满意度高，在保持一致性的同时改进了MBTI评估。

Comments 23 pages,20 figures

FourierQK: Spectral Preprocessing of Query-Key Projections Improves Transformer Attention

FourierQK：查询-键投影的频谱预处理改进Transformer注意力

Athanasios Zeris

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究在字符级语言建模中，通过FFT对查询-键投影进行频谱预处理改进Transformer注意力，在TinyShakespeare数据集上取得显著效果，不同频率设置有不同提升，增益源于频域混合，还明确了与其他方法的架构边界。

Comments 16 pages, 2 figures, 7 tables

MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering

MultAttnAttrib：长文档问答中的无训练多模态归因

Dang Quang Thien Tran, Quang V. Dang, Vinamra Tyagi, Sai Soorya Rao Veeravalli, Trang Nguyen, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka, Koustava Goswami, Samyadeep Basu

专题命中 评测与基准 ：prompting(abstract)；分类 cs.CL、cs.AI

AI总结 提出无训练归因方法MultAttnAttrib，利用模型预填充、选定注意力头和校准阈值定位证据，并构建多模态归因基准MultAttrEval，实验表明其优于多种方法，匹配GPT 5.4且延迟降低至1/7。

Comments 25 pages (8 main, 17 references + appendix), 15 figures

Does AI Understand Imaging? A Systematic Benchmark of Agentic AI for Computational Imaging Tasks

人工智能理解成像吗？计算成像任务中智能体人工智能的系统基准测试

Ethan Chung, Chuanjun Zheng, Jasper Tan, Jingxi Li, Haopeng Zhang, Huaijin Chen

机构 * University of Hawaii at Manoa（夏威夷大学马诺阿分校） ； Glass Imaging（玻璃成像公司） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 研究人工智能在计算成像任务中的表现，提出ImagingBench基准测试，涵盖五类20个任务及三种评估设置，对多模态系统测试发现智能体模型比专门方法弱，该基准可测差距与跟踪进展。

Comments 14 pages, 11 figures. Preprint / work in progress. Paper Webpage: https://cirp-lab.github.io/imagingbench