语言大模型 / LLM

Evaluation in the Age of AI: Output as Evidence of Learning

AI时代的评价：输出作为学习的证据

Md Zarzees Uddin Shah Chowdhury, Samin Rahman Khan

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文探讨AI时代大学教育评价的伦理挑战，指出传统评价指标易被AI外包的问题，提出需转向重视过程的替代评价模式，以保留学生自主性与问责制。

Comments 12 pages, 1 figure, 1 table

MedReaMM: Evaluating Large Multimodal Models on Expert-Level Clinical Diagnostic Synthesis

MedReaMM：评估大型多模态模型在专家级临床诊断综合能力上的表现

Lai Wei, Yuchao Chen, Zhenbiao Cao, Xiaojin Zhang, Zhongyu Wei, Bangting Wang, Wei Chen, Xiang Bai

机构 * The First Affiliated Hospital with Nanjing Medical University（南京医科大学第一附属医院） ； Jiangsu Province Hospital（江苏省医院） ； Huazhong University of Science Technology（华中科技大学） ； Fudan University（复旦大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本研究构建了多模态临床诊断基准MedReaMM，评估23个大型多模态模型的诊断综合能力，发现多数模型准确率不足50%，揭示了该领域的能力差距及相关影响因素。

Length-Adaptive Decoding for Masked Diffusion Machine Translation

面向掩码扩散机器翻译的长度自适应解码

Yan Zhan, Mengkai Hou, Wanting Zhang, Zhijun Gao

机构 * Peking University（北京大学） ； BYD Company Limited（比亚迪股份有限公司） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对掩码扩散机器翻译的长度决策问题，提出无训练的Entropy-Valley长度选择器，在多个翻译方向上显著优于基线，性能接近同数据训练的LLaMA-3-8B自回归模型。

Comments Accepted to the Main Conference of EMNLP 2026. 22 pages, 7 figures. Code: https://github.com/Entropy-Valley/Entropy-Valley ; dataset and model: https://huggingface.co/collections/YanZhanPKU/entropy-valley

Improving Few-Step Language Flows with Untied Self-Conditioning

通过非绑定自条件化改进少步长语言流模型

Bocheng Li, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对少步长流匹配语言模型的训练-推理不匹配问题，提出非绑定自条件化采样器，无需重训即可在多数据集上显著降低生成困惑度、提升生成偏好度。

OccluRank: Controllable Occlusion-Aware Layout-to-Image Generation by Adding Just an Ordinal Rank

OccluRank：仅添加序数秩的可控遮挡感知布局到图像生成

Wenyang Hong, Yuan Wang, Yanbin Hao, Lanqing Xue, Ke Wang, Xiang Wang, Kuien Liu, Richang Hong

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 提出OccluRank框架，仅添加序数秩实现可控遮挡感知布局到图像生成，构建相关数据集与基准，实验表明其能可靠保留实例、遵循布局并实现期望遮挡关系，性能相当。

Comments 16 pages, 7 figures. Code: https://github.com/Wenyang-hong/OccluRank

Generation of Web Apps with Agentic IDEs: An Empirical Assessment

智能体集成开发环境（Agentic IDE）生成网页应用：一项实证评估

Manuel Marceca, Maria Teresa Rossi, Leonardo Mariani

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 本文通过对比Copilot、Cursor、Windsurf三款智能体IDE生成五个全栈网页应用的表现，发现其在生成常见模式时成熟度高，但生成分布式架构错误多，无法替代开发者，仅能辅助开发者构建软件。

AGIDefect-4K: A Richly Annotated Dataset for AI-Generated Image Defect Detection, Localization and Explanation

AGIDefect-4K：用于AI生成图像缺陷检测、定位与解释的富标注数据集

Xiangfei Sheng, Weidong Zou, Tianjiao Gu, Zhichao Yang, Pengfei Chen, Leida Li

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文推出含4000张图像的AGIDefect-4K数据集，并提出基于多模态大语言模型的AGIDA基准框架，用于AGI缺陷检测、定位、解释及质量预测，凸显了AGI缺陷理解研究的价值。

Comments 8 pages, 6 figures. Accepted by ACM Multimedia 2026

Towards Faithful Simulation of Human Shopping Behavior

面向人类购物行为的忠实模拟

Jiakai Tang, Yan Mi, Jing Yu, Yang Zhang, See-Kiong Ng, Qi Cao, Fei Sun, Xu Chen, Wen Chen, Jian Wu, Han Zhu, Bo Zheng

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 本文针对现有用户购物行为模拟器的记忆与优化挑战，提出分层记忆的RecVerse智能体，结合轨迹级RL优化，发布USB数据集，在模拟性能上显著优于现有基线。

From citation intent to knowledge contribution: Classifying what cited papers actually contribute

从引用意图到知识贡献：对被引论文实际贡献的分类

Zhibang Quan, Zhentao Liang, Ming Ma, Jinyu Wei, Gang Li, Jin Mao

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 该研究提出知识贡献分类体系KCT及双路径融合模型，实现被引论文知识贡献分类，其准确率达85.5%，且在研究评估、学术传播预测中表现优于传统引用意图分类。

The Evaluation Context Protocol (ECP): A Portable Contract for AI Agent Evaluation

评估上下文协议（ECP）：一种用于AI智能体评估的便携式契约

Aniket Wattamwar, Manav Anandani, Mrunal Kakirwar

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对当前AI智能体评估范式的局限性，提出厂商中立的ECP协议，实现跨框架的统一评估，已开发适配主流智能体框架的开源参考实现，相关验证为未来工作。

Comments 14 pages, 4 tables, 4 figures, Code available at https://github.com/evaluation-context-protocol

Revisiting the "Push-T" Robot Manipulation Task with Agentic Robotics

用智能体机器人技术重新审视“Push-T”机器人操作任务

Shuangyu Xie, Kaiyuan Chen, Ken Goldberg

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 该研究在智能体机器人技术背景下，借助带Fable 5的Claude Code编码智能体，无需演示数据解决Push-T等机器人操作任务，其策略成功率达100%，步骤比基准扩散策略少46%，还支持多字母操作及跨实体机械臂仿真。

JANUS: A Multi-modal Foundation Neural Sampler for Disordered Materials

JANUS：面向无序材料的多模态基础神经采样器

Denis Blessing, Mouyang Cheng, Maximilian Schebek, Jutta Rogal, Mingda Li, Carles Domingo-Enrich, Yuanqi Du

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究人员开发JANUS多模态神经采样器，用于无序材料的热力学采样，其以远少于传统方法的能量评估次数重现平衡性质，可用于合金逆设计及半导体缺陷探索，为相关研究提供了基础。

JW-SSD: A Multimodal Benchmark Dataset for Fine-Grained Sunspot Classification

JW-SSD：用于细粒度太阳黑子分类的多模态基准数据集

Hui Wang, Mingfu Shao, Luyang Li, Jiaben Lin, Liyue Tong, Chen Yang, Zhanji Wei

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 该研究提出用于太阳黑子细粒度磁型分类的多模态基准数据集JW-SSD，经质量控制后含36553对图像，可用于训练多种模型，包括取得高准确率的JW-SunSpot。

Comments 15 pages, 3 figures

UniVerse: Benchmarking and Enhancing LALMs on Culturally Inclusive Low-Resource Music Understanding

UniVerse：针对文化包容性低资源音乐理解的基准测试与增强

Ziya Zhou, Shangda Wu, Shenyang Xu, Yutong Zheng, Dafang Liang, Suin Chung, Danbinaerin Han, Junyan Jiang, Yongyi Zang, Ruibin Yuan, Rongxiu Zhong, Shilei Zhang, Junlan Feng, Jinglei Liu, Haotian Zhou, Zijin Li, Dasaem Jeong, Wei Xue, Yike Guo

机构 * Sogang University（西江大学） ； KAIST（韩国科学技术院） ； NYU Shanghai（上海纽约大学） ； JIUTIAN Research, China Mobile（中国移动九天研究院） ； The State Key Laboratory of Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室） ； China Mobile (Hong Kong) Innovation Research Institute（中国移动（香港）创新研究院） ； Central Conservatory of Music（中央音乐学院） 纠错

专题命中 评测与基准 ：language model(abstract,abstract_cn)

AI总结 该研究针对低资源音乐理解问题，推出UniVerse基准与数据集，训练LALMs并研究多模态不平衡学习策略，实现性能提升但仍存在深层音乐理解的差距。

Comments 21 pages, 7 figures, 8 tables

Environment-Invariant Subspace Learning for Generalizable Deepfake Detection

面向通用深度伪造检测的环境不变子空间学习

Shenghao Chen, Hao Jia, Chen Li, Chunjie Ma, Zan Gao, Shengyong Chen

机构 * Tianjin University of Technology（天津理工大学） ； Shandong Artificial Intelligence Institute（山东人工智能研究院） ； Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）） 纠错

专题命中 评测与基准 ：foundation model(abstract,abstract_cn)

AI总结 该研究针对深度伪造检测中跨分布泛化瓶颈，提出EISL框架，通过低秩投影解耦特征并设计环境干预模块，在多设置实验中提升了对未见伪造类型和环境变化的鲁棒性。

Comments 12 pages, 4 figures, 11 tables

MANIGUARD: A Benchmark and Data Suite for Specification-Grounded Safety Evaluation and Improvement of Robotic Manipulation

MANIGUARD：用于基于规范的机器人操作安全评估与改进的基准及数据集套件

Yiyan Peng, Philip Wang, Simon Sinong Zhan, Yiqi Lyu, Zhenyang Ni, Jixin Yan, Fiorelli Wong, Ruochen Jiao, Hang Yin, Xinyu Cao, Huajie Shao, Manling Li, Ruohan Zhang, Qi Zhu

机构 * Northwestern University（西北大学） ； Stanford University（斯坦福大学） ； William & Mary（威廉玛丽学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 本研究提出ManiGuard基准与数据集套件，针对机器人操作基础模型策略，通过含23000余次滚动的实验证实安全需独立于任务成功评估，微调可提升安全表现但仍存差距。

ORCA: Observability-Grounded Program Repair for Microservice Incidents

ORCA：基于可观测性的微服务故障程序修复

Yuanchen Gao, Yifang Tian, Yiran Li, Charles Zhang, Hans-Arno Jacobsen

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 ORCA是基于可观测性的微服务故障修复流水线，通过遥测数据提炼故障特征定位候选位置，经多智能体生成补丁并通过遥测验证器评估，在575案例基准中成本效益优于所有基线。

KHiM-Mamba: Injecting Pathology Knowledge into Mamba via Hidden-State Modulation for Whole Slide Image Analysis

KHiM-Mamba：通过隐藏状态调制将病理知识注入Mamba以用于 whole slide image（WSI）分析

Qixiang Zhang, Yi Li, Tianqi Xiang, Haonan Wang, Mengjiao Wei, Bo Xu, Xiaomeng Li

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本研究提出KHiM-Mamba架构，通过将病理知识注入Mamba的选择性状态空间机制，解决纯视觉驱动的WSI分析问题，在4类任务的11个公共基准上取得最优性能。

AnchorScore: A CLIP-Based Diagnostic of MLLM Annotation Difficulty

AnchorScore：一种基于CLIP的多模态大语言模型（MLLM）标注难度诊断方法

Yan Ma, Lizhuo Zhang

机构 * School of Foreign Studies, Changsha University of Science and Technology（长沙理工大学外国语学院） ； School of Education, Hunan Agricultural University（湖南农业大学教育学院） ； School of Information and Intelligence, Hunan Agricultural University（湖南农业大学信息与智能科学学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文提出基于CLIP的AnchorScore，可低成本预先对类别按MLLM标注难度排名，在课堂行为、动作识别等数据上与MLLM准确率相关性高，可用于混合路由、提示消歧等场景。

Comments 37 pages, 7 figures, 12 tables

The User Side of AI Model Lifecycles: Evidence from the Keep4o Movement

AI模型生命周期的用户侧：来自Keep4o运动的证据

Yiwen Wu

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 本研究以Keep4o运动为案例，通过分析X平台6万余条帖子，发现AI模型技术更迭未必是用户侧的有效替换，用户体验应纳入AI模型生命周期管理。

Comments 32 pages, 5 figures, 6 tables

AutoSQL: Extracting SQL Templates from Imperative ORM Code in Large-Scale Repositories

AutoSQL：从大规模代码仓库中的命令式ORM代码提取SQL模板

Junsong Pu, Yichen Li, Zhuangbin Chen, Zhihan Jiang, Zibin Zheng

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 AutoSQL是从大规模Go仓库的命令式ORM代码提取SQL模板的系统，采用代码索引、混合上下文检索策略，在基准测试中召回率优于现有方法。

Comments Accepted to ASE '26

From "What-If" to "What-Is": Counterfactual Thinking-Inspired Semantic Alignment for Visual Brain Decoding

从“假设”到“事实”：面向视觉脑解码的反事实思维启发语义对齐

Kaitao Yan, Chi Liu, Congcong Zhu, Huajie Chen, Gengshen Wu, Minghao Wang, Xiaotong Han, Tianqing Zhu

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 提出ConceptAlign框架，通过反事实语义对齐解决视觉脑解码的语义错误问题，在自然场景数据集上相比MindEye2提升了重构、语义区分等指标。

Comments Under Review

MEDR: Query-Independent Frame Selection via Multi-Signal Event Modeling and Dynamic Rescoring

MEDR：基于多信号事件建模与动态重评分的查询无关帧选择

Xinlei Pu, Weijie Shi, Wen Yang, Yi Cao, Hao Chen, Yuanjun Liu, Wenwei Ding, Jia Zhu, Jiajie Xu

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 该研究提出无需训练的MEDR帧选择方法，通过多信号事件建模与动态重评分实现查询无关，在Video-MME等基准上提升了多模态大语言模型的长视频处理准确率，且帧集可跨问题复用。

Comments 9 pages, 2 figures, 3 tables

STINER: Automated Extraction of Strategic Cyber Threat Intelligence from X

STINER：从X平台自动提取战略网络威胁情报

Yasir Ech-Chammakhy, Oussama Azrara, Jaafar Chbili, Anas Motii

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 该研究针对社交媒体CTI提取难题，提出STINER分类体系与语料库，经测试DarkBERT等领域适配编码器表现最优，还利用STINER-DarkBERT完成了2025年上半年欧洲威胁态势分析。

Comments Accepted at RAID 2026 (29th International Symposium on Research in Attacks, Intrusions and Defenses)

Breaking Models to Test the Judge: A Mutation Testing Approach for Semantic Evaluators of Domain Class Diagrams

破坏模型以测试评判器：面向领域类图语义评估器的变异测试方法

Kevin Delcourt, Meriem Ben Chaaben, Abdelhamid Rouatbi, Luciano Marchezan, Houari Sahraoui

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 该研究针对领域类图语义评估器，提出一种变异测试方法，通过注入语义缺陷生成变体并评估评判器检测缺陷的能力，其结果与人工评估基本一致，可作为语义评判器分析的可扩展替代方案。

Comments Paper accepted at the ACM/IEEE 29th International Conference on Model Driven Engineering Languages and Systems (MODELS 2026)

LegacyWorld: Atomicity-Aware Evaluation of GUI Agents for Legacy Workflows

LegacyWorld：面向遗留工作流的GUI智能体的原子性感知评估

Thilo Reintjes, Sivajeet Chand, Derui Zhu, Sushant Kumar Pandey, Alexander Pretschner

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 该研究开发LegacyUse框架以自动化遗留工作流，构建含28个Windows GUI工作流的基准，采用原子性评估6款计算机使用智能体，发现不同操作特征并提出相关首要要求。

Comments Accepted for publication in the Industry Track of the 42nd IEEE International Conference on Software Maintenance and Evolution (ICSME 2026), 14-18 September 2026, Benevento, Italy

Doomed to Re-Annotate, Forever: The ImageNet Story

注定要反复标注：ImageNet的故事

Illia Volkov, Nikita Kisel, Tetiana Mishkina, Klara Janouskova, Jiri Matas

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 本文针对ImageNet-1k数据集的标签噪声问题，构建ReImageNet数据集，采用人机协作反复优化的标注流程，使模型准确率显著提升，相关资源已公开。

Comments 25 pages, 16 figures, 8 tables. Project page: https://vrg.fel.cvut.cz/reimagenet

Beyond Simplification: DFT-GEN for Fidelity-Preserving Visual Accessibility in Dyslexia-Friendly Educational Texts

超越简化：用于阅读障碍友好型教育文本中保真视觉可访问性的DFT-GEN

Jiaqian Yu, Chen Jason Zhang, Haoyang Li, Guoqiong Ivanka Huang

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 本研究针对阅读障碍人群的教育文本，提出DFT-GEN框架，通过专属可访问性层兼顾信息保真与视觉可访问性，在双语考试条目上取得显著效果。

Comments Preprint. Code available at https://github.com/MorrisYUJQ/DFT-GEN

Edit2TikZ: A Comprehensive and Challenging Benchmark for Scientific Figure Editing with TikZ

Edit2TikZ：面向基于TikZ的科学图像编辑的全面且具有挑战性的基准

Zongyun Zhang, Jiacheng Ruan, Xian Gao, Ruizhu Zhou, Lingcheng Meng, Lining Hu, Ting Liu, Yuzhuo Fu

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文推出科学图像编辑基准Edit2TikZ，评估主流多模态大语言模型发现其性能不足，通过构建混合训练集并采用课程学习，可显著提升紧凑模型的编译成功率。

Comments 9 pages, 6 figures, work in progress

How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures

视觉语言模型（VLMs）在失明或被误导时的表现如何？针对科学图表的VLMs行为评估

Paul Osemudiame Oamen, Owusu-Banahene Osei, Ananya Mukherjee, Christian Greisinger, Steffen Eger, Pius Onobhayedo, Wei Zhao

机构 * University of Aberdeen（阿伯丁大学） ； International Institute of Information Technology Hyderabad（海德拉巴国际信息技术学院） ； University of Technology Nuremberg（纽伦堡工业大学） ； University of Southern California（南加利福尼亚大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究构建科学图表理解基准SciFigBench，提出A-R-I框架评估VLMs在视觉证据缺失或误导时的行为可靠性，发现高感知与推理准确性不代表行为可靠，不同模型表现存在显著差异。

Comments 25 pages including appendix. Project website: https://scifigbench.nlp4sci.com