语言大模型 / LLM

AI evaluation may bias perceptions: The importance of context in interpreting academic writing

AI评估可能扭曲认知：语境在解读学术写作中的重要性

Shang Wu, Randol Yao

机构 * UC Irvine（加州大学欧文分校） ； MIT（麻省理工学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文通过构建AI相似度基准，发现忽略国家和领域差异的评估方法会系统性高估或低估某些群体中的AI使用，提出基于具体语境的基准以更准确评估科学写作中的AI使用。

Towards Error-Free EHRs: Reasoning-Intensive Consistency Verification Between Clinical Notes and Structured Tables in Electronic Health Records

迈向无差错的电子健康记录：临床笔记与结构化表格之间的推理密集型一致性验证

Yeonsu Kwon, Jiho Kim, Junseong Choi, Paloma Rabaey, Minseo Kim, Sujeong Im, Jeewon Yang, Jun-Min Lee, Sangji Lee, Jiwon Kim, Hangyul Yoon, Hyunwook Kwon, Edward Choi

机构 * KAIST（韩国科学技术院） ； Ghent University（根特大学） ； Samsung Medical Center（三星医疗中心） ； Samsung Changwon Hospital（三星昌原医院） ； Asan Medical Center（亚山医疗中心） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对电子健康记录中临床笔记与结构化表格数据不一致的问题，提出推理密集型基准EHR-ReasonCon和基于大语言模型的框架EHR-Inspector，通过锚点实体提取、时间引用和表格探索工具实现高效一致性验证。

LURE: Live-Usage Replay Evaluations for Reducing Evaluation Awareness

LURE: 减少评估感知的实时使用回放评估

Igor Ivanov, David Demitri Africa

机构 * Meridian Cambridge（梅里登剑桥） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出LURE方法，通过回放真实代理交互轨迹并附加评估提示来构建类似部署的评估，以减少大语言模型的评估感知，并引入自动化评估真实性流程。

From PDF to RAG-Ready: Evaluating Document Conversion Frameworks for Domain-Specific Question Answering

从PDF到RAG就绪：评估面向特定领域问答的文档转换框架

José Guilherme Marques dos Santos, Ricardo Yang, Rui Humberto Pereira, Alexandre Sousa, Brígida Mónica Faria, Henrique Lopes Cardoso, José Duarte, José Luís Reis, Luís Paulo Reis, Pedro Pimenta, José Paulo Marques dos Santos

机构 * Faculty of Engineering, University of Porto（葡萄牙波尔图大学工程学院） ； Department of Business Administration, University of Maia（马亚大学商业管理系） ； LIACC—Artificial Intelligence and Computer Science Laboratory, University of Porto（葡萄牙波尔图大学人工智能与计算机科学实验室） ； Department of Communication Sciences and Information Technologies, University of Maia（马亚大学通讯科学与信息科技系） ； School of Health, Polytechnic of Porto（波尔图理工学院健康学院） ； School of Technology and Management, Polytechnic Institute of Maia（马亚理工学院技术与管理学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 通过系统比较四种开源PDF转Markdown框架的21种流水线配置，发现文档预处理质量（尤其是层次化分块和元数据增强）对RAG系统问答准确率的影响远超转换工具本身，最佳配置（Docling+层次化分块+图像描述）达到94.1%准确率，超越人工整理。

Comments 27 pages, 3 figures, 7 tables

Journal ref Applied Sciences 16 (2026) 5069

ORLoopBench: Solver-in-the-Loop Benchmarks for Self-Correction and Behavioral Rationality in Operations Research

ORLoopBench：运筹学中自我修正与行为理性的求解器在环基准测试

Ruicheng Ao, David Simchi-Levi, Xinshang Wang

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出ORLoopBench基准套件，通过将不可行模型修复形式化为求解器在环马尔可夫决策过程，利用不可约不可行子系统（IIS）反馈，结合验证强化学习训练（RLVR），使8B模型在LP修复上超越前沿API（95.3% vs 92.4% RR@5），并揭示全模型代码再生中的语义漂移问题。

Comments 58 pages, accepted by ICML 2026

Prompt Injection Detection is Regime-Dependent: A Deployment-Aware Evaluation with Interpretable Structural Signals

提示注入检测是依赖于场景的：一种基于可解释结构信号的部署感知评估

Akindoyin Akinrele, Shreyank N Gowda

机构 * School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过多模型、多场景的实验框架，评估了提示注入检测方法，发现检测性能高度依赖于部署场景和阈值选择，其中基于Transformer的模型表现最佳，结构信号在特定场景下提供适度但一致的改进。

Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics

通过来自多个不完美指标的偏好学习优化摘要的事实一致性

Yuxuan Ye, Raul Santos-Rodriguez, Edwin Simpson

机构 * Intelligent System Laboratory（智能系统实验室） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种自动化训练流程，通过聚合多个弱事实性指标的分数并映射为偏好，过滤高分歧样本，利用词汇相似摘要对进行偏好学习，从而提升摘要的事实一致性。

Comments EMNLP 2025 Findings

RAGEAR: Retrieval-Augmented Graph-Enhanced Academic Recommender

RAGEAR: 检索增强的图增强学术推荐器

Francesco Granata, Lorenzo Lamazzi, Misael Mongiovì, Francesco Poggi, Valeria Secchini

机构 * Department of Mathematics and Computer Science, University of Catania, Italy（卡塔尼亚大学数学与计算机科学系，意大利） ； Institute for Cognitive Science and Technology, National Research Council, Italy（意大利国家研究委员会认知科学与技术研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出RAGEAR，一种神经符号推荐系统，结合密集检索和知识图谱，通过图感知聚合函数将片段级证据传播到课程级推荐，在学术课程推荐中优于元数据基线。

OmniInteract: Benchmarking Real-World Streaming Interaction for Real-Time Omnimodal Assistants

OmniInteract：面向实时全模态助手的流式交互基准测试

Xudong Lu, Xueying Li, Annan Wang, Yang Bo, Jinpeng Chen, Zengliang Li, Nianzu Yang, Rui Liu, Xue Yang, Jingwen Hou, Hongsheng Li

机构 * CUHK MMLab（香港中文大学多模态实验室） ； SJTU（上海交通大学） ； NTU（国立新加坡大学） ； McMaster（麦马斯特大学） ； CityUHK（香港城市大学） ； JUFE（吉林大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出OmniInteract基准，通过在线推理音视频流评估全模态大模型的实时交互能力，发现现有模型在流式交互中表现薄弱。

VisualNeedle: Benchmarking Active Visual Search in Information-Dense Scenes

VisualNeedle: 信息密集场景中的主动视觉搜索基准

Jingru Chen, Yiming Liu, Mingtao Chen, Sijie Chen, Richeng Xuan, Liang Yang, Zhichao Hu, Fanyang Lu

机构 * Hunyuan, Tencent（腾讯 Hunyuan） ； Peking University（北京大学） ； Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型在细粒度感知基准中依赖捷径而非真实视觉证据的问题，提出VisualNeedle基准，通过反事实裁剪-黑化设置评估模型在信息密集场景中的主动视觉搜索能力，实验表明最佳模型准确率仅56.01%，落后人类63.00%。

VT-Bench: A Unified Benchmark for Visual-Tabular Multi-Modal Learning

VT-Bench：视觉-表格多模态学习的统一基准

Zi-Yi Jia, Zi-Jian Cheng, Xin-Yue Zhang, Kun-Yang Yu, Zhi Zhou, Yu-Feng Li, Lan-Zhe Guo

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错

专题命中 评测与基准 ：language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出首个视觉-表格多模态基准VT-Bench，涵盖9个领域14个数据集，评估23个模型，揭示视觉-表格学习的挑战。

DIANOIA: Diagnostic Decomposition and Joint Optimization for Multi-Agent Reasoning

DIANOIA: 多智能体推理的诊断性分解与联合优化

Yiming Yang, Zhuoyuan Li, Fanxiang Zeng, Hao Fu, Yue Liu

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出DIANOIA框架，通过覆盖度、保真度和综合度三个可测量通道分解多智能体推理增益，并基于此设计诊断协议和对应系统，在多个基准上以更少token实现更优性能。

"PhyWorldBench": A Comprehensive Evaluation of Physical Realism in Text-to-Video Models

PhyWorldBench：文本到视频模型中物理真实性的全面评估

Jing Gu, Xian Liu, Yu Zeng, Ashwin Nagarajan, Fangrui Zhu, Daniel Hong, Yue Fan, Qianqi Yan, Kaiwen Zhou, Ming-Yu Liu, Xin Eric Wang

机构 * University of California, Santa Cruz（加州大学圣克ruz分校） ； NVIDIA Research（NVIDIA研究） ； Northeastern University（东北大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出PhyWorldBench基准，通过1050个提示评估12个视频生成模型在物理规律遵循上的表现，并引入反物理类别，利用多模态大语言模型进行零样本评估。

Comments 35 pages, 21 figures

Journal ref ICLR 2026 oral

AI Agent for Reverse-Engineering Legacy Finite-Difference Code and Translating to Devito

AI Agent 用于逆向工程遗留有限差分代码并转换为 Devito

Yinghan Hou, Zongyou Yang

机构 * Department of Earth Science and Engineering（地球科学与工程系） ； Imperial College London（帝国理工学院伦敦分校） ； Department of Computer Science（计算机科学系） ； University College London（伦敦大学学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出一个集成 AI Agent 框架，结合检索增强生成（RAG）和开源大语言模型，通过多阶段迭代工作流将遗留有限差分代码转换为 Devito 环境，并引入强化学习反馈机制实现动态自适应代码翻译。

Comments 14 pages, 7 figures

PlayClass: Automated Play Behaviour Classification in Poultry

PlayClass: 家禽自动玩耍行为分类

Prince Ravi Leow, Neil Scheidwasser, Rebecca Oscarsson, Per Jensen, Samir Bhatt, David Alejandro Duchêne

机构 * Section for Health Data Science & AI, University of Copenhagen（哥本哈根大学健康数据科学与人工智能部门） ； AVIAN Behaviour Genomics and Physiology Group, Linköping University（林雪平大学鸟类行为基因组学与生理学组） ； Department of Infectious Disease Epidemiology, Imperial College London（伦敦帝国学院传染病流行病学系） 纠错

专题命中 评测与基准 ：foundation model(abstract)；prompting(abstract)

AI总结 提出PlayClass流水线，利用SAM 3长时跟踪和V-JEPA 2.1基础模型，从俯拍视频中自动分类家禽玩耍行为，达到77.0宏平均F1。

Comments Accepted at CV4Animals Workshop @ CVPR 2026

Decoding Scientific Experimental Images: The SPUR Benchmark for Perception, Understanding, and Reasoning

解码科学实验图像：用于感知、理解和推理的SPUR基准

Junpeng Ding, Zichen Tang, Haihong E, Mengyuan Ji, Yang Liu, Haolin Tian, Haiyang Sun, Pengqi Sun, Yang Xu, Yichen Liu, Haocheng Gao, Zijie Xi, Ruomeng Jiang, Peizhi Zhao, Rongjin Li, Yuanze Li, Jiacheng Liu, Zhongjun Yang, Jintong Chen, Siying Lin

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 提出SPUR基准，通过4264个问答对评估多模态大模型在科学实验图像上的细粒度感知、跨面板关系理解和专家级推理能力，揭示当前模型与专家水平的差距。

Comments Accepted to ACL 2026 Main Conference

Exploration on Demand: From Algorithmic Control to User Empowerment

按需探索：从算法控制到用户赋权

Edoardo Bianchi

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 提出一种自适应聚类框架，通过用户控制的探索机制平衡电影推荐的个性化和多样性，实验表明能有效降低列表内相似度并提升意外性。

ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence

ScientistOne: 迈向基于证据链的人类级自主研究

Rui Meng, Bhavana Dalvi Mishra, Jiefeng Chen, Chun-Liang Li, Palash Goyal, Mihir Parmar, Yiwen Song, Yale Song, Rajarishi Sinha, Parthasarathy Ranganathan, Burak Gokturk, Jinsung Yoon, Tomas Pfister

机构 * Google Cloud AI Research（谷歌云人工智能研究） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出证据链框架Chain-of-Evidence和自主研究系统ScientistOne，通过可追溯性解决可验证性失败问题，在多项任务上达到或超越人类专家水平。

Comments Project website: https://scientist-one.github.io/

GSM-SEM: Benchmark and Framework for Generating Semantically Variant Augmentations

GSM-SEM: 生成语义变体增强的基准与框架

Jyotika Singh, Fang Tu, Aziza Mirsaidova, Amit Agarwal, Hitesh Laxmichand Patel, Sandip Ghoshal, Miguel Ballesteros, Karan Dua, Yassine Benajiba, Weiyi Sun, Tao Sheng, Graham Horwood, Sujith Ravi, Dan Roth

机构 * Oracle AI 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出GSM-SEM框架，通过修改实体、属性和关系生成语义多样的数学问题变体，降低模型对固定测试集的记忆偏差，并在多个基准上验证性能下降。

EpiCurveBench: Evaluating VLMs on Epidemic Curve Digitization

EpiCurveBench: 评估视觉语言模型在流行病曲线数字化中的表现

Thomas Berkane, Maimuna S. Majumder

机构 * Computational Health Informatics Program（计算健康信息学项目） ； Boston Children’s Hospital & Harvard Medical School（波士顿儿童医院及哈佛医学院） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 针对现有图表数据提取基准中忽略时间序列结构的问题，提出包含1000张真实流行病曲线图像的EpiCurveBench基准和基于动态规划的EpiCurveSimilarity评估指标，实验表明最强模型仅达52.3% ECS，且ECS能更好区分模型性能。

Timestep-Aware SVDQuant-GPTQ for W4A4 Quantization of Wan2.2-I2V

时间步感知的 SVDQuant-GPTQ 用于 Wan2.2-I2V 的 W4A4 量化

Junhao Wu, Dezhong Yao, Hai Jin

机构 * National Engineering Research Center for Big Data Technology and System（大数据技术与系统国家工程研究中心） ； Services Computing Technology and System Lab（服务计算技术与系统实验室） ； Cluster and Grid Computing Lab（集群与网格计算实验室） ； School of Computer Science and Technology（计算机科学与技术学院） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 评测与基准 ：post-training(abstract)；分类 cs.AI

AI总结 针对 Wan2.2-I2V 视频扩散 Transformer 的 W4A4 量化，提出结合 SVDQuant 低秩异常补偿、GPTQ 重建感知残差权重量化和时间步分箱逐层激活裁剪比搜索的后训练量化框架，在 OpenS2V-Eval 上降低 59.3% 峰值显存且仅损失 0.9% VBench 平均分。

AuthTrace: Diagnosing Evidence Construction in Thematically Dense Single-Author Corpora

AuthTrace: 主题密集的单作者语料库中的证据构建诊断

Xiaoqing Wu, Feifei Li, Haoliang Ming, Wenhui Que

机构 * Tencent Inc.（腾讯公司） ； Beijing, China（中国北京） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 提出AuthTrace基准，通过扇入梯度诊断主题密集单作者语料库中证据构建系统的召回率、精度和答案正确性，发现证据召回是答案正确性的最强预测因子。

FAB-Bench: A Framework for Adaptive RAG Benchmarking in Semiconductor Manufacturing

FAB-Bench：半导体制造中自适应RAG基准测试框架

Jingbin Qian, Congwen Yi, Min Xia, Wen Wu, Jun Zhu, Jian Guan

专题命中 评测与基准 ：LLM(abstract_cn)；分类 cs.CL

AI总结 提出FAB-Bench框架，通过六项诊断指标和三种合成策略，评估半导体制造领域RAG系统在不同上下文窗口下的性能，发现注意力稀释是极端上下文长度下性能下降的主要原因。

AgentSociety: Incentivizing Agentic Social Intelligence

AgentSociety: 激励代理社交智能

Aditya Vema Reddy Kesari, Krishna Reddy Kesari

机构 * IIT Bombay（印度理工学院班加罗尔） ； Amazon（亚马逊） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 提出一种基于流动民主和信息扩散的激励机制AgentSociety，使去中心化代理能够自主协作、策略性沟通并最大化效用，同时通过共识路由实现集体成果。

Governed Metaprogramming for Intelligent Systems: Reclassifying Eval as a Governed Effect

智能系统的受控元编程：将Eval重新分类为受控效应

Alan L. McCann

机构 * Mashin, Inc.（Mashin公司） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；分类 cs.AI

AI总结 针对AI系统运行时动态生成可执行代码带来的权限放大问题，提出受控元编程语言设计，将程序表示视为一等值，将形式到可执行机器的转换作为受控效应，并通过形式化证明和mashinTalk DSL实现验证。

Comments 15 pages. Companion proofs: https://github.com/mashin-live/governance-proofs. Project: https://mashin.live. Update: Abstract typo fixes. Updated license

OMD-GraphRAG: Enhancing GraphRAG with Ontology-Guided Extraction, Multi-Dimensional Clustering and Dual-Channel Fusion

OMD-GraphRAG：利用本体引导提取、多维聚类和双通道融合增强GraphRAG

Jie Wang, Honghua Huang, Xi Ge, Jianhui Su, Wen Liu, Shiguo Lian

机构 * Data Science & Artificial Intelligence Research Institute（数据科学与人工智能研究院） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；分类 cs.AI

AI总结 提出OMD-GraphRAG框架，通过本体引导知识提取、多维社区聚类和双通道图检索融合，提升GraphRAG在复杂推理和多跳查询中的性能。

RoadGIE: Towards A Global-Scale Aerial Benchmark for Generalizable Interactive Road Extraction

RoadGIE：面向通用交互式道路提取的全球尺度航拍基准

Chenxu Peng, Chenxu Wang, Yimian Dai, Yongxiang Liu, Ming-Ming Cheng, Xiang Li

机构 * NKIARI, Shenzhen Futian（深圳福田NKIARI） ； VCIP, CS, Nankai University（南开大学VCIP研究所） ； AAIS, Nankai University（南开大学AAIS） ； College of Electronic Engineering, National University of Defense Technology, Changsha, China（国防科技大学电子工程学院，长沙，中国） 纠错

专题命中 评测与基准 ：prompting(abstract)

AI总结 提出最大、最多样的道路分割数据集WorldRoadSeg-360K，并设计支持连通性感知提示的交互式方法RoadGIE，在分割精度和拓扑一致性上达到最优。

Zero-Shot Object Re-Identification in Egocentric Kitchen Videos via Multi-Stage SAM3 Feature Fusion

基于多阶段SAM3特征融合的零样本物体重识别在自我中心厨房视频中的应用

Dmytro Klepachevskyi, Alexander Wong, Sirisha Rambhatla, Yuhao Chen

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 评测与基准 ：language model(abstract)

AI总结 针对自我中心厨房视频中物体重识别的挑战，提出一种基于SAM3分割的多阶段零样本方法，通过融合SAM3、DINOv2和CLIP特征并引入掩码形状IoU和k-倒数重排序，将mAP从45.3%提升至52.8%。

Can Visual Mamba Improve AI-Generated Image Detection? An In-Depth Investigation

视觉Mamba能否提升AI生成图像检测？一项深入研究

Mamadou Keita, Wassim Hamidouche, Hessen Bougueffa Eutamene, Abdelmalik Taleb-Ahmed, Xianxun Zhu, Abdenour Hadid

机构 * Laboratory of IEMN, CNRS, Centrale Lille, UMR 8520, Univ. Polytechnique Hauts-de-France（伊姆纳实验室，国家科学研究中心，里尔中央理工大学，UMR 8520，法国高等技术大学） ； Khalifa University（卡利法大学） ； School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院） ； Sorbonne Center for Artificial Intelligence, Sorbonne University Abu Dhabi（索邦人工智能中心，索邦大学阿布扎克分校） 纠错

专题命中 评测与基准 ：language model(abstract)

AI总结 本研究系统评估了Vision Mamba模型在AI生成图像检测中的性能，与CNN、ViT和VLM检测器进行对比，分析了准确性、效率和泛化能力。

Intelligent Detection and Mitigation of Carpet-Bombing DDoS Attacks in SDN Using Retrieval-Augmented Generation and Large Language Models

基于检索增强生成和大语言模型的SDN中地毯式轰炸DDoS攻击的智能检测与缓解

Mohammed N. Swileh, Shengli Zhang, Kai Lei

机构 * College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院） ； ICNLab, Shenzhen Graduate School, Peking University（北京大学深圳研究生院ICN实验室） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出一种结合检索增强生成（RAG）和大语言模型（LLM）的框架，通过接口级流量特征、语义嵌入和相似性检索，实现对SDN中地毯式轰炸DDoS攻击的实时检测与缓解，无需传统监督训练。