语言大模型 / LLM

Cross-Model Cross-Language AI Coding Agent Performance: Accuracy and Speed of Parallel CLRS Algorithms

跨模型跨语言AI编程智能体性能：并行CLRS算法的准确率与速度

Shiqi Cheng, Evelyne Ringoot, Rabab Alomairy, Alan Edelman

专题命中 评测与基准 ：LLM(abstract)；prompting(abstract)

AI总结 本文评估Cursor's Composer 2.0等三款AI编程智能体在三种语言三类算法上的并行代码生成性能，发现其并行能力弱于串行，性能提升高度依赖算法与语言，需将运行时效率纳入大语言模型核心指标。

Is ChatGPT as reliable as individual reviewers assessing the quality of published journal articles from PDFs or titles and abstracts?

ChatGPT评估已发表期刊文章质量（从PDF、标题或摘要）是否与个人评审员一样可靠？

Mike Thelwall, Parveen Ali

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究比较ChatGPT-5.4与个人评审员对期刊文章质量评分，用专家评分作参照，涉及从标题/摘要及PDF输入的评分。结果显示与专家评分相关性大多为正，ChatGPT-5.4对PDF评估更详但评分预测未改善，其深入评论有误导性。

SONG: A Photorealistic 3D Gaussian Simulation Platform for Benchmarking Social Navigation

SONG：用于基准测试社会导航的逼真3D高斯模拟平台

Weiqi Huang, Dianyi Yang, Jiaxin Li, Shuangyi Dong, Hao Xu, Zan Wang, Wei Liang

机构 * School of Computer Science & Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究针对社会导航模拟平台不足的问题，介绍了基于3D高斯点云渲染的SONG平台，利用其进行场景和化身表示等，还策划了SONG-Bench及评估套件，通过评估发现相关问题，证明微调数据可提高现实环境成功率，为研究提供测试平台。

HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research

HiEviDR-Bench：深度研究中分层证据聚合的基准测试

Yubo Sun, Chunyi Peng, Yukun Yan, Zhenghao Liu, Sen Mei, Bangrui Xu, Xuanhe Zhou, Chi Chen, Maosong Sun

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对深度研究中证据聚合评估不足问题，HiEviDR-Bench构建基准测试，涵盖多领域多模态设置，用证据图表示实例，开发评估框架及机制。含2000个问题，实验显示多模型虽报告质量好，但在引用准确性等方面欠佳，瓶颈在证据识别和中间主张构建。

Comments Code and data are available at https://ai9stars.github.io/HiEviDR-Bench.github.io

CHaystack: Benchmarking Chinese Document Retrieval and VQA

CHaystack：中文文档检索与视觉问答基准测试

Hanxi Li

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文介绍了CHaystack中文文档检索与视觉问答基准测试，涵盖四类文档。提出CDocRAG系统，用VLM相关性过滤器验证文档图像。评估开源模型发现Qwen系列在文本丰富文档表现佳，中文大规模DocumentVQA在文本编码方面有挑战，仍需改进。

CORE: A Unified Cascaded Ordinal Relevance Estimation Framework for E-commerce Search

CORE：一种用于电子商务搜索的统一级联序数相关性估计框架

Zhi Jin, Xi Wang, Yunfei Li, Guojun Liu, Qingsong Hua, Wei Lin

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 该研究针对电商搜索中排名相关性问题，提出统一级联二元分类框架，将相关性估计转为顺序决策过程。框架适用于大语言模型和在线BERT模型，经实验验证能显著提升相关性性能，降低在线坏例率，表明分层建模对相关性估计有效。

Comments 11 pages, 5 figures

The Influence of Fraudulent AI-Generated Responses on Software Engineering Surveys

欺诈性人工智能生成的回复对软件工程调查的影响

Ronnie de Souza Santos, Italo Santos, Maria Teresa Baldassarre, Cleyton Magalhaes, Mairieli Wessel

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究软件工程调查中欺诈性或人工智能辅助回复对结果有效性的影响，通过对四个数据集二次分析，用人工识别、自动检测等方法，发现人工智能辅助参与因分析类型不同影响有别，强调多种验证程序结合的重要性。

ABISS: Evaluating Text-to-SQL Systems Through Agent Interaction

ABISS：通过代理交互评估文本到SQL系统

Giovanni Sullutrone, Luca Sala, Sania Aftar, Georgia Koutrika, Sonia Bergamaschi

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究针对文本到SQL系统在处理现实模糊问题的不足，提出统一分类法、多代理生成管道及动态模拟环境ABISS。通过实验揭示模型在子类别分类和澄清条件下SQL生成的瓶颈，提供真实类别虽有收益，但模糊问题执行率仍低，且发布相关代码。

DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video

DispatchRAG：基于交通事故视频中的现实世界协议进行应急调度决策

Muhammad Sulthan Adhipradhana, Ehsan Javanmardi, Naren Bao, Manabu Tsukada

机构 * Graduate School of Information Science and Technology, University of Tokyo（东京大学信息科学与技术研究生院） 纠错

专题命中 评测与基准 ：LLM(abstract)；language model(abstract)

AI总结 研究旨在通过DispatchRAG框架，利用基于RAG的检索机制和大型语言模型驱动的推理器，根据日本现实交通事故响应协议进行事故评估和调度，引入事故调度数据集验证框架，为自动驾驶车辆事故报告提供支持。

RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding

RadSight：迈向感知可靠的多模态放射学图像理解

Jianqin Liu, Weiwei Cao, Wanxing Chang, Ruifeng Yuan, Bowen Shi, Zhilin Zheng, Xianjie Zhang, Ling Zhang, Peng Wang, Jianpeng Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（湖畔实验室） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 该研究针对医学多模态大语言模型视觉解释可靠性低的问题，引入Perception-Bench基准分析问题。提出基于双2D/3D编码器架构的RadSight模型，经渐进课程学习训练，在多维度评估中优于现有模型，凸显低级视觉感知对可靠临床理解的关键作用。

MVEI & EmObserver: Empowering MLLM-Oriented Visual Emotional Intelligence via Emotion Statement Judgement

MVEI与EmObserver：通过情感陈述判断增强面向MLLM的视觉情商

Daiqing Wu, Dongbao Yang, Jiashu Yao, Hongrui Zhang, Can Ma, Yu Zhou, Sicheng Zhao

机构 * Tsinghua University（清华大学） ； Nankai University（南开大学） ； Beijing Institute of Technology（北京理工大学） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究针对多模态大语言模型视觉情商评估缺失问题，引入情感陈述判断公式ESJ，开发INSETS及MVEI基准，构建EmObserver模型。通过实验评估，确立了ESJ、MVEI和EmObserver在推进面向MLLM的视觉情商方面的作用。

ViSTR-Bench: Can MLLMs Reason from Continuous Visual Cues in Dynamic Scenes?

ViSTR-Bench：多模态大语言模型能否从动态场景中的连续视觉线索进行推理？

Han Li, Si Liu, Zehao Huang, Dongxin Lyu, Longfei Xu, Jiahui Fu, Daxin Tian, Yuliang Xiu, Naiyan Wang

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村科学城） ； School of Engineering, Westlake University（西湖大学工学院） ； School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究聚焦多模态大语言模型在动态场景中从连续视觉线索推理的能力，提出ViSTR-Bench评估套件，基于相关原则建立四维评估，含15个子任务和1340个问答对，经评估发现当前模型在复杂时空推理上有瓶颈，远不及人类。

Comments 37 pages, 37 figures

Agentic Designer: Progressive Multi-Agent Collaboration for Structure-Aware Interior Layout Generation

智能设计师：用于结构感知室内布局生成的渐进式多智能体协作

Zhijing Yang, Haocheng Lin, Zhihua Xu, Haojie Li, Keze Wang, Liang Lin, Tianshui Chen

机构 * Guangdong University of Technology（广东工业大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对室内布局生成难题，提出智能设计师这一渐进式多智能体框架，将布局生成视为迭代约束验证决策过程，通过渐进共识机制协调三个智能体，经实验验证其显著优于现有方法，提升了结构遵循和功能设计连贯性。

Comments TPAMI 2026

AppWorld-UL: Benchmarking Diverse Agent-User Interactions for Tool-Use

AppWorld-UL：用于工具使用的多样化智能体-用户交互基准测试

Junzhi Chen, Harsh Trivedi, Jane Pan, Michael JQ Zhang, Tejas Srinivasan, Niranjan Balasubramanian, Ashish Sabharwal

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对当前智能体-用户交互基准测试不足，引入 AppWorld-UL 基准测试，基于 AppWorld 框架及模拟应用构建多样任务，用大型语言模型模拟用户行为，评估显示其难度大，能推动回路中工具使用智能体研究。

Comments ICML 2026

Reference-Free Evaluation of Reasoning in Open-Ended Question Answering

开放式问答中推理的无参考评估

Guneet Singh Kohli, Yuxiang Zhou, Michael Sejr Schlichtkrull, Gregory E Dean, Maria Liakata

机构 * Queen Mary University of London（伦敦大学玛丽皇后学院） ； Temple University（天普大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对高风险领域人工智能生成答案难验证问题，提出基于推理的无参考框架审核大语言模型输出，通过分解推理轨迹、标记关系并组织成超图等方法评估，在数学和医学推理设置下比直接以大语言模型为基线更可靠，强调问答评估应考虑推理关系组合。

EmbeddedKittens: An Evaluation of Code Embeddings for Scratch

EmbeddedKittens：对Scratch代码嵌入的评估

Benedikt Fein, Gordon Fraser

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究探讨哪种代码嵌入方法适用于Scratch编程教育。实例化四个LLMs和五种嵌入方法，创建任务及数据集进行评估，结果表明在开放Scratch数据集上训练的嵌入模型可捕获代码信息用于学习分析，无需特定任务微调。

Comments Submitted to ACM Transactions on Software Engineering and Methodology (TOSEM)

TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs

TimeLens2：使用多模态大语言模型进行通用视频时间定位

Yuhan Zhu, Changlian Ma, Xiangyu Zeng, Xinhao Li, Zhiqiu Zhang, Songze Li, Jun Zhang, Tianxiang Jiang, Yuandong Yang, Ziang Yan, Zikang Wang, Xinyu Chen, Haoran Chen, Shaowei Zhang, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究通用视频时间定位问题，TimeLens2将时间证据视为区间集，通过多种策略构建多跨度监督，其时间瓦瑟斯坦奖励等方法提供反馈，在多个基准测试中表现出色，不同变体均有性能提升。

Comments Technical Report

Learning Dispute Structure for Settlement Prediction in Financial ADR: A Multi-Task and Cross-Institutional Approach

学习金融 ADR 中和解预测的争议结构：一种多任务和跨机构方法

Koutarou Tamura

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对金融 ADR 案例，提出统一数据集和建模框架，引入功能标记方案表示争议结构，构建多任务模型联合进行争议分类与和解预测，实验显示该方法能提升预测性能，发现争议结构在 ADR 领域部分共享。

Comments 4th International Conference on Computational and Data Sciences in Economics and Finance (CDEF 2026)

Multi-Dimensional Quality Assessment for AI-Generated Human-Centric Videos: Dataset and Model

人工智能生成的以人为中心的视频的多维质量评估：数据集与模型

Sijing Wu, Yunhao Li, Huiyu Duan, Yucheng Zhu, Xiongkuo Min, Patrick Le Callet, Guangtao Zhai

机构 * Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所） ； USC-SJTU Institute of Cultural and Creative Industry, Shanghai Jiao Tong University（上海交通大学南加州大学文化创意产业学院） ； Polytech Nantes, Université de Nantes（法国南特大学高等理工学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究针对AI生成的以人为中心的视频质量评估问题，提出扩展数据集HVEval+并构建MoE-Rater模型，该模型采用专家混合及三阶段训练策略，能统一多种任务，在相关数据集上性能优越，推动了视频质量评估及T2V模型优化。

Comments Accepted for publication in IEEE TCSVT, 2026

Knowing the Self, Understanding the World: A Dual-Cognition Benchmark for UAV Spatio-temporal Reasoning with MLLMs

认识自我，理解世界：用于基于多模态大语言模型的无人机时空推理的双认知基准测试

Like Liu, Zhengzheng Xu, Haitao He, Hongzhe Li, Shuchang Zhang, Dian Shao

机构 * Northwestern Polytechnical University（西北工业大学） ； China University of Petroleum（中国石油大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 该研究针对多模态大语言模型在无人机场景双认知能力评估不足的问题，提出UAV-DualCog基准测试，涵盖图像和视频任务，通过自动化管道构建数据，评估发现现有模型存在瓶颈，该基准测试有价值。

Comments 11 pages, 4 figures, 7 tables. Project website: https://uav-dualcog.lozumi.com

Personalized Image Aesthetic Assessment via Preference-rich Sample Mining and Cohort Merging

通过偏好丰富样本挖掘和群组合并进行个性化图像美学评估

Zhichao Yang, Tianjiao Gu, Zhixianhe Zhang, Xiangfei Sheng, Pengfei Chen, Leida Li

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究个性化图像美学评估问题，提出基于多模态大语言模型的PRAC方法，通过偏好丰富样本挖掘和美学共鸣群组合并建模个体美学偏好，经实验验证该方法优于现有技术。

Comments The paper has been accepted by ACM MM 2026

Region-Grounded Vision-Language Learning for Detection-Guided Mammographic Lesion Classification

用于检测引导的乳腺钼靶病变分类的区域基础视觉语言学习

Zhengbo Zhou, Jiren Li, Dooman Arefan, Margarita Zuley, Shandong Wu

专题命中 评测与基准 ：language model(abstract)；pretraining(abstract)

AI总结 针对乳腺钼靶病变分类，提出区域基础视觉语言学习方法，先通过区域-文本对比预训练对齐特征，引入多组件目标减轻偏差，再联合优化辅助病变检测头，实验表明该方法在多设置下性能优于相关方法。

FlowGuard: From Signals to Evidence for MCP Security Detection

FlowGuard：从信号到MCP安全检测的证据

Baichao An, Pei Chen, Geng Hong, Yueyue Chen, Mengying Wu

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 研究针对现有MCP安全扫描器不足，提出FlowGuard系统，结合语义风险分类等方法，通过运行时证据验证执行风险、检测语义风险，在基准测试和实际评估中取得良好效果，能有效评估MCP交互中的多种风险。

VIABench: A Comprehensive Video Benchmark Collected from Blind Individuals for Visual Impairment Assistance

VIABench：一个从视障人士收集的用于视障辅助的综合视频基准测试

Yunfeng Liu, Yuandong Yang, Jiarui Han, Zhenpeng Huang, Yuqing Tang, Xiangyu Zeng, Gangshan Wu, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对视障人士视觉信息获取难及多模态大语言模型在视障辅助中实用价值待探索的问题，引入VIABench视频基准测试，定义三个核心任务，提出严格测试流程，实验表明当前模型对视障人士支持不足，有望推动定制模型开发以改善其体验。

BioTIER: A Refusal Benchmark for Targeted Biological Risk Mitigation

BioTIER：用于针对性生物风险缓解的拒绝基准

Eleanor M. Marshall, Pedro Medeiros, Peter Peneder, Nelly Mak, Jacob Kaffey, Faith Rovenolt, Mac Walker, Seth Donoughe, Jasper Götting

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对大语言模型生物滥用问题，引入BioTIER基准，将生物内容分三个风险集，含542个专家策划提示及元数据，可隔离控制灾难性风险信息，确保生物科学知识获取，助力针对性生物风险缓解。

Comments 52 pages, 9 main figures, 9 supplementary figures, 1 main table, 9 supplementary tables

VisualRepair: Dynamic Tool Calling and Region Focusing for Visual Software Issue Repair

VisualRepair：用于视觉软件问题修复的动态工具调用和区域聚焦

Jingyu Xiao, Zhongyi Zhang, Haoran Hou, Yuxuan Wan, Yuan Jiang, Yintong Huo, Michael R. Lyu

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对现代软件视觉信息利用难题，提出VisualRepair框架，通过图像类型感知工具调用和动态测试时区域聚焦两模块，在SWE-bench基准测试中性能超现有方法，有效提升自动视觉软件问题修复能力。

Comments The paper was completed in March 2026 and is currently under review. The code will be released upon acceptance

SoftBoard: A Multi-Agent Tool for the Creation and Evaluation of Low-Fidelity Prototypes

SoftBoard：用于创建和评估低保真原型的多智能体工具

Gabriel R. S. Scapim, Gislaine C. L. Leal, Guilherme C. Guerino

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对软件初创公司环境下数字产品用户体验问题，介绍SoftBoard工具，它集成原型编辑器、团队项目组织和基于大语言模型的多智能体系统，可支持需求获取、自动生成原型及评估界面质量，助力构建符合用户需求的MVP。

Comments Paper accepted for publication at CBSoft 2026 (SBES-Tools)

Self-Improvements in Modern Agentic Systems: A Survey

现代智能系统中的自我改进：一项综述

Zhe Ren, Yimeng Chen, Dandan Guo, Guowei Rong, Tonghui Li, R. B. Xiong, Qingfeng Lan, Wenyi Wang, Li Nanbo, Yibo Yang, Mingchen Zhuge, Jürgen Schmidhuber

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； University of Alberta（阿尔伯塔大学） ； The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室IDSIA/USI/SUPSI） 纠错

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 综述现代自我改进智能体从研究走向部署，目标是经验驱动的可控进化。提出系统级框架，将智能体视为基础模型与操作支架的耦合配置，自我改进形式化为更新算子，还组织回顾了相关工作、应用、评估等内容并展望未来。

Comments 97 pages, 12 figures. Project page: https://selfimproving-agent.github.io/ Repository: https://github.com/selfimproving-agent/awesome-Self-Improving-Agents

Open-KNEAD: Knowledge-grounded Nutrition Estimation via Agentic Decomposition

Open-KNEAD：通过智能分解实现基于知识的营养估计

Bruce Coburn, Jingbo Yue, Jinge Ma, Siddeshwar Raghavan, Gautham Vinod, Fengqing Zhu

机构 * Purdue University（普渡大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 研究探讨多模态大语言模型用于膳食评估时检索增强基础方法是否仍有价值。提出无需训练、可本地部署的Open-KNEAD框架，通过营养感知检索关联食物项与FNDDS代码，提高份量估计，还能恢复非美国烹饪风格估计偏差，优势显著并开源相关框架与知识库。

Comments 10 pages main paper, 5 pages supplementary

Taming the Drift: Context-aware Repair of Dockerfile Drift during Software Evolution

驯服漂移：软件演化过程中Dockerfile漂移的上下文感知修复

Chengjie Wang, Jingzheng Wu, Xiang Ling, Tianyue Luo, Chen Zhao

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 研究针对软件演化中Dockerfile漂移致CI/CD构建失败的问题，提出上下文感知框架Cadre，通过构建CDG并结合两步工作流程来修复，在$D^3$基准上修复率高，相比基线优势明显，还避免提示溢出故障，提升了上下文感知基础设施即代码维护能力。

Comments 18 pages, 7 figures