医学 AI

CogPic: A Multimodal Dataset for Early Cognitive Impairment Assessment via Picture Description Tasks

CogPic：一种通过图片描述任务进行早期认知障碍评估的多模态数据集

Liuyu Wu, Rui Feng, Jie Li, Wentao Xiang, Yi Zhang, Yin Cao, Siyang Song, Xiao Gu, Jianqing Li, Wei Wang

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出CogPic数据集，用于通过图片描述任务进行早期认知障碍评估，该数据集包含同步的音频、视觉和语言数据，由专家神经心理学家进行临床验证，为多模态研究提供了坚实基础。

Comments 11 pages, 3 figures, 5 tables

DeepInsight II: One Trace from Benchmark to Robot

DeepInsight II：从基准测试到机器人的单条轨迹

Siyi Li, Yuchen Kang, Wuliang Wang, Zhengjie Zhang, Jiangpin Liu, Jianhao Yao, Jie Chen

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 DeepInsight II量化具身层，复现基准结果、通过MotionBench实现仿真到真实机器人的原生迁移，并扩展轨迹定位至带修复动作的交接标签，提供从基准到机器人的经验连续性。

TRACE-BN: Transferring Bangla-English Tutoring Behavior to a Sub-1B Offline Language Model

TRACE-BN：将孟加拉语-英语辅导行为迁移至参数量小于10亿的离线语言模型

Khan Raiyan Ibne Reza, Sanjana Aktar Maria, Mohammad Tushar Abdullah, Asfee Bhuiyan Leen, Sumaiya Tabassum Nimi

机构 * North South University（北南大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出TRACE-BN数据集，将其辅导行为通过LoRA迁移至Qwen3-0.6B模型，在资源受限离线部署下，相关指标及多维度辅导效果均获显著提升。

When Agentic Executions Fail: Detecting and Localizing Runtime Faults from Telemetry

当智能体执行失败时：从遥测数据中检测和定位运行时故障

Chenkai Zhang, Yiran Li, Yifang Tian, Michalis Bachras, Hans-Arno Jacobsen

机构 * University of Toronto（多伦多大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究提出 AGENTCHAOSBENCH 基准，在智能体系统遥测数据中检测定位运行时故障，实验显示现有 LLM 基线对该任务的解决效果仍远未达标。

Information Satisfaction: A Reader-Centered Axis for Summarization Evaluation

信息满意度：面向读者的摘要评估轴

Isabel Cachola, William Walden, Reno Kriz, Mark Dredze

机构 * St. Edward’s University（圣爱德华大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 本研究提出以读者的信息满意度作为摘要评估的面向读者的轴，发现主流摘要指标无法衡量该满意度，且与人工判断一致性差。

AnchorSIPS: A Synthetic Dataset and Evaluation Resource for Evidence-Supported Psychosis-Risk Symptom Measurement

AnchorSIPS：用于证据支持的精神病风险症状测量的合成数据集与评估资源

Guilherme C. Oliveira, Stephanie Fong, Zimu Wang, Clarice Lee, Xiangyu Zhao, Duy Khoa Pham, Duong Nhu, Yiwen Jiang, Jiahe Liu, Zhongxing Xu, Dwarikanath Mahapatra, Dominic Dwyer, Zongyuan Ge

机构 * Monash University（莫纳什大学） ； Orygen（奥瑞金） ； The University of Melbourne（墨尔本大学） ； Swinburne University of Technology（斯威本科技大学） ； University of Liverpool（利物浦大学） ； Khalifa University（哈利法大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出AnchorSIPS合成数据集，基于Mini-SIPS访谈构建含1万次结构化精神病风险访谈，解决临床数据隐私问题，用于研究证据提取等，实验发现LLM基线存在细节提取不足问题。

Toward Federated Large Language Models in Medicine: A Parameter-Efficient Framework for Privacy-Preserving, Multi-Institutional Adaptation

一种联邦学习和参数高效的大型语言模型在医学中的训练框架

Anran Li, Yuanyuan Chen, Wenjun Long, Yu Yin, Yan Hu, Hyunjae Kim, Weipeng Zhou, Yujia Zhou, Hongyi Peng, Yang Ren, Xuguang Ai, Zhenyue Qin, Ming Hu, Xiaoxiao Li, Han Yu, Yih-Chung Tham, Lucila Ohno-Machado, Hua Xu, Qingyu Chen

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出Fed-MedLoRA框架，通过低秩适配器参数实现医学LLM的联邦学习，提升跨机构异质性下的模型收敛性和泛化能力。

Comments 41 pages, 11 tables, 3 figures; Just accepted

AgenticTwin: An Agentic LLM Framework Integrated with Digital Twin for Anomaly Detection

AgenticTwin：集成数字孪生的智能体大语言模型异常检测框架

Touseef Hasan, Mounika Ghanta, Souvika Sarkar, Ujjwal Guin

机构 * School of Computing, Wichita State University（威奇托州立大学计算机学院） ； Auburn University（奥本大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本研究提出AgenticTwin框架，整合LLM推理与数字孪生异常检测管道，构建基准评估管道并验证轻量级开源LLM部署可行性，可提升异常诊断、检索及缓解质量。

Locally Deployable Small Language Models for Emergency Department Decision Support: A Systematic Benchmark of Fine-Tuning Strategies

可本地部署的小型语言模型用于急诊科决策支持：微调策略的系统基准测试

Qingfeng Zhang, Yuanxiong Guo, Yanmin Gong

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究针对急诊科决策支持的隐私风险，通过基准测试发现经LoRA微调的开源小型语言模型在分诊和转诊任务上优于商业模型，可本地部署且具备临床竞争力。

Comments Accepted to AMIA 2026 Annual Symposium

JunoBench: A Benchmark Dataset of Crashes in Python Machine Learning Jupyter Notebooks

JunoBench: 一个Python机器学习Jupyter笔记本崩溃的基准数据集

Yiran Wang, José Antonio Hernández López, Ulf Nilsson, Dániel Varró

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 JunoBench通过提供真实崩溃案例、修复方案和详细标注，促进Jupyter笔记本中机器学习bug检测、定位、诊断与修复的研究。

Journal ref Proceedings of the 3rd ACM International Conference on AI-Powered Software (AIware), pp 406-413, July 2026

HarmThoughts: A Benchmark for Fine-Grained Harmful Behavior Detection in Reasoning Traces

当安全失败之前：在推理链中基准测试有害行为检测

Ishita Kakkar, Enze Zhang, Rheeya Uppaal, Junjie Hu

机构 * Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出HarmThoughts基准，用于评估推理链中逐步的安全性。通过分析56931个句子，识别有害行为传播模式，发现现有检测器在细粒度行为检测上存在不足，揭示了过程级安全监控的关键缺口。

Comments Accepted at COLM 2026 (Main Track)

SurroPilot: An LLM-Assisted Platform for Heterogeneous Surrogate Endpoint Evaluation in Clinical Trials

SurroPilot：用于临床试验中异质性替代终点评估的大语言模型辅助平台

Xingyu Li, Peng Wei

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 SurroPilot是集成LLM与异质性中介框架的辅助平台，可通过自然语言交互完成临床试验异质性替代终点评估全流程，降低了相关方法的应用技术门槛。

Comments Submitted for journal

A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents

面向编码智能体的需求澄清、规划与代码生成的统一问题解决基准

Xin Zhou, Chun Yong Chong, Kisub Kim, Yun Peng, Rui Shu, Zihan Wu, Xu Han, Guowen Yuan, Zeyang Zhuang, Jounghoon Kim, Jeongjin Ju, Seongmin Ju, Taein Yoon, David Lo

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究推出SWE-RPG编码智能体基准，评估发现主流编码智能体在该基准上平均解决率仅31.5%，隐性需求恢复是主要瓶颈，为改进编码智能体提供了方向。

Comments 9 pages

CAP: A Scalable Benchmark for Evaluating Cross-Site Browser Agents with Complex Actions and Perception

CAP：用于评估具备复杂动作与感知能力的跨站点浏览器智能体的可扩展基准

Zejun Xu, Taiyi Chen, Jin Li, Yongtong Gu, Qi Cheng, Aixuan Lv, Shuai Zhu, Pengfei Zhu, Kaichen Yang, Boyu Sun, Yixian Yang, Mulong Xie, Xin Liu, Dagang Li, Xiaoteng Ma, Hongru Wang

机构 * Macau University of Science and Technology（澳门科技大学） ； Tsinghua University（清华大学） ； Southeast University（东南大学） ； FellouAI ； ARGUS Lab（ARGUS实验室） ； The University of Edinburgh（爱丁堡大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 研究人员推出可扩展基准CAP，通过分解-重组流程构建420项跨站点网页任务，实验发现当前浏览器智能体在感知密集型交互上存在明显瓶颈，与真实需求差距较大。

Comments Accepted to COLM 2026. Project page: https://warriorxu0302.github.io/CAP-Bench/

Initial Evaluation of the Usability of Front-End Ontology Tooling

前端本体论工具可用性的初步评估

Clair Kronk, Rishabh Jain

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 本研究针对生物医学领域，调查38名本体论研究者，用SUS量表评估15款前端本体论工具可用性，发现Protege和WebProtege可用性中等，熟悉程度影响得分，指出工具存在可用性差距。

Comments 5 pages, 1 figure

Citation Grounding Measures the Oracle: Graph Coverage Determines Reported LLM Hallucination Rates in Law

引用溯源：通过法律引用图检测和减少LLM引用幻觉

Volodymyr Ovcharov

机构 * LEX AI LLC 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 提出引用溯源（CG）指标，利用乌克兰法院判决的引用图（1.008亿判决，5.02亿边）检测LLM法律引用幻觉，并通过CG-DPO方法（基于真实判决构建偏好对）减少幻觉，在100个法律查询上CG为0.791-0.873，幻觉率13-21%。

Comments 21 pages, 4 figures, 5 tables. Substantially revised: title, framing and several v1 results changed. Adds a coverage sweep and a separability analysis; corrects the DPO configuration, the density-accuracy correlation and the qualitative examples. Code and data: https://huggingface.co/datasets/overthelex/citation-grounding-eval

FinTrace: Holistic Trajectory-Level Evaluation of LLM Tool Calling for Long-Horizon Financial Tasks

FinTrace: LLM工具调用在长周期金融任务中的轨迹级综合评估

Yupeng Cao, Haohang Li, Weijin Liu, Wenbo Cao, Anke Xu, Lingfei Qian, Xueqing Peng, Minxue Tang, Zhiyuan Yao, Jimin Huang, K. P. Subbalakshmi, Zining Zhu, Jordan W. Suchow, Yangyang Yu

机构 * Stevens Institute of Technology（斯蒂文斯理工学院） ； Independent Researcher（独立研究者） ； The FinAI（FinAI） ； Duke University（杜克大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出FinTrace基准，通过800个专家标注的轨迹评估LLM工具调用，揭示模型在信息利用和最终答案质量上的不足，并通过FinTrace-Training数据集提升中间推理能力，但最终答案质量仍受限。

Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents

面向规则密集型国家标准文档评审的大语言模型基准测试与增强

Tao Wang, Qihao Yang, Rongjiao Liang, Lianghong Lin, Haitao Wang, Xinyu Cao, Tianyong Hao

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究针对规则密集型国家标准文档评审推出首个基准GB/T-Bench，提出多智能体框架GB/T-Reviewer，实验显示其大幅缩小了LLM与专家在该任务上的能力差距，为高风险文档领域可信AI奠定基础。

Automated Logging Is Language-Sensitive: A Multilingual Benchmark and Empirical Study of LLMs

单语言证据不足以支持自动化日志记录：一个多语言基准和基于LLM的实证研究

Renyi Zhong, Yichen Li, Yulun Wu, Jinxi Kuang, Yintong Huo, Michael R. Lyu

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文通过多语言基准MultiLogBench研究自动化日志记录的跨语言有效性，发现框架锚点匹配是最敏感的组件，模型排名在顶级稳定，但需多语言验证以确保鲁棒性。

WeClawArena: An Auditable Sandbox and Benchmark for Cross-User Agents Collaboration and Security in Human-Centered Agent Networks

WeClawArena：面向以人为中心的智能体网络中跨用户智能体协作与安全的可审计沙箱及基准

Prince Zizhuang Wang, Aojie Yuan, Haiyue Zhang, Xiyang Hu, Yue Zhao, Shuli Jiang

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 WeClawArena是面向以人为中心的智能体网络的可审计沙箱与基准，含124个基础任务及620个场景变体，可评估跨用户智能体协作的效用与攻击成功率，支持安全审计与诊断。

Comments 31 pages

CockpitHAT: Dependency-Graph-Driven Hierarchical Attribution for Embodied Multi-Agent Cockpits

CockpitHAT：面向具身多智能体座舱的依赖图驱动分层归因方法

Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

机构 * ByteDance（字节跳动） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究针对LLM多智能体系统的“正确性崩溃”问题，提出CockpitHAT分层归因框架，发布含212条轨迹的CockpitBench基准，在相关基准上超越现有方法，实现可靠故障诊断。

EnergyAgentBench: Benchmarking LLM Agents on Live Energy Infrastructure Data

EnergyAgentBench: 在实时能源基础设施数据上评估LLM代理的基准测试

Eliseo Curcio

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出EnergyAgentBench，首个基于实时电力市场数据的LLM代理基准测试，评估数据中心选址、长期投资组合优化等任务，九种模型在1414次运行中表现各异，Claude Sonnet 4.6在整体得分上领先。

DeepSurvey-Bench: Evaluating Academic Value of Automatically Generated Scientific Surveys

DeepSurvey-Bench: 评估自动生成功科学调查的学术价值

Guo-Biao Zhang, Xian-Ling Mao, Ding-Yuan Liu, Da-Yi Wu, Tian Lan, Huihui Li, Heyan Huang

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 DeepSurvey-Bench 通过综合评估生成调查的学术价值，解决现有基准在评估深度和可靠性上的不足。

AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers

AgentHPOBench：用于评估LLM智能体作为序列超参数优化器的基准

Tianyu Huai, Tingshuo Fan, Xinchi Chen, Yining Zheng, Yuxin Wang, Shuang Chen, Jie Zhou, Xuanjing Huang

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 AgentHPOBench是含30个任务的序列基准，用于评估LLM智能体的超参数优化能力，实验显示其在多领域有优化能力，但在迭代优化等方面存在局限。

CyberNeuro: A Privacy-Preserving Agentic Workbench for Cohort-Scale Neuroimage and Clinical Data Analysis

CyberNeuro：用于队列规模神经影像与临床数据分析的隐私保护智能体工作台

Ran Ren, Junhong Tong, Yunxi Kong, Yiyao Chen, Yucheng Li, Kunhao Zhou, Shaoqi Wang, Yuxiang Tao, Shuheng Cao, Zhihao Fan, Marissa DiPiero, Tingting Dan, Guorong Wu

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 CyberNeuro是配备WandaMind本地LLM的隐私保护智能体工作台，通过四个专用智能体实现神经影像与临床数据分析自动化，在NeuroBench上提升了域准确率，还降低了令牌使用量。

Comments 25 pages, 4 figures

EarlyDx: An Admission-Anchored Benchmark for Open-Ended Generation of Evidence-Supported ED-Encounter Diagnoses

EarlyDx：一个锚定入院时间的开放生成式循证急诊科就诊诊断基准

Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

机构 * University of Georgia（佐治亚大学） ； Beijing Luhe Hospital（北京潞河医院） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出EarlyDx基准，针对现有诊断基准不适用入院诊断场景的问题，基于MIMIC-IV数据构建，发现各类LLM均无法可靠综合入院证据，仅能提取部分诊断，微调后仍有差距。

Can Large Language Models Derive New Knowledge? A Dynamic Benchmark for Biological Knowledge Discovery

大语言模型能否推导新知识？一种动态生物知识发现基准

Chaoqun Yang, Xinyu Lin, Shulin Li, Wenjie Wang, Ruihan Guo, Fuli Feng, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 本文提出DBench-Bio，一种动态生物知识发现基准，通过三阶段流程评估AI的新知识发现能力，揭示当前模型在知识发现上的局限性。

Comments Accepted by KDD 2026

Would You Walk to the Car Wash? Revealing the Salience Bias of Large Language Models in Commonsense Reasoning

你会步行去洗车吗？揭示大型语言模型在常识推理中的显著性偏差

Zheng Wu, Chenhao Xue, Shijie Zheng, Yijie Lu, Cheng Yang, Zhuosheng Zhang

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本研究构建SaliTrap基准数据集，发现主流LLMs存在显著性偏差，其常识推理失败源于知识被干扰项抑制，而非知识缺失，轻量级推理时提示可大幅缓解该问题。

The MADRS Pipeline: Supporting Depression Assessment in Clinical Trials

MADRS 流程：支持临床试验中的抑郁评估

Mila Fodor, Katalin Ócsai, Francesco Periti, Rien Sonck, Alex Boudreau

机构 * Clario, part of Thermo Fisher Scientific（赛默飞世尔科技旗下Clario） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本研究开发了一种 LLM 流程，可将临床试验的结构化音频访谈转换为文本，映射至 MADRS 10 项症状条目并评估严重程度，与专家评级整体相关性达 0.867，为抑郁评估提供可解释支持。

Adversarial Pragmatics for AI Safety Evaluation: A Diagnostic Framework and Seed Benchmark for Language-Mediated Control

面向AI安全评估的对抗语用学：指令冲突、嵌入命令与策略模糊性基准

Brett Reynolds

机构 * Humber Polytechnic（汉博理工学院） ； University of Toronto（多伦多大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 提出对抗语用学基准和标注协议，通过语言学控制的分类法评估模型在指令冲突、嵌入命令等场景下的行为，为安全评估提供实证和方法论工具。

Comments 32-page main paper plus 13-page supplement; 6 figures and 17 tables total; code and data artifact available at the linked repository