医学 AI

MADE: Beyond Scoring via a Multilingual Agentic Diagnosing Engine for Fine-Grained Evaluation Insights

MADE：超越评分——通过多语言智能诊断引擎实现细粒度评估洞察

Yilun Liu, Miao Zhang, Shimin Tao, Minggui He, Chunguang Zhao, Chenxin Liu, Li Zhang, Chen Liu, Cheng Qian, Liqun Deng, Xiaojun Meng, Daimeng Wei

机构 * Huawei（华为） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 提出MADE多语言智能诊断引擎，将评估后分析分解为规划、聚合分析、实例检查、多语言文化反思和报告合成，在33个模型族、11个基准、26种语言等大规模设置下，诊断报告质量提升47%，专家偏好率达87.9%。

Causal Scaffolding for Physical Reasoning: A Benchmark for Causally-Informed Physical World Understanding in VLMs

物理推理的因果支架：面向视觉语言模型中因果启发的物理世界理解基准

Tianyi Tang, Zhuoyi Lin, Zeyu Feng, Tianyi Ma, Yew-Soon Ong, Ivor Tsang, Haiyan Yin

机构 * CFAR（因果推理研究所） ； IHPC（信息技术研究所） ； Agency for Science, Technology and Research (A*STAR)（科技研究局） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 提出CausalPhys基准（含3000+视频/图像问题及因果图），并设计因果图度量评估VLM推理，进一步提出因果理性微调（CRFT）提升推理准确性与可解释性。

Comments Accepted by KDD 2026 Dataset and Benchmark Track

IOCC: Aligning Semantic and Cluster Centers for Few-shot Short Text Clustering

IOCC: 语义与聚类中心对齐的少样本短文本聚类

Zhihao Yao

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 本文提出IOCC方法，通过交互增强最优传输和中心感知对比学习模块，实现语义中心与聚类中心对齐，提升短文本聚类性能。

Comments arXiv admin comment: This version has been removed by arXiv administrators as the submitter did not have the rights to agree to the license at the time of submission

MedRedFlag: Investigating how LLMs Redirect Misconceptions in Real-World Health Communication

MedRedFlag：探究LLMs如何在真实健康沟通中纠正误解

Sraavya Sambara, Yuan Pu, Ayman Ali, Vishala Mishra, Lionel Wong, Monica Agrawal

机构 * Independent Researcher（独立研究者） ； Duke University（杜克大学） ； Stanford University（斯坦福大学） 纠错

专题命中 医学数据与评测 ：medical AI(abstract)

AI总结 本研究通过构建MedRedFlag数据集（1100+个来自Reddit的需纠正问题），系统比较了先进LLMs与临床医生的回应，发现LLMs常未能纠正问题中的错误前提，可能导致次优医疗决策，揭示了患者面向医疗AI系统的关键安全漏洞。

Evaluating LLMs' Effectiveness on Real-World Consumer Device Repair Questions

评估大语言模型在真实世界消费设备维修问题上的有效性

Atm Mizanur Rahman, Md Arid Hasan, Syed Ishtiaque Ahmed, Sharifa Sultana

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Toronto（多伦多大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文通过引入包含991个真实维修问题的基准测试，评估六种大语言模型在英语和孟加拉语上的正确性、完整性、实用性和安全性，发现模型虽能提供有用帮助，但在高风险维修任务中仍不可靠。

TransportBench: A Comprehensive Benchmark for Non-Equilibrium Flow Transport

TransportBench：非平衡流动传输的综合基准

Xu Wang, Minghao Li, Qizhen Hong, Yang Liu, Chen-an Zhang, Shuai Zhang, Wenhao Li, Yonghao Zhang, Tianbai Xiao

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 针对现有数据集对非平衡传输现象支持有限的问题，提出TransportBench高保真数据集与标准化基准，系统评估神经网络模型在连续/稀薄、低速/高超声速、惰性/化学反应气体等广泛物理场景下的表现。

Comments 40 pages, 12 figures, 8 tables

Exploiting Particle Swarm Optimization in Multiple Faults Fuzzy Detection

利用粒子群优化进行多故障模糊检测

Imtiez Fliss, Moncef Tagina

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 提出一种基于粒子群优化（PSO）的在线多故障模糊检测方法，通过优化隶属函数设计提高效率，并在三水箱液压系统仿真中与遗传算法（GA）对比验证有效性。

Comments Extended version of : Fliss I. and Tagina M., Multiple faults fuzzy detection approach improved by Particle Swarm Optimization, published in The 8th International Conference of Modelling and Simulation - MOSIM'10, Hammamet, Tunisia, May 10-12, 2010; Journal of Computing, Volume 4, Issue 2, February 2012

Learnable Assessment Skills for LLM-based Automated Scoring: Rubric Construction via Iterative Optimization

基于LLM的自动评分中可学习的评估技能：通过迭代优化构建评分标准

Yun Wang, Xin Xia, Xuansheng Wu, Xiaoming Zhai, Ninghao Liu

机构 * School of Computing, University of Georgia, Athens, GA, USA（佐治亚大学计算机学院） ； AI4STEM Education Center, University of Georgia, Athens, GA, USA（佐治亚大学AI4STEM教育中心） ； The Hong Kong Polytechnic University, Hong Kong, China（香港理工大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 提出一种迭代框架，使LLM能从评分经验中学习评估技能（即与题目无关的自然语言程序性知识），自动构建评分标准，无需人工干预，在ASAP-SAS数据集上超越专家编写的评分标准。

Comments 12 pages, 5 figures

BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents

BenchTrace: 用于测试LLM智能体反思能力和受控进化的基准

Jiahao Huang, Fei Cheng, Junfeng Jiang, Zefan Yu, Akiko Aizawa

机构 * University of Tokyo（东京大学） ； Kyoto University（京都大学） ； National Institute of Informatics（日本信息处理学会） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 提出BenchTrace基准，通过反思评估和进化评估两个任务，结合失败避免率(FAR)指标，系统评估LLM智能体的自我进化能力，实验发现当前模型在反思诊断和泛化上存在显著瓶颈。

Do Clinical Models Change Treatment Decisions?

临床模型是否会改变治疗决策？

Dongkyu Cho, Miao Zhang, Rumi Chunara

机构 * New York University（纽约大学） 纠错

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 本研究提出ClinPivot基准，通过生物医学关系和变化的患者情境评估临床基础模型在治疗决策中的适应性，发现强医学QA能力不能可靠预测决策表现。

Comments 9 pages, 3 figures

MTAVG-Bench 2.0: Diagnosing Failure Modes of Cinematic Expressiveness in Multi-Talker Audio-Video Generation

MTAVG-Bench 2.0：诊断多说话人音视频生成中电影表现力的失败模式

Haitian Li, Yanghao Zhou, Heyan Huang, Liangji Chen, YiMing Cheng, Xu Liu, Dian Jin, Jiajun Xu, Jingyun Liao, Tian Lan, Ziqin Zhou, Yueying Liu, Yu Bai, Changsen Yuan, Jinxing Zhou, Xian-Ling Mao, Xuefeng Chen, Yousheng Feng

机构 * Shanghai University（上海大学） ； Beijing Institute of Technology（北京理工大学） ； Shanghai Film Academy（上海电影学院） ； Tsinghua University（清华大学） ； Hefei University of Technology（合肥工业大学） ； Inkeverse Group Limited（Inkeverse集团有限公司） ； The University of Adelaide（阿德莱德大学） ； Beijing University of Technology（北京工业大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； OpenNLP Lab（OpenNLP实验室） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 针对多说话人音视频生成中电影表现力评估不足的问题，提出MTAVG-Bench 2.0基准，通过构建涵盖表演、叙事、氛围和视听语言的高层次失败分类体系及超过1万个问答实例，系统评估全模态大语言模型诊断复杂视听失败的能力。

Operational AI Deployment Assurance: Governance-State Orchestration Under Threshold-Sensitive Deployment Conditions -- A Governance Framework for High-Stakes AI Systems

运营级AI部署保障：阈值敏感部署条件下的治理状态编排——高风险AI系统的治理框架

Khalid Adnan Alsayed

机构 * Ducaltus | AI Assurance \& Governance Newcastle upon Tyne, United Kingdom School of Computing, Engineering \& Digital Technologies Teesside University Middlesbrough, United Kingdom 纠错

专题命中 医学数据与评测 ：healthcare AI(abstract)

AI总结 提出运营级AI部署保障（OADA）框架，通过部署保障分数、就绪分类、阈值稳定区、治理升级状态和修复感知保障推进等机制，将公平性分歧、子组不稳定性和阈值敏感性转化为部署导向的治理决策，以解决高风险AI系统中静态指标报告和事后审计的不足。

Comments 13 pages, 3 figures, governance-oriented framework for operational AI deployment assurance in high-stakes systems

GlobalDentBench: A Multinational Benchmark for Evaluating LLM Clinical Reasoning in Dentistry with Expert Calibration

GlobalDentBench：一个用于评估牙科领域大语言模型临床推理能力并包含专家校准的多国基准

Junjie Zhao, Jingyi Liang, Zhenyang Cai, Jiaming Zhang, Zhenwei Wen, Shuzhi Deng, Wenjing Yi, Chunfeng Luo, Hexian Zhang, Junying Chen, Tianrui Liu, Zhuhui Bai, Zixu Zhang, Pradeep Singh, Xiang Liu, Jianquan Li, Nhan L Tran, Falk Schwendicke, Zuolin Jin, Lijian Jin, Liangyi Chen, Wei-fa Yang, Benyou Wang, Junwen Wang, Shan Jiang

机构 * Division of Applied Oral Sciences and Community Dental Care, Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院应用口腔科学与社区牙科护理系） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院） ； Department of Periodontology, Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）牙周科） ； Beijing Institute of Collaborative Innovation（北京协同创新研究院） ； Department of Orthodontics, Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）正畸科） ； Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）） ； College of Future Technology, Peking University（北京大学未来技术学院） ； Freedom AI ； New Cornerstone Science Laboratory, National Biomedical Imaging Center, State Key Laboratory of Membrane Biology, Institute of Molecular Medicine, Peking-Tsinghua Center for Life Sciences, College of Future Technology, Peking University, Beijing 100871, China（新基石科学实验室、国家生物医学成像中心、膜生物学国家重点实验室、分子医学研究院、北京大学未来技术学院、生命科学中心，北京大学，北京100871，中国） ； IDG/McGovern Institute for Brain Research, Peking University, Beijing 100871, China（IDG/ McGovern脑科学研究院，北京大学，北京100871，中国） ； Division of Oral and Maxillofacial Surgery, Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院口腔颌面外科系） ； Shenzhen Loop Area Institute（深圳河套学院） ； Department of Cancer Biology, Mayo Clinic Arizona, 5777 E. Mayo Blvd., IERB-3-504A, Phoenix, Arizona, 85054, USA（梅奥诊所亚利桑那分部癌症生物学部门，5777 E. Mayo Blvd., IERB-3-504A, Phoenix, Arizona, 85054, USA） ； Department of Conservative Dentistry, Periodontology and Digital Dentistry, LMU University Hospital, LMU Munich, Munich, Germany（慕尼黑大学医院保守牙科、牙周病学和数字牙科部门，慕尼黑，德国，慕尼黑大学） ； Division of Periodontology & Implant Dentistry, Faculty of Dentistry, The University of Hong Kong, Hong Kong, SAR, China（香港大学牙科学院牙周病学与种植牙科系，香港，中国） 纠错

专题命中 医学数据与评测 ：clinical AI(abstract)

AI总结 提出首个跨国牙科基准GlobalDentBench，包含14个专科、88个国家的8978道专家验证题目，评估三种推理层次，揭示当前大语言模型在牙科临床推理中性能随复杂度下降且存在高风险。

Federated Semantic Knowledge Graphs for Laboratory Workflows: A Structured Expert Elicitation Methodology Demonstrated Through Bioanalytical Workflow Twins

面向实验室工作流的联邦语义知识图谱：通过生物分析工作流孪生展示的结构化专家启发方法

Luis F. Schachner, Vinith Thamizhazhagan, Sara Tanenbaum, John C. Tran, Pamela P. F. Chan, Mandy Kwong, Andy Chang, Maureen Beresini, Margaret Porter Scott

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 提出一种可重复的结构化专家启发方法和联邦语义知识图谱架构，用于捕获和查询实验室工作流中的隐性知识，并通过Genentech的部署案例展示了跨子图查询能力，特别是识别自动化掩盖的静默故障。

Comments 48 pages, 4 figures, 3 appendices. Submitted to ISWC 2026 In-Use Track

MedSAE: Dissecting MedCLIP Representations with Sparse Autoencoders

MedSAE: 用稀疏自编码器剖析MedCLIP表示

Riccardo Renzulli, Colas Lepoutre, Enrico Cassano, Marco Grangetto

机构 * University of Turin（都灵大学） ； École polytechnique（巴黎-萨克勒高等理工学院） 纠错

专题命中 医学数据与评测 ：medical AI(abstract)

AI总结 提出MedSAE方法，通过稀疏自编码器解析MedCLIP的潜在空间，结合相关性指标、熵分析和自动神经元命名框架，在CheXpert数据集上验证了比原始MedCLIP特征更高的单语义性和可解释性。

Comments Accepted at ICIP 2026

AOP-Wiki EMOD 3.0: Data Model Expansions and Content Evaluation Framework for Using Agentic AI to Improve Integration between AOPs and New Approach Methodologies (NAMs)

AOP-Wiki EMOD 3.0: 数据模型扩展和内容评估框架用于利用代理AI改进AOP与新方法论（NAMs）之间的整合

Virginia K. Hench, J. Harry Caufield, Sierra A. T. Moxon, Jason M. O'Brien, Stephen W. Edwards

机构 * Open BioData Modeling（开放生物数据建模） ； Environmental Genomics and Systems Biology（环境基因组学与系统生物学） ； Lawrence Berkeley National Laboratory（伯克利国家实验室） ； National Wildlife Research Centre（国家野生动物研究中心） ； UL Research Institutes - Chemical Insights（UL研究机构-化学洞察） 纠错

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 本文提出AOP-Wiki EMOD 3.0，通过数据模型扩展和内容评估框架，利用代理AI改进AOP与新方法论之间的整合，为监管科学和生物医学领域提供支持。

Comments 7 Figures and 3 Supplemental Figures

SkillGenBench: Benchmarking Skill Generation Pipelines for LLM Agents

SkillGenBench: 评估LLM代理技能生成流水线的基准测试

Yifan Zhou, Zhentao Zhang, Ziming Cheng, Shuo Zhang, Qizhen Lan, Zhangquan Chen, Zhi Yang, QianyuXu, Ronghao Chen, Huacan Wang, Sen Hu

机构 * SJTU（上海交通大学） ； XJTU（西安交通大学） ； NUS（新加坡国立大学） ； QuantaAlpha（量子Alpha） ； THU（清华大学） ； SUFE（上海财经大学） ； NTU（国立.ntu） ； PKU（北京大学） ； UCAS（中国科学技术大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出SkillGenBench，一个用于评估LLM代理技能生成流水线的基准测试，通过统一可控的协议评估技能生成过程，涵盖任务条件生成和任务无关生成两种模式，以及基于仓库和文档的两种程序来源，揭示技能生成在不同数据源中的表现差异。

Causely: A Causal Intelligence Layer for Enterprise AI A Benchmark Study on SRE and Reliability Workflows

Causely: 企业AI中的因果智能层 一项关于SRE和可靠性工作流的基准研究

Dhairya Dalal, Endre Sara, Ben Yemini, Christine Miller, Shmuel Kliger

机构 * Causely 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出Causely，一种企业AI的因果智能层，通过维护环境拓扑、属性依赖性和因果关系的结构化表示，为AI代理提供语义和因果基础，以诊断、评估影响并安全地在生产环境中操作。通过在受控环境下注入故障的24微服务OpenTelemetry演示应用进行基准研究，评估了Causely的价值主张。

Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation

Conv-FinRe：一种用于实用导向财务推荐的对话和纵向基准

Yan Wang, Yi Han, Lingfei Qian, Yueru He, Xueqing Peng, Dongji Feng, Zhuohan Xie, Vincent Jim Zhang, Rosie Guo, Fengran Mo, Jimin Huang, Yankai Chen, Xue Liu, Jian-Yun Nie

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Columbia University（哥伦比亚大学） ； California State University（加州州立大学） ； University of Montreal（蒙特利尔大学） ； The University of Manchester（曼彻斯特大学） ； McGill University（麦吉尔大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本研究提出Conv-FinRe基准，用于评估金融推荐模型在对话和长期视角下的实用性，通过多视角参考区分描述性行为与基于投资者风险偏好的规范性效用，揭示理性决策与行为一致性的张力。

Comments Accepted by SIGIR 2026 Resource Track. Pre-camera-ready version

From Static Risk to Dynamic Trajectories: Toward World-Model-Inspired Clinical Prediction

从静态风险到动态轨迹：迈向世界模型启发的临床预测

Pujun Feng, Xiaoyu Guo, Seyed Ehsan Saffari, Min Hun Lee, Siew-Kei Lam, Erik Cambria, Xibin Sun, Yangtao Zhou, Tong Yang, Xiaoyu Zhang, Tao Tan, Yue Sun, Bin Cui

机构 * Faculty of Applied Sciences, Macao Polytechnic University（澳门理工学院应用科学学院） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； School of Computing and Information Systems, Singapore Management University（新加坡管理学院计算机与信息系统学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Public Health, Peking University（北京大学公共卫生学院） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； School of Computer, Peking University（北京大学计算机学院） ； School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Centre for Biomedical Data Science, Duke-NUS Medical School, National University of Singapore（新加坡国立大学杜克-国立新加坡医学学院生物医学数据科学中心） ； Duke-NUS AI + Medical Sciences Initiative, Duke-NUS Medical School（杜克-国立新加坡医学学院AI+医学科学计划） 纠错

专题命中 医学数据与评测 ：clinical AI(abstract)

AI总结 本文探讨了临床AI中干预感知的疾病轨迹建模方法，提出了统一框架，结合了预测、反事实轨迹和政策评估，以解决治疗分配、时间变化混杂和观察偏差问题，推动临床预测向决策级证据发展。

Multi-Input Ciphertext Multiplication for Homomorphic Encryption

多输入密文乘法用于同态加密

Sajjad Akherati, Xinmiao Zhang

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出多输入密文乘法方法，通过理论分析和硬件设计优化，减少计算复杂度和资源消耗，提升同态加密效率。

Comments 13 Pages, 6 Figures, 7 Tables, Journal paper

Journal ref IEEE Transactions on Circuits and Systems I: Regular Papers ( Early Access ), 2026

TusoAI: Agentic Optimization for Scientific Methods

TusoAI: 科学方法的代理优化

Alistair Turcan, Kexin Huang, Lei Li, Martin Jinye Zhang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Stanford University（斯坦福大学） ； Phylo 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 TusoAI通过整合领域知识和迭代优化，提升科学任务中计算方法的性能，优于现有专家方法和科学AI代理，在单细胞RNA测序数据去噪和卫星地球监测等任务中表现突出。

Heuristic Pathologies and Further Variance Reduction via Uncertainty Propagation in the AIVAT Family of Techniques

启发式病态及通过不确定性传播进一步方差缩减在AIVAT技术家族中

Juho Kim, Tuomas Sandholm

机构 * CMU Strategic Machine, Inc.（CMU战略机器公司） ； Strategy Robot, Inc.（策略机器人公司） ； Optimized Markets, Inc.（优化市场公司） 纠错

专题命中 医学数据与评测 ：pathology(abstract)

AI总结 本文探讨了AIVAT技术中启发式价值函数的潜在漏洞，并通过不确定性传播进一步减少方差，实验显示可减少43%的样本需求。

CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation

因果推理基准：用于解耦评估因果识别和估计的现实世界基准

Ayush Sawarni, Jiyuan Tan, Vasilis Syrgkanis

机构 * Stanford University（斯坦福大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出CausalReasoningBenchmark，通过173个查询和132个现实数据集评估因果识别与估计，揭示模型在研究设计细节上的瓶颈。

A Tutorial for Evaluating Cure Model Appropriateness

评估治愈模型适用性的教程

A Tutorial for Evaluating Cure Model Appropriateness Geethanjalee Mudunkotuwa, Durbadal Ghosh, Subodh Selukar

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 本文提出系统评估治愈模型适用性的方法，结合临床判断、Kaplan-Meier曲线分析和定量评估，通过骨髓移植数据示例提供实用指导，提升生存分析可靠性。

Comments 24 pages, 2 figues, to be submitted in Statistics in Medicine, First two authors have equal contributions

BEAVER: An Enterprise Benchmark for Text-to-SQL

BEAVER：一个企业文本到SQL基准测试

Peter Baile Chen, Devin Yang, Weiyue Li, Fabian Wenz, Yi Zhang, Nesime Tatbul, Michael Cafarella, Çağatay Demiralp, Michael Stonebraker

机构 * MIT（麻省理工学院） ； Harvard University（哈佛大学） ； Greenshoe, Inc.（Greenshoe公司） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 BEAVER是首个基于企业私有数据仓库构建的文本到SQL基准测试，包含9128个问题-SQL对和19个领域的812张表，通过合成高质量查询和细粒度评估方法，揭示了现有模型在复杂企业场景下的性能差距。

Comments Dataset and code are available at https://beaverbench.github.io/

IndustryBench: Probing the Industrial Knowledge Boundaries of LLMs

IndustryBench: 探索大语言模型在工业知识边界的限制

Songlin Bai, Xintong Wang, Linlin Yu, Bin Chen, Zhiang Xu, Yuyang Sheng, Changtong Zan, Xiaofeng Zhu, Yizhe Zhang, Jiru Li, Mingze Guo, Ling Zou, Yalong Li, Chengfu Huo, Liang Ding

机构 * Multimodal and Industrial AI Team（多模态与工业AI团队） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 IndustryBench通过中国国家标准和工业产品记录构建2049项工业采购问答基准，揭示LLM在工业QA中的可靠性问题，发现标准与术语能力最弱，扩展推理降低安全调整分数，安全违规率影响排行榜。

Overview of the MedHopQA track at BioCreative IX: track description, participation and evaluation of systems for multi-hop medical question answering

BioCreative IX MedHopQA 轨道概述：轨道描述、参与及多跳医学问答系统评估

Rezarta Islamaj, Joey Chan, Robert Leaman, Jongmyung Jung, Hyeongsoon Hwang, Quoc-An Nguyen, Hoang-Quynh Le, Harikrishnan Gurushankar Saisudha, Ganesh Chandrasekar, Rustam R. Taktashov, Nadezhda Yu. Bizyukova, Sofia I. R. Conceição, Paulo R. C. Lopes, Reem Abdel Salam, Mary Adewunmi, Zhiyong Lu

机构 * National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国家医学图书馆（NLM）、国家卫生研究院（NIH）） ； University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Korea University（韩国大学） ； VNU University of Engineering and Technology, Hanoi, Vietnam（越南河内工程大学） ； Concordia University, Montreal, QC, CA（蒙特利尔大学） ； Institute of Biomedical Chemistry (IBMC), 10 bld. 8, Pogodinskaya str., 119121 Moscow, Russia（俄罗斯生物医学化学研究所（IBMC）） ； LASIGE, Departamento de Informática, Faculdade de Ciências, Universidade de Lisboa, 1749-016 Lisbon, Portugal（葡萄牙里斯本大学 LASIGE 实验室） ； Faculty of Engineering, Computer Engineering Department Cairo University（埃及开罗大学工程学院） ； Menzies School of Health Research, Charles Darwin University, NT, Australia（澳大利亚查尔斯达尔文大学梅恩兹健康研究中心） ； CaresAI, Australia（澳大利亚 CaresAI） 纠错

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 本文介绍了BioCreative IX MedHopQA共享任务，旨在评估大型语言模型在多跳推理中的表现，通过构建1000个挑战性问题，展示了检索增强生成策略的重要性，并提供了公开数据集和评估结果。

ER-Reason: A Benchmark Dataset for LLM Clinical Reasoning in the Emergency Room

ER-Reason：用于急诊科大型语言模型临床推理的基准数据集

Nikita Mehandru, Niloufar Golchini, Namrata Garg, Kathy T. LeSaint, Christopher J. Nash, Anu Ramachandran, Travis Zack, Liam G. McCoy, Adam Rodman, David Bamman, Melanie Molina, Ahmed Alaa

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of California, San Francisco（加州大学旧金山分校） ； Duke University（杜克大学） ； University of Alberta（阿尔伯塔大学） ； Beth Israel Deaconess Medical Center（贝斯以色列德aconess医疗中心） ； UC Berkeley and UCSF（伯克利大学和旧金山分校） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 ER-Reason基准数据集通过真实患者病例评估LLM在急诊流程中逐步推理能力，包含25174份脱敏临床记录，采用Script Concordance Test风格问题测试模型在积累临床证据时的诊断信念更新。

Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation

检测、定位与解释：基于LLM增强的交互式分层日志异常分析

Lei Ma, Suhani Chaudhary, Ethan Shanbaum, Athanasios Tassiadamis, Peter M. VanNostrand, Dennis M. Hofmann, Haowen Xu, Elke Rundensteiner

机构 * Worcester Polytechnic Institute, USA（沃斯特理工学院，美国） ； University of Nevada, Las Vegas, USA（内华达大学拉斯维加斯分校，美国） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出Krone系统，通过分层日志抽象和 orchestration 框架，结合LLM推理实现日志异常的精准检测、定位与解释，提供交互式可视化工具支持软件工程师和系统运维人员进行可解释的分层日志分析。