视觉大模型 / VLM

ReScene: Structured Indoor Scene Reconstruction from Multi-View Captures

ReScene: 基于多视角图像的结构化室内场景重建

Haoran Xu, Lechao Zhang, Daoguo Dong, Yan Gao, Xin Tan

机构 * School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院） ； Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身智能研究院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 提出ReScene框架，通过层级视图选择和关系感知组装，解决多视角场景重建中跨视角关系融合与物理一致性难题，在ScanNet上实现几何、渲染和感知质量的最优性能。

AirGroundBench: Probing Spatial Intelligence in Multimodal Large Models under Heterogeneous Multi-View Embodied Collaboration

AirGroundBench: 异构多视角具身协作下多模态大模型的空间智能探测

Haotian Li, Yida Wang, Leyuan Wang, Jinshan Lai, Keyang Wang, Zonghao Guo, Qiang Ma, Liuyu Xiang, Jianwei Hu, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； QiYuanLab（启元实验室） ； Tsinghua University（清华大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出AirGroundBench基准，通过异构无人机-无人车协作的多视角任务（10类、约6.2万道视觉问答和115个导航任务），系统评估多模态大模型在空间感知、跨视角对齐、空间变换推理和具身决策中的几何一致性，发现模型在跨视角对齐和变换推理上存在瓶颈。

SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning

SingGuard: 一种策略自适应的多模态大语言模型护栏，具有动态推理能力

SingGuard Team

机构 * AI Security Lab, Ant Group（蚂蚁集团AI安全实验室） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出SingGuard，一种策略自适应的多模态护栏模型，通过将策略作为运行时输入，支持快速、混合和慢速推理模式，实现动态规则下的安全评估，在多个基准上取得最优F1。

Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models

在自进化大型多模态模型中更加关注视觉标记

Shravan Venkatraman, Ritesh Thawkar, Omkar Thawakar, Rao Muhammad Anwer, Hisham Cholakkal, Salman Khan, Fahad Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Aalto University（阿尔托大学） ； Australian National University（澳大利亚国立大学） ； Linköping University（林雪平大学） 纠错

专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 提出VISE框架，通过几何不变性和语义不变性奖励直接正则化视觉条件策略，解决自进化LMMs中视觉欠条件问题，在无监督设置下提升视觉语言理解。

Comments ECCV 2026

DocArena: Turning Raw Documents into Controllable Training Environments for Document Search Agents

DocArena：将原始文档转化为可控的训练环境用于文档搜索代理

Jiamian Wang, Ruiyi Zhang, Tong Yu, Jing Shi, Samyadeep Basu, Rajiv Jain, Zhiqiang Tao, Tong Sun

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； Adobe Research（Adobe研究院） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出DocArena自动化流程，通过多模态文档结构化、推理型QA对构建和质量控制，生成可控训练环境，使基于文本LLM的搜索代理在多模态文档检索和问答中取得最佳性能。

Comments search agent for documents

Are We There Yet? Exploring the Capabilities of MLLMs in Assistive AI Applications

我们到了吗？探索多模态大语言模型在辅助人工智能应用中的能力

Shayon Dasgupta, Avijit Dasgupta, C. V. Jawahar

机构 * IIT BHU India（印度理工学院瓦拉纳西校区） ； CVIT, IIIT Hyderabad India（印度海得拉巴国际信息技术学院计算机视觉与信息技术中心） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文通过真实世界任务评估多模态大语言模型在辅助AI中的表现，开发NetraLink系统收集基准数据，揭示其优势与局限。

Dense Reward for Multi-View 3D Reasoning with Global Maps and Local Views

基于全局地图与局部视图的多视角3D推理的密集奖励

Jiho Choi, Seonho Lee, Seojeong Park, Hyunjung Shim

机构 * Graduate School of Artificial Intelligence, KAIST, Republic of Korea（韩国科学技术院人工智能研究生院） ； KRAFTON, Republic of Korea（韩国KRAFTON公司） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出DR-MV3D框架，通过全局一致性奖励和局部轨迹奖励对多视角3D VQA的中间推理过程进行密集监督，提升跨视图推理一致性。

Comments ECCV 2026

Language-Instructed Vision Embeddings for Controllable and Generalizable Perception

语言引导的视觉嵌入用于可控且可泛化的感知

Chengzhi Mao, Xudong Lin, Wen-Sheng Chu

机构 * Google（谷歌） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 提出语言引导视觉嵌入（LIVE）方法，利用语言动态引导视觉编码器生成任务中心嵌入，无需任务特定重训练，减少视觉幻觉并提升泛化能力。

Journal ref Published as a conference paper at ICLR 2026

Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models

VLA 甚至知道基础知识吗？衡量视觉-语言-动作模型中的常识和世界知识保留

Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev, Vlad Shakhuro

机构 * CogAI Lab（CogAI实验室） ； FusionBrain Lab（FusionBrain实验室） ； IAI MSU（MSU人工智能研究所） ； Lomonosov MSU（Lomonosov莫斯科大学） ； NUST MISIS ； Applied AI Institute（应用人工智能研究所） ； HSE University（俄罗斯高等经济大学） ； Generalizable AI Systems（可泛化人工智能系统） ； ISP RAS（俄罗斯科学院信息与自动化过程研究所） ； MIRAI ； Domain-specific NLP Group（领域特定自然语言处理小组） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出 Act2Answer 协议，通过动作回答评估 VLA 模型的知识保留，发现模型在简单概念上表现良好，但在丰富语义类别上存在差距，且 VQA 联合训练有助于知识保留。

Comments Project page: https://tttonyalpha.github.io/act2answer/

HIMM: Human-Inspired Long-Term Memory Modeling for Embodied Exploration and Question Answering

HIMM：面向具身探索与问答的人类启发式长期记忆建模

Ji Li, Bo Wang, Jing Xia, Mingyi Li, Shiyan Hu

机构 * The University of Hong Kong（香港大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 视觉问答 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出HIMM模型，通过分离事件记忆与语义记忆，提升具身智能在长期观察和有限上下文下的探索与问答能力，实验显示在多个基准测试中表现优异。

Journal ref IROS 2026

Context-Aware RL for Agentic and Multimodal LLMs

上下文感知强化学习用于智能体与多模态大语言模型

Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod Viswanath, Prateek Mittal, Xingyu Fu

机构 * Princeton University（普林斯顿大学） ； UC Davis（加州大学戴维斯分校） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出ContextRL方法，通过间接辅助目标（上下文选择奖励）增强大模型在长上下文和多模态任务中的细粒度推理能力，在5个长程基准和12个视觉问答基准上分别提升+2.2%和+1.8%。

Comments 29 pages, 9 figures

VisualClaw: A Real-Time, Personalized Agent for the Physical World

VisualClaw：面向物理世界的实时个性化智能体

Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao, Cihang Xie

机构 * UC Santa Cruz（加州大学圣克鲁兹分校） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； Google（谷歌） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出VisualClaw，一种自进化多模态智能体，通过混合编码和技能进化机制降低部署成本并提升准确性，在多个视频QA基准上实现平均-98%的API成本削减和最高+15.80%的准确率提升。

Comments H. T. and J. C. contribute to this project equally

MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA

MAGE-RAG：面向长文档问答的多粒度自适应图证据多模态RAG

Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出MAGE-RAG框架，通过离线构建包含页面和元素节点的证据图，在线自适应构建证据子图，平衡证据覆盖与噪声控制，在长文档多模态问答中取得最优性能。

ChronoPhyBench: Do MLLMs Truly Understand the World or Merely Exploit Language Priors?

ChronoPhyBench：多模态大语言模型真正理解世界还是仅仅利用语言先验？

Bin Zhu, Yanhao Jia, Kexin Zhao, Jie Wang, Munan Ning, Hao Li, Yuwei Niu, Tanqing Sun, Huangchong Yan, Mingjun Pan, Xinyi Wu, Qishen Yin, Yunyang Ge, Shuai Zhao, Li Yuan

机构 * Peking University, Shenzhen Graduate School（北京大学深圳研究生院） ； Peng Cheng Laboratory（鹏城实验室） ； Rabbitpre Intelligence ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出ChronoPhyBench基准，通过视频上下文和文本描述强制模型进行物理状态推理，揭示当前开源模型物理推理能力仍处初级阶段。

OmniEgo-R$^2$: A Routed Reasoning Framework for the 1st Cross-Domain EgoCross Challenge at CVPR 2026

OmniEgo-R$^2$：面向CVPR 2026首届跨领域EgoCross挑战赛的路由推理框架

Zixu Li, Zhiwei Chen, Zhiheng Fu, Wenbo Wang, Yupeng Hu, Weili Guan, Liqiang Nie

机构 * Shandong University（山东大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对跨领域自我中心视频推理中的时间边界模糊、语义粒度不匹配和决策不稳定问题，提出OmniEgo-R$^2$路由推理框架，在Source-Limited和Open-Source赛道均获第二名。

Comments Technical Report for the 1st Cross-Domain EgoCross Challenge at CVPR 2026

HakushoBench: A Japanese Chart and Table VQA Benchmark from Governmental White Papers

HakushoBench：来自政府白皮书的日语图表VQA基准

Issa Sugiura, Shuhei Kurita, Yusuke Oda, Naoaki Okazaki

机构 * Institute of Science Tokyo（东京科学研究所） ； NII（日本学术振兴会） ； NII LLMC（日本学术振兴会LLMC） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 利用政府白皮书构建日语图表VQA基准HakushoBench，包含2053张图像和人工标注问答对，评估视觉语言模型对图表的深度理解。

Comments 16 pages, 17 figures

Task-Focused Memorization for Multimodal Agents

面向多模态智能体的任务聚焦记忆

Tao Zou, Yichen He, Tian Qiu, Yuan Lin, Hang Li

机构 * Fudan University（复旦大学） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出基于强化学习的任务聚焦记忆策略学习框架TaskMem，通过两阶段训练使多模态智能体在流式观测中动态选择任务相关记忆，在三个流式基准上VQA准确率提升5.3%-7.0%。

MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence

MMSI-Bench：多图像空间智能基准

Sihan Yang, Runsen Xu, Yiman Xie, Sizhe Yang, Mo Li, Jingli Lin, Chenming Zhu, Xiaochen Chen, Haodong Duan, Xiangyu Yue, Dahua Lin, Tai Wang, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Shanghai Jiaotong University（上海交通大学） ； University of Hong Kong（香港大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出MMSI-Bench基准，通过1000道精心设计的VQA问题评估多图像空间推理能力，发现现有模型准确率远低于人类。

Comments ICLR 2026 Camera ready. 38 pages. Project page: https://runsenxu.com/projects/MMSI_Bench

How Good LLMs Are at Answering Bangla Medical Visual Questions? Dataset and Benchmarking

LLMs在回答孟加拉语医学视觉问题方面的表现如何？数据集与基准测试

Rafid Ahmed, Intesar Tahmid, Mir Sazzat Hossain, Tasnimul Hossain Tomal, Md Fahim, Md Farhad Alam Bhuiyan

机构 * Penta Global Limited ； Center for Computational & Data Sciences, Independent University（独立大学计算与数据科学中心） 纠错

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出BanglaMedVQA数据集，用于评估当前基础模型在孟加拉语医学视觉问答任务中的表现，发现其性能显著低于英语基准，揭示了低资源语言在医学推理中的挑战。

Comments 14 pages, 7 figures, 5 tables, Proceedings of The Second AAAI Bridge Program on AI for Medicine and Healthcare, PMLR 317:1-14, 2026

From Web to Pixels: Bringing Agentic Search into Visual Perception

从网络到像素：将代理搜索引入视觉感知

Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

机构 * Deep Research 纠错

专题命中 视觉问答 ：grounding(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出感知深度研究，引入WebEye基准，通过代理搜索到像素的工作流程，解决隐藏目标身份并绑定到框、掩码或 grounded 答案，实验显示其在三个任务视图中表现最佳。

Comments Project page: https://pixel-searcher.github.io/

BARISTA: A Multi-Task Egocentric Benchmark for Compositional Visual Understanding

BARISTA：一种多任务第一人称视角基准，用于组合视觉理解

Patrick Knab, Orgest Xhelili, Inis Buzi, Drago Andres Guggiana Nilo, Mohd Saquib Khan, Lorenz Kolb, Manuel Scherzer, Kerem Yildirir, Christian Bartelt, Philipp Johannes Schubert

机构 * Ramblr.ai Research（Ramblr.ai 研究院） ； Technical University of Clausthal（Clausthal 技术大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 BARISTA通过185个真实世界咖啡制作视频，提供密集标注的数据集，涵盖全自动、手冲和胶囊式流程，用于评估场景理解中的多任务能力，揭示任务家族间强变化及无主导模型家族。

KEPO: Knowledge-Enhanced Preference Optimization for Multimodal Reasoning with Applications to Medical VQA

KEPO：基于知识的偏好优化用于多模态推理及其在医学VQA中的应用

Fan Yang, Rui Meng, Trudi Di Qi, Ali Ezzati, Yuxin Wen

机构 * Chapman University（查普曼大学） ； Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室） ； University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 KEPO通过质量门控的在线蒸馏和知识增强的探索策略，提升多模态推理任务的训练稳定性与推理一致性，优于强化学习和在线蒸馏基线。

WaferSAGE: Large Language Model-Powered Wafer Defect Analysis via Synthetic Data Generation and Rubric-Guided Reinforcement Learning

WaferSAGE：基于大语言模型的晶圆缺陷分析：通过合成数据生成与评分引导的强化学习

Ke Xu, Zhongyuan Lian

机构 * Shanghai Huahong Grace Semiconductor Manufacturing Corporation（上海华虹格瑞半导体制造有限公司） ； Dept. of Automation, School of Information Science and Engineering, East China University of Science and Technology（自动化系，信息科学与工程学院，东华大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 本文提出WaferSAGE框架，利用小规模视觉-语言模型进行晶圆缺陷视觉问答。通过合成数据生成和评分引导强化学习，解决半导体制造中的数据稀缺问题，展示小型模型在特定工业视觉理解中的优势。

Comments 16 pages, 3 figures, 8 tables

Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought

先分后融：通过模态特定的推理链减轻音频视觉大语言模型中的跨模态干扰

Xuanchen Li, Yuheng Lu, Chenrui Cui, Tianrui Wang, Zikang Huang, Yu Jiang, Long Zhou, Longbiao Wang, Jianwu Dang

机构 * Tianjin Key Laboratory of Cognitive Computing（天津认知计算实验室） ； Tianjin University（天津大学） ； Huiyan Technology Company, Ltd.（慧颜科技有限公司） ； Chinese Academy of Sciences（中国科学院） ； Tencent（腾讯） 纠错

专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 本文提出SFFL框架，通过模态特定的推理链减少跨模态干扰，提升音频视觉问答的准确性和鲁棒性，实验显示在通用AVQA基准和跨模态幻觉基准上分别提升5.16%和11.17%。

HealthNLP_Retrievers at ArchEHR-QA 2026: Cascaded LLM Pipeline for Grounded Clinical Question Answering

HealthNLP_Retrievers在ArchEHR-QA 2026中的表现：基于级联LLM管道的 grounded临床问答

Md Biplob Hosen, Md Alomgeer Hussein, Md Akmol Masud, Omar Faruque, Tera L Reynolds, Lujie Karen Chen

机构 * University of Maryland Baltimore County（马里兰大学巴尔的摩县分校） ； Jahangirnagar University（贾旺吉拉大学） 纠错

专题命中 视觉问答 ：grounding(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出基于Gemini 2.5 Pro的级联管道，通过多阶段模块实现患者问题理解、证据检索与回答生成，提升临床问答的准确性和专业性。

LaV-CoT: Language-Aware Visual CoT with Multi-Aspect Reward Optimization for Real-World Multilingual VQA

LaV-CoT：具有多方面奖励优化的语言感知视觉CoT

Jing Huang, Zhiya Tan, Shutao Gong, Fanwei Zeng, Joey Tianyi Zhou, Changtao Miao, Huazhe Tan, Weibin Yao, Jianshu Li

机构 * Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） ； CFAR, Agency for Science, Technology and Research（科技研究局CFAR） 纠错

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 LaV-CoT通过多阶段推理流程和多方面奖励优化，提升多语言视觉问答的准确性和泛化能力，实现在公开数据集上的9.5%准确率提升。

Comments Accepted by WWW 2026 Industry Track - Oral

rPPG-VQA: A Video Quality Assessment Framework for Unsupervised rPPG Training

rPPG-VQA：一种用于无监督rPPG训练的视频质量评估框架

Tianyang Dai, Ming Chang, Yan Chen, Yang Hu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出rPPG-VQA框架，通过信号级和场景级分析评估视频对rPPG模型训练的适用性，结合双分支架构和两阶段自适应采样策略提升模型性能。

Comments Accepted by CVPR 2026

VSAS-BENCH: Real-Time Evaluation of Visual Streaming Assistant Models

VSAS-BENCH：视觉流助手模型的实时评估

Pavan Kumar Anasosalu Vasu, Cem Koc, Fartash Faghri, Chun-Liang Li, Bo Feng, Zhengfeng Lai, Meng Cao, Oncel Tuzel, Hadi Pouransari

机构 * Apple（苹果公司） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出VSAS-Bench，通过时序密集标注和标准化评估协议，评估流式视觉语言模型的实时性能，揭示模型在内存缓冲长度、访问策略等关键设计因素下的精度-延迟权衡。

Comments CVPR Findings 2026

Less Detail, Better Answers: Degradation-Driven Prompting for VQA

细节越少，答案越好：基于退化的提示方法用于视觉问答

Haoxuan Han, Weijie Wang, Zeyu Zhang, Yefei He, Bohan Zhuang

机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出退化驱动提示（DDP）方法，通过降低图像清晰度迫使模型关注关键结构信息，提升视觉问答性能。在物理属性和感知现象任务中，DDP通过降采样、结构辅助和提示技术实现更准确的推理。

Comments Accepted to CVPRW 2026. Project page: https://hhx-jpg.github.io/ddp/ , Code: https://github.com/ziplab/DDP

Advancing AI Research Assistants with Expert-Involved Learning

通过专家参与学习推进AI研究助手

Tianyu Liu, Simeng Han, Hanchen Wang, Xiao Luo, Pan Lu, Biqing Zhu, Yuge Wang, Keyi Li, Jiapeng Chen, Rihao Qu, Yufeng Liu, Xinyue Cui, Aviv Yaish, Yuhang Chen, Minsheng Hao, Chuhan Li, Kexing Li, Yinsheng Lu, Xinyu Wei, Qinzhe Xing, Antonia Panescu, Mengbo Wang, Vibha Annaswamy, Alicia Sanchez, Jack Cloherty, Arman Cohan, Hua Xu, Mark Gerstein, James Zou, Hongyu Zhao

机构 * Yale University（耶鲁大学） ； Broad Institute of MIT and Harvard（麻省理工学院-哈佛大学博德研究所） ； Google DeepMind（谷歌DeepMind） ； Stanford University（斯坦福大学） ； Genentech（基因泰克） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Cornell University（康奈尔大学） ； Harvard University（哈佛大学） 纠错

专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 本文提出ARIEL框架，通过专家验证任务评估大语言模型和多模态模型在生物医学领域的表现，发现提示工程和轻量级微调能提升文本覆盖，计算扩展策略增强视觉问答能力，构建了集成文本和视觉线索的AI助手，提出可检验的机理假设。

Comments 43 pages, 7 figures