视觉大模型 / VLM

Enhancing Radiology Report Generation and Visual Grounding using Reinforcement Learning

通过强化学习增强放射学报告生成和视觉基础识别

Benjamin Gundersen, Nicolas Deperrois, Samuel Ruiperez-Campillo, Thomas M. Sutter, Julia E. Vogt, Michael Moor, Farhad Nooralahzadeh, Michael Krauthammer

机构 * University of Zurich（苏黎世大学） ； ETH Zurich（苏黎世联邦理工学院） ； Zurich University of Applied Sciences（苏黎世应用科学大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本研究通过强化学习和思考机制提升放射学报告生成和视觉基础识别的性能，展示了在医学VLMs中RL作为SFT的有效补充。

Comments 10 pages main text (3 figures, 3 tables), 31 pages in total

AutoMedic: An Automated Evaluation Framework for Clinical Conversational Agents with Medical Dataset Grounding

AutoMedic: 一种用于具有医学数据集支撑的临床对话代理的自动化评估框架

Gyutaek Oh, Sangjoon Park, Byung-Hoon Kim

机构 * Yonsei University College of Medicine（延世大学医学院） ； Yonsei Institute for Digital Health（延世大学数字健康研究所） ； Yonsei University（延世大学） ； Institute of Behavioral Sciences in Medicine（医学行为科学研究所） 纠错

专题命中 视觉定位与Grounding ：grounding(title)；分类 cs.LG

AI总结 AutoMedic是一种基于医学数据集的自动化评估框架，用于评估临床对话代理的多方面性能，包括准确性、效率、同理心和鲁棒性。

Point to Span: Zero-Shot Moment Retrieval for Navigating Unseen Hour-Long Videos

点到跨度：零样本时刻检索用于导航未见的小时级视频

Mingyu Jeon, Jisoo Yang, Sungjin Han, Jinkwon Hwang, Sunjae Yoon, Jonghee Kim, Junyeoung Kim

专题命中 视觉定位与Grounding ：VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 P2S提出了一种无训练框架，通过适应性跨度生成器和查询分解技术，解决零样本长视频时刻检索中的搜索和细化阶段效率问题。

MMSI-Video-Bench: A Holistic Benchmark for Video-Based Spatial Intelligence

MMSI-Video-Bench: 一个面向视频基于空间智能的综合基准

Jingli Lin, Runsen Xu, Shaohao Zhu, Sihan Yang, Peizhou Cao, Yunlong Ran, Miao Hu, Chenming Zhu, Yiman Xie, Yilin Long, Wenbo Hu, Dahua Lin, Tai Wang, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； Xi’an Jiaotong University（西安交通大学） ； University of Hong Kong（香港大学） ； Fudan University（复旦大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 MMSI-Video-Bench是一个综合评估视频基于空间智能的基准，通过多任务和多数据集评估25个MLLMs，揭示了人机推理差距和模型泛化不足的问题。

Video4Spatial: Towards Visuospatial Intelligence with Context-Guided Video Generation

Video4Spatial: 通过基于场景的视频生成实现视觉空间智能

Zeqi Xiao, Yiwei Zhao, Lingxiao Li, Yushi Lan, Ning Yu, Rahul Garg, Roshni Cooper, Mohammad H. Taghavi, Xingang Pan

机构 * Netflix ； Nanyang Technological University（南洋理工大学） ； University of Oxford（牛津大学） ； Eyeline Studios 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 Video4Spatial通过仅使用视频数据训练的生成模型，实现了复杂空间任务的视觉空间智能，展示了视频生成模型在空间推理中的潜力。

Comments Project page at https://xizaoqu.github.io/video4spatial/

The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality

FACTS排行榜：大型语言模型事实性的综合基准

Aileen Cheng, Alon Jacovi, Amir Globerson, Ben Golan, Charles Kwong, Chris Alberti, Connie Tao, Eyal Ben-David, Gaurav Singh Tomar, Lukas Haas, Yonatan Bitton, Adam Bloniarz, Aijun Bai, Andrew Wang, Anfal Siddiqui, Arturo Bajuelos Castillo, Aviel Atias, Chang Liu, Corey Fry, Daniel Balle, Deepanway Ghosal, Doron Kukliansky, Dror Marcus, Elena Gribovskaya, Eran Ofek, Honglei Zhuang, Itay Laish, Jan Ackermann, Lily Wang, Meg Risdal, Megan Barnes, Michael Fink, Mohamed Amin, Moran Ambar, Natan Potikha, Nikita Gupta, Nitzan Katz, Noam Velan, Ofir Roval, Ori Ram, Polina Zablotskaia, Prathamesh Bang, Priyanka Agrawal, Rakesh Ghiya, Sanjay Ganapathy, Simon Baumgartner, Sofia Erell, Sushant Prakash, Thibault Sellam, Vikram Rao, Xuanhui Wang, Yaroslav Akulov, Yulong Yang, Zhen Yang, Zhixin Lai, Zhongru Wu, Anca Dragan, Avinatan Hassidim, Fernando Pereira, Slav Petrov, Srinivasan Venkatachary, Tulsee Doshi, Yossi Matias, Sasha Goldshtein, Dipanjan Das

机构 * Google（谷歌） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 FACTS排行榜为大型语言模型提供事实性评估的综合基准，通过四个子排行榜全面衡量模型在不同场景下的事实准确性。

Robust Multi-Disease Retinal Classification via Xception-Based Transfer Learning and W-Net Vessel Segmentation

基于Xception的迁移学习与W-Net血管分割的多疾病视网膜分类

Mohammad Sadegh Gholizadeh, Amir Arsalan Rezapour

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 本文提出基于Xception迁移学习和W-Net血管分割的多疾病视网膜分类方法，通过高保真血管分割提升分类准确性，减少假阳性，提高临床应用可行性。

ConStruct: Structural Distillation of Foundation Models for Prototype-Based Weakly Supervised Histopathology Segmentation

ConStruct：用于基于原型的弱监督病理分割的基模态结构蒸馏

Khang Le, Ha Thach, Anh M. Vu, Trang T. K. Vo, Han H. Huynh, David Yang, Minh H. N. Le, Thanh-Huy Nguyen, Akash Awasthi, Chandra Mohan, Zhu Han, Hien Van Nguyen

机构 * Ho Chi Minh City University of Technology（胡志明市技术大学） ； University of Technology Sydney（悉尼技术大学） ； University of Houston（休斯顿大学） ； University of Information Technology（信息科技大学） ； College of Medical Science and Technology, Taipei Medical University（台北医学院医学科技学院） ； Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Montefiore Medical Center, Albert Einstein College of Medicine（蒙特福伊医疗中心，阿尔伯特·爱因斯坦医学院） ； School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV

AI总结 ConStruct通过结合CONCH的形态感知表示、SegFormer的多尺度结构线索和文本引导的语义对齐，提出一种高效的弱监督病理分割方法，提升分割精度和计算效率。

EcomBench: Towards Holistic Evaluation of Foundation Agents in E-commerce

EcomBench: 向电子商务基础智能体的全面评估迈进

Rui Min, Zile Qiao, Ze Xu, Jiawen Zhai, Wenyu Gao, Xuanzhong Chen, Haozhen Sun, Zhen Zhang, Xinyu Wang, Hong Zhou, Wenbiao Yin, Bo Zhang, Xuan Zhou, Ming Yan, Yong Jiang, Haicheng Liu, Liang Ding, Ling Zou, Yi R. Fung, Yalong Li, Pengjun Xie

机构 * Tongyi Lab（通义实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 EcomBench通过真实电子商务场景评估智能体的核心能力，提供动态测试环境以衡量其在实际决策中的表现。