arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

共收录 6903 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态训练与对齐 6903 篇

2608.10327 2026-08-12 cs.AI 新提交 57%

Toward a Theory of Value in AI Alignment

迈向AI对齐中的价值理论

Andrew Smart, Shazeda Ahmed, Jackie Kay, Jimmy Tobin, Kris Shrishak, Abeba Birhane

专题命中 多模态训练与对齐 :multi-modal(abstract);分类 cs.AI

AI总结 本研究通过标注94篇AI价值对齐论文,发现多数未明确定义人类价值,转而依赖偏好,且采用合成数据等自动方法可能关闭价值践行路径,旨在明确该领域哲学承诺以丰富相关辩论。

Comments 15 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.09880 2026-08-11 cs.CV cs.LG 新提交 57%

Financial Numerical Prediction and Allocation as Token Generation

金融数值预测与分配:以 token 生成的方式实现

Xu Ouyang, Moontae Lee

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CV

AI总结 本研究提出 FinATOM 框架,通过因果语言模型的 token 生成实现金融数值预测与 ETF 分配,在多组测试中显著提升了夏普比率与累计收益,验证了该方法的可行性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.09264 2026-08-11 cs.CV 新提交 57%

Task-Adaptive 3D Cross-Field MRI Translation via Field-Conditioned Content-Style Pretraining

基于场条件内容-风格预训练的任务自适应3D跨场MRI转换

Haowen Pang, Yingqi Hao, Pengli Zhu

机构 * School of Integrated Circuits and Electronics, Beijing Institute of Technology(北京理工大学集成电路与电子学院) School of Biomedical Engineering, Tsinghua Medicine, Tsinghua University(清华大学医学院生物医学工程学院) Department of Electronic Engineering, The Chinese University of Hong Kong(香港中文大学电子工程系)

专题命中 多模态训练与对齐 :any-to-any(abstract);分类 cs.CV

AI总结 针对跨场MRI转换的域偏移问题,提出基于场条件内容-风格预训练的3D非配对转换框架,适配三项挑战赛任务,可保留三维解剖结构。

Comments MICCAI 2026 Workshop on MRIxFields

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08926 2026-08-11 cs.AI cs.LG 新提交 57%

Decoding Phenotypes: A Framework for Fusing Genomic Language Models and Neuroimaging

解码表型:融合基因组语言模型与神经成像的框架

Tianli Tao, Ziyang Wang, Emma Robinson, Rachel Sparks, Le Zhang

机构 * King’s College London(伦敦国王学院) Aston University(阿斯顿大学) University of Birmingham(伯明翰大学)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.AI

AI总结 该研究提出多模态框架GeneFuse,整合GLM遗传表征与神经成像特征,在NC vs. MCI、NC vs. AD任务上分别获0.77、0.83的AUROC,性能优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.07582 2026-08-11 cs.CV 新提交 57%

Predictive Failure Detection in Network Hardware Using Thermal Imaging and Deep Learning with Sensor Fusion

基于热成像与传感器融合深度学习的网络硬件预测性故障检测

Ashly Joseph

专题命中 多模态训练与对齐 :multi-modal(abstract);分类 cs.CV

AI总结 该研究提出结合热成像与电源传感器数据的多模态深度学习模型,经ROI预处理后可实现网络硬件早期故障的高精度预测,为数据中心主动维护提供支撑。

Journal ref Proceedings of the 2025 3rd International Conference on Data Science and Network Security (ICDSNS), Tiptur, India, 25-26 July 2025, Institute of Electrical and Electronics Engineers (IEEE), pp. 1-6

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.06247 2026-08-11 cs.CR cs.AI 版本更新 57%

SALLIE: Generation-Free Hidden-State Detection of Jailbreaks and Prompt Injections Across Text and Vision

SALLIE:防范潜在语言与图像攻击

Guy Azov, Ofer Rivlin, Guy Shtar

机构 * Intuit

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.AI

AI总结 SALLIE是一种轻量级运行时检测框架,通过机制可解释性提取模型内部激活信号,有效应对文本和图像攻击,无需性能降级或架构修改。

Comments 17 pages, 5 figures, 17 tables. Preprint under review. v2: substantially revised - new title expansion, reworked method presentation, added calibration-regime analysis (shared / threshold-only / fully calibrated) and matched-protocol comparison with RCS-KCD; technical appendices A-H now included

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.11240 2026-08-10 cs.CV 版本更新 57%

Decoupled Similarity for Task-Aware Token Pruning in Large Vision-Language Models

解耦相似性用于大视觉-语言模型中的任务感知token剪枝

Kexin Ma, Jing Xiao, Chaofeng Chen, Geyong Min, Guibo Zhu, Jinqiao Wang, Liang Liao

机构 * Wuhan University(武汉大学) University of Exeter(埃克塞特大学) Chinese Academy of Sciences(中国科学院) Xi'an University of Electronic Science and Technology(西安电子科技大学)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 本文提出DeSAP方法,通过解耦相似性实现精准任务感知token剪枝,提升大视觉-语言模型的效率与性能,实验表明在不同基准和架构上均优于现有方法。

Comments Accepted at ACM Multimedia 2026. Camera-ready version

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.06205 2026-08-07 cs.CV 新提交 57%

CFGPNet: Cross-Attention-Based Fused Gradient Programmed Network Framework for Multispectral Object Detection

CFGPNet:用于多光谱目标检测的基于交叉注意力的融合梯度编程网络框架

Nima Hatami, Karim Faez, Saeed Sharifian, Hamidreza Amindavar

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 本文针对现有RGB-T目标检测方法的跨模态交互不足等问题,提出CFGPNet框架,采用改进GELAN骨干、CrossCEA模块等设计,在五个多光谱基准数据集上取得优异性能,实现精度与效率的良好权衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.05843 2026-08-07 cs.CV 新提交 57%

Overcoming Attention Drift: Homogeneity-Heterogeneity Guided Feature Aggregation for Low-Light Remote Sensing Image Enhancement

克服注意力漂移:面向低光照遥感图像增强的同质性-异质性引导特征聚合

Yaozi Zhong, Xingxing Yang, Shaohui Mei, Mingyang Ma

机构 * School of Information and Artificial Intelligence, Yunnan University of Finance and Economics(云南财经大学信息与人工智能学院) Department of Computer Science, Hong Kong Baptist University(香港浸会大学计算机科学系) School of Electronics and Information, Northwestern Polytechnical University(西北工业大学电子信息学院)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 针对低光照遥感图像增强中现有方法的注意力漂移问题,提出双先验驱动的HALO框架,通过H2CAM模块融合同质性与异质性先验,在8个基准上实现SOTA性能,提升边界清晰度与色彩保真度。

Comments 10 pages, 7 figures, 7 tables. Yaozi Zhong and Xingxing Yang contributed equally. Code: https://github.com/AlexYangxx/HALO

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.05258 2026-08-07 cs.CV 新提交 57%

Grad-CAM for Vision Transformers: A Systematic Taxonomy and Audit of Methodological Ambiguity in Explainable AI

用于视觉Transformer的Grad-CAM:可解释AI中方法歧义的系统分类与审计

Casey Wall, Longwei Wang, Rodrigue Rizk, KC Santosh

机构 * University of South Dakota(南达科他大学) USD Artificial Intelligence Research(南达科他大学人工智能研究院)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CV

AI总结 本文对175篇应用Grad-CAM于视觉Transformer(ViT)的论文开展审计,提出ViT Grad-CAM适配的系统分类,指出其常被误为CNN版Grad-CAM的简单扩展,存在方法选择未明确的问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.03556 2026-08-07 cs.CV cs.RO 版本更新 57%

Afford-X: Generalizable and Slim Affordance Reasoning for Task-oriented Manipulation

Afford-X:面向任务型操作的通用且轻量化的可供性推理模型

Xiaomeng Zhu, Yuyang Li, Leiyao Cui, Pengfei Li, Huan-ang Gao, Yixin Zhu, Hao Zhao

机构 * Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院) Department of Computer Science and Engineering, Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系) Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所) Institute for Al Industry Research, Tsinghua University(清华大学人工智能产业研究院) Department of Computer Science, Tsinghua University(清华大学计算机科学系)

专题命中 多模态训练与对齐 :multi-modal(abstract);分类 cs.CV

AI总结 研究人员推出LVIS-Aff数据集,开发了Afford-X可供性推理模型,其性能优于现有非LLM方法和此前会议论文结果,参数紧凑、推理速度快,可部署于本地设备助力机器人任务导向型操作。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.04833 2026-08-06 cs.CV 新提交 57%

RegisterBridgeMM: A Register-Centric Framework for RGB-Infrared Object Detection

RegisterBridgeMM:一种以寄存器为核心的RGB-红外目标检测框架

Zian Wang, Hangchuan Liang, Yuehua Chen, Changchun Li, Chaoyi Guo, Mingzhe Liu, Fangming Gu

机构 * Jilin University(吉林大学) Taiyuan University of Technology(太原理工大学) Shenzhen University(深圳大学)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 针对RGB-红外目标检测的跨模态融合难题,提出以寄存器为核心的RegisterBridgeMM框架,通过三阶段寄存器生命周期实现高效融合,在四个基准数据集上取得最高mAP50-95性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.04132 2026-08-06 cs.CV 新提交 57%

RUTA: Principled Visual Token Allocation via Rate-Utility Optimization

RUTA:基于率-效用优化的原则性视觉令牌分配方法

Jian Zou, Xiaoyu Xu, Zhihua Wang, Yilin Wang, Balu Adsumilli, Kede Ma

机构 * City University of Hong Kong(香港城市大学) Google Inc.(谷歌公司)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CV

AI总结 针对视觉语言模型因长视觉令牌序列导致的LLM侧计算和内存成本过高问题,提出RUTA方法,仅用2.0%、4.2%的视觉令牌,分别在LLaVA-NeXT-7B、Qwen3-VL-8B上保留88.2%、94.4%的任务性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28750 2026-08-06 cs.SE cs.AI 版本更新 57%

DragonCrawl: A Generative, Intent-Based Framework for Scalable Mobile End-to-End Testing

DragonCrawl:一种用于可扩展移动端到端测试的生成式意图框架

Sowjanya Puligadda, Mengdie Zhang, Ali Zamani, Dhruva Dixith Kurra, Eric Chen, Juan Marcano

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.AI

AI总结 DragonCrawl是基于GPT-4o多模态的移动端到端测试框架,通过验证用户流程阻止问题提交,缩短测试入门时间,节省大量维护工作量,实现规模化持续质量保证。

Comments 12 pages, 6 figures, 6 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.20113 2026-08-06 cs.CV eess.IV 版本更新 57%

Attention Fusion for Bridge Deck Delamination Detection

多传感器注意力网络用于混凝土桥面亚表面脱层自动检测

Alireza Moayedikia, Amirhossein Moayedikia

机构 * Department of Business Technology and Entrepreneurship, Swinburne University of Technology(斯winburne技术大学商业技术与创业系) Swinburne University of Technology(斯winburne技术大学) University of Sydney(悉尼大学)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 本文提出多传感器注意力网络用于混凝土桥面亚表面脱层检测,通过整合GPR和IRT数据,提升自动化检测性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.22874 2026-08-06 cs.CV 版本更新 57%

Deformable Medical Image Registration with KAN-based Implicit Neural Representations

基于KAN的隐式神经表示的可变形医学图像配准

Nikita Drozdov, Marat Zinovev, Dmitry Sorokin

机构 * Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)

专题命中 多模态训练与对齐 :multi-modal(abstract);分类 cs.CV

AI总结 提出基于KAN的INR框架KAN-IDIR与RandKAN-IDIR,用于无需数据集级训练的逐对优化可变形医学图像配准,在多模态医学图像上实现高准确性、低开销与稳定性,适用于临床研究。

Comments Accepted at Machine Learning and Knowledge Extraction

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.03580 2026-08-05 cs.CV 新提交 57%

SlimVLM: Sensitivity-aware Dynamic Structured Pruning with Adaptive Visual Token Selection for Efficient Vision-Language Models

SlimVLM:面向高效视觉-语言模型的感知敏感性动态结构化剪枝与自适应视觉token选择

Yaozhi Wen, Jialong Guo, Zhenliang Ni, Han Shu, Xinghao Chen

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CV

AI总结 SlimVLM是一种结构化剪枝框架,通过自适应视觉token选择和感知敏感性动态剪枝机制,在压缩视觉-语言模型的同时保持性能,在多模态基准测试中达到最优。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.03370 2026-08-05 cs.CV 新提交 57%

DRPFNet: Dual-domain Residual Progressive Fusion Network for RGB-Thermal Object Detection

DRPFNet:用于RGB-热成像目标检测的双域残差渐进融合网络

Zian Wang, Changchun Li

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 针对现有RGB-T目标检测方法的跨尺度知识继承不足、噪声抑制弱及信息退化问题,提出DRPFNet,通过结构、特征、增强三级协同优化,在公开数据集上实现了兼具竞争力与高效性的检测性能。

Comments Accepted at ICME 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28818 2026-08-05 cs.CL q-bio.NC 版本更新 57%

Do VLMs Align Better with Humans than LLMs during Natural Reading?

VLMs 在自然阅读中可能不会全局性地增强与人类的对齐性优于 LLMs

Jinzhou Wu, Zhengwu Ma, Jixing Li, Baoping Tang, Zitong Lu

机构 * Department of Mechanical and Vehicle Engineering, Chongqing University(重庆大学机械与车辆工程学院) Department of Linguistics and Translation, City University of Hong Kong(香港城市大学语言学与翻译系) McGovern Institute for Brain Research, Massachusetts Institute of Technology(麻省理工学院麦戈文脑科学研究所)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CL

AI总结 通过严格文本设置比较LLM和VLM,发现多模态预训练在自然阅读中未带来全局性人类对齐优势,但视觉语义内容强的句子中VLM有选择性优势。

Comments 16 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.02309 2026-08-04 cs.CV 新提交 57%

CalibBEV: LiDAR-Camera Calibration via BEV Alignment

CalibBEV:基于鸟瞰图对齐的激光雷达-相机标定方法

Filippo D'Addeo, Lorenzo Cipelli, Adriano Cardace, Emanuele Ghelfi, Andrea Zinelli, Massimo Bertozzi

机构 * University of Bologna(博洛尼亚大学) University of Parma(帕尔马大学) Stanford University(斯坦福大学) VisLab srl(VisLab有限公司) Ambarella Inc.(安霸公司)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 CalibBEV是一种激光雷达-相机标定方法,通过两步BEV对齐结合CLIP对比损失实现跨模态统一,在KITTI、nuScenes基准上大幅降低了标定误差,达到最优性能。

Journal ref Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2026. p. 4345-4354

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.02285 2026-08-04 cs.CV 新提交 57%

Sen-Cap: Sensor-Flexible and Noise-Resilient Human Motion Capture via LiDAR-Camera Integration

Sen-Cap:基于激光雷达-相机融合的传感器灵活且抗噪的人体运动捕捉框架

Aoru Xue, Yujing Sun, Yiming Ren, Kwok-Yan Lam, Mao Ye, Yuexin Ma

机构 * ShanghaiTech University(上海科技大学) Digital Trust Centre, Nanyang Technological University(南洋理工大学数字信托中心)

专题命中 多模态训练与对齐 :multi-modal(abstract);分类 cs.CV

AI总结 Sen-Cap是一种无需传感器间校准的激光雷达-相机融合人体运动捕捉框架,通过跨传感器运动估计器与抗噪轨迹跟踪器实现灵活部署与强鲁棒性,在多数据集上达最优性能,适用于真实场景。

Comments 16 pages, 8 figures, 4 tables. Accepted at ECCV 2026. Aoru Xue and Yujing Sun contributed equally. Yuexin Ma is the corresponding author

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.02134 2026-08-04 cs.CV 新提交 57%

Messages, Not Tokens: Grounded Coresets for Faithful VLM Compression

消息而非令牌:用于忠实VLM压缩的基础核心集

Long Qian, Jiaqi Wei, Bingke Zhu, Yingying Chen, Jinqiao Wang

机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) University of Chinese Academy of Sciences(中国科学院大学) Wuhan AI Research(武汉人工智能研究院) Cardiff University(卡迪夫大学)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CV

AI总结 该研究针对VLM视觉令牌压缩的现有缺陷,提出无需训练的GMC方法,通过联合分配多维度证据支持并传输被丢弃状态,在大幅减少视觉令牌的同时保持VLM性能,经多基准实验验证有效。

Comments 32 pages, 6 figures, 18 tables, including appendix

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.01975 2026-08-04 cs.SE cs.CL cs.LG cs.PF 新提交 57%

TELLER: Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference

TELLER:面向大语言模型推理的非侵入式跨层根因分析

Ruilin Xu, Junyi Li, Pengfei Chen, Zongxuan Xie

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CL

AI总结 TELLER是面向LLM推理的非侵入式跨层根因分析框架,通过跟踪与日志结合实现异常定位与自然语言解释,在多节点GPU工作负载上兼具高效压缩与诊断性能,为LLM推理RCA提供实用支撑。

Comments 12 pages, 1 figure, 9 tables. Accepted to the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.01807 2026-08-04 cs.CV 新提交 57%

Parameter-Dynamic Adaptive Fusion and Calibration Network for RGBT Tracking

用于RGBT跟踪的参数动态自适应融合与校准网络

Zhaoding Ding, Chenglong Li, Jiandong Jin, Kewei Ying, Wentao Wu

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CV

AI总结 针对现有RGBT跟踪器融合参数无法适配目标状态变化的问题,提出PAFCNet,通过TA-HyperNet生成目标条件参数,实现动态融合与时序校准,在多RGBT跟踪基准上取得竞争力性能。

Comments 9 pages,4 figures; Under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.01638 2026-08-04 cs.CV 新提交 57%

Dynamic Resolution Routing for Efficient Egocentric Grounding

面向高效自我中心 grounding 的动态分辨率路由

Huixin Sun, Wangbo Zhao, Fanyue Wei, Qiuxia Lin, Pengzhan Sun, Angela Yao

机构 * National University of Singapore(新加坡国立大学) The Hong Kong University of Science and Technology(香港科技大学) Nanyang Technological University(南洋理工大学)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CV

AI总结 该研究针对自我中心视觉 grounding 中视觉 token 处理成本过高的问题,提出 SmartRes 框架,通过动态分辨率路由减少视觉 token,在 Ego4D 等数据集上实现 token 缩减与性能提升,代码将公开。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.01585 2026-08-04 cs.CL cs.LG 新提交 57%

Semantic Alignment of AI Models: Concept Collapse, Checkpoint Dynamics, and Cross-Lingual Transfer

AI模型的语义对齐:概念坍缩、检查点动态与跨语言迁移

Tyler Ashoff, Jordan Rodu

专题命中 多模态训练与对齐 :multi-modal(abstract);分类 cs.CL

AI总结 该研究针对语言模型基准测试的难点,提出用拓扑方法将模型高维嵌入空间与可解释基线严格比较,以实现多模态对齐,追踪模型适应并测试跨语言短语理解。

Comments Code available at github.com/tylerashoff/persiscope (PyPI: persiscope)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.01414 2026-08-04 cs.AI cs.CR 新提交 57%

No Single Neuron of Failure: Distributed Safety Alignment Against White-Box Attacks

无单一失效神经元:针对白盒攻击的分布式安全对齐

Simiao Xie, Chuancheng Shi, Shangze Li, Wenhua Wu, Fei Shen, Ying Zhou, Zhiyong Wang, Tat-Seng Chua

机构 * The University of Sydney(悉尼大学) National University of Singapore(新加坡国立大学)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.AI

AI总结 针对现有安全对齐方法的单点失效问题,提出分布式安全对齐(DSA),通过冗余编码安全能力提升模型对抗白盒神经元级攻击的鲁棒性,且保留通用语言与多模态效用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.00976 2026-08-04 cs.CV 新提交 57%

Location-Aware Fine-Grained Representation Learning for Medical Vision Foundation Models

面向医学视觉基础模型的位置感知细粒度表示学习

Myeongkyun Kang, Yanting Yang, Xiaoxiao Li

机构 * The University of British Columbia(不列颠哥伦比亚大学) Vector Institute(矢量研究所)

专题命中 多模态训练与对齐 :image-text(abstract);分类 cs.CV

AI总结 本研究提出基于位置感知细粒度表示学习的医学视觉基础模型LoFi,构建大规模医学定位数据集MedG,在多项医学视觉任务中性能优于现有模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.00502 2026-08-04 cs.CV 新提交 57%

SpatialAfford: Teaching Compact VLMs Where to Look and Where to Ground for Affordance

SpatialAfford:教紧凑视觉语言模型(VLMs)关注何处与定位何处以实现 affordance

Yufei Zhang, Chenlu Zhan, Donghui Sun, Xiaoxin Chen, Hongwei Wang

机构 * Zhejiang University(浙江大学) Vivo Mobile Communication Co., Ltd(维沃移动通信有限公司)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 SpatialAfford 是一个两阶段框架,通过空间注意力对齐和空间感知 GRPO,使紧凑 4B VLMs 在多个基准上的 affordance 定位性能优于更强的 7B+ 基线模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.00086 2026-08-04 cs.CV 新提交 57%

DS@GT ARC at MEDIQA-CORE-Task-1 2026: Trimodal Model Fusion with Task-Specific Gates for Brain Tumor Subtype Classification

DS@GT ARC团队参与2026 MEDIQA-CORE-Task-1:采用带任务特定门控的三模态模型融合进行脑肿瘤亚型分类

Hoang Thanh Thanh Truong, Charles R. Clark

机构 * Georgia Institute of Technology(佐治亚理工学院) University of Florida(佛罗里达大学)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CV

AI总结 DS@GT ARC团队针对2026 MEDIQA-CORE-Task-1,提出带任务特定门控的三模态模型融合方法,结合多类嵌入与报告,获全多模态下0.801宏F1,排名第二。

Comments CLEF 2026 Working Notes, 21 - 24 September 2026, Jena, Germany

详情

展开后加载摘要…

URL PDF HTML 收藏