AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
SAGE: 面向令牌高效手语翻译的分段感知无词汇编码
机构 * CVSSP, University of Surrey, United Kingdom（CVSSP，萨里大学，英国）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出分段感知视觉标记化框架，通过手语分段将连续视频转换为离散视觉令牌，结合令牌级对比对齐和双层监督，在减少序列长度50%的同时，在PHOENIX14T基准上超越现有方法。
Comments Accepted in International Conference on Computer Vision (ICCV) Workshops. Code released at https://github.com/JianHe0628/SAGE
表示对齐依赖于线性结构
机构 * Massachusetts Institute of Technology（麻省理工学院）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.AI
AI总结 本文通过信号、偏差和噪声的三部分统计框架研究柏拉图表示假说，提出对齐源于对象与属性的线性关系，并通过稀疏自编码器提取线性特征、中心化和归一化减少偏差、以及数据稀缺导致噪声等证据支持该框架。
HyperVision: 一种通道自适应的地基高光谱视觉预训练骨干网络
机构 * Griffith University, Australia（格里菲斯大学，澳大利亚） ； Wuhan University, China（武汉大学，中国） ； Nanjing University of Science and Technology, China（南京理工大学，中国） ； Huaiyin Normal University, China（淮阴师范学院，中国） ； Massey University, New Zealand（马斯sey大学，新西兰）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 针对地基高光谱传感器配置差异、标签稀缺与不一致、数据集规模有限等问题，提出首个地基高光谱预训练骨干HyperVision，采用通道自适应动态嵌入、多源伪标签和跨模态知识蒸馏，在三个下游任务上取得最优性能。
从像素到文字——迈向原生单视觉大规模模型
机构 * S-Lab, NTU（S实验室，国立科技大学） ； SenseTime Research（商汤科技研究院） ； DLUT（大连理工大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出NEO-ov原生基础模型，通过端到端学习跨帧和像素-文字对应，无需外部编码器或适配器，在细粒度视觉感知上缩小了与模块化模型的差距，验证了原生单视觉架构的可行性和竞争力。
Comments 13 pages, 6 figures
GS-FUSE: 格兰杰监督的门控融合与多粒度对齐用于事件驱动的金融预测
机构 * Southwestern University of Finance and Economics（西南财经大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI
AI总结 提出GS-Fuse框架，通过格兰杰因果监督的门控融合模块和多粒度对齐机制，选择性利用事件文本与价格信号，提升金融事件对市场影响的预测精度。
LV-OSD: 语言-视觉互补的开放集目标检测
机构 * College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学） ； Faculty of Computer Science and Artificial Intelligence, Shenzhen University of Advanced Technology（计算机科学与人工智能学院，深圳先进技术大学）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出语言-视觉互补开放集目标检测问题，设计双分支检测框架LVDor，通过目标引导提示动态加权模块和提示随机掩码机制实现文本与图像提示的灵活组合与语义对齐。
通过结构化运动描述实现无编码器的人体运动理解
机构 * Aalto University（阿alto大学） ； Georgia Institute of Technology（佐治亚理工学院）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出结构化运动描述（SMD），将关节位置序列转换为结构化自然语言描述，使大语言模型无需专用编码器即可直接进行运动推理，在运动问答和字幕生成任务上超越现有方法。
结构引导的视觉扰动中和用于大型视觉语言模型
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Science and Technology of China（中国科学技术大学） ； JIUTIAN Research（JIUTIAN研究所） ； Nanyang Technological University（南洋理工大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出结构诱导引导中和（SIGN）框架，通过先验结构提取和动态引导中和实现轻量级、即插即用的对抗性防御，在仅0.5%像素修改和0.16秒每图下达到87%以上防御成功率。
细节一致的分阶段蒸馏用于高效3D MRI分割
机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学） ； UTHealth Houston（休斯顿UT健康）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出细节一致蒸馏（DCD）框架，通过小波分解对齐教师-学生特征，在分阶段蒸馏中保留多尺度结构细节，实现高效3D MRI分割。
Comments Accepted by MICCAI 2026. 11 pages, 3 figures
无数据？没问题：面向缺失值的鲁棒视觉-表格学习
机构 * School of Computation, Information and Technology, Technical University of Munich, Germany（计算、信息与技术学院，慕尼黑技术大学，德国） ； Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich, Germany（生物医学成像中的机器学习研究所，海德堡慕尼黑，德国） ； School of Biomedical Engineering and Imaging Sciences, King’s College London, UK（生物医学工程与成像科学学院，伦敦国王学院，英国） ； Department of Diagnostic and Interventional Radiology, TUM University Hospital, Technical University of Munich, Germany（诊断与介入放射科，慕尼黑技术大学医院，德国） ； Munich Center for Machine Learning, Germany（慕尼黑机器学习中心，德国）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 提出RoVTL框架，通过对比预训练中的表格属性缺失增强和下游任务中的Tabular More vs. Fewer损失，实现从0%到100%表格数据可用性下的鲁棒多模态学习。
闭环双向提示用于视觉语言模型的对抗鲁棒性
机构 * University of Macau（澳门大学） ； Guangdong Institute of Intelligence Science and Technology（广东智能科学与技术研究院） ； Peking University（北京大学） ； Independent Researcher（独立研究员） ； Institute of Science Tokyo（东京科学研究院） ； Morgan Stanley（摩根大通） ； Halmstad University（哈马碧大学）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 针对视觉语言模型在对抗扰动下跨模态语义对齐脆弱的问题，提出闭环双向提示方法，通过动态反馈循环恢复跨模态一致性，并引入语义锚点约束循环更新，实现实例自适应保护，在11个数据集上达到最先进的鲁棒性和泛化性能。
Comments 24 pages, 8 figures
TopoAlign：拓扑感知的视觉表示对齐
机构 * University of Utah（犹他大学） ； ETH Zürich（苏黎世联邦理工学院）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI
AI总结 提出TopoAlign框架，利用拓扑数据分析中的mapper图，通过联合力导向优化、自动结构匹配区域检测和基序查询，从拓扑角度比较不同模型或层的表示结构对齐。
RepSAM: 通过表示引导的适应连接基础模型与机器人视觉
机构 * Department of Computer Science and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯大学阿马尔科分校）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV
AI总结 针对基础模型在非结构化机器人视觉场景中性能下降的问题，提出RepSAM框架，通过CKA引导的秩分配策略和多模态融合模块实现参数高效微调，在减少158倍可训练参数的同时达到全微调97.9%的性能。
Comments Accepted to IJCAI-ECAI 2026 (Special Track on AI and Robotics). 8 pages, 4 figures, 12 tables
EgoMind: 通过多模态大语言模型中的语言推理激活空间认知
机构 * State Key Laboratory of Complex and Critical Software Environment（复杂与关键软件环境国家重点实验室） ； School of Computer Science and Engineering（计算机科学与工程学院）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 提出EgoMind框架，通过角色扮演描述和渐进空间分析的无几何空间推理方法，仅用少量数据即可在多基准测试中提升MLLMs的空间推理能力。
Comments Accepted by CVPR 2026
通过稀疏自编码器实现从语言到视觉的可解释性迁移
机构 * University of Bath, UK（巴斯大学） ； Lambda, Inc.（Lambda公司） ； Samsung AI Centre Cambridge（三星AI研究中心）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出VISTA框架，通过约束视觉投影器将视觉token映射到LLM的文本SAE空间，实现无需专用视觉SAE的视觉可解释性，并在对象移除和替换任务上分别提升35%和47%。
Journal ref ICML 2026
统一3D场景理解：通过物理世界建模
机构 * Stanford University（斯坦福大学） ； OpenAI
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 提出一个概率图模型3WM，将深度估计、新视角合成和物体操作等3D视觉任务统一为单一模型，通过不同推理路径实现零样本任务执行，无需微调即达到最先进性能。
Comments Published as a conference paper at ICLR 2026
MGVQ：协同多维敏感度感知与梯度-海森融合的向量量化
机构 * Bauman Moscow State Technical University（巴甫洛夫莫斯科国立技术大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 提出MGVQ框架，通过敏感度引导的结构化混合精度量化和梯度感知的二阶误差补偿，实现视觉-语言模型的超低位向量量化，在2-bit量化下最高提升4.9个点。
揭示深度中间表示的潜在能力
机构 * SBILab, Indraprastha Institute of Information Technology Delhi, Delhi, India（SBILab，印度德里印度理工学院信息技术学院，德里，印度）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.AI
AI总结 通过几何与实证研究，提出层最优嵌入选择（LOES）和几何正则化损失（GeoReg），以非单调分布的任务相关信息选择判别性子空间并稳定表示几何，在多种架构和模态下优于基线方法。
Comments Accepted to ICML2026 as a Spotlight
Scaling-Aware Adapter for Structure-Grounded LLM Reasoning
机构 * Department of Computer Science, Western University, London, Canada（加拿大伦敦西方大学计算机科学系） ； Department of Biochemistry, Western University, London, Canada（加拿大伦敦西方大学生物化学系）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI
AI总结 提出Cuttlefish，一种统一多模态大语言模型，通过缩放感知适配器和几何基础适配器，自适应调整结构令牌数量并注入几何线索，以提升异构结构推理性能。
Comments Accepted by ICML 2026
GeoWeaver: 在场景推理前通过几何证据 grounding 视觉 token
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Pazhou Lab (Huangpu)（琶洲实验室（黄埔）） ； Hainan University（海南大学） ； University of California at Merced（加州大学默塞德分校）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出 GeoWeaver，一种在场景推理前通过几何证据对视觉 token 进行 grounding 的框架，以提升空间推理能力并保持多模态能力。
超越一刀切：基于大语言模型的零样本图学习中的自适应子图去噪
机构 * JIUTIAN Research（JIUTIAN研究） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； MIIT Key Laboratory of Data and Decision Intelligence（信息与决策智能重点实验室） ； Beihang University（北航）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.AI
AI总结 本文提出GraphSSR框架，通过自适应子图提取和去噪方法，解决传统图神经网络在零样本学习中泛化能力不足的问题，提升大语言模型在图推理任务中的表现。
AVI-HT：自适应视觉-IMU融合用于3D手部跟踪
机构 * Meta Reality Labs（Meta现实实验室）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV
AI总结 本文提出AVI-HT，一种自适应视觉-IMU融合方法，通过联合建模第一人称视角图像与手套上的6自由度IMU信号，用于跟踪3D手部姿态。核心方法包括同步多模态训练数据配对和跨传感器深度注意力机制，主要贡献是提高了在手-物体交互场景中的准确性和可用性。
频域正则化对抗对齐用于针对闭源大语言模型的可转移攻击
机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出FRA-Attack，通过频域正则化方法解决对抗转移性问题，通过高通DCT目标和频率域梯度正则化提升跨模型的对抗转移能力。
MagicFuse: 单图像融合用于视觉与语义增强
机构 * Electronic Information School, Wuhan University, China（武汉大学电子信息学院） ； Suzhou Institute of Wuhan University, China（武汉大学苏州研究院） ； School of Automation, Wuhan University, China（武汉大学自动化学院）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV
AI总结 本文提出MagicFuse单图像融合框架，通过扩散模型生成跨光谱场景表示，实现视觉与语义的双重约束，实验表明其性能优于多模态融合方法。
Comments Accepted by CVPR 2026
RCGDet3D: 重新思考基于增强雷达特征编码的4D雷达-相机融合3D目标检测
机构 * School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV
AI总结 本文提出RCGDet3D，通过增强雷达特征编码而非复杂的多模态融合策略，实现了在3D目标检测中更高的准确性和实时性，为实时部署设定了新标准。
LER-YOLO: 一种可靠性感知的专家路由方法用于对齐不准确的RGB-红外无人机检测
机构 * Engineering University of PAP（中国人民解放军防务大学） ； Unit Command Department, Officers College of PAP（中国人民解放军军官学院作战指挥部）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 该研究提出LER-YOLO，一种可靠性感知的稀疏专家混合方法，用于解决RGB-红外遥感对中无人机检测的挑战，通过引入不确定性感知的目标对齐模块和可靠性引导的稀疏MoE融合模块，提升跨模态交互的可靠性。
Comments 17 pages, 6 figures, 8 tables
Time-Prompt: 集成异构提示以解锁时间序列预测中的LLM
机构 * Central South University, Changsha, China（中南大学，长沙，中国）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.AI
AI总结 本文提出Time-Prompt框架，通过构建统一的提示范式、设计语义空间嵌入和跨模态对齐模块以及高效微调LLM参数，提升时间序列预测性能，并在碳排放数据集上验证其有效性。
Comments Accepted at IJCNN 2026
HADS-Net：一种融合注意力增强的双流网络，用于乳腺超声图像分类
机构 * NedumCares
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 本文提出HADS-Net，一种融合注意力增强的双流网络，通过两个并行路径利用全局纹理和局部边界线索，结合物理信息增强，以提高乳腺超声图像分类的准确性。
Comments 7 pages, 4 figures
特征空间平滑：深度表示的认证鲁棒性
机构 * Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（快速-丰富目标搜索实验室，电气电子工程学院，南洋理工大学，新加坡） ； Pengcheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出了一种特征空间平滑（FS）框架，通过在特征表示层面提供认证鲁棒性，以解决深度学习模型对恶意输入的脆弱性问题，核心方法是通过特征平滑保证清洁和对抗特征之间的余弦相似度下界，并引入高斯平滑增强器（GSB）提升编码器的高斯鲁棒性得分，从而提升模型的鲁棒性并保持下游任务性能。
Comments Under review
Tango3D: 向全局和局部2D-3D对应关系对齐迈进
机构 * HKUST（香港科技大学） ； Tencent Hunyuan（腾讯混元）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 本文提出Tango3D，一种统一密集对应和全局检索的3D基础模型，通过几何感知的2D视觉骨干网络和预训练的3D VAE将图像编码为2D片段，点云编码为3D标记，并映射到共享空间以实现局部像素-点对齐和全局语义对齐。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈