AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
视觉提示就足够了？研究渐进式视觉支架下视觉语言模型的空间推理能力
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 该研究针对 VLMs 的空间推理问题，在 SPaRC 基准中引入轻量视觉支架，可提升 VLMs 任务准确率并补充 GRPO 训练，揭示视觉呈现对 VLM 基准测量属性的关键作用。
Comments Accepted at EMNLP 2026 (Findings)
PathAgentBench：在全切片病理图像上对寻求证据的视觉语言模型进行基准测试
机构 * National University of Singapore（新加坡国立大学） ； PuzzleLogic Pte Ltd（拼图逻辑私人有限公司） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区） ； Peking Union Medical College Hospital（北京协和医院）
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对全切片病理图像诊断中证据获取与整合问题，引入PathAgentBench基准，评估视觉语言模型的四项互补能力，包含多模型评估结果，揭示了证据推理与获取间的差距，为改进病理模型提供统一框架。
面向持续故事与交互世界的长时序视听生成
机构 * Joy Future Academy, JD（京东探索研究院）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV
AI总结 研究针对长时序视听生成的需求，提出JoyAI-Echo-1.5系统，含长视频与世界模型变体，通过专用技术实现跨镜头一致性等性能，在相关基准上取得领先结果，为生成连贯内容提供基础。
Comments Project page: this https URL (https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/)
基于预训练特征、数据增强及新SheetSage-A2S数据集的音频转乐谱转录
机构 * University College Dublin（都柏林大学学院） ； Guangxi Normal University（广西师范大学） ； Great Bay University（大湾区大学） ； Shenzhen University（深圳大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、cs.MM
AI总结 该研究针对流行音乐音频转乐谱研究不足的问题，构建了SheetSage-A2S数据集，结合预训练模型MuQ与数据增强改进A2S方法，在古典与流行音乐基准上均取得优于现有技术的性能。
Comments Accepted at the 34th ACM International Conference on Multimedia (MM '26) 2026-08-25: Edit to drop TeX commands in abstract
联合语言-音频嵌入是否编码感知音色语义？
机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Department of Computer Science（计算机科学系） ； Northwestern University（西北大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS
AI总结 本文评估MS-CLAP等联合语言-音频嵌入模型捕捉感知音色语义的能力，发现LAION-CLAP对齐表现较强但整体有限，混响诱导音色语义的编码一致性优于均衡诱导。
超越视频：统一视频推理与深度研究的开放世界视频智能体
机构 * Shandong University（山东大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beihang University（北京航空航天大学） ； City University of Hong Kong（香港城市大学） ； Nanyang Technological University（南洋理工大学） ； Kuaishou Technology（快手科技） ； Southern University of Science and Technology（南方科技大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本研究提出统一视频推理与深度研究的VideoRover框架，构建相关数据集与基准，其8B-RL模型在无工具直接回答场景性能接近专有模型，优于同工具套件的更大开源模型。
看见 vs. 相信：评估开源多模态大模型在反直觉场景中的语言偏见
机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 为评估多模态大模型处理反直觉动作场景的能力，提出CAIT基准（400个高保真合成场景），发现开源模型因语言先验而忽视视觉证据，性能接近随机水平，而链式思维推理虽提升准确率但导致过度思考拒绝视觉内容，通过微调和结构化提示可缓解此偏见。
MediSkill-Evo：面向证据依据的临床交互的过程约束自进化
机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 MediSkill-Evo是无需主干微调的临床智能体，通过四类经验存储库与过程约束偏好工具优化，在多维度评估中提升了诊断准确率等指标，验证了其临床交互性能。
用于高斯混合熵的高斯-埃尔米特求积法及动作空间埃尔米特代理模型
专题命中 视频多模态 ：multimodal(abstract)
AI总结 该研究提出用于计算高斯混合微分熵的高斯-埃尔米特求积法，还提出动作空间埃尔米特多项式代理模型，在雷达指向基准中其性能优于二阶泰勒代理模型。
基于用户反馈的虚拟现实应用软件质量建模
专题命中 视频多模态 ：multimodal(abstract)
AI总结 该研究通过分析7个应用商店28745款VR应用的165万余条公开评论，构建了含12个质量属性和10个影响因素的VR软件质量层次模型，为VR质量保证提供了优先级并发布了相关资源。
OmicSync：结合证据约束大语言模型推理的可靠性感知空间多组学聚类
机构 * University of Kentucky（肯塔基大学）
专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV
AI总结 OmicSync是结合证据约束LLM推理的可靠性感知空间多组学聚类框架，集成KAN-GCN骨干等功能，在多组学基准测试中表现优异，OmicSync-R进一步提升了人乳腺癌的聚类性能。
Visual-OPSD：用于高效统一多模态推理的跨模态在策略自蒸馏
机构 * Xi’an Jiaotong University（西安交通大学） ； MOE KLINNS Lab（MOE KLINNS实验室） ； Shaanxi Province Key Laboratory of Big Data Knowledge Engineering（陕西省大数据知识工程重点实验室） ； Sun Yat-sen University（中山大学）
专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(title)；分类 cs.CV
AI总结 提出Visual-OPSD方法，通过跨模态在策略自蒸馏，将多步扩散生成的可视化思维推理能力转移到纯文本学生模型，实现14.3倍加速且性能提升3.40个百分点。
统一多模态模型中视觉生成何时能助力视觉理解？
机构 * Nanjing University（南京大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本研究提出VGAU-Diag评估框架，发现统一多模态模型的视觉生成仅在简单任务上助益理解，瓶颈多在理解侧，有效生成需瞄准理解瓶颈。
从语料到协同进化的能力：面向通用图像生成的以能力为中心的数据设计
机构 * Alibaba Group（阿里巴巴集团）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 该研究提出能力驱动的数据基础设施，构建三类监督引擎，整理大规模图像语料，训练多模态扩散模型，在CPI-Bench等评估中展现良好生成与迁移能力。
Comments 19 pages, 10 figures
Tora3：基于轨迹的音频视频生成与物理一致性
机构 * Alibaba Cloud Computing（阿里巴巴云 computing） ； Fudan University（复旦大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 Tora3通过引入轨迹作为共享的运动先验，提升音频视频生成的物理一致性，采用轨迹对齐的运动表示和混合流匹配方案，改进运动真实性和运动-声音同步性。
Comments accepted by ACM MM 2026
科学图像合成：基准测试、方法论与下游应用
机构 * Shanghai Jiao Tong University（上海交通大学） ； OpenDataLab, Shanghai Artificial Intelligence Laboratory（OpenDataLab，上海人工智能实验室） ； The University of Hong Kong（香港大学） ； Peking University（北京大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出ImgCoder框架和SciGenBench基准，通过逻辑驱动方法提升科学图像生成的结构精度，并展示微调LMMs在科学图像上的效果，验证了高保真合成在多模态推理中的潜力。
超越表象：揭示多模态大语言模型的情境错觉
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 本文针对多模态大语言模型（MLLMs）面临的情境错觉问题，构建分类体系并推出MSIBench基准，发现27种模型配置均易受6类错觉影响，通过提示工程和监督微调最多提升性能20%。
Comments 9 pages, 5 figures
TangramPuzzle: 通过组合空间推理评估多模态大语言模型
机构 * Tsinghua University（清华大学） ； Sun-Yat Sen University（孙逸人大学） ； Tencent Youtu Lab（腾讯优图实验室） ； University of Illinois Chicago（伊利诺伊大学香槟分校）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 TangramPuzzle通过几何基准测试评估多模态大语言模型的组合空间推理能力，发现模型在匹配轮廓时忽视几何约束，导致碎片变形。
Comments EMNLP 2026 Findings
一个用于高级多模态个性化研究的基准和知识引导框架
机构 * Google（谷歌） ； DeepMind（深Mind）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文提出Life-Bench基准和LifeGraph框架，用于解决高级多模态个性化研究中的复杂任务挑战。
LEMMA-RCA：用于根因分析的多模态多领域大型数据集
机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； NEC Laboratories America（NEC美国实验室） ； University of Kansas（堪萨斯大学） ； Rutgers University（罗格斯大学） ； NEC Laboratories Japan（NEC日本实验室）
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI
AI总结 针对根因分析领域缺乏大规模开源数据集的问题，本文提出多模态多领域大型数据集LEMMA-RCA，在其上评估六种基线方法，验证其可促进RCA技术的公平评估与发展。
Comments Accepted by CIKM 2026
ReactBench: 一种用于在化学反应图上进行拓扑推理的MLLMs基准测试
机构 * International Digital Economy Academy（国际数字经济学院） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 ReactBench通过化学反应图揭示MLLMs在拓扑推理中的局限性，包含1618个专家标注的问答对，评估17种MLLMs显示锚定任务与整体结构推理任务存在超过30%的性能差距。
Comments Accepted to EMNLP 2026 (Main Conference)
C3VDReg：面向解剖定位的局部-局部结肠镜配准基准
机构 * UCL Hawkes Institute（UCL哈维斯研究所） ； University College London, University of London（伦敦大学学院, 伦敦大学） ； Division of Informatics, Imaging and Data Sciences（信息学、成像与数据科学部门） ； University of Manchester（曼彻斯特大学）
专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV
AI总结 本文提出面向局部-局部结肠镜配准的基准C3VDReg，通过构建点云对评估基线模型，发现高几何重叠不足以保证配准精度，重复管状解剖的平移歧义是主要瓶颈，凸显需更强解剖与上下文约束。
Comments 15 pages, 6 figures
crossMoDA挑战赛：2021至2023年前庭神经鞘瘤与耳蜗分割的跨模态域自适应技术演进
机构 * School of BMEIS, King's College London, London, United Kingdom（伦敦国王学院生物医学工程与信息科学学院） ； Harvard University, USA（哈佛大学） ； Elisabeth-TweeSteden Hospital, Tilburg, Netherlands（蒂尔堡埃利斯贝特-特维德登医院） ； King's College Hospital, London, United Kingdom（伦敦国王学院医院） ； Center for Data Science, Peking University, Beijing, China（北京大学数据科学中心） ； Center for Data Science in Health and Medicine, Peking University, Beijing, China（北京大学健康与医学数据科学中心） ； Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea（韩国大学人工智能系） ； Department of Radiology and Nuclear Medicine, Radboud University Medical Center, Geert Grooteplein 10, 6525 GA, Nijmegen, The Netherlands（拉德堡德大学医学中心放射科与核医学科） ； Department of Radiology, The Netherlands Cancer Institute, Plesmanlaan 121, 1066 CX, Amsterdam, The Netherlands（荷兰癌症研究所放射科） ； Nanyang Technological University, Singapore（南洋理工大学） ； Vanderbilt University, USA（范德比尔特大学） ； Department of Automation, Shanghai Jiao Tong University, Shanghai, China（上海交通大学自动化系） ； Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE（阿布扎克穆罕默德·本·扎耶德人工智能大学） ； School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan, China（华中科技大学计算机科学与技术学院） ； Center for Machine Vision and Security Research, Kennesaw State University, Marietta, MA 30060, USA（肯尼斯州立大学机器视觉与安全研究中心） ； Muroran Institute of Technology, Hokkaido, Japan（北海道Muroran理工学院） ； Niigata University of Health and Welfare, Niigata, Japan（Niigata健康与福利大学） ； University of South Florida, Tampa, FL, USA（佛罗里达州立大学） ； Infervision Advanced Research Institute, Beijing, China（北京Infervision高级研究 institutes） ； Academy for Multidisciplinary Studies, Capital Normal University, Beijing, China（北京师范大学多学科研究学院） ； School of Automation, Nanjing University of Information Science and Technology, Nanjing 210044, China（南京信息科学技术大学自动化学院）
专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV
AI总结 该研究回顾2021-2023年crossMoDA挑战赛，分析跨模态域自适应技术在VS与耳蜗分割任务中的演进，发现数据规模与异构性提升可改善分割性能，但耳蜗Dice评分2023年下降，提示需更具挑战性的跨模态任务。
MMDynOpt-Agent：基于强化学习的多模态大语言模型推理动态优化方法
专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)
AI总结 该研究针对多模态大语言模型推理效率不足的问题，提出MMDynOpt-Agent，通过强化学习将多模态推理动态优化建模为马尔可夫决策过程，结合多轮优化提示与多维度奖励机制，在15个公开数据集上性能优于基线方法。
视觉-语言-动作安全性：威胁、挑战、评估与机制
机构 * National University of Singapore（新加坡国立大学） ； Monash University（墨尔本大学） ； Peking University（北京大学）
专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)
AI总结 本文探讨了视觉-语言-动作模型的安全性问题，分析了其在训练和推理阶段的威胁与防御机制，总结了评估方法及六个部署领域的安全挑战。
自进化科学智能体发现可泛化的物理推理流体控制
机构 * National University of Singapore（新加坡国立大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出一种由大语言模型驱动的自进化科学智能体工作流，通过迭代代码生成和物理仿真诊断，自动构建可解释的控制器，并在欠驱动双关节狗鲨游泳器目标到达任务中实现零样本泛化。
ICA: 信息感知的信用分配用于基于视觉的长周期信息寻求智能体
机构 * Shanghai Jiao Tong University（上海交通大学） ； ShanghaiTech University（上海科技大学） ； Wuhan University（武汉大学） ； SenseTime Research（商汤科技研究院）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出ICA方法，通过视觉快照和信息层面信用分配，提升开放网络环境中信息寻求智能体的性能。
Comments Accepted to the Main Conference of EMNLP 2026
RIG-RoPE：具有时长感知时间坐标的关系与实例门控旋转位置编码
机构 * Sichuan University（四川大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL
AI总结 本研究针对多模态场景中静态多维位置分配的局限，提出RIG-RoPE机制，通过关系与实例门控及时长感知时间坐标优化位置编码，未增加可学习参数，确立了相关公式与验证路径。
Comments 26 pages, 2 figures, 4 tables. This revision adds matched, inference-only Qwen2-VL-2B native/RIG L1 mechanism evidence: exact text-only equivalence, exact RIG Gauge invariance, native Gauge sensitivity, and retained same-instance spatial effects. Task-level Qwen benchmarks, training gains, stable task improvement, universality, and empirical superiority remain unestablished
SA-RSQ：一种适用于多模态推荐系统的通用稀疏表示框架
机构 * Tianjin University（天津大学） ； Meituan（美团） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）
专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI
AI总结 针对工业多模态推荐系统的存储与延迟开销问题，提出SA-RSQ稀疏表示框架，经实验验证其在重构性能与CTR间的权衡表现良好，在线测试实现CTR与CPM的相对提升。
NAIMA：基于语义的RGB引导深度超分辨率
机构 * The University of Western Australia（西澳大利亚大学）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.MM
AI总结 本文提出NAIMA框架，通过引导token注意力模块和DINOv2整合，提升RGB引导深度超分辨率的语义感知能力，在多尺度和数据集上实现显著改进。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈