AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
窄门：原生多模态模型中的局部图像-文本通信
机构 * Area Science Park, Trieste, Italy（特里斯特科学公园） ； SISSA, Trieste, Italy（SISSA） ； University of Trieste, Trieste, Italy（特里斯特大学）
专题命中 图文多模态 ：multimodal(title,abstract)；image-text(title)；分类 cs.CV
AI总结 研究揭示了原生多模态模型中图像与文本信息交互的机制，发现通过单个标记作为窄门影响图像理解性能，提出基于标记级干预的精细控制方法。
Comments NeurIPS 2025
PromptMAD: 多类视觉异常定位的跨模态提示
机构 * Holcombe Department of Electrical and Computer Engineering（电气与计算机工程系） ； Computer Engineering Clemson University（计算机工程学系 哥伦比亚大学）
专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV
AI总结 PromptMAD通过跨模态提示和Focal损失函数，在多类视觉异常检测中实现高精度像素级定位与高效性能。
Comments Accepted to ICASSP 2026
MARE: 多模态对齐与强化学习用于通过视觉-语言模型的可解释深度伪造检测
机构 * School of Computer Science and Engineering, MoE Key Laboratory of Information Technology, Guangdong Province Key Laboratory of Information Security Technology, Sun Yat-sen University, Guangzhou 510006, China（计算机科学与工程学院，信息技术MOE实验室，广东省信息安全技术重点实验室，中山大学，广州510006，中国） ； State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室） ； Department of Computer and Information Science, University of Macau.（计算机与信息科学系，澳门大学）
专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV
AI总结 MARE通过多模态对齐和强化学习提升视觉-语言模型在深度伪造检测中的准确性和可靠性。
通过多模态推理实现对视觉语言模型的逃逸攻击
机构 * Novi High School, MI, USA（诺维高中） ； Michigan State University, MI, USA（密歇根州立大学）
专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.AI
AI总结 本文提出了一种基于多模态推理的逃逸攻击框架，通过训练后链式推理和自适应噪声机制提高对视觉语言模型的安全过滤器的绕过能力。
VScan：重新思考视觉标记减少以提高高效的大视觉-语言模型
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Tencent AI Lab（腾讯AI实验室）
专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL
AI总结 VScan通过两阶段视觉标记减少框架提升大视觉-语言模型的推理效率，实现2.91倍预填充加速和10倍FLOPs减少，性能损失仅0.6%
Comments Accepted at TMLR 2026. Project page: https://zhangce01.github.io/VScan/
视觉-语言控制的深度展开用于联合医学图像恢复与分割
机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Harvard University（哈佛大学） ； SUN YAT-SEN UNIVERSITY（中山大学）
专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV
AI总结 VL-DUN通过联合优化和频率感知Mamba机制，实现医学图像恢复与分割的协同学习，提升PSNR和Dice系数，展示联合学习在复杂临床任务中的优势。
Comments 18 pages, medical image
StreamSense: 基于选择性视觉-语言模型路由的流式社交任务检测
机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； University of Science and Technology of China（中国科学技术大学） ； Nanyang Technological University（南洋理工大学） ； University of Rochester（罗切斯特大学）
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 StreamSense通过轻量级编码器与选择性路由结合VLM专家，提升流式社交任务检测的准确性和效率。
Comments 10 pages, 4 figures, The Web Conference 2026
利用数据说不：基于记忆的插拔式选择预测
机构 * University of Maryland, College Park（马里兰大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Qualcomm AI（高通人工智能） ； Yale University（耶鲁大学） ； Meta AI
专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV
AI总结 本文提出基于记忆的插拔式选择预测方法，通过增强视觉语言嵌入来减少方差并改进分数校准，提升图像描述、匹配和细粒度分类性能。
Comments ICLR 2026
CoVA: 基于文本引导的复合视频检索用于音频视觉内容
专题命中 音频语音多模态 ：audio-visual(title)；cross-modal(abstract)；分类 cs.CV
AI总结 CoVA通过整合视频、音频和文本特征，解决音频视觉内容检索中的跨模态变化问题，提出AVT复合融合方法并构建AV-Comp基准。
Comments Please visit our project page at https://perceptualai-lab.github.io/CoVA/
BNMusic: 将环境噪音融入个性化音乐
机构 * Wuhan University（武汉大学） ； Bang & Olufsen A/S（Bang & Olufsen公司） ； Princeton University（普林斯顿大学） ； LIX, École Polytechnique（巴黎政治学院LIX研究所）
专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.AI、eess.AS
AI总结 BNMusic通过将环境噪音融入个性化音乐生成，减少噪音的明显性，提升听觉体验。
Comments This paper has been accepted by NeurIPS 2025
道德愤怒影响承诺：韩国和美国YouTube上的多模态道德情感
机构 * KAIST（韩国科学技术院）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 本研究通过多模态道德情感分类器分析YouTube上道德愤怒对用户参与度的影响，发现其在不同文化中均能提升观看和评论等互动行为。
Comments Accepted at The Web Conference 2026. We release Korean and English multimodal moral emotion classifiers
运动中的火焰：为高效脉冲动作识别优化视频通过带
机构 * Ningbo University（宁波大学） ； Nanyang Technological University（南洋理工大学）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出PBO模块，通过优化时间通过带以提升动态视频中脉冲神经网络的动作识别性能。
少即是多：基于标签的程序性和教学视频摘要
机构 * University of Tübingen（图宾根大学） ； Vellore Institute of Technology（维洛雷理工学院） ； Brown University（布朗大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 PRISM提出了一种基于标签的视频摘要方法，通过集成语义和多模态分析，生成语义准确且上下文连贯的摘要，有效提升摘要质量。
Comments 22 pages, 6 figures
VideoNSA：原生稀疏注意力扩展视频理解
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 VideoNSA通过端到端训练提升视频理解，结合原生稀疏注意力实现长视频和时间推理的性能优化
Comments ICLR 2026
通过边缘-云协作实现实时隐私保护行为识别系统
机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出基于AI流理论和边缘-云协作架构的隐私保护行为识别系统，通过边缘设备的特征抽象与云平台的联合推断，实现高隐私环境下的行为检测。
动态反射：通过文本对齐探测视频表示
机构 * Princeton University（普林斯顿大学） ； Google DeepMind（谷歌DeepMind）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 本研究通过视频-文本表示对齐探索现代视频和语言编码器的能力，揭示了跨模态对齐与数据丰富性、语义对齐与性能相关性以及时间推理与对齐的关系。
Comments To appear at ICLR 2026. 27 pages, 12 figures
PersonaAct: 通过个性化代理模拟短视频用户以进行反事实过滤气泡审计
专题命中 视频多模态 ：multimodal(abstract)
AI总结 PersonaAct通过个性化代理模拟短视频用户，提升过滤气泡审计的保真度和深度，揭示内容压缩现象并释放首个开源数据集。
局部-全局多模态对比学习用于分子性质预测
机构 * School of Mathematical Sciences（数学科学学院） ； University of Electronic Science and Technology of China（电子科技大学） ； Department of Computer Science and Engineer（计算机科学与工程系） ； Oakland University（奥克兰大学） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； College of Management Science（管理科学学院） ； Chengdu University of Technology（成都理工大学）
专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI
AI总结 LGM-CL通过局部-全局多模态对比学习框架，整合分子结构和化学语义信息，提升分子性质预测的准确性与性能。
Comments 16 pages, 9 figures. Submitted to Briefings in Bioinformatics
结构化频谱推理用于频率自适应多模态推荐
机构 * Kuaishou Technology（快手科技） ； Renmin University of China（中国人民大学）
专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI
AI总结 本文提出结构化频谱推理框架，通过频谱分解、可靠性调节、超光谱融合和对比正则化，提升多模态推荐的鲁棒性和泛化能力。
单次优化的转向向量用于VLMs的幻觉缓解
机构 * University of Science（科学大学） ； Nanjing University（南京大学）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出OSGA框架，通过单次优化生成通用转向向量，有效缓解VLMs的幻觉问题并提升安全性。
通过不变轨迹学习实现通用的多模态大语言模型编辑
机构 * Zhejiang University, China（浙江大学） ； Singapore Management University, Singapore（新加坡管理学院） ； National University of Singapore, Singapore（新加坡国立大学） ； Hangzhou Dianzi University, China（杭州电子科技大学） ； Jiangxi Normal University, China（江西师范大学）
专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 本文提出ODEit框架，通过不变轨迹学习提升多模态大语言模型的编辑可靠性、局部性和泛化能力。
中等锰TRIP钢中相变路径的纳米级映射：多模态STEM
专题命中 多模态生成 ：multimodal(title,abstract)
AI总结 本研究通过多模态STEM技术，实现了中等锰TRIP钢中相变路径的纳米级映射，结合电子衍射与能谱分析，实现了铁、奥氏体和马氏体的相分离与晶格参数细化。
Comments 16 pages, 5 figures
基于大语言模型的自动 trailers 生成方法
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.MM
AI总结 本文提出基于大语言模型的自动化 trailers 生成方法，通过多模态策略提升 trailers 的视觉吸引力和叙事体验。
Comments 2024 9th International Conference on Frontiers of Signal Processing (ICFSP)
Journal ref ICFSP, Paris, France, 2024, pp. 93-100
ScribbleSense: 基于生成的涂鸦纹理编辑与意图预测
机构 * School of Computer Science, Beijing Institute of Technology（计算机学院，北京理工大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 ScribbleSense通过结合多模态大语言模型和图像生成模型，实现了基于生成的涂鸦纹理编辑与意图预测，提升交互式编辑性能。
Comments Accepted by IEEE TVCG. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses
Omni-View: 通过多视角图像解锁生成如何促进理解的统一3D模型
机构 * Institute of Medical Technology（医学技术研究所） ； Alibaba International Digital Commerce Group（阿里巴巴国际数字商务集团） ； CASIA ； TeleAI
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 Omni-View通过多视角图像实现3D场景的理解与生成，结合纹理和几何模块，提升3D场景建模性能。
Comments Accepted by ICLR 2026
FESTA：用于多模态大语言模型信任评估的功能等效采样
机构 * Indian Institute of Science（印度科学研究院） ； University of Maryland College Park（马里兰大学学院公园分校）
专题命中 多模态评测 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CL、cs.AI
AI总结 FESTA通过功能等效采样技术提升多模态大语言模型的预测选择性性能，实现33.3%和29.6%的改进。
Comments Accepted in the Findings of EMNLP, 2025
Journal ref EMNLP 2025
UniFinEval: 向跨文本、图像和视频的金融多模态模型统一评估迈进
机构 * SUFE（上海财经大学） ； Tencent（腾讯） ； Gatech（佐治亚理工学院） ； HiThink Research（慧图研究）
专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI
AI总结 UniFinEval提出首个统一多模态基准，用于评估金融领域高信息密度下的多模态模型能力，通过五个真实金融场景和大规模数据集验证模型表现。
UrbanMoE: 一种用于多任务城市区域刻画的稀疏多模态专家混合框架
机构 * Jilin University（吉林大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Changchun Normal University（长春师范大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI
AI总结 UrbanMoE提出了一种稀疏多模态专家混合框架，用于解决多任务城市区域刻画问题，通过多模态特征动态路由实现高效预测，提升了城市分析的性能和可重复性。
Comments 12 pages, 6 figures, 5tables, Proceedings of the ACM Web Conference 2026 (WWW '26), April 13--17, 2026, Dubai, United Arab Emirates
MM-OpenFGL: 一种多模态联邦图学习的综合基准
机构 * Beijing Institute of Technology, Beijing, China（北京理工大学） ； Sun Yat-sen University, Guangzhou, China（中山大学） ； Shandong University, Weihai, China（山东大学）
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 MM-OpenFGL是首个多模态联邦图学习的综合基准，通过19个数据集和57种方法系统评估MMFGL的必要性、有效性、鲁棒性和效率。
Comments Under Review
MemeChain: 一个多模态跨链数据集用于迷因币取证与风险分析
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 MemeChain是一个多模态跨链数据集，用于研究迷因币的取证和风险分析，包含34,988个迷因币，整合链上与链下数据以提高风险建模能力。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈