多模态大模型

Beyond Real Weights: Hypercomplex Representations for Stable Quantization

超越真实权重：用于稳定量化 的超复数表示

Jawad Ibn Ahad, Maisha Rahman, Amrijit Biswas, Muhammad Rafsan Kabir, Robin Krambroeckers, Sifat Momen, Nabeel Mohammed, Shafin Rahman

机构 * Artificial Intelligence Department, RobotBulls Labs（机器人bulls实验室人工智能部门） ； Machine Intelligence Lab (MILab), North South University（北南大学机器智能实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出了一种基于超复数乘法的渐进式重新参数化策略，用于压缩多模态语言模型，实现参数和计算量的显著减少，同时保持模型性能。

Comments Accepted in Winter Conference on Applications of Computer Vision (WACV) 2026

SpeechQualityLLM: LLM-Based Multimodal Assessment of Speech Quality

SpeechQualityLLM: 基于大语言模型的多模态语音质量评估

Mahathir Monjur, Shahriar Nirjon

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SpeechQualityLLM是一种基于大语言模型的多模态语音质量评估系统，通过生成文本答案来提供灵活的自然语言接口，减少对大规模测试的依赖。

Comments 9 pages, 5 figures, 8 tables

SENSE models: an open source solution for multilingual and multimodal semantic-based tasks

SENSE模型：一种开源解决方案，用于多语言和多模态基于语义的任务

Salima Mdhaffar, Haroun Elleuch, Chaimae Chellaf, Ha Nguyen, Yannick Estève

机构 * LIA, Avignon Université（阿维尼昂大学LIA） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 SENSE模型通过教师-学生框架实现多语言和多模态语义任务的高效语义对齐，提供开源解决方案并取得竞争力表现。

Comments Accepted to IEEE ASRU 2025

Learning Robot Manipulation from Audio World Models

从音频世界模型中学习机器人操作

Fan Zhang, Michael Gienger

机构 * Honda Research Institute EU（本田欧洲研究院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；multi-modal(abstract)

AI总结 本文提出一种生成性潜在流匹配模型，用于通过预测未来音频状态提升机器人操作任务中的多模态推理能力。

OMNIGUARD: An Efficient Approach for AI Safety Moderation Across Languages and Modalities

OMNIGUARD：一种跨语言和模态的高效AI安全审查方法

Sahil Verma, Keegan Hines, Jeff Bilmes, Charlotte Siska, Luke Zettlemoyer, Hila Gonen, Chandan Singh

机构 * University of Washington（华盛顿大学） ； Microsoft（微软公司） 纠错

专题命中 音频语音多模态 ：MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 Omniguard提出了一种跨语言和模态的高效方法，通过构建语言或模态无关的分类器提升有害提示检测的准确率，并在多语言、图像和音频提示任务中取得显著效果。

Large Language Models and Their Applications in Roadway Safety and Mobility Enhancement: A Comprehensive Review

大语言模型及其在道路安全与出行提升中的应用：全面综述

Muhammad Monjurul Karim, Yan Shi, Shucheng Zhang, Bingzhang Wang, Mehrdad Nasri, Yinhai Wang

机构 * Department of Civil and Environmental Engineering, University of Washington（土木与环境工程系，华盛顿大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文综述了大语言模型在道路安全与出行提升中的应用，探讨其在交通领域的适应策略及面临的挑战。

Journal ref Artificial Intelligence for Transportation, 1, 100004, 2025

You May Speak Freely: Improving the Fine-Grained Visual Recognition Capabilities of Multimodal Large Language Models with Answer Extraction

你可能可以自由发言：通过答案提取提升多模态大语言模型的细粒度视觉识别能力

Logan Lawrence, Oindrila Saha, Megan Wei, Chen Sun, Subhransu Maji, Grant Van Horn

机构 * University of Massachusetts, Amherst（马萨诸塞大学阿姆赫斯特分校） ； Brown University（布朗大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出nlg2choice方法，通过两阶段策略提升多模态大语言模型在细粒度视觉识别任务中的表现，通过开放性问题和受限解码提高检索效率。

Comments Accepted to WACV26. 12 pages, 8 tables, 5 figures

Towards Explainable Bilingual Multimodal Misinformation Detection and Localization

迈向可解释的双语多模态虚假信息检测与定位

Yiwei He, Zhenglin Huang, Haiquan Wen, Tianxiao Li, Yi Dong, Hao Fei, Baoyuan Wu, Guangliang Cheng

机构 * University of Liverpool, United Kingdom（利物浦大学） ； National University of Singapore, Singapore（新加坡国立大学） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 BiMi提出双语多模态框架，通过联合定位、一致性检测和自然语言解释，提升多语言虚假信息检测的准确性和可解释性。

CLIBD: Bridging Vision and Genomics for Biodiversity Monitoring at Scale

CLIBD：融合视觉与基因组学用于大规模生物多样性监测

ZeMing Gong, Austin T. Wang, Xiaoliang Huo, Joakim Bruslund Haurum, Scott C. Lowe, Graham W. Taylor, Angel X. Chang

机构 * Simon Fraser University（西蒙弗雷泽大学） ； Aalborg University（奥胡斯大学） ； Vector Institute（向量研究所） ； University of Guelph（圭尔夫大学） ； Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 CLIBD通过融合视觉与基因组学数据，利用对比学习实现对昆虫物种的高效分类，提升生物多样性监测的准确性。

Comments Add Variations of DNA encoding

Dual-Branch Center-Surrounding Contrast: Rethinking Contrastive Learning for 3D Point Clouds

双分支中心-周围对比：重新思考3D点云中的对比学习

Shaofeng Zhang, Xuanqi Chen, Xiangdong Zhang, Sitong Wu, Junchi Yan

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出双分支中心-周围对比框架，通过双分支输入和补丁级对比损失，提升3D点云对比学习性能，达到SOTA效果。

Comments 16 pages, 6 figures

PointDico: Contrastive 3D Representation Learning Guided by Diffusion Models

PointDico: 通过扩散模型引导的对比3D表示学习

Pengbo Li, Yiding Sun, Haozhe Cheng

机构 * International School Beijing University of Posts（国际学校 北京邮电大学） ； School of Software Engineering Xi'an Jiaotong University Xi'an, China（软件工程学院 西安交通大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 PointDico通过融合扩散模型和对比学习的方法，实现了3D表示学习的突破，达到了ScanObjectNN和ShapeNetPart上的新高精度。

Comments Accepted by IJCNN 2025

Geometric-Stochastic Multimodal Deep Learning for Predictive Modeling of SUDEP and Stroke Vulnerability

几何-随机多模态深度学习用于SUDEP和中风易感性的预测建模

Preksha Girish, Rachana Mysore, Mahanthesha U, Shrey Kumar, Misbah Fatimah Annigeri, Tanish Jain

机构 * Dept. of Artificial Intelligence & Machine Learning（人工智能与机器学习系） ； B.N.M Institute of Technology（B.N.M技术学院） ； Dept. of Computer Science Engineering（计算机科学与工程系） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 本文提出几何-随机多模态深度学习框架，通过整合多种生物信号建模SUDEP和中风易感性，提升预测准确性和可解释性生物标志物。

Comments 7 pages, 3 figures

Heavy-flavor multimodal fragmentation to $S$-wave pentacharms at next-generation hadron colliders

重味多模碎片化到下一代强子对撞机的S波五重态

Francesco Giovanni Celiberto

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 研究了在下一代强子对撞机中通过多模碎片化产生S波五重态的机制及现象学影响。

Comments 49 pages, 9 figures, 245 references, published in Eur. Phys. J. C. One novel set of multimodal (direct multicharm and diquark-like initial-scale inputs) "PentaQuarks with 5 heavy Quarks" (PQ5Q1.0) NLO collinear fragmentation functions released in LHAPDF format and publicly available from https://github.com/FGCeliberto/Collinear_FFs/

MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens

MiniGPT-5：通过生成性vokens实现交错的视觉-语言生成

Kaizhi Zheng, Xuehai He, Xin Eric Wang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 MiniGPT-5通过生成性vokens实现交错的视觉-语言生成，显著提升多模态生成任务的性能。

UniLayDiff: A Unified Diffusion Transformer for Content-Aware Layout Generation

UniLayDiff: 一种统一的扩散变换器用于内容感知的布局生成

Zeyang Liu, Le Wang, Sanping Zhou, Yuxuan Wu, Xiaolong Sun, Gang Hua, Haoxiang Li

机构 * College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院） ； Amazon.com, Inc.（亚马逊公司） ； Pixocial Technology（Pixocial技术） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 UniLayDiff通过统一的扩散变换器框架，首次实现了内容感知布局生成任务的端到端统一生成，提升了布局质量和生成性能。

PaintFlow: A Unified Framework for Interactive Oil Paintings Editing and Generation

PaintFlow：一种用于交互式油画创作与生成的统一框架

Zhangli Hu, Ye Chen, Jiajun Yao, Bingbing Ni

机构 * Zhangli Hu, Ye Chen, Jiajun Yao, Bingbing Ni（张立虎、陈叶、姚佳君、倪炳炳） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 PaintFlow提出了一种统一框架，通过多模态输入实现交互式油画创作与编辑，利用空间对齐、语义增强和自监督风格迁移技术，提升油画生成与编辑的风格一致性与艺术表现力。

Comments 14 pages

OCCDiff: Occupancy Diffusion Model for High-Fidelity 3D Building Reconstruction from Noisy Point Clouds

OCCDiff：基于点云的高保真3D建筑重建的占用扩散模型

Jialu Sui, Rui Liu, Hongsheng Zhang

机构 * Department of Geography, Faculty of Social Science, the University of Hong Kong（地理系，社会科学学院，香港大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 OCCDiff通过潜在扩散和函数自动编码器生成高保真3D建筑重建，结合点编码器与多任务训练提升鲁棒性与精度。

Language Models for Controllable DNA Sequence Design

用于可控DNA序列设计的语言模型

Xingyu Su, Xiner Li, Yuchao Lin, Ziqian Xie, Degui Zhi, Shuiwang Ji

机构 * Texas A&M University（德克萨斯大学） ； University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心（休斯顿）） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.AI

AI总结 ATGC-Gen是一种用于可控DNA序列设计的语言模型，通过跨模态编码整合生物信号，提升序列生成的可控性和生物相关性。

VI-MMRec: Similarity-Aware Training Cost-free Virtual User-Item Interactions for Multimodal Recommendation

VI-MMRec: 基于相似性感知的无成本虚拟用户-物品交互用于多模态推荐

Jinfeng Xu, Zheyu Chen, Shuo Yang, Jinze Li, Zitong Wan, Hewei Wang, Weijie Liu, Yijie Li, Edith C. H. Ngai

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 VI-MMRec通过基于相似性感知的虚拟用户-物品交互，解决多模态推荐中的数据稀疏问题，提升模型性能且不增加训练成本。

Comments Accepted by KDD 2026

MM-CoT:A Benchmark for Probing Visual Chain-of-Thought Reasoning in Multimodal Models

MM-CoT：一种用于探测多模态模型中视觉链式推理的基准测试

Jusheng Zhang, Kaitong Cai, Xiaoyang Guo, Sidi Liu, Qinhan Lv, Ruiqi Chen, Jing Yang, Yijia Fan, Xiaofei Sun, Jian Wang, Ziliang Chen, Liang Lin, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； Alibaba Group（阿里巴巴集团） ； Snap Inc（Snap公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 MM-CoT是一种用于评估多模态模型视觉链式推理能力的基准测试，通过验证推理链的视觉一致性和逻辑一致性，揭示生成模型在真实推理上的不足。

Skewness-Guided Pruning of Multimodal Swin Transformers for Federated Skin Lesion Classification on Edge Devices

偏度引导的多模态Swin Transformer剪枝用于边缘设备上的联邦皮肤病变分类

Kuniko Paxton, Koorosh Aslansefat, Dhavalkumar Thakker, Yiannis Papadopoulos

机构 * University of Hull（赫尔大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出基于偏度的剪枝方法，用于在边缘设备上高效压缩多模态Swin Transformer，实现联邦学习中的隐私保护与高精度皮肤病变分类。

ChemLabs on ChemO: A Multi-Agent System for Multimodal Reasoning on IChO 2025

ChemLabs on ChemO：一个用于IChO 2025多模态推理的多智能体系统

Qiang Xu, Shengyuan Bai, Leqing Chen, Zijing Liu, Yu Li

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 ChemLabs通过多智能体系统和SVE技术在ChemO基准测试中实现93.6分，推动化学问题自动解决的新进展。

Comments 13 pages, 1 figures

GPU Memory Prediction for Multimodal Model Training

多模态模型训练的GPU内存预测

Jinwoo Jeong, Minchul Kang, Younghun Go, Changyong Shin, Hyunho Lee, Junho Yoon, Gyeongsik Yang, Chuck Yoo

机构 * Korea University（韩国大学） ； KT Corporation（KT公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出了一种用于多模态模型训练的GPU内存预测框架，通过分解模型结构和分析训练行为，实现了高精度的内存预测。

Comments 1st Workshop on Systems for Agentic AI (SAA '25), co-located with SOSP 2025

MuSACo: Multimodal Subject-Specific Selection and Adaptation for Expression Recognition with Co-Training

MuSACo: 多模态主体特定选择与适应用于带有协同训练的表情识别

Muhammad Osama Zeeshan, Natacha Gillet, Alessandro Lameiras Koerich, Marco Pedersoli, Francois Bremond, Eric Granger

机构 * LIVIA, Dept. of Systems Engineering, ÉTS Montreal（LIVIA，系统工程系，蒙特利尔ÉTS） ； École Polytechnique, Palaiseau（巴黎政治学院，Palaiseau） ； Centre INRIA d’Université Côte d’Azur, Sophia Antipolis（法国阿尔卑斯大学INRIA中心，Sophia Antipolis） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 MuSACo通过多模态协同训练方法提升主体特定表情识别的准确性和鲁棒性，适用于数字健康中的个性化评估。

Comments WACV 2026

Leveraging Multi-Modal Information to Enhance Dataset Distillation

利用多模态信息提升数据集蒸馏

Zhe Li, Hadrien Reynaud, Bernhard Kainz

机构 * Department AIBE FAU Erlangen-Nürnberg（FAU埃朗根-纽伦堡部门） ； Department of Computing Imperial College London（伦敦帝国理工学院计算机系） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出多模态数据集蒸馏框架，结合标题引导监督和对象中心遮蔽，提升数据集效用并增强隐私保护。

Comments Accepted at BMVC Workshop (Privacy, Fairness, Accountability and Transparency in Computer Vision)

FedJam: Multimodal Federated Learning Framework for Jamming Detection

FedJam: 多模态联邦学习框架用于干扰检测

Ioannis Panitsas, Iason Ofeidis, Leandros Tassiulas

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 FedJam通过多模态联邦学习框架实现设备端干扰检测，提升准确率并降低通信成本，适用于现实场景中的异构数据分布。

ZeShot-VQA: Zero-Shot Visual Question Answering Framework with Answer Mapping for Natural Disaster Damage Assessment

ZeShot-VQA：一种基于零样本学习的视觉问答框架，用于自然灾害损害评估

Ehsan Karimi, Maryam Rahnemoonfar

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出基于零样本学习的ZeShot-VQA框架，用于自然灾害损害评估，无需微调即可处理新数据集并生成未见过的答案。

Comments Accepted by the 2025 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2025)

SimSUM: Simulated Benchmark with Structured and Unstructured Medical Records

SimSUM: 结构化和非结构化医疗记录的模拟基准

Paloma Rabaey, Stefan Heytens, Thomas Demeester

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 SimSUM通过模拟呼吸系统疾病患者记录，提供结构化与非结构化医疗数据的基准，用于研究临床信息提取及多模态数据生成。

Comments An earlier version of this dataset was published under the name SynSUM. It has since been renamed to SimSUM to avoid confusion with synthetic data generated from real data, and to emphasize the simulated nature of the dataset. The dataset is available at https://github.com/prabaey/SimSUM

50 Years of Automated Face Recognition

50年自动人脸识别技术的发展

Minchul Kim, Anil Jain, Xiaoming Liu

机构 * Department of Computer Science and Engineering, Michigan State University（计算机科学与工程系，密歇根州立大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文综述了自动人脸识别技术的发展历程，分析了关键创新和挑战，并探讨了未来的研究方向。

From Fibers to Cells: Fourier-Based Registration Enables Virtual Cresyl Violet Staining From 3D Polarized Light Imaging

从纤维到细胞：基于傅里叶的注册使3D偏振光成像实现虚拟的苏木素-伊红染色

Alexander Oberstrass, Esteban Vaca, Eric Upschulte, Meiqi Niu, Nicola Palomero-Gallagher, David Graessel, Christian Schiffer, Markus Axer, Katrin Amunts, Timo Dickscheid

机构 * Institute of Neuroscience and Medicine (INM-1), Research Centre Jülich（神经科学与医学研究所（INM-1），茹里奇研究中心） ； Helmholtz AI, Research Centre Jülich（海德堡人工智能研究所，茹里奇研究中心） ； Cécile & Oskar Vogt Institute of Brain Research, Medical Faculty and University Hospital Düsseldorf, Heinrich Heine University Düsseldorf（塞西尔与奥斯卡·沃格特脑研究研究所，杜塞尔多夫医学院和大学医院，海因里希·海涅大学） ； Department of Physics, University of Wuppertal（物理系，乌尔姆大学） ； Institute of Computer Science, Faculty of Mathematics and Natural Sciences, Heinrich Heine University Düsseldorf（计算机科学研究所，数学与自然科学学院，海因里希·海涅大学） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出基于傅里叶的注册方法，利用深度学习生成3D偏振光成像的虚拟染色，实现细胞和纤维结构的关联分析。

Comments Revised version, accepted for publication