LoMo: Local Modality Substitution for Deeper Vision-Language Fusion
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(中国科学技术大学)
针对视觉-语言模型在模态替换时性能下降的“载体敏感性”问题,提出局部模态替换(LoMo)数据策展范式,通过将文本片段动态渲染为图像来训练跨模态表示不变性,显著提升多模态推理与融合效果。
2026-05-28 cs.CL cs.CV
LXMERT: Learning Cross-Modality Encoder Representations from Transformers
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
视觉和语言推理需要理解视觉概念,语言语义,最重要的是,这两种形式之间的对齐和关系。因此,我们提出了LXMERT(从Transformers学习跨模态编码器表示)框架来学习这些视觉和语言连接。在LXMERT中,我们构建了一个大规模的Transformer模型,该模型由三个编码器组成:对象关系编码器、语言编码器和跨模态编码器。接下来,为了赋予我们的模型连接视觉和语言语义的能力,我们通过五个不同的代表性预训练任务,用大量的图像和句子对预训练模型:掩蔽语言建模,掩蔽对象预测(特征回归和标签分类),跨模态匹配和图像问答。这些任务有助于学习模态内和跨模态的关系。在对我们的预训练参数进行微调后,我们的模型在两个视觉问答数据集上实现了最先进的结果(即,VQA和GQA)。我们还通过将预训练的跨模态模型适应于具有挑战性的视觉推理任务NLVR 2来展示其通用性,并将之前的最佳结果提高了22%(54%至76%)。最后,我们展示了详细的消融研究,以证明我们的新模型组件和预训练策略都对我们的强大结果做出了重大贡献;并且还为不同的编码器提供了几个注意力可视化。代码和预训练模型可在以下网址公开获取:https://github.com/airsplay/lxmert
2019-12-03 cs.CL cs.CV cs.LG
From Redundancy to Relevance: Information Flow in LVLMs Across Reasoning Tasks
Shanghai Jiao Tong University(上海交通大学);Beijing Jiaotong University(北京交通大学);Alibaba Group(阿里巴巴集团);Carnegie Mellon University(卡内基梅隆大学)
本文通过结合注意力分析与 LLaVA-CAM 研究 LVLMs 中视觉表示的信息流,发现信息流在浅层收敛、深层多样化,并通过截断实验验证了该模式及上下文相关的信息流悬崖层。
2024-10-17 cs.AI cs.CL cs.CV
Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models
The Chinese University of Hong Kong(香港中文大学);SmartMore(智谱科技)
提出Mini-Gemini框架,通过高分辨率视觉token、高质量数据和VLM引导生成三个维度挖掘多模态视觉语言模型潜力,在零样本基准上取得领先性能。
2024-03-27 cs.AI cs.CL cs.CV
Escape the Language Prior: Mitigating Late-Stage Modality Collapse in Audio Reasoning via Modality-Aware Policy Optimization
Johns Hopkins University(约翰霍普金斯大学);Tencent Hunyuan(腾讯文言)
针对多模态大语言模型在强化学习后训练中因统一策略梯度忽略模态依赖性而导致的后期模态崩溃问题,提出模态感知策略优化(MAPO)框架,通过模态相关性掩码和辅助注意力损失分支动态聚焦梯度并维持跨模态推理,在复杂音频推理基准上取得新最优结果。
2026-10-14 cs.CL
Weak Supervision helps Emergence of Word-Object Alignment and improves Vision-Language Tasks
Université de Lyon(里昂大学);INSA-Lyon(里昂国立应用科学学院);Orange Labs(Orange实验室)
自注意(即Transformer模型)和BERT类训练原则的大量采用最近导致了大量视觉和语言问题(例如视觉问答(VQA),图像检索等)的高性能模型。在本文中,我们声称,这些国家的最先进的(SOTA)的方法执行合理的结构信息内的一个单一的模态,但尽管他们令人印象深刻的表现,他们往往难以识别细粒度的模态间的关系。事实上,这种关系经常被认为是在训练过程中从特定于应用的损失中隐式学习的,主要是分类的交叉熵。虽然最近的工作通过交叉注意模块为模态间关系提供了归纳偏差,但在这项工作中,我们证明了(1)后一个假设不成立,即模态对齐不一定会自动出现,以及(2)对视觉对象和单词之间的对齐添加弱监督可以提高学习模型在需要推理的任务上的质量。特别是,我们集成了SOTA视觉语言推理模型的对象词对齐损失,并评估它的两个任务VQA和图像驱动的比较。我们表明,建议细粒度的跨模态监督显着提高性能的两项任务。特别是,这个新的学习信号允许在GQA数据集(VQA任务)上获得SOTA级别的性能,而无需对任务进行微调,以及在NLVR 2数据集上获得新的SOTA(图像驱动的图像比较)。最后,我们还通过可视化注意力分布来说明贡献对模型推理的影响。
2019-12-06 cs.CL cs.CV cs.LG
Efficient Chain-of-Modality Reasoning via Progressive Compression for Spoken Language Models
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Token Foundry, Alibaba Group(阿里巴巴集团淘系技术)
针对口语语言模型推理能力落后问题,提出高效模态链推理(ECoM推理),通过压缩文本组件提高推理准确性,并用渐进压缩策略训练,实验显示其在口语数学问答基准测试中,增强推理且保持效率,准确率提升显著。
2026-08-10 cs.CL cs.SD
Learning to Reason via Mixture-of-Thought for Logical Reasoning
UMD(马里兰大学);Yale University(耶鲁大学)
针对 LLM 训练仅依赖单一推理模态的问题,本文提出融合自然语言、代码和真值表的 MoT 两阶段框架,在 FOLIO 与 ProofWriter 上最高提升平均准确率 11.7 个百分点。
2025-06-09 cs.CL
ChartReasoner: Code-Driven Modality Bridging for Long-Chain Reasoning in Chart Question Answering
MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所MAIS研究所);Shenyang Institute of Computing Technology, Chinese Academy of Sciences(中国科学院沈阳计算技术研究所);Beijing Wenge Technology Co., Ltd.(北京文耕科技有限公司);University of Chinese Academy of Sciences(中国科学院大学)
针对现有图表问答方法易丢失视觉细节的问题,提出代码驱动的两阶段框架ChartReasoner,通过高保真图表转ECharts代码、合成推理数据训练模型,以更少参数达到开源最优水平,域外性能接近GPT-4o。
2025-06-11 cs.CL
Modality Fault Lines: Structural Corruptions Reveal Fragile Omni-Modal Reasoning
Tencent(腾讯);Peking University(北京大学);Zhejiang University(浙江大学)
本研究提出SCEval诊断评估协议,通过结构损坏揭示全模态模型的脆弱推理,发现文本-视觉损坏是最稳定的共享断层线,多模态退化非相加性,干净准确率不代表结构不可靠时仍可靠。
2026-10-06 cs.CL
Closing the Modality Reasoning Gap for Speech Large Language Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Microsoft Corporation(微软公司)
本文提出TARS框架,通过不对称奖励设计对齐文本和语音条件轨迹,显著缩小模态推理差距并在7B级语音大语言模型中取得最佳性能。
2026-04-20 cs.CL cs.SD eess.AS
VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration
Microsoft AI(微软人工智能)
VisTIRA通过结构化工具集成框架,解决图像形式数学问题的推理难题,改进视觉数学推理能力,实验表明工具监督和OCR定位能有效缩小模态差距。
2026-03-17 cs.AI cs.CL cs.LG
OmnixR: Evaluating Omni-modality Language Models on Reasoning across Modalities
Google DeepMind(谷歌DeepMind);University of Maryland, College Park(马里兰大学帕克分校);Google(谷歌)
本文提出OmnixR评估套件,包含合成与真实多模态数据集,用于测试GPT-4o等全模态语言模型的跨模态推理能力,实验发现现有模型在整合多模态信息时仍面临挑战。
2024-10-16 cs.AI cs.CL cs.MM
ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation
University of Pittsburgh(匹兹堡大学);Google Cloud AI Research(谷歌云人工智能研究)
针对信息检索中传统重排序方法缺乏透明度和依赖专有模型的问题,提出开源的Reason-to-Rank方法,通过生成两种推理增强透明度,利用LLMs作为教师模型蒸馏知识到学生模型,在多个数据集上取得竞争性能,弥合有效性与透明度差距。
2025-04-14 cs.CL
Evolution of Multimodal Question Answering: From Modality-Adaptive Extraction to Unified Language Representation
Khulna University of Engineering & Technology(库尔纳工程技术大学)
本文比较MAE、Solar和UniMMQA三种多模态问答框架,揭示从模态自适应处理向统一文本中心架构的演进,并证明该转变显著提升EM和F1分数,同时指出信息丢失等挑战。
2026-09-09 cs.CL cs.CV
Retrieval-Augmented Neural Response Generation Using Logical Reasoning and Relevance Scoring
Norwegian Computing Center(挪威计算中心);University of Bamberg(班贝格大学)
本文提出一种结合检索增强语言模型与逻辑推理的知识基础响应生成方法,通过概率逻辑编程丰富知识图谱并利用神经模型评分筛选关键元素,有效提升了任务导向对话系统响应的事实性与流畅性。
2023-10-20 cs.AI cs.CL
Dynamic Relevance Graph Network for Knowledge-Aware Question Answering
Michigan State University(密歇根州立大学)
本文研究了以知识图谱(KG)形式给出外部知识源的常识问答的学习和推理的挑战。我们提出了一种新的图神经网络结构,称为动态相关图网络(DRGN)。DRGN基于问题和答案实体对给定的KG子图进行操作,并使用节点之间的相关性得分来动态地建立新的边,以学习图网络中的节点表示。这种将相关性显式地用作图边具有以下优点:a)模型可以利用现有关系,重新缩放节点权重,并影响邻域节点的表示在KG子图中聚合的方式。b)它潜在地恢复KG中推理所需的缺失边。此外,作为副产品,由于考虑了问题节点和图实体之间的相关性,我们的模型改进了对否定问题的处理。我们提出的方法显示了竞争力的表现在两个QA基准,CommonsenseQA和OpenbookQA,相比,国家的最先进的公布的结果。
2022-09-20 cs.CL
CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对现有多模态推理模型灵活性与效率不足的问题,提出模块化可泛化的CREMA框架,通过参数高效模块与渐进式融合整合多模态信息,在7项视频-语言任务上以减少超90%可训练参数实现了媲美强基线的性能。
2025-03-20 cs.AI cs.CL cs.CV
Bridging Relevance and Reasoning: Rationale Distillation in Retrieval-Augmented Generation
City University of Hong Kong(香港城市大学);University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
RADIO通过推理提取和基于推理的对齐方法,弥合检索增强生成中重排器与生成器之间的相关性差距。
2025-12-08 cs.CL
Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Beijing University of Aeronautics and Astronautics(北京航空航天大学)
本文提出MCR方法,通过多风格推理模式注入和约束引导的可验证优化,解决MLLMs在跨模态推理中的模态偏见问题,提升 grounded 命名实体识别的性能。
2026-02-04 cs.CL
Improve Rule Retrieval and Reasoning with Self-Induction and Relevance ReEstimate
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对规则检索中查询事实与规则抽象表示存在语义鸿沟导致准确率低的问题,提出自归纳增强检索SIAR和规则相关性重估R³方法,有效提升检索与推理效果。
2025-05-16 cs.AI cs.CL cs.IR
Evaluating and Steering Modality Preferences in Multimodal Large Language Model
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Peng Cheng Laboratory, Shenzhen, China(鹏城实验室)
本文提出MC²基准测试,通过受控证据冲突场景评估和引导多模态大语言模型的模态偏好,揭示了其可通过指令引导和潜在表示控制,并展示了通过表示工程方法提升多模态任务性能的潜力。
2026-02-04 cs.CL
Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance
Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团);Zhejiang University(浙江大学)
本文提出多视角链式推理蒸馏方法,通过改进的教师模型和轻量级学生模型提升电子商务搜索相关性建模的准确性和效率。
2026-01-29 cs.AI cs.CL cs.IR
Joint Effects of Argumentation Theory, Audio Modality and Data Enrichment on LLM-Based Fallacy Classification
University of Groningen(格罗宁根大学)
本文研究了上下文与情感语调元数据对LLM在政治辩论谬误分类中的影响,发现引入理论思维链框架虽提升可解释性,但增加上下文和音频情感元数据常因注意力分散导致性能下降。
2025-09-14 cs.CL
Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
现有的多模态情感分析研究严重依赖于文本模态,并且不可避免地导致文本词和情感标签之间的虚假相关。这极大地阻碍了模型的泛化能力。为了解决这个问题,我们定义的任务外的分布(OOD)多模态情感分析。本任务旨在评估和减轻语篇情态对强面向对象归纳的不利影响。为此,我们拥抱因果推理,通过因果图检查因果关系。从图中,我们发现虚假的相关性归因于文本模态对模型预测的直接影响,而通过考虑多模态语义,间接的相关性更可靠。受此启发,我们设计了一个模型不可知的反事实框架多模态情感分析,它捕捉文本模态通过额外的文本模型的直接影响和估计的间接一个多模态模型。在推理过程中,我们首先通过反事实推理估计直接效应,然后从所有模态的总效应中减去它,以获得可靠预测的间接效应。大量的实验表明,我们提出的框架的优越的有效性和泛化能力。
2022-07-24 cs.AI cs.CL
From Consistency to Complementarity: Aligned and Disentangled Multi-modal Learning for Time Series Understanding and Reasoning
The Hong Kong University of Science(香港科学与技术大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
MADI通过细粒度对齐和解缠交互提升多模态时间序列理解和推理能力,实现更精确的数值-视觉模态整合。
2026-02-04 cs.AI cs.CL cs.CV
What Defines Good Reasoning in LLMs? Dissecting Reasoning Steps with Multi-Aspect Evaluation
ETH Zürich, ETH AI Center(苏黎世联邦理工学院,ETH人工智能中心);NAVER AI Lab(NAVER人工智能实验室);University of Tübingen(图宾根大学)
本文提出因果逐步评估(CaSE)方法,从相关性和连贯性两个维度细粒度评估LLM推理步骤,并在新基准上验证,证明其可用于数据策划以提升任务性能。
2025-10-23 cs.AI cs.CL
TokenSwap: Benchmarking and Reducing the Modality Gap in Multimodal LLMs
University of California, Santa Barbara(加州大学圣巴巴拉分校);Google DeepMind(谷歌DeepMind)
本文提出TokenSwap方法构建基准TokenSwap-Bench,发现42个多模态大语言模型普遍存在模态差距,推理模型差距更小,训练中引入TokenSwap可有效缓解该差距。
2026-10-21 cs.CL cs.CV
MEXA: Towards General Multimodal Reasoning with Dynamic Multi-Expert Aggregation
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Nanyang Technological University(南洋理工大学)
MEXA提出无需训练的框架,通过模态和任务感知的动态多专家选择与聚合,结合大型推理模型,在视频、音频、3D和医学问答等基准上超越强基线,实现通用多模态推理。
2025-10-25 cs.AI cs.CL cs.CV
X-InstructBLIP: A Framework for aligning X-Modal instruction-aware representations to LLMs and Emergent Cross-modal Reasoning
University of Pennsylvania(宾夕法尼亚大学);Salesforce AI Research(Salesforce人工智能研究院)
本文提出X-InstructBLIP框架,将图像、3D、音频、视频对齐到冻结LLM,比较Q-Former与线性投影,并构建指令数据及DisCRn跨模态推理基准。
2024-09-09 cs.CL cs.CV
LePREC: Reasoning as Classification over Structured Factors for Assessing Relevance of Legal Issues
Faculty of Information Technology, Monash University, Australia(墨尔本大学信息技术学院,澳大利亚);School of Information Technology, Monash University Malaysia(墨尔本大学马来西亚分校信息学院);School of Business, Monash University Malaysia(墨尔本大学马来西亚分校商学院);Faculty of Law, Monash University, Australia(墨尔本大学法学院,澳大利亚)
本文提出LePREC框架,结合神经生成与结构统计推理,提升法律问题识别的精度,实验表明其比先进LLM基线提升30-40%。
2026-04-21 cs.AI cs.CL
JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking
Salesforce AI Research(Salesforce AI研究院)
针对大语言模型在推理密集型检索重排序中缺乏细致分析的问题,提出模拟人类认知的三阶段智能体重排序器JudgeRank,在BRIGHT、BEIR基准上表现优异且具备良好的零样本泛化与多模型集成提升能力。
2024-10-31 cs.AI cs.CL
Beyond path selection: Better LLMs for Scientific Information Extraction with MimicSFT and Relevance and Rule-induced(R$^2$)GRPO
HKUST Hong Kong SAR, China(香港科技大学);SEU Jiangsu, China(江苏大学);HKUST(GZ) Guangzhou, China(香港科技大学(广州));Zhipu AI Beijing, China(智谱AI);HKUST(GZ), HKUST Guangzhou, China(香港科技大学(广州)、香港科技大学)
针对科学信息抽取中 LLMs 表现不佳的问题,提出结合 MimicSFT 和 R$^2$GRPO 的两阶段训练方法,无需高质量思维链数据即可优化推理路径并提升推理能力,在关系抽取任务上超越基线与专门监督模型。
2025-05-28 cs.AI cs.CL cs.IR
Retro*: Optimizing LLMs for Reasoning-Intensive Document Retrieval
University of Science and Technology of China(中国科学技术大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Beijing University of Posts and Telecommunications(北京邮电大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Hong Kong Polytechnic University(香港理工大学);Hong Kong University of Science and Technology(香港科技大学)
提出Retro*方法用于推理密集型文档检索,通过基于评分标准的相关性打分机制、测试时扩展及新型强化学习算法优化LLM推理,在BRIGHT基准上取得最优性能。
2025-10-12 cs.AI cs.CL cs.IR
LLMs Can Evolve Continually on Modality for X-Modal Reasoning
Dalian University of Technology(大连理工大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学)
提出PathWeave框架,通过AnA适配器和MoE门控模块实现MLLMs的模态持续学习,无需联合模态预训练,在MCL基准上表现优异且减少98.73%训练负担。
2024-11-12 cs.AI cs.CL cs.CV
Learning Deliberately, Acting Intuitively: Unlocking Test-Time Reasoning in Multimodal LLMs
Kyoto University(京都大学);Initial S;NEC Corporation, Japan(日本NEC公司)
提出D2I框架,通过训练时使用基于规则的格式奖励进行有意推理以增强模态对齐,推理时移除显式策略转为直觉推理,从而提升多模态大语言模型的推理能力,无需额外标注或复杂奖励。
2026-05-27 cs.CL cs.CV cs.LG
TaoSR-AGRL: Adaptive Guided Reinforcement Learning Framework for E-commerce Search Relevance
Tsinghua University(清华大学);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团);Fudan University(复旦大学)
电商搜索中查询-产品相关性预测很关键,现有方法有局限。提出TaoSR-AGRL框架,通过规则感知奖励塑造和自适应引导重放两大创新,提升模型推理能力,在实验中表现优于基线,已成功部署。
2026-07-07 cs.AI cs.CL cs.IR
RaDeR: Reasoning-aware Dense Retrieval Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
RaDeR利用LLM推理轨迹与自反思评估生成难负样本,训练推理感知稠密检索器,在BRIGHT和RAR-b上超越强基线,并首个在思维链查询下优于BM25,且仅用2.5%数据达到同等效果。
2025-05-27 cs.CL cs.IR
TV-TREES: Multimodal Entailment Trees for Neuro-Symbolic Video Reasoning
Johns Hopkins University(约翰斯·霍普金斯大学)
针对视频-语言模型单模态推理、缺乏可解释性的问题,提出多模态蕴涵树生成器TV-TREES,通过搜索证据与结论的蕴涵关系树实现联合模态推理,在TVQA基准上取得可解释的最优零样本性能。
2024-10-10 cs.AI cs.CL cs.CV
Don't "Overthink" Passage Reranking: Is Reasoning Truly Necessary?
MIT Lincoln Laboratory(MIT林肯实验室);Massachusetts Institute of Technology(麻省理工学院);University of Waterloo(滑铁卢大学)
本文研究推理过程对基于LLM的段落重排序器的影响,发现非推理重排序器优于推理型,禁用推理反而更有效,原因是推理导致分数极化忽略部分相关性。
2025-05-22 cs.AI cs.CL cs.IR
Modality-Driven Search with Holistic Trace Judging for ARC-AGI-2
Independent Researcher(独立研究者)
针对抽象推理中候选轨迹选择难题,提出模态驱动搜索生成多样化候选,并结合整体判断模型在长上下文中联合比较所有轨迹,在ARC-AGI-2上以低成本达到72.9%准确率,超越前沿模型。
2026-07-01 cs.AI cs.CL cs.LG
What Are They Doing? Joint Audio-Speech Co-Reasoning
Research Center(研究中心);Concordia University(康考迪亚大学);Université de Montréal(蒙特利尔大学);Mila(米拉(魁北克人工智能研究所))
针对音频语音任务多单模态的现状,本文提出JASCO联合音频-语音协同推理任务,发布对应场景推理数据集,构建基准探究ALLMs的跨模态推理能力,并分析模型对不同模态的依赖特性。
2025-01-12 cs.CL cs.SD eess.AS
Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning
CSIRO(联邦科学与工业研究组织);University of Waterloo(滑铁卢大学);The University of Queensland(昆士兰大学)
本文提出 Rank-R1,利用强化学习和少量相关性标签赋予 LLM 文档重排器推理能力,在复杂查询及域外场景下以极少训练数据取得优异排序效果并提升可解释性。
2025-03-08 cs.CL cs.IR
TaoSR1: The Thinking Model for E-commerce Relevance Search
Taobao & Tmall Group of Alibaba(淘宝与天猫集团)
本文提出TaoSR1框架,通过CoT引导的监督微调、离线采样与DPO优化,解决电商搜索中相关性预测的推理误差与幻觉问题,实现高效部署。
2026-03-10 cs.AI cs.CL cs.IR
Agent-Omni: Test-Time Multimodal Reasoning via Model Coordination for Understanding Anything
Amazon(亚马逊公司);Rochester Institute of Technology(罗切斯特理工学院);University of Rochester(罗切斯特大学)
提出Agent-Omni框架,通过主智能体系统协调现有基础模型,无需重新训练即可实现文本、图像、音频和视频的灵活多模态推理,在多项基准上达到最先进性能。
2025-11-05 cs.AI cs.CL cs.LG
X-VILA: Cross-Modality Alignment for Large Language Model
NVIDIA(英伟达);HKUST(香港科技大学);MIT(麻省理工学院)
本文提出全模态模型X-VILA,通过构建交错数据集与视觉嵌入高速公路模块解决跨模态对齐中的视觉信息丢失问题,实现了任意模态间的理解、推理与生成。
2024-05-29 cs.CL cs.CV cs.LG
CMA-CLIP: Cross-Modality Attention CLIP for Image-Text Classification
Stony Brook University(石溪大学);Amazon Inc.(亚马逊公司)
社交媒体和电子商务等现代Web系统包含以图像和文本表达的丰富内容。利用来自多模态的信息可以提高分类和推荐等机器学习任务的性能。在本文中,我们提出了跨模态注意力对比存储-图像预训练(CMA-CLIP),一个新的框架,它统一了两种类型的跨模态注意力,序列式注意力和模态式注意力,有效地融合信息的图像和文本对。序列式注意力使框架能够捕获图像块和文本标记之间的细粒度关系,而模态式注意力则通过其与下游任务的相关性来衡量每个模态。此外,通过添加任务特定的模态明智的注意力和多层感知器,我们提出的框架是能够执行多任务分类与多模态。我们在一个主要零售网站产品属性(MRWPA)数据集和两个公共数据集Food 101和Fashion-Gen上进行了实验,结果表明,CMA-CLIP在MRWPA数据集上进行多任务分类时,在相同的精度水平下,在召回率上平均优于预训练和微调的CLIP 11.9%。它的准确性也超过了Fashion-Gen数据集上最先进的方法5.5%,并在Food 101数据集上实现了竞争性性能。通过详细的消融研究,我们进一步证明了跨模态注意模块的有效性和我们的方法对图像和文本输入中的噪声的鲁棒性,这是实践中的一个共同挑战。
2021-12-09 cs.CL cs.CV cs.LG
Multimodal Tabular Reasoning with Privileged Structured Information
School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学);National Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学);AI Business, Alibaba Group(阿里集团人工智能业务)
本文提出Turbo框架,利用训练时的特权结构化表格信息,通过基于DeepSeek-R1的结构感知推理轨迹生成和有利推理路径筛选,在仅9k数据下实现多模态表格推理性能提升7.2%。
2025-06-04 cs.AI cs.CL cs.CV
HoloLLM: Multisensory Foundation Model for Language-Grounded Human Sensing and Reasoning
MARS Lab, Nanyang Technological University(南洋理工大学MARS实验室)
HoloLLM通过整合LiDAR、红外、毫米波雷达和Wi-Fi等多感官数据,提升语言基础的人感知与推理能力,实验表明其在真实场景中的性能提升达30%。
2026-02-24 cs.AI cs.CL cs.CV
MedTVT-R1: A Multimodal LLM Empowering Medical Reasoning and Diagnosis
The Hong Kong University of Science & Technology (Guangzhou)(香港科技大学(广州))
MedTVT-R1提出一种整合临床多模态数据、采用模态感知层和GRPO强化微调的多模态大语言模型,实现可解释的多疾病诊断,并在实验中展现优越性能。
2025-06-23 cs.CL cs.CV eess.IV
Modality-Balancing Preference Optimization of Large Multimodal Models by Adversarial Negative Mining
University of Maryland, College Park(马里兰大学学院 park)
提出模态平衡偏好优化(MBPO)框架,通过对抗负挖掘和在线验证奖励结合GRPO,解决大型多模态模型的模态不平衡问题,提升视觉-语言任务性能并减少幻觉。
2025-10-08 cs.AI cs.CL cs.CV