Benchmarking LLM Faithfulness in RAG with Evolving Leaderboards
University of Waterloo(滑铁卢大学);Vectara(Vectara公司);Iowa State University(爱荷华州立大学);Stanford University(斯坦福大学)
本文提出FaithJudge框架,利用人工标注幻觉示例改进RAG中LLM幻觉的自动评估,并构建增强型排行榜,在摘要、问答和数据到文本任务上更可靠地基准测试LLM忠实度。
2025-11-06 cs.AI cs.CL
Language as the Medium: Multimodal Video Classification through text only
Unitary
本文提出一种模型无关方法,利用LLM对BLIP-2、Whisper和ImageBind生成的文本描述进行推理,将文本作为视觉和听觉的代理,实现零样本多模态视频分类,并在UCF-101和Kinetics上验证了有效性。
2023-09-19 cs.AI cs.CL cs.CV
Multimodal Foundation Models Exploit Text to Make Medical Image Predictions
Harvard Medical School(哈佛医学院);Brigham and Women's Hospital(布莱根妇女医院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心)
本文通过1014个多模态医学病例评估多个多模态基础模型,发现其医学图像预测主要依赖利用文本而非图像,且文本中的错误暗示会显著降低分类性能,揭示了多模态AI在医学诊断中的关键局限。
2024-11-25 cs.AI cs.CL cs.CV
MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text
Google Research(谷歌研究院)
虽然语言模型在其参数中隐式地存储了大量的世界知识,但即使是非常大的模型也常常无法对关于稀有实体和事件的信息进行编码,同时产生巨大的计算成本。最近,检索增强模型,如REALM,RAG和RETRO,已纳入世界知识到语言生成,通过利用外部非参数索引,并已展示了令人印象深刻的性能与约束的模型大小。然而,这些方法仅限于检索文本知识,忽略了其他形式(如图像)中无处不在的知识量-其中大部分包含任何文本都不包含的信息。为了解决这个问题,我们提出了第一个多模态检索增强的Transformer(MuRAG),它访问一个外部的非参数多模态存储器,以增加语言生成。MuRAG是使用联合对比和生成损失使用大规模图像-文本和纯文本语料库的混合进行预训练的。我们在两个不同的数据集上进行实验,这些数据集需要对图像和文本进行检索和推理来回答给定的查询:WebQA和MultimodalQA。我们的研究结果表明,MuRAG达到了最先进的准确性,在两个数据集上以及在干扰项和全维基设置下,其绝对性能优于现有模型10-20\%。
2022-10-20 cs.AI cs.CL cs.CV
ANOLE: An Open, Autoregressive, Native Large Multimodal Models for Interleaved Image-Text Generation
Generative AI Research Lab (GAIR)(生成式人工智能研究实验室(GAIR))
针对开源 LMM 依赖适配器、单模态生成及分离扩散模型等问题,本文基于 Chameleon 通过数据与参数高效微调构建原生自回归多模态模型 Anole,实现高质量图文交错生成并开源全部资源。
2024-07-08 cs.AI cs.CL cs.CV
VideoConviction: A Multimodal Benchmark for Human Conviction and Stock Market Recommendations
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
本文提出多模态基准VideoConviction,通过6000+专家标注评估MLLMs与LLMs在金融话语中的表现,发现模型难以区分投资行为与信念,且反向策略虽超越标普500但风险更高。
2025-06-04 cs.AI cs.CL cs.CV
Effective Context Selection in LLM-based Leaderboard Generation: An Empirical Study
L3S Research Center(L3S研究中心);Leibniz University of Hannover(汉诺威莱布尼茨大学);TIB Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心(TIB))
本文研究 LLM 生成 AI 研究排行榜时的上下文选择问题,提出基于 FLAN-T5 指令微调的文本生成方法,并通过三类上下文实验证明其能提升准确率、减少幻觉。
2024-06-06 cs.CL
The Hallucinations Leaderboard -- An Open Effort to Measure Hallucinations in Large Language Models
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院);Hugging Face;Department of Computer Science, University College London(伦敦大学学院计算机系);Together AI
针对大语言模型易产生幻觉的问题,本文推出开放的Hallucinations Leaderboard,通过覆盖多任务、多维度的综合基准量化对比各模型的幻觉倾向,为相关人员选择可靠模型提供参考。
2024-04-17 cs.CL
Visual Text Matters: Improving Text-KVQA with Visual Text Entity Knowledge-aware Large Multimodal Assistant
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
针对 Text-KVQA,本文提出 VisTEL 视觉文本实体链接模块与 KaLMA 知识增强多模态助手,在三个划分上较此前最佳方法绝对提升 23.3%。
2024-10-24 cs.AI cs.CL cs.CV
Valley2: Exploring Multimodal Models with Scalable Vision-Language Design
ByteDance(字节跳动)
本研究提出新型多模态大语言模型Valley2,通过可扩展视觉-语言设计提升全领域性能,在电商基准上达SOTA、超同规模开源模型,在10B参数以下的OpenCompass榜单中位列第二,已开源代码与权重。
2025-01-13 cs.CV
VLSBench: Unveiling Visual Leakage in Multimodal Safety
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Beihang University(北京航空航天大学)
该研究发现现有多模态安全基准存在视觉安全信息泄漏问题,构建了含2200个图文对的无泄漏基准VLSBench,验证了其对主流MLLMs的挑战性,并明确了文本与多模态对齐方法的适用场景。
2025-05-17 cs.AI cs.CL cs.CR
Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models
Yanolja(雅乐居(韩国))
本文提出EEVE词汇扩展方法,通过参数冻结和子词初始化,仅用20亿token即可显著提升以英语为中心的大语言模型的韩语能力,所构建的EEVE-Korean-10.8B-v1.0在开源韩语预训练模型中排名领先。
2024-02-22 cs.AI cs.CL
The FACTS Grounding Leaderboard: Benchmarking LLMs' Ability to Ground Responses to Long-Form Input
Google(谷歌公司)
本文提出 FACTS Grounding 在线排行榜与基准,通过含最长 32k tokens 文档的提示和多裁判两阶段自动评估,衡量 LLM 长篇回复对给定上下文的事实锚定能力。
2025-01-06 cs.CL
TextMatch: Enhancing Image-Text Consistency Through Multimodal Optimization
本文提出TextMatch框架,利用大语言模型和视觉问答模型驱动的评分策略,结合多模态上下文学习与思维链推理迭代优化提示词,有效解决了文本到图像生成与编辑中的图文不一致问题。
2025-01-25 cs.AI cs.CV
SelECT-SQL: Self-correcting ensemble Chain-of-Thought for Text-to-SQL
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
针对Text-to-SQL任务中现有大语言模型性能不足的问题,提出结合思维链提示、自校正和集成方法的SelECT-SQL上下文学习方案,在Spider基准上取得了超越GPT-4的最优性能。
2024-09-16 cs.AI cs.CL
Beyond Text: Optimizing RAG with Multimodal Inputs for Industrial Applications
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Siemens AG(西门子公司)
针对工业领域RAG系统,研究通过对比两种图像处理策略和两种大模型,验证多模态输入可提升性能,且图像文本摘要方法比多模态嵌入更具潜力。
2024-10-29 cs.AI cs.CL
LLaVA-Read: Enhancing Reading Ability of Multimodal Language Models
Adobe Research(奥多比研究院);University at Buffalo(布法罗大学)
针对多模态语言模型在图像密集文本理解上的局限,提出采用双视觉编码器与视觉文本编码器的LLaVA-Read模型,在文本丰富图像理解任务中超越现有方法,证明高效视觉文本编码器的重要性。
2024-07-27 cs.AI cs.CV
Gemini Goes to Med School: Exploring the Capabilities of Multimodal Large Language Models on Medical Challenge Problems & Hallucinations
Saama AI Research(萨马人工智能研究院)
该研究全面评估了多模态大模型Gemini在医学推理、幻觉检测和视觉问答上的表现,发现其准确率落后于GPT-4等模型且易产生幻觉,并通过提示策略改进及发布评估工具促进了医疗LLM的安全发展。
2024-02-10 cs.AI cs.CL cs.CV
Multimodal DeepResearcher: Generating Text-Chart Interleaved Reports From Scratch with Agentic Framework
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Tencent TEG(腾讯TEG)
多模态深度研究员通过代理框架实现从零开始生成文本-图表交织报告,利用FDV结构化文本表示提升可视化生成质量。
2025-12-14 cs.AI cs.CL
Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026
Department of Computer Science;Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh
针对QANTA 2026共享挑战,开发特定任务双代理架构,抢答代理用带置信度校准的模型及数值推理策略,加分代理用多种推理整合信息,强调仅托管环境下的高效推理与校准,系统取得高分,证明轻量级策略在资源受限问答中性能强。
2026-07-13 cs.AI cs.CL
TI-JEPA: An Innovative Energy-based Joint Embedding Strategy for Text-Image Multimodal Systems
Ho Chi Minh City University of Technology (HCMUT)(胡志明市理工大学);Vietnam National University Ho Chi Minh City(越南国家大学胡志明市分校);National University of Singapore(新加坡国立大学)
本文提出TI-JEPA预训练策略,利用能量模型捕捉文本与图像的跨模态关系,在多模态情感分析等任务上取得最先进性能,展示了能量框架推进多模态融合的潜力。
2025-03-09 cs.CL cs.CV
UniDoc: A Universal Large Multimodal Model for Simultaneous Text Detection, Recognition, Spotting and Understanding
ByteDance(字节跳动)
UniDoc是一种大型多模态模型,通过统一指令微调,同时实现文本检测、识别、定位和理解,在多个基准上达到最优性能。
2023-09-02 cs.AI cs.CL
UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG
Salesforce AI Research(Salesforce人工智能研究)
UniDoc-Bench是首个大规模文档中心多模态RAG基准,通过多模态问答对评估文本-图像融合与联合检索性能,揭示多模态嵌入不足及视觉上下文补充机制。
2026-01-05 cs.CL cs.CV
MASTER: Multimodal Segmentation with Text Prompts
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出MASTER架构,将LLM集成到RGB-Thermal多模态融合中,利用双路径结构和文本提示生成可学习码本令牌,实现高效的语义分割。
2025-03-06 cs.AI cs.CV
Flex-Judge: Text-Only Reasoning Unleashes Zero-Shot Multimodal Evaluators
Microsoft(微软公司);KAIST AI(韩国科学技术院人工智能研究所)
本文提出 Flex-Judge,利用少量结构化文本推理数据训练多模态评判模型,实现跨图像、视频和分子等模态的零样本泛化,并以更低标注成本达到媲美商业 API 和专用评估器的性能。
2025-10-20 cs.AI cs.CL
A Survey on Image-text Multimodal Models
Shenyang Institute of Computing Technology, Chinese Academy of Sciences(中国科学院沈阳计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
该综述梳理了图像-文本多模态模型从早期探索到大模型架构的技术演进,分析了通用技术对生物医学领域的推动作用、模型通用组件与挑战,并分类提出应对策略与未来研究方向。
2024-06-19 cs.AI cs.CL cs.MM
Wings: Learning Multimodal LLMs without Text-only Forgetting
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);AI Business, Alibaba Group(阿里巴巴集团AI业务部)
针对多模态大语言模型灾难性遗忘纯文本指令的问题,提出Wings模型,通过构建并行的视觉与文本学习者模块及低秩残差注意力,有效补偿注意力转移,在纯文本与多模态问答任务上均取得优异表现。
2024-06-05 cs.AI cs.CL cs.LG
WangLab at MEDIQA-M3G 2024: Multimodal Medical Answer Generation using Large Language Models
University of Toronto(多伦多大学);Vector Institute(向量研究所);Princess Margaret Cancer Centre, University Health Network(大学健康网络玛格丽特公主癌症中心);Lunenfeld-Tanenbaum Research Institute, Sinai Health System(西奈健康系统勒嫩菲尔德-塔南鲍姆研究所);Peter Munk Cardiac Centre, University Health Network(大学健康网络彼得·芒克心脏中心);AI Hub, University Health Network(大学健康网络人工智能中心)
本文介绍了WangLab参加MEDIQA-M3G 2024共享任务的两个方案,分别基于Claude 3 Opus API调用和CLIP风格图像分类,在英语类别中取得第一和第二名,并指出这两种方法在医学视觉问答中具有进一步研究潜力。
2024-04-22 cs.CL
Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs
KAIST(韩国科学技术院)
本文提出多模态提示优化问题,提出MPO框架,通过联合优化和贝叶斯策略提升多模态提示效果,验证其在图像、视频等多模态任务中的优越性。
2026-02-19 cs.AI cs.CL cs.LG
Implicit Multimodal Alignment: On the Generalization of Frozen LLMs to Multimodal Inputs
Sorbonne University(索邦大学)
本研究探究冻结大语言模型的多模态泛化机制,发现其内部存在隐式多模态对齐现象,该现象与架构相关,可用于评估模型性能、解释幻觉问题,还能支撑推理加速与模型压缩方案。
2024-10-05 cs.CL cs.CV cs.LG
DT2IT-MRM: Debiased Preference Construction and Iterative Training for Multimodal Reward Modeling
University of Science and Technology of China(中国科学技术大学)
本文提出DT2IT-MRM方法,通过去偏偏好构建、文本到图像偏好数据重构和迭代训练框架,解决多模态奖励建模中偏好数据的偏差、噪声和不一致问题,并在三个基准测试中取得新突破。
2026-04-21 cs.AI
Lumos : Empowering Multimodal LLMs with Scene Text Recognition
Meta Reality Labs(元宇宙实验室);Meta
本文提出首个端到端多模态问答系统Lumos,通过场景文本识别组件提取第一人称视角图像文本以增强多模态大语言模型输入,并探讨了系统架构与建模技术以克服STR质量、延迟等挑战,评估显示其高质量与高效率。
2024-06-01 cs.CL cs.CV cs.LG
Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval
Westcliff University(韦克利夫大学)
本研究在Flickr30k数据集上对比Gemini Embedding 2等原生多模态嵌入与GPT-4.1、Claude Sonnet 4.6等前沿LLM的难负例文本到图像检索性能,发现二者表现相当,且多模态嵌入更适配低延迟应用
2026-08-13 cs.AI cs.CV cs.IR
Large Language Models Meet Text-Centric Multimodal Sentiment Analysis: A Survey
Harbin Institute of Technology(哈尔滨工业大学);Chinese Academy of Sciences(中国科学院)
本综述围绕以文本为中心的多模态情感分析,回顾相关研究进展,考察大语言模型(LLMs)在该任务中的潜力、方法、优劣势,总结应用场景并探讨未来挑战与研究方向。
2024-08-16 cs.CL
Is Clinical Text Enough? A Multimodal Study on Mortality Prediction in Heart Failure Patients
本研究比较了文本、结构化数据和多模态方法在心力衰竭患者短期死亡预测中的表现,发现实体层面的表示能提升预测性能,而监督多模态融合表现最佳。
2026-04-02 cs.CL
Emu: Generative Pretraining in Multimodality
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Tsinghua University(清华大学);Peking University(北京大学)
本文提出基于 Transformer 的多模态基础模型 Emu,通过统一自回归目标端到端建模交错图像、文本与视频,在零样本/少样本多模态任务及指令微调助手上取得优异表现。
2024-05-08 cs.CV
Text Is Not All You Need: Multimodal Prompting Helps LLMs Understand Humor
Northwestern University(西北大学)
针对大语言模型难以理解幽默的问题,研究提出结合文本与TTS生成的口语形式的多模态提示方法,在所有测试数据集上均提升了幽默解释效果。
2024-12-01 cs.CL cs.CY
TextMI: Textualize Multimodal Information for Integrating Non-verbal Cues in Pre-trained Language Models
University of Rochester(罗切斯特大学)
预训练的大语言模型最近在各种各样的语言理解任务中取得了突破性的表现。然而,相同的模型不能应用于多模态行为理解任务(例如,视频情感/幽默检测)除非非语言特征(例如,听觉和视觉)可以与语言相结合。联合建模多个模态显著增加了模型的复杂性,并使训练过程数据饥饿。虽然通过网络可以获得大量的文本数据,但收集大规模的多模式行为视频数据集在时间和金钱方面都非常昂贵。在本文中,我们调查是否大语言模型单独可以成功地将非语言信息时,他们在文本形式。我们提出了一种方法来转换成相应的文本描述和连接它们与口语文本的声学和视觉信息。我们将此增强输入馈送到预训练的BERT模型,并在三个下游多模态任务上对其进行微调:情感,幽默和讽刺检测。我们的方法,TextMI,大大降低了模型的复杂性,增加了解释模型的决定,并可以应用于一组不同的任务,同时实现卓越的(多模态讽刺检测)或接近SOTA(多模态情感分析和多模态幽默检测)的性能。我们建议TextMI作为一个通用的,有竞争力的多模态行为分析任务的基线,特别是在低资源的设置。
2023-03-29 cs.CL cs.LG
CuriosAI Submission to the CASTLE Challenge at EgoVis 2026
SoftBank Corp(软银公司)
针对600多小时多视角自我中心视频的185道选择题,提出SVA(搜索-验证-回答)三阶段流水线和TMKG(时间多模态知识图谱)两种方法,SVA达到0.50准确率并作为最终提交。
2026-05-27 cs.CV
TAC-Time: Texts as Channels For Multimodal Time Series Forecasting
East China Normal University(华东师范大学)
TAC-Time提出将文本转化为时间通道,与数值序列联合建模,以捕捉跨模态动态,提升多模态时间序列预测性能。
2026-09-22 cs.AI cs.CL cs.LG
NUS-Emo at SemEval-2024 Task 3: Instruction-Tuning LLM for Multimodal Emotion-Cause Analysis in Conversations
National University of Singapore(新加坡国立大学);Xidian University(西安电子科技大学);Wuhan University(武汉大学)
本文针对SemEval-2024多模态情感-原因对提取任务,提出基于LLM的情感-原因感知指令微调方法,结合ERC与ECPE双组件系统,实现34.71%加权F1分数并获排行榜第二名。
2024-08-22 cs.CL
There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
该研究提出敏感性网格,发现评估框架的配置差异使LLM分数呈区间变化,配置敏感项目承载模型间大部分分数差,且框架可决定排行榜排名,压缩方法保留此类项目。
2026-08-25 cs.AI
MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对现有MLLM评估方法难以适配开放主观类多模态任务的问题,提出基于逐样本准则、用强MLLM做评判的评估范式,构建了覆盖六个认知层级的MLLM-Bench基准,测试21个模型且与人类评估一致性达88.02%。
2024-09-14 cs.CL
The Narrow Gate: Localized Image-Text Communication in Native Multimodal Models
Area Science Park, Trieste, Italy(特里斯特科学公园);SISSA, Trieste, Italy(SISSA);University of Trieste, Trieste, Italy(特里斯特大学)
研究揭示了原生多模态模型中图像与文本信息交互的机制,发现通过单个标记作为窄门影响图像理解性能,提出基于标记级干预的精细控制方法。
2026-01-30 cs.CV cs.LG
HumorRank: A Tournament-Based Leaderboard for Evaluating Humor Generation in Large Language Models
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
提出HumorRank,一种基于锦标赛的框架,通过理论指导的成对偏好判断对文本幽默生成进行排名,并利用Bradley-Terry估计生成全局排行榜。
2026-07-31 cs.CL
Enhance the Robustness of Text-Centric Multimodal Alignments
National Taiwan University(台湾大学)
针对现有以文本为中心的多模态对齐在缺失、噪声和模态缺席下鲁棒性不足的问题,提出一种新的文本中心对齐方法,并验证其跨模态、跨设置的鲁棒性优势。
2024-07-06 cs.CL cs.LG
MCiteBench: A Multimodal Benchmark for Generating Text with Citations
Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University(上海数据科学 key 实验室,计算机科学学院,复旦大学)
针对多模态大语言模型的幻觉问题及现有引用生成研究多聚焦纯文本的不足,提出首个多模态引用生成基准MCiteBench,实验发现模型存在模态锚定困难与系统性模态偏差,为相关研究提供方向指引。
2025-05-20 cs.CL cs.IR
Measuring What Matters Beyond Text: Evaluating Multimodal Summaries by Quality, Alignment, and Diversity
School of Computing, Macquarie University(麦考瑞大学计算学院)
本文提出MM-Eval框架,整合文本质量、跨模态对齐和视觉多样性评估,通过学习聚合模型优化多模态摘要的综合评价,揭示事实一致性对整体质量的关键作用。
2026-05-12 cs.AI
Beyond Text-to-Text: An Overview of Multimodal and Generative Artificial Intelligence for Education Using Topic Modeling
University of Jyväskylä(于韦斯屈莱大学);Universidad de Chile(智利大学)
本研究使用主题建模分析了4175篇文献,指出当前教育生成式AI研究过度聚焦文本到文本模型,揭示了多模态技术探索不足的研究空白与未来机遇。
2025-04-02 cs.AI cs.HC
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model
Stony Brook University(斯通布罗克大学);Amazon(亚马逊)
本文提出LLaVA-RE框架,首次利用多模态大语言模型进行二元图文相关性评估,通过详细任务指令和多模态上下文样本及新数据集验证了其有效性。
2025-08-07 cs.CV
BUZZY: Contrastive Scoring to Mitigate Text-Induced Bias in Multimodal Multiple-Choice QA
Korea University(高丽大学);Konkuk University(建国大学);Myongji University(明知大学);AIGEN Sciences
本文提出SCICON方法,通过对比文本和图像信息,减少选择偏差,提升科学图表多选问答的准确性。
2026-09-07 cs.AI
Text Takes Over: A Study of Modality Bias in Multimodal Intent Detection
IIT Kharagpur, India(印度理工学院Kharagpur);Adobe Research, India(Adobe研究);IIT Bhubaneswar, India(印度理工学院Bhubaneswar)
本文研究多模态意图检测中的模态偏差,发现纯文本 LLM 凭借数据集的文本依赖优势超越多模态模型,并提出去偏差框架揭示现有基准对模型评估的局限。
2025-10-21 cs.CL
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University(杭州电子科技大学);University of Chinese Academy of Sciences(中国科学院大学)
图像描述的目标是自动生成给定图像的自然语言描述,并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络(CNN)的图像编码器,从输入图像中提取基于区域的视觉特征,和一个基于递归神经网络(RNN)的字幕解码器,基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功,目前的方法只建模的共同注意的特点,通道间的相互作用,而忽略了自我注意的特点,通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发,本文将其扩展为一个用于图像描述的多模态Transformer(MT)模型。与现有的图像描述方法相比,MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成,MT模型可以执行复杂的多模态推理并输出准确的字幕。此外,为了进一步提高图像描述的性能,多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法,并进行广泛的消融研究,以调查其有效性背后的原因。实验结果表明,我们的方法显着优于以前的国家的最先进的方法。在撰写本文时,我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
DiM\textsuperscript{3}: Bridging Multilingual and Multimodal Models via Direction- and Magnitude-Aware Merging
Northeastern University, China(东北大学,中国);CIS, LMU Munich, Germany(慕尼黑莱布尼茨大学计算机学院,德国);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心(MCML),德国);Shanghai Jiao Tong University, China(上海交通大学,中国)
本研究提出DiM3方法,通过在共享语言模型骨干中融合残差更新,实现多语言和多模态能力的无缝整合,从而提升多语言性能并保持多模态能力。
2026-05-20 cs.CL