Empathic Grounding: Explorations using Multimodal Interaction and Large Language Models with Conversational Agents
Northeastern University(东北大学)
本文提出共情式接地概念,并构建融合语音和面部表情的多模态大语言模型,使对话智能体在交流中同时传达命题与情感理解,实验证明其能显著提升用户对共情、理解、情商和信任的感知。
2024-07-01 cs.CL cs.HC cs.RO
Mem-Gallery: Benchmarking Multimodal Long-Term Conversational Memory for MLLM Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab, IBM Research(MIT-IBM沃森人工智能实验室,IBM研究);Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁赫斯国家实验室)
Mem-Gallery 是一个用于评估多模态长时对话记忆的基准测试,通过多会话对话数据集和系统评估框架,揭示了记忆提取、推理和知识管理的关键发现。
2026-01-07 cs.AI cs.CL
MTPChat: A Multimodal Time-Aware Persona Dataset for Conversational Agents
University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
针对对话智能体时间感知角色对话数据集有限的问题,提出多模态时间感知角色对话数据集MTPChat,设计两个时间敏感任务,并提出含自适应时间模块的框架,验证了数据集的挑战性和框架的有效性。
2025-02-09 cs.AI cs.CL
StanceFlip: A Comprehensive Multi-Dimensional Benchmark for Multimodal Conversational Stance Flipping Forecasting
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件学院);Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));City University of Macau(澳门城市大学)
研究针对现有对话立场检测基准测试的局限,提出StanceFlip基准测试及ConStaFF框架,含多模态立场六元组提取和动态立场翻转归因两个新子任务,基于大语言模型实现端到端立场推理,实验显示该方法性能领先。
2026-07-28 cs.AI cs.CL
McQueen: a Benchmark for Multimodal Conversational Query Rewrite
The Chinese University of Hong Kong(香港中文大学);Alibaba Group(阿里巴巴集团);Nankai University(南开大学)
查询重写的任务是将上下文查询转换为完全指定的版本,其中省略和共指根据历史上下文完成并返回。虽然已经取得了很大的进展,但涉及从一种以上模式中提取信息的真实情景对话的努力较少。在本文中,我们提出了多模态会话查询重写(McQR)的任务,它执行多模态视觉会话设置下的查询重写。我们收集了一个名为McQueen的基于手动注释的大规模数据集,其中包含15 k个可视化对话和超过80 k个查询,每个查询都与完全指定的重写版本相关联。此外,对于重写中出现的实体,我们提供了相应的图像框注释。然后,我们使用McQueen数据集对最先进的方法进行基准测试,以有效地处理McQR任务,该任务基于带有指针生成器的多模态预训练模型。大量的实验证明了我们的模型在这个任务\footnote {本文的数据集和代码都可以在\url{https://github.com/yfyuan01/MQR}
2022-10-23 cs.AI cs.CL
A Multimodal Dialogue System for Conversational Image Editing
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
在本文中,我们提出了一个多模态对话系统的对话图像编辑。我们将我们的多模态对话系统制定为部分观察马尔可夫决策过程(POMDP),并使用深度Q网络(DQN)和用户模拟器对其进行训练。我们的评估表明,DQN政策优于基于规则的基线政策,在高出错率下达到90\%的成功率。我们还进行了真实用户研究并分析了真实用户行为。
2020-02-16 cs.CL
Multimodal Policy Internalization for Conversational Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
本文提出多模态策略内化任务,通过将复杂策略内化为模型参数,提升对话代理的策略遵循能力,同时提供新数据集和训练框架TriMPI以促进研究。
2026-04-17 cs.AI cs.CL
TWIZ-v2: The Wizard of Multimodal Conversational-Stimulus
NOVA University of Lisbon(里斯本新大学);NOVA LINCS(新大学LINCS研究中心)
本文介绍 TWIZ 团队在 Alexa Prize TaskBot Challenge 2022 中构建的多模态任务助手 TWIZ bot,通过拟人对话、多模态刺激与零样本对话流程支持复杂手动任务。
2024-01-22 cs.AI cs.CL
GRAG: Generic Response-Augmented Generation Framework for Personalized Conversational Systems
North Carolina State University(北卡罗来纳州立大学);Lirio, Inc.(Lirio公司)
提出GRAG框架,通过离线通用响应解耦内容基础与个性化,使小模型在资源受限环境中专注于个性化注入,性能提升显著。
2026-06-26 cs.CL cs.LG
VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding?
Carnegie Mellon University(卡内基梅隆大学);The Chinese University of Hong Kong(香港中文大学);Allen Institute for AI(艾伦人工智能研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出多模态网页理解与定位基准VisualWebBench,包含7类任务和1.5K个真实网页实例,系统评估14个开源MLLMs及主流闭源模型,揭示了当前模型在文本丰富环境定位和低分辨率输入上的不足。
2024-04-09 cs.AI cs.CL
Grounded Agreement Games: Emphasizing Conversational Grounding in Visual Dialogue Settings
University of Potsdam(波茨坦大学);Department of Linguistics(语言学系);Computational Linguistics(计算语言学)
计算语言学中关于对话的早期工作非常强调对话结构及其与对话参与者心理状态的关系(例如,Allen 1979,Grosz & Sidner 1986),目前的工作主要是将对话简化为在任何时候产生下一个话语的任务;例如,在神经聊天机器人或视觉对话设置中。作为一个方法论的决定,这是合理的:即使是最长的旅程也是一系列步骤。然而,当学习对话行为的任务和数据集过于适应问题的框架时,它就变得有害了。在这个简短的说明中,我们描述了一系列仍然允许保持对话简单的设置,但增加了一个约束,使参与者关心达成相互理解。在这种协议游戏中,除了任务层面的目标之外,还有一个次要但明确的目标,那就是就任务层面的目标是否已经达到达成共识。正如我们所认为的,这自然会触发元语义交互和相互参与,从而导致更丰富的数据,从中归纳模型。
2019-08-29 cs.CL
A Visual Attention Grounding Neural Model for Multimodal Machine Translation
University of California, Davis(加州大学戴维斯分校)
我们介绍了一种新的多模态机器翻译模型,利用并行的视觉和文本信息。我们的模型共同优化了共享视觉语言嵌入和翻译器的学习。该模型利用了视觉注意力基础机制,将视觉语义与相应的文本语义联系起来。我们的方法在Multi30K和Ambient COCO数据集上获得了具有竞争力的最先进结果。我们还收集了一个新的多语言多模态产品描述数据集,以模拟真实世界的国际在线购物场景。在这个数据集上,我们的视觉注意力基础模型比其他方法表现得更好。
2018-08-28 cs.CL
Avenir-Web: Human-Experience-Imitating Multimodal Web Agents with Mixture of Grounding Experts
University College London(伦敦大学学院);The University of Edinburgh(爱丁堡大学);Princeton University(普林斯顿大学)
Avenir-Web通过融合接地专家与经验模仿规划,实现了在复杂网络界面中可靠执行长周期任务的开源网络代理新纪录。
2026-02-02 cs.AI cs.CL
You Know What I Mean: A Benchmark for Agentic Conversational Reference Grounding
Bar-Ilan University(巴伊兰大学);Allen Institute for AI(艾伦人工智能研究所)
本研究构建了基于GitHub代码仓库的RepoRef基准,针对对话指代消歧任务,发现现有最优智能体仅达67%成功率,为多工具环境下智能体信息处理研究提供了基准。
2026-09-01 cs.CL cs.IR
PanoSent: A Panoptic Sextuple Extraction Benchmark for Multimodal Conversational Aspect-based Sentiment Analysis
National University of Singapore(新加坡国立大学);Wuhan University(武汉大学);The University of Auckland(奥克兰大学);Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学)
本文提出多模态对话式 ABSI 任务与 PanoSent 基准,通过 Chain-of-Sentiment、Sentica 和复述验证实现全景情感六元组抽取及情感翻转分析。
2024-09-09 cs.AI cs.CL
TopicDiff: A Topic-enriched Diffusion Approach for Multimodal Conversational Emotion Detection
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对现有多模态对话情绪检测研究忽略声学、视觉模态主题信息的问题,提出将扩散模型集成到神经主题模型的TopicDiff方法,有效捕获多模态主题信息,性能超越现有最优基准,且发现声学、视觉主题信息比语言的更具区分度和鲁棒性。
2024-03-11 cs.AI cs.CL cs.LG
AutoMedic: An Automated Evaluation Framework for Clinical Conversational Agents with Medical Dataset Grounding
Yonsei University College of Medicine(延世大学医学院);Yonsei Institute for Digital Health(延世大学数字健康研究所);Yonsei University(延世大学);Institute of Behavioral Sciences in Medicine(医学行为科学研究所)
AutoMedic是一种基于医学数据集的自动化评估框架,用于评估临床对话代理的多方面性能,包括准确性、效率、同理心和鲁棒性。
2025-12-11 cs.CL cs.LG cs.MA
Efficient Object-Level Visual Context Modeling for Multimodal Machine Translation: Masking Irrelevant Objects Helps Grounding
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
视觉上下文为多模态机器翻译(MMT)提供了基础信息。然而,以往的MMT模型和视觉特征的探索研究表明,视觉信息在MMT中的探索较少,因为它往往是多余的文本信息。在本文中,我们提出了一个对象级的视觉上下文建模框架(OVC),有效地捕捉和探索多模态机器翻译的视觉信息。与检测到的对象,建议OVC鼓励MMT地面翻译所需的视觉对象,通过掩盖不相关的对象在视觉模态。我们配备了一个额外的对象掩蔽损失,以实现这一目标。根据被掩蔽对象与源文本的相似度来估计对象掩蔽损失,以鼓励对与源文本无关的对象进行掩蔽。此外,为了生成视觉一致的目标词,我们进一步提出了一个视觉加权的翻译损失OVC。在MMT数据集上的实验表明,所提出的OVC模型的性能优于最先进的MMT模型,分析表明,屏蔽无关对象有助于MMT的接地。
2020-12-18 cs.AI cs.CL cs.CV
Giving Commands to a Self-driving Car: A Multimodal Reasoner for Visual Grounding
KU Leuven(鲁汶大学)
我们提出了一个新的空间记忆模块和空间推理视觉接地(VG)任务。这个任务的目标是根据给定的文本查询在图像中找到某个对象。我们的工作重点是将区域建议网络(RPN)的区域集成到一个新的多步推理模型中,我们将其命名为多模态空间区域推理机(MSRR)。引入的模型使用来自RPN的对象区域作为2D空间记忆的初始化,然后根据查询实现对每个区域进行评分的多步推理过程,因此我们称之为多模态推理机。我们在具有挑战性的数据集上评估了这个新模型,我们的实验表明,与当前最先进的模型相比,我们的模型在图像的对象区域和查询的单词上联合推理,大大提高了准确性。
2021-05-26 cs.AI cs.CL cs.CV
Allo-AVA: A Large-Scale Multimodal Conversational AI Dataset for Allocentric Avatar Gesture Animation
Georgia Institute of Technology(佐治亚理工学院)
本文提出Allo-AVA大规模多模态数据集,包含约1,250小时视频及音频、转录和精确时间戳关键点,用于训练和评估第三人称视角下文本与音频驱动的虚拟形象手势动画模型,以解决现有数据缺乏语音、表情和动作精细同步的问题。
2024-10-21 cs.AI cs.CL cs.CV
Multi-turn Conversational AI from Text to Multimodal Interaction: Data, Models, Evaluation, and Open Challenges
本研究综述多轮对话式AI的发展现状,梳理其在数据、模型等方面的进展,指出多模态交互能力提升但存在记忆等短板,并提出相关研究议程。
2026-09-21 cs.AI cs.CL cs.SD
MNER-QG: An End-to-End MRC framework for Multimodal Named Entity Recognition with Query Grounding
Beijing Institute of Technology(北京理工大学);JD AI Research(京东人工智能研究院);Australian National University(澳大利亚国立大学)
多模态命名实体识别(MNER)是信息抽取中的一个关键步骤,它的目的是在给定的图片-图像对中检测实体跨度并将其分类为相应的实体类型。现有的方法要么(1)从注意力机制获得具有粗粒度视觉线索的命名实体,要么(2)首先使用工具包检测细粒度视觉区域,然后识别命名实体。然而,它们遭受实体类型和视觉区域之间的不正确对齐或错误传播的两阶段方式,最终将无关的视觉信息导入文本。在本文中,我们提出了一种新的端到端的框架名为MNER-QG,可以同时执行基于MRC的多模态命名实体识别和查询接地。具体来说,在查询的帮助下,MNER-QG可以提供实体类型和视觉区域的先验知识,并进一步增强文本和图像的表示。为了执行查询接地任务,我们提供了手动注释和弱监督,这些注释和弱监督是通过使用迁移学习训练高度灵活的视觉接地模型获得的。我们在两个公共MNER数据集Twitter 2015和Twitter 2017上进行了广泛的实验。实验结果表明,MNER-QG优于当前最先进的模型在MNER任务,也提高了查询接地性能。
2022-11-27 cs.AI cs.CL cs.CV
Audio-Visual Understanding of Passenger Intents for In-Cabin Conversational Agents
Intel Labs(英特尔实验室)
在自动驾驶汽车(AV)交互系统中,构建位于车厢内的多模态对话理解能力对于提高乘客舒适度至关重要。为此,理解乘客的意图,从口头互动和车辆视觉系统是一个关键组成部分,为AV开发上下文和视觉接地会话代理。为了实现这一目标,我们探讨了AMIE(自动车辆多模式机舱内体验),机舱内代理负责处理多模式的运输车的相互作用。在这项工作中,我们讨论了多模态理解的好处,将口头/语言输入与非口头/声学和视觉线索从车内和车外。我们的实验结果优于纯文本基线,因为我们使用多模态方法实现了意图检测的性能改进。
2020-07-08 cs.CL
Migician: Revealing the Magic of Free-Form Multi-Image Grounding in Multimodal Large Language Models
Beijing Jiaotong University(北京交通大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学)
针对现有多模态大语言模型在复杂多图像场景中定位精度不足的问题,提出首个自由形式多图像定位模型Migician,构建MGrounding-630k数据集和MIG-Bench基准,实验性能显著优于现有模型。
2025-02-18 cs.AI cs.CL cs.CV
Visual Grounding Strategies for Text-Only Natural Language Processing
KU Leuven(鲁汶大学)
视觉基础是一条通往更强大和更准确的自然语言处理(NLP)模型的有前途的道路。BERT的许多多模态扩展(例如,VideoBERT、LXMERT、VL-BERT)允许文本和图像的联合建模,从而在多模态任务(如视觉问答)上产生最先进的结果。在这里,我们将多模态建模用于纯文本任务(语言建模和分类),期望多模态预训练提供可以提高文本处理准确性的基础。我们在这方面提出了可能的战略。被称为{ \it transmitted grounding}的第一种类型的策略包括使用占位符来替换图像输入,将多模态模型应用于纯文本任务。第二个,我们称之为{ \it关联接地},利用图像检索在预训练和纯文本下游任务期间将文本与相关图像进行匹配。我们对这两种策略进行了进一步的区分,然后根据它们对语言建模和常识相关下游任务的影响进行了比较,显示了对纯文本基线的改进。
2021-03-25 cs.CL
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
UC Berkeley EECS(加州大学伯克利分校电子工程与计算机科学系);Sony Corp.(索尼公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
近年来,使用从大型语言或视觉数据集训练的向量表示对文本或视觉信息进行建模已被成功探索。然而,诸如视觉问答之类的任务需要将这些向量表示彼此组合。多模态池化的方法包括元素乘积或和,以及视觉和文本表示的连接。我们假设这些方法不像视觉和文本载体的外产品那样富有表现力。由于外积通常是不可行的,由于其高维度,我们建议利用多模态紧凑双线性池(MCB),有效地和表达地结合多模态功能。我们在视觉问答和接地任务上广泛评估MCB。我们一致显示MCB优于无MCB消融。对于视觉问答,我们提出了一个架构,它使用MCB两次,一次用于预测注意空间特征,并再次结合出席表示与问题表示。该模型在Visual7W数据集和VQA挑战上的性能优于最先进的模型。
2016-09-24 cs.AI cs.CL cs.CV
Towards Human-like Multimodal Conversational Agent by Generating Engaging Speech
Artificial Intelligence Graduate School(人工智能研究生院)
本文提出一种类人多模态对话智能体,通过构建MultiSensory Conversation语音数据集并基于多模态大语言模型生成文本回复与语音描述,结合视觉和音频模态生成自然且引人入胜的语音回复。
2025-09-18 cs.AI cs.CL cs.HC
Syntax-Guided Transformers: Elevating Compositional Generalization and Grounding in Multimodal Environments
Michigan State University(密歇根州立大学)
针对多模态环境下智能模型组合泛化难的问题,提出Syntax-Guided Transformers方法,利用文本解析得到的注意力掩码结合Transformer编码器权重共享,提升了多模态接地与参数高效建模的性能。
2023-11-07 cs.CL cs.RO
Understanding Common Ground Misalignment in Goal-Oriented Dialog: A Case-Study with Ubuntu Chat Logs
University of Maryland, College Park(马里兰大学 College Park 分校)
本文以 Ubuntu IRC 技术支持日志为案例,分析共同基础错位导致的对话摩擦及其与任务成功的关系,并评估 LLM 对不同难度摩擦实例的识别能力。
2025-07-26 cs.CL
Structured Prompting and LLM Ensembling for Multimodal Conversational Aspect-based Sentiment Analysis
Hunan University(湖南大学);University of Cambridge(剑桥大学)
本文提出结构化提示与大语言模型集成方法,用于多模态对话基于方面的情感分析,有效提升情感识别与翻转检测的准确性。
2025-12-27 cs.CL
Multimodal Fine-grained Context Interaction Graph Modeling for Conversational Speech Synthesis
Inner Mongolia University(内蒙古大学);Center for Language and Speech Processing (CLSP)(语言与语音处理中心);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)人工智能学院)
提出MFCIG-CSS,通过构建语义和韵律两种多模态细粒度交互图,建模词级对话历史交互,提升对话语音合成的自然韵律表现,在DailyTalk上优于基线。
2025-09-07 cs.CL
Reducing Hallucination in Multimodal Large Language Models through Hard Grounding Preference Supervision
Meta AI
本文提出分阶段偏好优化框架,通过构建针对幻觉问题的数据集,提升视觉-语言模型的 grounded reasoning,减少幻觉并提高响应信息量。
2026-09-29 cs.AI cs.CL cs.CV
GRASP: A novel benchmark for evaluating language GRounding And Situated Physics understanding in multimodal language models
Osnabrück University(奥斯纳布吕克大学);University of Amsterdam(阿姆斯特丹大学)
本文提出GRASP基准,通过Unity模拟的两层任务评估多模态大语言模型的语言基础与直觉物理理解能力,发现现有模型在物理理解上表现接近或低于随机水平,远逊于人类,凸显了该基准对追踪模型进展的重要性。
2024-06-06 cs.CL
MUG: Interactive Multimodal Grounding on User Interfaces
Google Research(谷歌研究院)
我们提出了MUG,一种新的交互式任务,多模式接地,用户和代理在界面屏幕上协作工作。以前的作品在一个回合中建模了多模式UI基础:用户给出命令,代理响应命令。然而,在现实场景中,当目标动作固有地难以用自然语言表达时,用户命令可能是模糊的。MUG允许多轮交互,这样在看到代理响应时,用户可以为代理提供进一步的命令以改进甚至纠正其操作。这种交互对于提高现实世界用例中的基础性能至关重要。为了研究这个问题,我们创建了一个新的数据集,该数据集由77,820个移动界面上的人类用户-代理交互序列组成,其中20%涉及多轮交互。为了建立我们的基准,我们实验了一系列的建模变量和评估策略,包括离线和在线评估-在线策略包括人工评估和自动模拟器。我们的实验表明,允许迭代交互显着提高了18%的绝对任务完成在整个测试数据集和31%的挑战子集。我们的结果奠定了基础,进一步调查的问题。
2022-09-29 cs.CL
Controlling Multimodal Conversational Agents with Coverage-Enhanced Latent Actions
School of Computer Science, Wuhan University(武汉大学计算机学院);Tongyi Lab(通义实验室);Zhongguancun Academy(中关村学院)
本文提出通过增强覆盖的潜在动作空间改进多模态对话代理的强化学习微调,利用跨模态投影器提升鲁棒性,在两个对话任务中优于基线方法。
2026-04-13 cs.AI cs.CL cs.LG
Introducing MeMo: A Multimodal Dataset for Memory Modelling in Multiparty Conversations
本文提出了首个多方对话记忆数据集MeMo,包含31小时小组讨论及多模态标注与记忆保留报告,为计算建模人类对话记忆及智能系统开发提供资源。
2024-10-15 cs.AI cs.CL cs.HC
Multimodal Contextual Dialogue Breakdown Detection for Conversational AI Models
Infinitus Systems, Inc.(无限系统公司)
针对对话AI系统的实时对话故障检测需求,尤其是医疗等行业场景的高精度高灵活要求,本文提出融合音频输入与下游NLP文本推理的MultConDB多模态模型,其F1值达69.27,显著优于现有最优模型。
2024-04-11 cs.CL
Conversational Orientation Reasoning: Egocentric-to-Allocentric Navigation with Multimodal Chain-of-Thought
Trans-disciplinary Bachelor Degree Program National Taiwan University(台湾国立大学跨学科学士学位计划)
本文提出对话式朝向推理基准COR和多模态思维链框架MCoT,通过三步结构化推理将自我中心表述转换为绝对朝向,在繁体中文导航中实现高准确率与鲁棒性。
2025-09-20 cs.AI cs.CL cs.LG
Revisiting Disentanglement and Fusion on Modality and Context in Conversational Multimodal Emotion Recognition
Wuhan University(武汉大学);National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学);Tianjin University(天津大学)
针对MM-ERC,本文提出DDM双层解耦机制以及CFM、CRM融合机制,同时建模多模态特征与对话上下文,并在两个公开数据集上一致达到最先进性能。
2023-08-12 cs.CL
Citrus-V: Advancing Medical Foundation Models with Unified Medical Image Grounding for Clinical Reasoning
JDH Algo(京东健康算法)
Citrus-V是一种多模态医学基础模型,整合检测、分割和思维链推理,实现像素级病灶定位与临床诊断推理,在多个基准上超越现有开源模型。
2025-09-24 cs.AI cs.CL cs.CV
PRISM of Opinions: A Persona-Reasoned Multimodal Framework for User-centric Conversational Stance Detection
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Peng Cheng Laboratory, Shenzhen, China(鹏城实验室);Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室);The Hong Kong Polytechnic University, Hong Kong, China(香港理工大学);Macau University of Science and Technology, Hong Kong, China(澳门科学技术大学)
PRISM通过多模态和用户人设分析,提升对话立场检测的准确性与实用性。
2026-03-10 cs.CL
Affective Multimodal Agents with Proactive Knowledge Grounding for Emotionally Aligned Marketing Dialogue
Hunan Police Academy, Department of Criminal Investigation(湖南警察学院犯罪侦查系);Business College, California State University(加州州立大学长滩分校商学院);Northwestern University(西北大学);AI Agent Lab, Vokram Group(Vokram集团AI代理实验室);Beijing University of Technology(北京理工大学);Zheng Zhou University of Light Industry(郑州轻工业大学)
AffectMind通过主动知识 grounding 和情绪-意图对齐模型,提升营销对话中的情感一致性与说服效果。
2025-12-20 cs.AI cs.CL cs.LG
Asking Multimodal Clarifying Questions in Mixed-Initiative Conversational Search
University of Copenhagen(哥本哈根大学);University of Amsterdam(阿姆斯特丹大学);The Chinese University of Hong Kong(香港中文大学)
本文提出在混合主动会话搜索中提出多模态澄清问题的新任务,构建了Melon数据集并提出Marto模型,通过添加图像使检索性能提升达90%。
2024-02-12 cs.CL cs.CV
Pre-Training Multimodal Hallucination Detectors with Corrupted Grounding Data
Scale AI
本文提出将多模态幻觉检测建模为序列标注任务,并通过生成损坏的定位数据进行预训练,以提升模型微调时的样本效率和幻觉定位能力。
2024-08-30 cs.CL cs.CV
ReGround: Grounding Reviewer Comments in Multimodal Evidence
TU Darmstadt(达姆施塔特工业大学);Monash University(莫纳什大学)
针对多模态长文档中审稿人评论难以锚定到证据的问题,提出ReGround数据集,将锚定视为检索任务,发现全文检索效果差、证据类型推断是瓶颈,多模态证据提供互补信号。
2026-09-11 cs.CL cs.IR
How Reliable Are Multimodal Signals of Conversational State? Evidence from Remote Dyadic Collaborative Tasks
Colby College(科尔比学院)
研究探讨从多模态行为测量对话状态的特征可靠性,提出三维评估框架用于视频会议二元对话特征评估,发现语言特征预测佳但跨任务通用性差,声学可靠性受说话者身份影响,交互特征是唯一可靠信号,强调相关评估对对话系统特征选择的重要性。
2026-07-21 cs.CL
Empathy Through Multimodality in Conversational Interfaces
University of California, Irvine(加利福尼亚大学欧文分校);University of Turku(图尔库大学)
本文基于 openCHA 构建多模态对话式健康智能体,通过情绪线索生成共情回应,并在多种情绪语调下验证其规划稳定性与人类评价一致性。
2024-05-08 cs.CL
Multimodal Transformer Models for Turn-taking Prediction: Effects on Conversational Dynamics of Human-Agent Interaction during Cooperative Gameplay
Hanyang University(汉阳大学);DePaul University(德保罗大学)
本研究提出融合多模态信息的跨模态Transformer话轮转换预测模型,在合作游戏场景的用户研究中验证其可提升人机对话流畅自然度,维持平衡会话动态。
2025-02-05 cs.AI cs.CL cs.HC
Beyond Words: Multimodal LLM Knows When to Speak
Department of Computer Science, Stony Brook University(石溪大学计算机科学系);Atmee AI
本文提出了一种多模态策略,通过同步视频、音频和文本线索提高对话中的响应时机意识,从而提升大语言模型在对话中的响应准确性。
2026-05-20 cs.AI cs.CL cs.CV
Towards Visual Text Grounding of Multimodal Large Language Model
Adobe Research(Adobe研究院);University of Maryland(马里兰大学);University at Buffalo(布法罗大学)
针对多模态大语言模型在文档等文本丰富图像上视觉文本定位能力不足的问题,提出TRIG任务及数据集,并基于指令微调和高效嵌入方法提升其定位与空间推理能力。
2025-09-23 cs.AI cs.CL cs.CV
Kosmos-2: Grounding Multimodal Large Language Models to the World
Microsoft Research(微软研究院)
本文提出 Kosmos-2 多模态大语言模型,通过 Markdown 链接形式和 GrIT 数据实现文本与视觉对象的锚定,并在多类 grounding、指代及语言任务上验证其能力。
2023-07-13 cs.CL cs.CV
AgentMaster: A Multi-Agent Conversational Framework Using A2A and MCP Protocols for Multimodal Information Retrieval and Analysis
Stanford University(斯坦福大学);George Mason University(乔治·马歇尔大学)
AgentMaster提出一个同时集成A2A和MCP协议的多智能体框架,通过统一会话界面支持多模态信息检索、问答和图像分析,实验验证了其在智能体协调、任务分配和动态路由方面的有效性。
2025-09-19 cs.AI cs.CL cs.IR
ExpVG: Investigating the Design Space of Visual Grounding in Multimodal Large Language Model
University of Illinois Chicago(伊利诺伊大学香槟分校);Sony AI(索尼人工智能)
针对多模态大语言模型(MLLMs)视觉定位(VG)任务中设计选择缺乏系统验证的问题,本文以LLaVA-1.5为基础,全面研究影响VG性能的设计选择,优化模型并在RefCOCO系列数据集上取得显著提升。
2025-08-19 cs.AI cs.CL cs.CV
Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司)
Groma通过局部视觉标记化机制,将图像分解为区域标记并整合到指令与响应中,实现区域描述和视觉定位,在基准测试中优于依赖外部模块的MLLM。
2024-04-19 cs.AI cs.CL cs.CV