Can Knowledge Editing Really Correct Hallucinations?
Emory University（埃默里大学）；Illinois Institute of Technology（伊利诺伊理工大学）；Cisco Research（思科研究院）
本文提出HalluEditBench基准，通过构建涵盖9领域26主题超6000幻觉的大规模数据集，从有效性、泛化性等五维度全面评估知识编辑方法纠正LLMs幻觉的真实能力，揭示其潜力与局限。
2025-03-03 cs.CL
Are LLMs Really Not Knowledgeable? Mining the Submerged Knowledge in LLMs' Memory
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）；University of California, Merced（加州大学默塞德分校）；The University of Queensland（昆士兰大学）
本文研究LLMs在问答任务中保留潜藏知识的现象，提出Hits@k指标评估潜在知识保留，发现LLMs实际知识量远超标准QA准确率，揭示提示策略对正确答案的抑制效应。
2026-01-28 cs.CL
Do LLMs Really Think Step-by-step In Implicit Reasoning?
Tsinghua University（清华大学）
本研究针对隐式思维链是否等同于显式思维链的疑问，通过探测模型隐藏状态发现：提示驱动的隐式CoT多依赖经验而非逐步推理，训练驱动的则会计算中间步骤，且两者效果都受问题格式影响。
2025-01-16 cs.AI cs.CL
Measuring and Mitigating Constraint Violations of In-Context Learning for Utterance-to-API Semantic Parsing
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；AWS AI Labs（亚马逊云服务人工智能实验室）
本研究针对LLM在话语到API语义解析中的约束违规问题，定义了细粒度指标进行分析，并提出SRD和API-CD两种缓解策略，有效提升了生成质量但需权衡复杂性与延迟。
2023-05-24 cs.AI cs.CL
Do LLMs Really Adapt to Domains? An Ontology Learning Perspective
University of Mannheim（曼海姆大学）；Bosch Center for AI（博世人工智能中心）
本文通过使用WordNet合成平行语料库进行受控实验，探究LLM在领域适应中是真正进行语义推理还是仅依赖词汇模式，发现现成LLM倾向利用词义而非推理，但微调能显著提升其在未见领域术语上的本体学习性能。
2024-07-29 cs.AI cs.CL
How Many Parameters Does Your Task Really Need? Task Specific Pruning with LLM-Sieve
Microsoft（微软）
针对资源受限场景下LLM用于窄任务的参数冗余问题，提出LLM-Sieve任务特定剪枝框架，通过输出对齐非正交投影和遗传算法自适应剪枝，可在极小精度损失下大幅剪枝权重，还能揭示知识分布并兼容现有高效部署技术。
2025-10-04 cs.AI cs.CL cs.LG
Are Intermediate Layers and Labels Really Necessary? A General Language Model Distillation Method
Anhui University（安徽大学）；Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
针对现有知识蒸馏依赖中间层、金标且忽略词表参数的问题，提出无需中间层和金标、含词表压缩的通用语言模型蒸馏方法，在SuperGLUE上超越25种SOTA方法，平均得分高3%。
2023-06-11 cs.AI cs.CL
Natural Language Decomposition and Interpretation of Complex Utterances
Microsoft Semantic Machines（微软语义机器）
提出基于分层自然语言分解与解释的方法，利用预训练语言模型将复杂话语拆分为简单步骤并逐步解释，在几乎无需复杂训练数据的情况下有效解析复杂意图，并发布了新基准DeCU。
2024-01-08 cs.CL
Are Large Language Models Really Bias-Free? Jailbreak Prompts for Assessing Adversarial Robustness to Bias Elicitation
University of Calabria（卡拉布里亚大学）
本研究探究最新大型语言模型（LLMs）中的固有偏见，测试其对偏见诱导越狱提示的对抗性鲁棒性，通过实验证实LLMs仍可被操纵生成偏见响应，强调需增强缓解技术以提升AI公平性与可靠性。
2025-02-13 cs.AI cs.CL
Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness
针对现有大语言模型遗忘评估忽略知识隐式关联、易高估效果的问题，提出带置信度的知识图谱表征与LLM推理评判的评估框架，新基准实验验证其更严谨真实。
2025-10-22 cs.CL cs.LG
Structural Pre-training for Dialogue Comprehension
Shanghai Jiao Tong University（上海交通大学）
预训练的语言模型（PrLM）表现出优越的性能，因为它们具有从自我监督的预训练中学习通用语言表示的强大能力。然而，即使在强大的PrLM的帮助下，它仍然是具有挑战性的有效地捕捉任务相关的知识，从对话文本，丰富的说话人意识的话语之间的相关性。在这项工作中，我们提出了SPIDER，结构预训练的对话阅读器，捕捉对话的独特功能。为了模拟类似对话的特征，除了原始的LM目标之外，我们还提出了两个训练目标：1）话语顺序恢复，预测对话上下文中置换话语的顺序; 2）句子主干正则化，正则化模型以提高总结的主谓宾三元组的事实正确性。在广泛使用的对话基准上的实验结果验证了新引入的自监督任务的有效性。
2021-05-23 cs.AI cs.CL
ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking about
Illinois Institute of Technology（伊利诺伊理工学院）
本研究通过BERT相似度和NLI标签评估ChatGPT在问答语料库上的表现，比较GPT-3和GPT-4的整体性能，并识别其错误回答以揭示模型易错领域。
2023-04-06 cs.CL cs.IR cs.LG
Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs
Texas A&M University（得克萨斯农工大学）；National Taiwan University（台湾大学）；Columbia University（哥伦比亚大学）
本研究指出多模态大语言模型机器遗忘评估存在三类陷阱，推出GEMMU基准并重新评估代表性方法，发现泛化差距，为多模态机器遗忘评估提供指导。
2026-10-20 cs.CL
Do We Really Need Multimodal Emotion Language Models Larger Than 1B Parameters?
University of Glasgow（格拉斯哥大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；School of Artificial Intelligence, Shandong University（山东大学人工智能学院）
质疑多模态情感识别需参数超10亿模型的假设，提出轻量级MER框架Light-MER，通过知识蒸馏及两种优化策略，在九个基准数据集实验中实现最优性能并显著提高推理效率，凸显小模型潜力。
2026-08-05 cs.AI cs.CL cs.CV
Soft Inductive Bias Approach via Explicit Reasoning Perspectives in Inappropriate Utterance Detection Using Large Language Models
Gyeongsang National University（庆尚国立大学）
本研究提出一种通过显式推理视角的软归纳偏见方法，用于提升大型语言模型在不当言论检测中的准确性和一致性。
2025-12-09 cs.CL
Post-hoc Utterance Refining Method by Entity Mining for Faithful Knowledge Grounded Conversations
Korea University（高丽大学）
本文提出事后精炼方法REM，通过挖掘来源知识中的关键实体来修正知识接地对话中的实体级幻觉，提升生成回复的忠实度与质量。
2024-06-16 cs.AI cs.CL
End-to-End Conversational Search for Online Shopping with Utterance Transfer
Shanghai Jiao Tong University（上海交通大学）；Amazon.com, Inc.（亚马逊公司）
成功的会话搜索系统可以为在线购物客户提供自然、自适应和交互式的购物体验。然而，从头开始构建这样的系统面临着现实的挑战，从不完善的产品模式/知识和缺乏训练对话data.In这项工作中，我们首先提出了ConvSearch，一个端到端的会话搜索系统，深入结合了对话系统与搜索。它利用文本配置文件来检索产品，与单独使用产品属性相比，它对不完善的产品模式/知识更鲁棒。然后，我们提出了一种话语传输方法，通过使用现有的对话从其他领域，并利用电子商务零售商的搜索行为数据生成对话话语，以解决缺乏数据的挑战。通过话语转移，我们引入了一个新的在线购物会话搜索数据集。实验表明，我们的话语转移方法可以显着提高训练对话数据的可用性，而无需众包，会话搜索系统显着优于最佳测试基线。
2021-09-12 cs.AI cs.CL
What do we Really Know about State of the Art NER?
命名实体识别（NER）是一个研究得很好的自然语言处理任务，并广泛应用于现实世界的自然语言处理场景中。净入学率研究通常侧重于创造新的净入学率培训方式，相对较少强调资源和评估。此外，在标准数据集上训练的最先进的（SOTA）NER模型通常只报告一个性能指标（F分数），我们并不真正知道它们对不同实体类型和文本类型的表现如何，或者它们对新的、看不见的实体的鲁棒性如何。在本文中，我们使用一个流行的数据集，考虑到各种文本类型和来源构成的数据集在手的NER进行广泛的评估。此外，我们通过对原始测试集的小扰动生成了六个新的对抗性测试集，在保留上下文的同时替换了选定的实体。我们还在随机生成的训练/开发/测试分割上对我们的模型进行训练和测试，然后进行一个实验，在该实验中，模型在一组选定的流派上进行训练，但在训练中没有看到测试的流派。这些综合评价策略使用三个SOTA NER模型进行。基于我们的研究结果，我们建议一些有用的报告实践NER研究人员，可以帮助在提供一个更好的理解SOTA模型的性能在未来。
2022-05-04 cs.AI cs.CL
Filling Conversation Ellipsis for Better Social Dialog Understanding
Zhejiang University（浙江大学）；University of California, Davis（加州大学戴维斯分校）
省略现象普遍存在于社会会话中。省略增加了一系列下游语言理解任务的难度，例如对话行为预测和语义角色标注。我们建议通过自动完成句子来解决省略，以提高语言理解。然而，自动省略补全可能导致输出不能准确地反映用户意图。为了解决这个问题，我们提出了一种方法，该方法同时考虑了具有省略的原始话语和对话行为和语义角色标注任务中自动完成的话语。具体来说，我们首先完成用户话语解决省略使用端到端指针网络模型。然后，我们训练一个预测模型，使用包含省略的话语和我们自动完成的话语。最后，我们结合这两个话语的预测结果，使用一个选择模型，是由专家知识指导。在社交会话中，我们的方法在F1得分上分别提高了1.3%和2.5%的对话行为预测和语义角色标注。我们还提出了一个开放域的人机对话数据集手动完成用户的话语和注释后，手动完成的语义角色标注。
2019-11-25 cs.AI cs.CL
Improving Dialogue Act Classification for Spontaneous Arabic Speech and Instant Messages at Utterance Level
Jazan University（吉赞大学）；Cairo University（开罗大学）；Institute of Statistical Studies and Research（统计研究与研究所）
对话行为的建模和自动检测是理解自发语音和即时消息的重要一步。然而，从表面话语中推断出对话行为是很困难的，因为它高度依赖于话语的语境和说话者的语言知识，特别是在阿拉伯语方言中。本文提出了一个统计对话分析模型，采用多类层次结构识别话语的对话行为。该模型可以自动获取概率语篇知识的对话语料库收集和注释的多体裁埃及呼叫中心。使用支持向量机分类器进行了大量的实验，以评估系统的性能。在平均F-测量分数为0.912的条件下获得的结果表明，所提出的方法适度提高了F-测量约20%。
2018-05-30 cs.CL
Towards Exploiting Background Knowledge for Building Conversation Systems
Indian Institute of Technology Madras（马德拉斯印度理工学院）
现有的对话数据集包含一系列的话语和响应，而没有任何明确的背景知识与它们相关联。这导致了模型的发展，这些模型将对话视为序列到序列生成任务（即，给定话语序列生成响应序列）。这不仅是一种过于简单化的对话观点，而且与人类严重依赖关于主题的背景知识（而不是简单地依赖先前的话语序列）的对话方式截然不同。例如，人类通常（不自觉地）产生从他们已经阅读的关于主题的背景文章复制或适当修改的话语。为了促进这种模仿人类对话过程的自然对话模型的开发，我们创建了一个包含电影聊天的新数据集，其中每个响应都是通过复制和/或修改来自非结构化背景知识（例如关于电影的情节，评论和评论）的句子来显式生成的。我们使用三种不同的模型在该数据集（来自9 K对话的90 K话语）上建立基线结果：（i）基于纯生成的模型，其忽略背景知识;（ii）基于生成的模型，其在需要时学习从背景知识复制信息;以及（iii）基于跨度预测的模型，其预测背景知识中的适当响应跨度。
2018-09-21 cs.CL
Locate-and-Focus: Enhancing Terminology Translation in Speech Language Models
Department of Digital Media Technology, Xiamen University（厦门大学数字媒体技术系）；Tongyi Lab（通义实验室）；Soochow University（苏州大学）；Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism, China（福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室（厦门大学），中华人民共和国文化和旅游部，中国）
针对直接语音翻译中术语翻译易受噪声干扰、翻译知识利用不足的问题，提出 Locate-and-Focus 方法，通过定位术语语音片段并跨模态关联知识，提升术语翻译成功率且保持通用性能。
2025-07-24 cs.AI cs.CL
There Once Was a Really Bad Poet, It Was Automated but You Didn't Know It
Duke University（杜克大学）
利默里克一代体现了诗歌一代面临的一些最困难的挑战，因为诗歌必须只用五行来讲述一个故事，并且对押韵、重读和韵律有限制。为了解决这些挑战，我们引入LimGen，一种新颖的，完全自动化的打油诗生成系统，其性能优于最先进的基于神经网络的诗歌模型，以及先前的基于规则的诗歌模型。LimGen由三个重要部分组成：自适应多模板约束算法，它将我们的搜索限制在现实诗歌的空间，多模板束搜索算法，它可以有效地搜索整个空间，以及概率故事情节算法，它可以提供与用户提供的提示词相关的连贯故事情节。由此产生的打油诗满足诗意的限制，并有主题连贯的故事情节，这有时甚至是有趣的（当我们幸运）。
2021-03-05 cs.CL
Multi-turn Dialogue Reading Comprehension with Pivot Turns and Knowledge
Shanghai Jiao Tong University（上海交通大学）
多轮对话阅读理解旨在教机器阅读对话上下文，并解决回答选择和回答问题等任务。主要的挑战涉及嘈杂的历史背景和特殊的常识性知识的先决条件，是看不见的给定的材料。现有的工作主要集中在上下文和响应匹配的方法。因此，这项工作首次尝试解决上述两个挑战，提取实质上重要的话轮作为枢纽话语，并利用外部知识，以提高表示的上下文。在基于transformer的语言模型基础上，提出了一种面向文本的深度选择模型（PoDS）。具体地说，我们的模型首先根据与候选响应或问题的语义匹配从会话历史中挑选出枢轴话语，如果有的话。此外，从知识图谱中提取与对话上下文相关的知识项作为外部知识。然后，枢轴话语和外部知识与精心设计的机制相结合，用于细化预测。四个对话理解基准任务的实验结果表明，我们提出的模型取得了很大的改善基线。一系列的实证比较，以显示我们的选择策略和额外的知识注入如何影响的结果。
2021-02-10 cs.AI cs.CL
Fuzzy Classification of Multi-intent Utterances
Purdue University（普渡大学）
当前的意图分类方法将二元意图类成员分配给自然语言话语，而忽略了语言中的固有相似性和意图类边界中的对应相似性。在这项工作中，我们提出了一个计划，以解决单意图以及多意图自然语言话语的模糊性，通过创建模糊化的意图类的程度成员。据我们所知，这是第一个工作，以解决和量化的影响，模糊性质的自然语言话语的意图类别成员。此外，我们的方法克服了稀疏的多意图话语数据训练分类模型，通过使用一个小的数据库的单意图话语生成类成员的多意图话语。我们评估我们的方法在两个面向任务的对话数据集，在不同的模糊成员生成技术和近似字符串相似性的措施。我们的研究结果揭示了不同意图的话语之间的词汇重叠的影响，以及潜在的数据分布，意图成员的模糊化。此外，我们评估我们的方法的准确性，通过比较去模糊化的成员，他们的二进制同行，在不同的组合的隶属函数和字符串相似性措施。
2021-04-22 cs.CL
Gaining Insights into Unrecognized User Utterances in Task-Oriented Dialog Systems
IBM Research（IBM研究院）
快速增长的市场需求的自动对话代理能够面向目标的行为，导致许多技术行业的领导者投入大量精力到面向任务的对话系统。这些系统的成功高度依赖于其意图识别的准确性-推断用户请求的目标或含义并将其映射到已知意图之一以进行进一步处理的过程。因此，深入了解未识别的话语（系统无法将用户请求归因于已知意图）是持续改进面向目标的对话系统的关键过程。我们提出了一个端到端的管道处理未识别的用户话语，部署在现实世界中，商业任务导向的对话系统，包括专门定制的聚类算法，一种新的方法来集群代表提取，和集群命名。我们评估了所提出的组件，展示了它们在分析未识别用户请求方面的优势。
2022-10-24 cs.CL
Automatic Discovery of Novel Intents & Domains from Text Utterances
Ohio State University（俄亥俄州立大学）；Amazon Alexa（亚马逊Alexa）
自然语言理解的主要任务之一是识别用户的口语和书面语的意图和领域。大多数现有的研究将其制定为具有封闭世界假设的监督分类问题，即要识别的域或意图是预先定义或已知的。然而，现实世界的应用程序越来越多地遇到动态的，快速发展的环境，新出现的意图和领域，在模型训练期间没有任何信息是已知的。我们提出了一个新的框架，ADVIN，自动发现新的领域和意图，从大量的未标记的数据。我们首先采用一个开放的分类模型，以确定所有的话语可能包括一个新的意图。接下来，我们建立一个知识转移组件与成对的边际损失函数。它学习有区别的深层特征，将话语分组在一起，并以无监督的方式发现其中的多个潜在意图类别。最后，我们将相互关联的意图分层链接到域中，形成意图域分类。ADVIN在三个基准数据集上的表现明显优于基线，以及来自商业语音代理的真实用户话语。
2020-05-22 cs.CL cs.IR cs.SD
Open-domain Topic Identification of Out-of-domain Utterances using Wikipedia
University of Southampton（南安普顿大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Toshiba Research Europe（东芝欧洲研究公司）；Huawei Technologies（华为技术有限公司）；Toshiba Europe Limited（东芝欧洲有限公司）
口语对话系统（SDS）的用户期望跨广泛的不同主题的高质量交互。然而，实现SDS能够响应每一个可以想象的用户话语在一个信息的方式是一个具有挑战性的问题。多域SDS必须识别和处理域外（OOD）话语，以生成适当的响应，因为用户并不总是事先知道SDS可以处理什么域。为了解决这个问题，我们扩展了目前的国家的最先进的多域SDS估计主题的OOD话语使用外部知识表示从维基百科。在真实的人与人对话上的实验结果表明，与基本模型相比，我们的方法不会降低域预测性能。但更重要的是，与基准测试相比，我们的联合训练对最近的维基百科文章的预测准确率高达30%左右。
2021-01-26 cs.CL cs.LG
Effective Incorporation of Speaker Information in Utterance Encoding in Dialog
Graduate School of Informatics（信息学研究生院）；Kyoto University（京都大学）
在对话研究中，我们经常使用分层编码器对对话进行编码，其中每个话语被转换为话语向量，然后话语向量序列被转换为对话向量。由于知道谁产生了哪个话语对于理解对话是必不可少的，因此传统方法尝试将说话者标签整合到话语向量中。我们发现该方法在某些情况下，扬声器注释是不一致的不同的对话。针对这一问题，提出了一种相对说话人建模方法.对对话行为识别和响应生成的实验结果表明，该方法具有更好的一致性。
2019-07-12 cs.CL cs.LG cs.SD
Discovering Dialog Structure Graph for Open-Domain Dialog Generation
Harbin Institute of Technology（哈尔滨工业大学）；Baidu, Inc.（百度公司）
从人-人对话中学习可解释的对话结构产生对对话结构的基本见解，并且还提供背景知识以促进对话生成。在本文中，我们进行无监督的发现对话结构的聊天语料库，然后利用它来促进下游系统中的对话生成。为此，我们提出了一个离散变分自动编码器与图神经网络（DVAE-GNN），发现一个统一的人类可读的对话结构。该结构是一个两层有向图，包含会话级语义在上层顶点，话语级语义在下层顶点，和这些语义顶点之间的边缘。特别是，我们将GNN集成到DVAE中，以微调话语级语义，从而更有效地识别会话级语义顶点。此外，为了减轻发现大量话语级语义的困难，我们设计了一种耦合机制，将每个话语级语义顶点与一个不同的短语绑定，以提供先验语义。在两个基准语料库上的实验结果证实了DVAE-GNN能够发现有意义的对话结构，并且使用对话结构图作为背景知识可以促进基于图的会话系统进行连贯的多轮对话生成。
2020-12-31 cs.AI cs.CL
Policy-driven Knowledge Selection and Response Generation for Document-grounded Dialogue
Harbin Institute of Technology（哈尔滨工业大学）
本文提出策略驱动的文档基础对话框架，通过话语功能和话题转移意图两类信号辅助知识选择与回复生成，在三个公开基准上取得最优性能。
2024-10-21 cs.CL
Pseudo Labeling and Negative Feedback Learning for Large-scale Multi-label Domain Classification
Amazon Alexa AI（亚马逊Alexa AI）
在大规模领域分类中，一个话语可以由具有重叠能力的多个领域处理。然而，在实践中，仅为每个训练话语提供有限数量的地面实况域，而知道尽可能多的正确目标标签有助于提高模型性能。在本文中，给定每个训练话语的一个地面真域，我们将始终以最高置信度预测的域作为训练的附加伪标签。为了减少由于不正确的伪标签而导致的预测错误，我们利用具有负系统响应的话语来降低错误预测域的置信度。从智能会话系统的用户话语评估，我们表明，所提出的方法显着提高域分类的性能与假设重排序。
2020-03-08 cs.CL
Picard understanding Darmok: A Dataset and Model for Metaphor-Rich Translation in a Constructed Language
University of Arizona（亚利桑那大学）；University of Maryland（马里兰大学）
塔玛丽安语是在《星际迷航》中出现的一种虚构语言，它通过隐喻性的引用来传达意义，比如“达莫克和贾拉德在塔纳格拉”而不是“我们应该一起工作”。这项工作汇集了一个塔玛里亚语-英语词典的话语从原来的插曲和几个后续小说，并使用它来构建一个平行语料库的456英语塔玛里亚语的话语。一个机器翻译系统的基础上的大语言模型（T5）的训练使用这个平行语料库，并显示出产生76%的准确性时，从英语翻译到Tamarian对已知的话语。
2022-10-14 cs.CL
Sentence Embedder Guided Utterance Encoder (SEGUE) for Spoken Language Understanding
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出 SEGUE 方法，利用配对音频-文本数据集将文本句子嵌入器知识蒸馏到 wav2vec 2.0 进行预训练，有效提升了 SLU 任务在微调、全数据及少样本迁移下的表现。
2023-05-20 cs.AI cs.CL cs.SD
Speaking the Language of Your Listener: Audience-Aware Adaptation via Plug-and-Play Theory of Mind
University of Amsterdam（阿姆斯特丹大学）；Sapienza University of Rome（罗马第一大学）
本文提出一种即插即用的模拟模块，使说话者能从听者视角实时调整指称表达，无需微调语言模型即可提升交际成功率。
2023-05-31 cs.AI cs.CL cs.CV
DialogAct2Vec: Towards End-to-End Dialogue Agent by Multi-Task Representation Learning
IBM Research China（IBM中国研究院）；Beijing Institute of Technology（北京理工大学）
在端到端对话建模和代理学习中，重要的是（1）有效地从数据中学习知识，以及（2）充分利用异构信息，例如，对话行为流和话语。然而，大多数现有的方法不能同时满足这两个条件。例如，在系统设计过程中，规则定义和数据标记需要大量的人工工作，而序列到序列方法只能对单侧话语信息进行建模。本文提出了一种基于多任务表示学习的端到端联合模型DialogAct2Vec，该模型通过从数据中自动学习知识型低维嵌入，从异构信息中获取知识。该模型在系统设计中几乎不需要人工干预，我们发现多任务学习可以大大提高表示学习的有效性。在餐厅预订的公共数据集上进行的大量实验表明，所提出的方法在行为预测任务和话语预测任务上都比最先进的基线有了显着的改进。
2019-11-11 cs.CL
Text is no more Enough! A Benchmark for Profile-based Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
当前对口语语言理解（SLU）的研究严重限于一个简单的设置：基于纯文本的SLU，其将用户话语作为输入并生成其相应的语义框架（例如，意图和插槽）。不幸的是，这样一个简单的设置可能无法工作在复杂的现实世界的情况下，当话语是语义模糊的，这是不能实现的基于文本的SLU模型。在本文中，我们首先介绍了一个新的和重要的任务，基于轮廓的口语语言理解（ProSLU），这需要模型，不仅依赖于纯文本，而且还支持轮廓信息，以预测正确的意图和槽。为此，我们进一步介绍了一个大规模的人类注释的中文数据集，超过5 K的话语和相应的支持档案信息（知识图谱（KG），用户简档（UP），上下文感知（CA））。此外，我们评估了几个国家的最先进的基线模型，并探讨了多层次的知识适配器，以有效地将配置文件信息。实验结果表明，现有的基于文本的SLU模型在语义模糊的情况下都不能正常工作，而我们提出的框架能够有效地融合语义级意图检测和标记级槽填充的支持信息.最后，总结了当前的主要挑战，并对未来的研究方向提出了新的观点，希望能对今后的研究起到一定的促进作用。
2022-01-12 cs.CL
Modeling Multiple Support Strategies within a Single Turn for Emotional Support Conversations
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Qwen DianJin Team, Alibaba Cloud Computing（阿里云Qwen团队）；Xiamen University（厦门大学）
本文提出在单轮中生成多策略回应的方法，通过All-in-One和One-by-One生成策略，结合强化学习提升策略选择和回应生成，实验证明多策略生成能提高情感支持质量。
2026-04-20 cs.CL
Multi-view Dimensionality Reduction for Dialect Identification of Arabic Broadcast Speech
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）；Centre for Speech Technology Research（语音技术研究中心）；University of Edinburgh（爱丁堡大学）
在这项工作中，我们提出了一个新的向量空间模型（VSM）的语音话语的任务口语方言识别。通常，DID系统是使用从语音话语中提取的两组特征来构建的;声学和语音。声学和语音特征用于形成语音话语的矢量表示，以尝试对关于所讲方言的信息进行编码。由此形成的声定向和声学VSM用于DID的任务。本文的目的是构建一个单一的VSM，编码语音和声学VSM的口语方言的信息。鉴于这两个视图的数据，我们利用一个众所周知的多视图降维技术，称为典型相关分析（CCA），形成一个单一的矢量表示为每个语音话语，编码方言的具体区别信息从语音和声学表示。我们将这种方法称为特征空间组合方法，并表明我们基于CCA的特征向量表示在阿拉伯语DID任务上的表现优于单独使用的语音和声学特征表示。我们还提出了一个可行的替代模型为基础的组合方法，其中两个DID系统建立使用两个VSM（Phontactic和声学）和最终的预测分数是从两个系统的输出分数组合的特征空间组合的方法。
2016-09-19 cs.CL
Multi-modal Anchor Gated Transformer with Knowledge Distillation for Emotion Recognition in Conversation
School of Computer Science and Technology, China University of Mining and Technology（计算机科学与技术学院，中国矿业大学）；Mine Digitization Engineering Research Center of Ministry of Education, China University of Mining and Technology（教育部矿山数字化工程研究中心，中国矿业大学）
针对对话情感识别中模态贡献差异与帧级对齐复杂性问题，提出MAGTKD模型，利用提示学习增强文本表示、知识蒸馏强化弱模态，并通过多模态锚点门控Transformer整合话语级特征，在IEMOCAP和MELD数据集上达到SOTA。
2025-06-23 cs.CL cs.LG
Learning to Select Knowledge for Response Generation in Dialog Systems
Baidu Inc.（百度公司）；The Hong Kong University of Science and Technology（香港科技大学）
用于智能对话系统的端到端神经模型遭受生成无信息响应的问题。提出了各种方法，通过利用外部知识来提供更多的信息。然而，很少有以前的工作集中在学习过程中选择适当的知识。知识的选择不当会阻碍模型学习以充分利用知识。受此启发，我们提出了一个端到端的神经模型，它采用了一种新的知识选择机制，其中先验和后验分布的知识被用来促进知识选择。具体来说，知识的后验分布是从话语和响应中推断出来的，它确保了在训练过程中对知识的适当选择。同时，先验分布，这是推断出的话语，是用来近似的后验分布，以便在推理过程中，即使没有反应，也可以选择适当的知识。与以前的工作相比，我们的模型可以更好地将适当的知识在响应生成。自动和人工评估的实验验证了我们的模型优于以前的基线。
2019-05-21 cs.CL
Do Vision-Language Models Really Understand Visual Language?
本文通过综合测试套件评估大型视觉语言模型（LVLMs）的图表理解能力，发现其关系理解有限，优秀表现多依赖背景知识捷径，真正的图表理解能力不足。
2025-05-25 cs.CL cs.CV
Zero Resource Code-switched Speech Benchmark Using Speech Utterance Pairs For Multiple Spoken Languages
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）；University of Toronto（多伦多大学）
提出零资源语码转换语音基准，通过离散单元语言建模评估自监督编码器，发现多语种预训练（如XLSR）优于单语种，但仍有提升空间。
2024-03-18 cs.CL cs.SD eess.AS
A computational model of early language acquisition from audiovisual experiences of young infants
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
早期的研究表明，人类婴儿可能会使用语音和非语言多模态输入之间的统计依赖关系来引导他们的语言学习，然后才知道如何从连续语音中分割单词。然而，这一假设在现实世界的婴儿经验方面的可行性仍然不清楚。本文提出了一个更现实的测试多模态自举假设的一步，通过描述一个神经网络模型，可以学习单词段和它们的含义，从参考模糊的声音输入。该模型进行了测试记录的真实婴儿护理人员的互动，使用话语水平标签的具体视觉对象，由婴儿出席时，护理人员发言的话语包含的对象的名称，并使用随机的视觉标签的话语在没有注意。结果表明，词汇知识的开端确实可能出现在个别模糊的学习场景。此外，网络的隐藏层显示出逐渐增加的对语音类别的选择性，作为层深度的函数，类似于以监督方式训练用于电话识别的模型。
2019-06-24 cs.CL cs.LG cs.SD
