Improving Question Answering over Incomplete KBs with Knowledge-Aware Reader
University of California, Santa Barbara(加州大学圣巴巴拉分校);IBM Research(IBM研究院)
我们提出了一个新的端到端的问答模型,它学习从一个不完整的知识库(KB)和一组检索到的文本片段聚合答案的证据。在结构化知识库更容易查询且获取的知识有助于理解非结构化文本的假设下,该模型首先从问题相关的知识库子图中积累实体知识,然后在潜在空间中重构问题,并利用积累的实体知识阅读文本。知识库和文本中的证据最终被聚合以预测答案。在广泛使用的KBQA基准WebQSP上,我们的模型在不同程度的KB不完整性的设置上实现了一致的改进。
2019-05-31 cs.AI cs.CL
Link the World: Improving Open-domain Conversation with Dynamic Spatiotemporal-aware Knowledge
Baidu Inc.(百度公司)
让聊天机器人像人类一样在对话中感知世界是一个至关重要的挑战,世界可能包含动态知识和时空状态。最近的一些进展试图将对话系统链接到静态知识库或搜索引擎,但它们不包含对话所需的所有世界信息。相反,我们提出了一种新的方法来改善对话系统使用时空感知的动态知识。我们利用服务信息作为对话系统连接世界的一种方式。该系统根据对话上下文和时空状态主动构建请求,获取服务信息,然后生成感知世界的响应。为了实现这种方法,我们收集了DuSinc,这是一个开放领域的人与人对话数据集,参与者可以访问该服务以获取对话响应所需的信息。通过自动评估和人工评估,我们发现服务信息显著提高了对话系统的一致性、信息性、真实性和可理解性,使其表现得更像人类。与没有时空感知动态知识的预训练模型相比,整体会话级别得分提高了60.87%。收集数据集和方法将是开源的。
2022-09-05 cs.AI cs.CL
SI-FACT: Mitigating Knowledge Conflict via Self-Improving Faithfulness-Aware Contrastive Tuning
针对LLM因知识冲突生成不忠实响应的问题,提出自我改进框架SI-FACT,通过自动生成对比学习数据并应用对比学习训练,显著提升了模型上下文召回率并降低对内部记忆的依赖。
2025-09-12 cs.AI cs.CL
Improving Isochronous Machine Translation with Target Factors and Auxiliary Counters
AWS AI Labs(AWS人工智能实验室);School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
针对自动配音中的等时语音翻译问题,该研究在 Transformer 模型中引入目标因子和辅助计数器,联合预测时长与音素序列并跟踪时间信息,有效提升了翻译质量与等时性。
2023-05-22 cs.CL cs.SD eess.AS
Improving Dialogue Discourse Parsing through Discourse-aware Utterance Clarification
Soochow University(苏州大学)
本文提出话语感知澄清模块和贡献感知偏好优化,解决对话话语解析中的歧义问题,在STAC和Molweni数据集上显著优于现有最先进方法。
2025-06-18 cs.AI cs.CL
SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data
Sungkyunkwan University(成均馆大学);SK Telecom(SK电讯)
针对预训练语言模型微调时的虚假关联问题,提出SALAD方法,通过标记生成结构感知正样本、LLM生成反事实负样本用于对比学习,提升了模型在情感分类等任务中对分布外数据的鲁棒性与泛化性。
2025-04-16 cs.AI cs.CL
Entropy-Aware Token Rejection for Improving Speculative Decoding
School of Economics and Management(经济管理学院)
基于熵的推测解码通过动态熵惩罚提升大语言模型推理性能,实验表明其在多数情况下优于目标模型。
2026-09-01 cs.AI cs.CL
Understanding and Improving Knowledge Distillation for Quantization-Aware Training of Large Transformer Encoders
Hanyang University(汉阳大学)
知识蒸馏(KD)是模型压缩的一种常用方法,它利用教师传授的知识来增强轻量级模型的能力。特别地,KD已被用于Transformer编码器(如BERT)的量化感知训练(QAT)中,以利用降低精度的权重参数来提高学生模型的准确性。然而,很少有人知道哪种KD方法最适合Transformers的QAT。在这项工作中,我们提供了一个深入的分析机制KD的注意力恢复的量化大Transformers。特别是,我们发现,以前采用的MSE损失的注意力分数是不够的恢复自我注意力的信息。因此,我们提出了两种KD方法:注意力地图和注意力输出损失。此外,我们探讨了这两种损失的统一,以解决注意力地图和输出损失之间的任务依赖性偏好。在各种Transformer编码器模型上的实验结果表明,所提出的KD方法实现了最先进的精度与子2位权重量化的QAT。
2022-11-20 cs.AI cs.CL
Improving Large Language Model (LLM) fidelity through context-aware grounding: A systematic approach to reliability and veracity
AWS AI and Machine Learning(亚马逊云科技人工智能与机器学习)
本文提出一种上下文感知的 grounding 框架,通过显式表示情境、文化和伦理上下文并结合知识表示与推理技术,在保持高准确率的同时提升大语言模型的可靠性、公平性与伦理对齐。
2024-08-07 cs.AI cs.CL
Improving Synthetic Data Training for Contextual Biasing Models with a Keyword-Aware Cost Function
College of Computing and Data Science(计算与数据科学学院);College of Computing(计算学院)
针对上下文偏置模型在合成数据训练中的过拟合问题,提出关键词感知损失函数,增强TCPGen方法,将Whisper适配10小时合成数据后,词错误率从29.71%降至11.81%。
2025-09-11 cs.AI cs.CL
Teacher Intervention: Improving Convergence of Quantization Aware Training for Ultra-Low Precision Transformers
Hanyang University(汉阳大学);Seoul National University(首尔国立大学)
预训练的Transformer模型(如BERT)在广泛的应用中取得了巨大的成功,但代价是模型复杂性大幅增加。量化感知训练(QAT)是一种很有前途的方法,以降低实现成本和能源消耗。然而,由于不稳定的收敛,低于2位的积极量化会导致相当大的精度下降,特别是当下游数据集不丰富时。这项工作提出了一种积极主动的知识蒸馏方法,称为教师干预(TI)的快速收敛QAT的超低精度预先训练的Transformers。TI用来自教师的完整信号干预逐层信号传播,以消除传播的量化误差的干扰,平滑QAT的损失表面并加速收敛。此外,我们提出了一个渐进的干预机制,以稳定恢复的Transformer层的子部分从量化。所提出的计划,使QAT的快速收敛,提高模型的精度,而不管下游微调任务的不同特点。我们证明,TI一贯实现卓越的准确性与显着较低的微调迭代著名的Transformers的自然语言处理以及计算机视觉相比,国家的最先进的QAT方法。
2023-02-23 cs.AI cs.CL
Improving Context Aware Language Models
RNN语言模型适应性的提高导致预测的改进,使许多应用程序受益。然而,目前的方法没有充分利用RNN结构。我们发现,最广泛使用的适应方法(将上下文与递归层输入处的词嵌入连接起来)优于具有一些低成本改进的模型:隐藏层和输出层的适应。以及特征散列偏置项以捕获上下文特性。使用三个不同的语料库的语言建模和分类任务的实验证明了所提出的技术的优点。
2017-04-21 cs.CL
Improving Formality Style Transfer with Context-Aware Rule Injection
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
在大规模常规文本语料库上预训练的模型通常不能很好地用于语言风格与主流文本显著不同的用户生成的数据。在这里,我们提出了上下文感知的规则注入(CARI),一种创新的方法,正式的风格转移(FST)。CARI将多个规则注入到端到端基于BERT的编码器和解码器模型中。它学习根据上下文选择最佳规则。内在评估表明,CARI在FST基准数据集上实现了新的最高性能。我们的外部评估表明,CARI可以大大提高常规预训练模型在几个推文情感分析任务上的性能。
2021-06-01 cs.CL
VideoDubber: Machine Translation with Speech-Aware Length Control for Video Dubbing
Renmin University of China(中国人民大学)
本文提出VideoDubber机器翻译系统,通过直接建模每个token的语音时长来控制生成语音长度,在四个语言方向上验证了其优于基线的长度控制能力,并构建了电影真实测试集。
2023-12-05 cs.AI cs.CL cs.LG
Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization
EPFL(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
研究针对词元化中低资源语言词元化不合理问题,引入奇偶感知字节对编码,通过公平最大化规则平衡跨语言公平性与全局压缩,减少词元化不平等,对全局压缩和下游语言模型性能影响小。
2026-07-07 cs.AI cs.CL cs.LG
ConsistRM: Improving Generative Reward Models via Consistency-Aware Self-Training
Baidu Inc.(百度公司)
本文提出ConsistRM框架,通过一致性感知答案奖励和批评奖励提升生成奖励模型的稳定性与一致性,实验表明其在五个基准数据集上优于传统强化微调方法。
2026-04-20 cs.AI cs.CL cs.LG
EA$^2$E: Improving Consistency with Event Awareness for Document-Level Argument Extraction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
事件在文档中是相互关联的。受单义话语理论的启发,我们假设参与者倾向于在同一文档中的多个事件中扮演一致的角色。然而,最近的工作文档级事件参数提取模型的每个单独的事件隔离,因此导致提取的参数之间的不一致性,跨事件,这将进一步导致下游应用程序,如事件知识库人口,问答,和假设生成的差异。在这项工作中,我们制定了事件参数一致性的文件级设置下的事件-事件关系的约束。为了提高一致性,我们引入了事件感知的参数提取(EA $^2$ E)模型与增强的上下文进行训练和推理。在WIKIEVENTS和ACE 2005数据集上的实验结果表明,与基线方法相比,EA $^2$ E方法是有效的.
2022-05-30 cs.CL
Improving BERT with Syntax-aware Local Attention
Beihang University(北京航空航天大学);Tencent Cloud Xiaowei(腾讯云小微)
预训练的基于transformer的神经语言模型,如BERT,在各种NLP任务上取得了显着的效果。最近的工作表明,基于注意力的模型可以受益于对局部区域的更集中的注意力。它们大多将注意力范围限制在线性范围内,或局限于某些任务,如机器翻译和问答。在本文中,我们提出了一个句法感知的局部注意,其中的注意范围是限制的基础上的距离在句法结构。所提出的句法感知局部注意力可以与预训练的语言模型(例如BERT)集成,以使模型专注于句法相关的单词。我们在各种单句基准上进行实验,包括句子分类和序列标记任务。实验结果表明,一致的增益超过BERT的所有基准数据集。大量的研究表明,我们的模型取得了更好的性能,由于更集中的注意力在句法相关的词。
2021-05-24 cs.CL
TiCo: Time-Controllable Spoken Dialogue Model
MIT(麻省理工学院);NTU(国立台湾大学);NTU AI-CoRE(国立台湾大学AI-CoRE)
TiCo是一种能遵循时间约束指令生成可控时长语音响应的对话模型,通过引入时间标记器提升对时间的感知能力,有效减少响应时长误差。
2026-05-13 cs.AI cs.CL eess.AS
Improving Context-aware Neural Machine Translation with Target-side Context
Tokyo Metropolitan University(东京都立大学)
近年来,一些关于神经机器翻译(NMT)的研究试图通过使用多编码器和两个注意力机制来读取当前和先前的句子,以结合先前句子的上下文,从而使用文档级上下文。这些研究的结论是,目标方的上下文是没有那么有用的比源方的上下文。然而,我们认为目标端上下文不太有用的原因在于用于对这些上下文进行建模的架构。因此,在这项研究中,我们研究如何目标端上下文可以提高上下文感知神经机器翻译。我们提出了一种权重共享方法,其中NMT保存解码器状态,并在翻译当前句子时使用保存的状态计算注意力向量。我们的实验表明,目标端的上下文也是有用的,如果我们插入到NMT作为解码器状态时,翻译前一句话。
2019-09-02 cs.CL
Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering
South China University of Technology(华南理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Tencent AI Lab(腾讯人工智能实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
神经网络模型通常面临将常识知识纳入开放域对话系统的挑战。在本文中,我们提出了一种新的知识感知的对话生成模型(称为transDG),转移的问题表示和知识匹配能力,从知识库问答(KBQA)任务,以促进话语理解和事实知识的选择对话生成。此外,我们提出了一个响应引导注意力和多步解码策略,以引导我们的模型专注于响应生成的相关功能。在两个基准数据集上的实验表明,该模型在生成信息丰富、流畅的对话方面具有较强的鲁棒性。我们的代码可在https://github.com/siat-nlp/TransDG上获得。
2019-12-16 cs.CL
TMT: A Transformer-based Modal Translator for Improving Multimodal Sequence Representations in Audio Visual Scene-aware Dialog
Didi Chuxing(滴滴出行)
视听场景感知对话(AVSD)是一个在讨论给定视频时生成响应的任务。先前的最先进模型使用基于Transformer的架构显示了此任务的卓越性能。然而,在学习更好地表示模态方面仍然存在一些限制。受神经机器翻译(NMT)的启发,本文提出了基于转换器的模态翻译器(TMT),通过有监督的方式将源模态序列翻译成相关的目标模态序列,从而学习源模态序列的表示。在多模态Transformer网络(MTN)的基础上,将TMT应用于视频和对话,提出了基于视频的对话系统MTN-TMT。在对话系统技术挑战赛7的AVSD赛道上,MTN-TMT在视频和文本任务以及纯文本任务中的表现优于MTN和其他提交模型。与MTN相比,MTN-TMT在所有指标上都有改善,尤其是在CIDER上的相对改善高达14.1%。索引术语:多模态学习、视听场景感知对话、神经机器翻译、多任务学习
2020-10-21 cs.CL
Outlier-Aware Training for Improving Group Accuracy Disparities
National Tsing Hua University(国立清华大学);National Institute of Informatics(国立信息学研究所)
解决伪相关性的方法,例如Just训练两次(JTT,arXiv:2107.09044v2),涉及重新加权训练集的子集以最大化最差组准确度。然而,重新加权的示例集可能包含妨碍模型学习的不可学习的示例。我们建议通过检测训练集的离群值并在重新加权之前将其删除来减轻这种情况。我们的实验表明,我们的方法实现了竞争力或更好的准确性相比,JTT,可以检测和删除的子集被重新加权在JTT的注释错误。
2022-10-27 cs.CL cs.CY cs.LG
RAIDEN-R1: Improving Role-awareness of LLMs via GRPO with Verifiable Reward
Platform and Content Group, Tencent(腾讯平台与内容部);School of Software & Microelectronics, Peking University(北京大学软件与微电子学院)
针对角色扮演对话智能体的角色一致性难题,提出融合可验证角色感知奖励的RAIDEN-R1强化学习框架与角色感知思维链数据,14B-GRPO在RAIDEN基准上取得优异表现。
2025-05-15 cs.CL
TaCL: Improving BERT Pre-training with Token-aware Contrastive Learning
University of Cambridge(剑桥大学);Beijing Institute of Technology(北京理工大学);Amazon(亚马逊);Monash University(莫纳什大学)
在过去的几年里,BERT和RoBERTa等掩蔽语言模型(Masked language models,MLMs)彻底改变了自然语言理解领域。然而,现有的预先训练的MLM通常输出令牌表示的各向异性分布,其占据整个表示空间的窄子集。这样的标记表示并不理想,特别是对于需要不同标记的区别性语义的任务。在这项工作中,我们提出了TaCL(令牌感知对比学习),一种新的连续预训练方法,鼓励BERT学习令牌表示的各向同性和歧视性分布。TaCL是完全无监督的,不需要额外的数据。我们在广泛的英语和中文基准上广泛测试我们的方法。实验结果表明,TaCL模型较之原有的BERT模型有了一致的、显著的改进。此外,我们进行详细的分析,以揭示我们的方法的优点和内部工作。
2022-04-28 cs.CL
Improving Open Information Extraction via Iterative Rank-Aware Learning
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
开放信息抽取是从自然语言句子中抽取开放域断言的任务。开放IE中的一个关键步骤是置信度建模,根据其估计的质量对提取进行排名,以调整提取断言的精度和召回率。我们发现,提取的可能性,目前的监督开放IE系统使用的置信度,没有很好地校准时,比较从不同的句子中提取的断言的质量。我们提出了一个额外的二进制分类损失来校准可能性,使其更具全球可比性,并提出了一个迭代学习过程,其中开放IE模型生成的提取内容被增量包含作为训练样本,以帮助模型从试错中学习。OIE2016上的实验验证了该方法的有效性。代码和数据可在https://github.com/jzbjyb/oie_rank上获得。
2019-05-31 cs.CL
Continuous Approximations for Improving Quantization Aware Training of LLMs
Beijing Academy(北京科学院);Wuhan Britain-China School(武汉英中学校);Luwan Senior Highschool(卢湾高级中学);Ryan International School(瑞安国际学校);Chongqing Bashu Secondary School(重庆巴蜀中学)
本文提出两种连续近似方法改进大型语言模型的量化感知训练,通过优化舍入和截断函数提升参数学习准确性,在相同精度和模型规模下显著降低了困惑度并提升了多项基准任务性能,助力更节能的LLM技术发展。
2024-10-06 cs.AI cs.CL cs.LG
Improving robustness of language models from a geometry-aware perspective
Guangzhou University(广州大学);Peng Cheng Laboratory(鹏城实验室);Zhejiang University of Technology(浙江工业大学)
最近的研究发现,在对抗训练中去除范数有界投影和增加搜索步骤可以显着提高鲁棒性。然而,我们观察到,太多的搜索步骤可能会损害准确性。我们的目标是使用更少的步骤有效地获得强大的鲁棒性。通过一个玩具实验,我们发现,扰动干净的数据的决策边界,但不跨越它不会降低测试精度。受此启发,我们提出了友好对抗数据增强(FADA)来生成友好对抗数据。在FADA的基础上,我们提出了几何感知对抗训练(GAT)来对友好的对抗数据进行对抗训练,这样我们就可以节省大量的搜索步骤。在两个广泛使用的数据集和三个预先训练好的语言模型上的综合实验表明,GAT可以通过更少的步骤获得更强的鲁棒性。此外,我们提供了广泛的实证结果和深入的分析鲁棒性,以促进未来的研究。
2022-04-28 cs.CL
Improving Conditioning in Context-Aware Sequence to Sequence Models
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院)
神经序列到序列模型很好地建立了应用程序,可以将其转换为将单个输入序列映射到单个输出序列。在这项工作中,我们专注于生成条件的情况下,一个简短的查询和一个长的上下文,如抽象的问答或文档级的翻译。我们修改了标准的序列到序列的方法,以更好地利用查询和上下文扩展的条件机制,interrupt查询和上下文的注意。我们还介绍了一个简单而有效的数据增强方法所提出的模型。在三个不同的任务上的实验表明,这两种变化都会导致一致的改进。
2019-11-21 cs.CL cs.LG
Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning
Wuhan University(武汉大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);Nanyang Technological University(南洋理工大学)
本文提出基于大语言模型的逻辑感知课程调优框架LACT,通过二叉树分解增强一阶逻辑查询,并引入课程学习解决复杂查询难度差异,在多个数据集上实现平均+5.5% MRR提升,达到最先进水平。
2025-03-01 cs.CL
Diversity-Aware Coherence Loss for Improving Neural Topic Models
University of British Columbia(不列颠哥伦比亚大学);University of Fraser Valley(弗雷泽谷大学)
本文提出多样性感知连贯性损失,在保持主题多样性的同时学习语料库级连贯性得分,无需预训练或额外参数即可显著提升神经主题模型性能。
2023-05-26 cs.CL cs.LG
Improving Dialog Safety using Socially Aware Contrastive Learning
University at Buffalo(布法罗大学)
针对现有对话AI易生成不安全内容、难识别细微不安全场景的问题,提出基于社会感知n对对比损失的双步微调方法,结合多数据集训练融合亲社会行为的模型,有效提升了对话回复的社会适宜性。
2024-02-01 cs.CL
FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training
Microsoft Corporation(微软公司)
可控文本生成系统通常利用控制代码来指导输出的各种属性,如样式和长度。受NLP因果推理的启发,本文揭示了这些基于控制码的条件文本生成算法中以前被忽视的缺陷。训练数据中的虚假相关性会导致模型错误地依赖于输入的部分而不是控制代码来进行属性选择,从而显著破坏下游生成质量和可控性。我们通过一系列案例研究证明了这个问题的严重性,然后提出了两种简单的技术来减少训练集中的这些相关性。第一种技术是基于根据示例对每个语言属性(IPS)的倾向来重新排列数据。第二种方法产生每个例子的多个反事实版本,然后使用额外的反馈机制来去除噪声例子(反馈感知自我训练,FAST)。我们对3个任务进行了评估-新闻标题,元评论和搜索广告生成-并证明与最先进的可控文本生成方法相比,FAST可以显着提高生成输出的可控性和语言质量。
2022-10-06 cs.CL
Improving Medical Large Vision-Language Models with Abnormal-Aware Feedback
SKL-IOTSC, CIS, University of Macau(SKL-IOTSC、CIS、澳门大学)
本文提出UMed-LVLM及MAU数据集,通过异常感知指令微调和异常感知奖励训练,显著提升医学图像异常检测与理解能力,较基线提升58%。
2025-06-02 cs.AI cs.CL cs.CV
ScopeIF: Improving Scope-Aware Precise Instruction-Following in Large Language Models via Graded Reward Modeling
提出ScopeIF框架,通过统一约束分解和分级奖励建模,提升大语言模型在复杂范围感知指令上的精确遵循能力,实验显示优化后的小模型可媲美前沿大模型。
2026-09-29 cs.CL
DePA: Improving Non-autoregressive Machine Translation with Dependency-Aware Decoder
Beijing Institute of Technology(北京理工大学)
针对非自回归机器翻译质量较低的问题,提出依赖感知解码器DePA,通过自回归前向后向预训练和注意力转换过程增强目标依赖建模,在WMT和IWSLT基准上实现最高1.88 BLEU增益且不增加推理延迟。
2023-08-02 cs.CL
Improving RNN-T ASR Performance with Date-Time and Location Awareness
Amazon(亚马逊)
在本文中,我们探讨了将上下文纳入基于递归神经网络(RNN-T)的自动语音识别(ASR)模型的好处,以提高虚拟助手的语音识别。具体地说,我们使用Meta信息提取的时间在发言和近似的位置信息,使ASR上下文感知。我们表明,这些上下文信息,当单独使用时,提高整体性能高达3.48%相对于基线和上下文相结合时,模型学习互补的功能和识别提高了4.62%。在特定领域,这些上下文信号显示出高达11.5%的改善,而其他领域没有任何显着的退化。我们使用在30 K小时和10 K小时数据上训练的模型进行了实验。我们发现,10 K小时数据集的改进规模远远高于30 K小时数据集。我们的研究结果表明,有限的数据训练的ASR模型,上下文信号可以显着提高性能。
2021-06-16 cs.CL eess.AS
Improving Neural Response Diversity with Frequency-Aware Cross-Entropy Loss
University of Amsterdam(阿姆斯特丹大学)
序列到序列(Seq2Seq)模型在对话响应生成任务上取得了令人鼓舞的性能。然而,现有的基于Seq2Seq的响应生成方法存在低多样性问题:它们经常生成通用响应,这使得对话不那么有趣。在本文中,我们解决了低多样性问题,通过调查它与模型的过度自信反映在预测分布。具体而言,我们首先分析了常用的交叉熵(CE)损失函数的影响,并发现CE损失函数更喜欢高频令牌,这导致低多样性响应。然后,我们提出了一个频率感知交叉熵(FACE)的损失函数,提高了CE的损失函数,结合加权机制的令牌频率。在基准数据集上进行的大量实验表明,FACE损失函数能够在自动和人工评估方面显著提高现有最先进的Seq2Seq响应生成方法的多样性。
2019-02-25 cs.CL cs.IR cs.LG
Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models
National Taiwan University(国立台湾大学);Amazon(亚马逊)
研究文本到音频指令跟随问题,提出用音频感知大语言模型作细粒度评判器的框架,经验证后用其反馈构建偏好对优化,引入S3Bench基准,实验证明该方法能提升事件完整性、时间排序和指令跟随准确性,且保持音频质量。
2026-07-28 cs.AI cs.CL cs.LG
Improving Rare Word Recognition with LM-aware MWER Training
Google, Inc.(谷歌公司)
语言模型(LM)显著提高了端到端(E2E)模型在训练过程中很少看到的单词上的识别准确性,无论是在浅融合还是重新评分设置中使用。在这项工作中,我们在判别训练框架中的混合自回归传感器(HAT)模型的学习中引入LM,以减轻关于使用LM的训练与推理差距。对于浅层融合设置,我们在假设生成和损失计算过程中使用LM,LM感知的MWER训练模型在包含稀有词的语音搜索测试集上比使用标准MWER训练的模型实现了10%的相对改进。对于重新评分设置,我们学习了一个小的神经模块,以数据依赖的方式生成每个令牌的融合权重。该模型实现了与常规MWER训练模型相同的重新评分WER,但不需要扫描融合权重。
2022-06-27 cs.CL cs.SD eess.AS
VLX-VR: An Agentic-Aware Video Reasoning Model
Om AI Research(Om AI 研究院)
VLX-VR通过“思考-记忆-观测”循环和强化学习实现智能体感知的视频推理,在MINERVA上取得78.79%的准确率,并展现出跨时长的稳定性。
2026-09-10 cs.CL cs.CV
Improving Context-Aware Semantic Relationships in Sparse Mobile Datasets
Stanford University(斯坦福大学)
传统的语义相似度模型往往无法封装文本所处的外部语境。然而,在移动平台上生成的文本数据集可以通过引入多模态数据来帮助我们构建更真实的语义相似性表示。这在稀疏数据集中尤其重要,这使得仅文本驱动的上下文解释变得更加困难。在本文中,我们开发了新的算法,用于构建外部特征到句子嵌入和语义相似性得分。然后,我们在Twitter数据上嵌入空间进行测试,使用每条推文的时间和地理位置来更好地理解其上下文。最终,我们证明了将具有八个分量的PCA应用于嵌入空间并附加多模态特征会产生最佳结果。这产生了相当大的改进,基于纯文本的方法来发现类似的推文。我们的研究结果表明,我们的新算法可以帮助提高在各种设置的语义理解。
2018-12-23 cs.CL cs.LG stat.ML