Improving Contextual Representation with Gloss Regularized Pre-training
ByteDance Inc.(字节跳动公司)
虽然在许多NLP任务上取得了令人印象深刻的结果,但BERT类掩蔽语言模型(MLM)遇到了预训练和推理之间的不一致。鉴于这一差距,我们从词概率分布的角度研究了预训练和推理的语境表征。我们发现,BERT的风险,忽略了上下文的单词相似性在预训练。为了解决这个问题,我们提出了一个辅助光泽正则化模块BERT预训练(GR-BERT),以提高单词的语义相似度。通过预测屏蔽词并同时将上下文嵌入与相应的注释对齐,可以显式地对词相似度进行建模。我们为GR-BERT设计了两种架构,并在下游任务中评估了我们的模型。实验结果表明,光泽正则化有利于BERT在词级和句子级的语义表示。GR-BERT在词汇替换任务中取得了新的进展,并且极大地促进了BERT在无监督和有监督STS任务中的句子表示。
2022-05-13 cs.AI cs.CL cs.LG
Improving Synthetic Data Training for Contextual Biasing Models with a Keyword-Aware Cost Function
College of Computing and Data Science(计算与数据科学学院);College of Computing(计算学院)
针对上下文偏置模型在合成数据训练中的过拟合问题,提出关键词感知损失函数,增强TCPGen方法,将Whisper适配10小时合成数据后,词错误率从29.71%降至11.81%。
2025-09-11 cs.AI cs.CL
Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
人类通过听、说、写、读以及与多模态现实世界的互动来学习语言。现有的语言预训练框架显示了纯文本自我监督的有效性,而我们在本文中探索了视觉监督语言模型的想法。我们发现阻碍这一探索的主要原因是视觉语言数据集和纯语言语料库之间在数量和分布上的巨大差异。因此,我们开发了一种名为“vokenization”的技术,通过将语言标记映射到其相关图像(我们称之为“vokens”),将多模态对齐外推到仅语言数据。“vokenizer”是在相对较小的图像描述数据集上训练的,然后我们将其应用于为大型语言语料库生成vokens。使用这些上下文生成的voken进行训练,我们的视觉监督语言模型在多个纯语言任务(如GLUE,SQuAD和SWAG)上显示出比自监督替代方案一致的改进。代码和预训练模型可在https://github.com/airsplay/vokenization上公开获取
2020-10-14 cs.AI cs.CL cs.CV
Improving Route Choice Models by Incorporating Contextual Factors via Knowledge Distillation
Louisiana State University(路易斯安那州立大学)
路径选择模型预测穿越城市区域的旅行者的路径选择。大多数路径选择模型将替代路径的路径特征与驾驶员选择的路径特征相关联。该模型在预测不同路线上的交通水平方面发挥着重要作用,从而有助于制定有效的交通管理策略,从而最大限度地减少交通延误,最大限度地提高交通系统的有效利用率。高保真度的路径选择模型需要更高的准确度来预测交通水平。现有的路线选择模型不考虑动态的上下文条件,如事故的发生,司机的社会文化和经济背景,其他人类行为,动态的个人风险水平等,因此,他们只能在一个聚合的水平和一组固定的上下文因素进行预测。为了更高的保真度,非常希望使用捕获路线选择中的主观或背景因素的重要性的模型。本文提出了一种新的方法来开发高保真的路线选择模型,增加预测能力,通过增加现有的聚合水平基线模型与信息的驱动程序的响应上下文因素,通过使用知识蒸馏在沉浸式虚拟环境中进行的陈述选择实验。
2019-03-27 cs.AI cs.LG stat.ML
Improving Domain-Specific ASR with LLM-Generated Contextual Descriptions
Hanyang University(汉阳大学)
针对端到端ASR在特定领域词汇识别上的不足,提出在不修改Whisper架构的前提下利用上下文描述,并结合解码器微调与上下文扰动技术,同时引入LLM生成描述,显著提升了真实数据集上的识别准确率。
2024-07-25 cs.AI cs.CL
Improving Grammatical Error Correction via Contextual Data Augmentation
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院)
本文提出一种基于上下文增强的合成数据构建方法和重新标记清洗方法,解决了GEC微调阶段数据稀缺和噪声标签问题,在少量数据下达到SOTA。
2024-06-25 cs.AI cs.CL
FalseReject: A Resource for Improving Contextual Safety and Mitigating Over-Refusals in LLMs via Structured Reasoning
The Ohio State University(俄亥俄州立大学);Amazon(亚马逊)
为缓解LLMs对良性查询的过度拒绝问题,本文提出FalseReject资源及图信息增强的对抗性多智能体框架,生成16k数据集以训练模型进行结构化推理,在保障整体安全性的同时大幅减少了不必要的拒绝。
2025-07-15 cs.AI cs.CL
Improving Contextual ASR via Multi-grained Fusion with Large Language Models
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
针对端到端ASR模型难以识别上下文关键词的问题,提出一种结合大型语言模型的多粒度融合方法,联合词元级与短语级融合并采用后期融合策略,在中英文数据集上实现了关键词识别的最先进性能并保持了非关键词文本的高准确率。
2025-07-16 cs.AI cs.CL
ContextModule: Improving Code Completion via Repository-level Contextual Information
ByteDance(字节跳动)
针对现有代码补全系统缺仓库级上下文、检索与延迟等问题,提出ContextModule框架,整合三类上下文信息并优化性能,显著提升补全准确率与用户接受度。
2024-12-11 cs.AI cs.SE
CODER: An efficient framework for improving retrieval through COntextual Document Embedding Reranking
Brown University(布朗大学);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Dataminr
本文提出CODER高效检索框架,通过联合评分大量负样本、使用检索负样本和列表式损失等排序上下文因素优化训练,在MS MARCO和TripClick上显著提升检索性能并创下新纪录。
2022-11-03 cs.AI cs.IR
Improving Conversational Recommender System via Contextual and Time-Aware Modeling with Less Domain-Specific Knowledge
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
会话式推荐系统(CRS)是一个新兴的研究课题,它通过交互式会话进行推荐,通常由生成和推荐模块组成。之前关于CRS的工作往往会融入更多外部和特定领域的知识,例如项目评审,以提高绩效。尽管外部特定领域信息的收集和注释需要大量的人力,并降低了可概括性,但过多的额外知识会增加它们之间平衡的难度。因此,我们建议从上下文中充分发现和提取内部知识。我们捕获实体级和上下文级的表示,以共同建模用户的偏好的建议,其中时间感知的注意力被设计为强调最近出现的项目在实体级表示。我们进一步使用预训练的BART来初始化生成模块,以缓解数据稀缺并增强上下文建模。除了在一个流行的数据集(ReDial)上进行实验外,我们还包括一个多域数据集(OpenDialKG)来展示我们模型的有效性。在两个数据集上的实验表明,我们的模型在大多数评估指标上具有更好的性能,并且具有更少的外部知识,并且可以很好地推广到其他领域。对推荐任务和生成任务的分析表明了该模型在不同场景下的有效性。
2022-09-23 cs.AI cs.CL
N-gram Boosting: Improving Contextual Biasing with Normalized N-gram Targets
Dialpad Inc.(Dialpad公司)
针对语音转文本中专有名词和技术术语识别困难的问题,提出一种基于归一化 n-gram 的两步关键词增强机制,通过优化权重逻辑避免过度增强,在专有数据集和 LibriSpeech 上分别实现 26% 和 2% 的相对提升。
2023-08-04 cs.AI cs.CL cs.SD
Improving Grapheme-to-Phoneme Conversion through In-Context Knowledge Retrieval with Large Language Models
Centre for Perceptual and Interactive Intelligence (CPII) Limited(感知与交互智能中心(CPII)有限公司);The Chinese University of Hong Kong(香港中文大学)
针对字素到音素转换中的上下文歧义问题,提出融合大语言模型上下文内知识检索能力的转换系统,在Librig2p数据集上显著降低音素错误率,验证了该方法的有效性。
2024-11-12 cs.AI
Learning to Read the Contextual Tokens in Diffusion Transformers
Tel Aviv University(特拉维夫大学);Cornell University(康奈尔大学)
本文提出通过轻量级瓶颈网络将扩散Transformer的上下文令牌映射到冻结LLM进行自然语言解读,发现其编码全局场景语义,并据此提出上下文对齐训练技术以提升生成质量。
2026-10-06 cs.AI cs.CV cs.GR
Extracting or Guessing? Improving Faithfulness of Event Temporal Relation Extraction
UPenn(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室);USC(南加州大学)
在本文中,我们试图从两个角度提高TempRel提取模型的可信度。第一个视角是基于上下文描述的真实抽取。为了实现这一目标,我们建议进行反事实分析,以减弱两种重要类型的训练偏差的影响:事件触发偏差和频繁标签偏差。我们还将时态信息添加到事件表征中,以明确强调上下文描述。第二个观点是提供适当的不确定性估计,并且当文本中没有描述关系时避免提取。通过在模型预测的分类分布上对Dirichlet先验进行参数化,我们改进了模型对正确性似然的估计,并使TempRel预测更具选择性。我们还采用温度缩放来重新校准模型的置信度后,偏差缓解。通过对MATRES、MATRES-DS和TDDiscourse的实验分析,我们证明了与SOTA方法相比,我们的模型更忠实地提取TempRel和时间线,特别是在分布偏移的情况下。
2022-10-12 cs.AI cs.CL
SI-FACT: Mitigating Knowledge Conflict via Self-Improving Faithfulness-Aware Contrastive Tuning
针对LLM因知识冲突生成不忠实响应的问题,提出自我改进框架SI-FACT,通过自动生成对比学习数据并应用对比学习训练,显著提升了模型上下文召回率并降低对内部记忆的依赖。
2025-09-12 cs.AI cs.CL
Contextual Bandit with Adaptive Feature Extraction
Columbia University(哥伦比亚大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们考虑一个在线的决策设置被称为上下文强盗问题,并提出了一种方法,提高上下文强盗性能,使用自适应特征提取(表示学习)基于在线聚类。我们的方法首先对未标记的上下文历史进行离线预训练(我们的方法可以利用它,但标准的上下文强盗不能利用它),然后在线选择和调整编码器。具体而言,给定输入样本(上下文),所提出的方法选择最合适的编码函数来提取成为上下文强盗输入的特征向量,并基于上下文和反馈(奖励)更新强盗和编码函数。我们在各种数据集上的实验,以及在几种静态和非静态环境中的实验,表明了所提出的自适应表示学习比基于“原始”输入上下文的标准上下文强盗具有明显的优势。
2020-09-14 cs.AI cs.LG stat.ML
Fast Contextual Adaptation with Neural Associative Memory for On-Device Personalized Speech Recognition
Google(谷歌)
快速上下文自适应已被证明可以有效地改善罕见单词的自动语音识别(ASR),并且当与设备上的个性化训练相结合时,它可以产生更好的识别结果。然而,传统的基于外部语言模型的重新评分方法在个性化训练过程中容易出现分歧。在这项工作中,我们介绍了一个基于模型的端到端的上下文自适应方法,是解码器不可知的,并服从设备上的个性化。我们的设备上的模拟实验表明,所提出的方法优于传统的重新评分技术的12%的相对WER和15.7%的实体提到特定的F1分数在一个持续的个性化场景。
2021-10-07 cs.AI cs.CL cs.LG
Improving Human-AI Partnerships in Child Welfare: Understanding Worker Practices, Challenges, and Desires for Algorithmic Decision Support
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学);University of California, Berkeley(加州大学伯克利分校)
基于人工智能的决策支持工具(ADS)越来越多地用于在高风险的社会环境中增强人类决策。随着公共部门机构开始采用ADS,我们了解工人在实践中使用这些系统的经验至关重要。在本文中,我们介绍了儿童福利机构的一系列访谈和背景调查的结果,以了解他们目前如何做出人工智能辅助的儿童虐待筛查决策。总的来说,我们观察到工人对ADS的依赖如何受到以下因素的指导:(1)他们对AI模型捕捉之外的丰富上下文信息的了解,(2)他们对ADS相对于自己的能力和局限性的信念,(3)围绕ADS使用的组织压力和激励,以及(4)算法预测与他们自己的决策目标之间不一致的意识。根据这些发现,我们讨论了支持更有效的人类-AI决策的设计意义。
2022-04-05 cs.AI cs.CY cs.HC
Transition-based Abstract Meaning Representation Parsing with Contextual Embeddings
University of Oxford(牛津大学);The University of Edinburgh(爱丁堡大学)
理解和生成语言的能力使人类认知有别于其他已知的生命形式。我们研究了在语义解析任务中,将两种最成功的语言意义途径--统计语言模型和符号语义形式主义--结合起来的方法。建立在一个过渡为基础的,抽象意义表示(AMR)解析器,AmrEager,我们探讨了将预先训练的上下文感知的词嵌入-如BERT和RoBERTa-在AMR解析的问题,贡献一个新的解析器,我们称之为AmrBerger的效用。实验发现,这些丰富的词汇功能单独是不是特别有帮助,在提高分析器的整体性能的SMATCH分数相比,非上下文对应时,而额外的概念信息使系统能够超越基线。通过病变研究,我们发现上下文嵌入的使用有助于使系统对显式句法特征的去除更加鲁棒。这些发现揭示了当前形式的上下文嵌入和语言模型的优点和缺点,并促进了对它们的更深入的理解。
2022-06-13 cs.AI cs.CL cs.LG
Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学)
本文提出指针引导的段落排序预训练技术,通过自注意力指针网络恢复打乱文本顺序,增强大型语言模型的段落级上下文理解能力,并在多个下游分类任务中取得最先进性能。
2024-06-06 cs.AI cs.CL cs.LG
ContextFocus: Activation Steering for Contextual Faithfulness in Large Language Models
Adobe Research(Adobe研究)
ContextFocus通过轻量级激活引导方法提升大语言模型在知识冲突场景下的上下文忠实性,无需微调且高效,实验表明其在ConFiQA基准上显著优于基线方法。
2026-01-12 cs.AI cs.CL cs.LG
Improving Semantic Parsing for Task Oriented Dialog
Facebook Conversational AI(Facebook对话式AI);Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究)
最近提出了使用分层表示的语义解析,用于面向任务的对话,结果很有希望[Gupta et al 2018]。在本文中,我们提出了三种不同的改进模型:上下文嵌入,集成,和成对重新排名的基础上的语言模型。我们分类的错误可能的分层表示,如错误的顶部意图,缺失的跨度或分裂跨度,并表明这三种方法纠正不同类型的错误。最好的模型结合了这三种技术,精确匹配精度比最先进的模型高出6.4%,错误减少了33%,从而在面向任务的解析(TOP)数据集上产生了新的最先进的结果。
2019-02-15 cs.AI cs.CL