REC-CBM: Rubric-Aware Error-Correction Concept Bottleneck Models for Trustworthy Open-Ended Grading
School of Computing and Augmented Intelligence, Arizona State University, USA（计算与增强智能学院，亚利桑那州立大学，美国）；Mary Lou Fulton Teachers College, Arizona State University, USA（玛丽·卢·福洛顿教师学院，亚利桑那州立大学，美国）；Department of Computer Science, National Yang Ming Chiao Tung University, TW（国立阳明交通大学计算机科学系，台湾）
提出REC-CBM模型，通过规则感知概念编码器、序数成对校准目标和潜在概念错误修正模块，解决开放评分中标准概念瓶颈模型无法建模细粒度规则维度、忽略评分序数语义和概念标注不可靠的问题，在提升评分性能的同时保持可解释性。
2026-04-24 cs.AI cs.CL cs.CY
LaSR: Context-Aware Speech Recognition via Latent Reasoning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
提出LaSR训练范式，利用潜在推理轨迹增强语音大语言模型的上下文感知能力，在学术术语识别上显著提升性能且不增加延迟。
2026-09-18 cs.CL
ContextCache: Context-Aware Semantic Cache for Multi-Turn Queries in Large Language Models
Zhejiang University（浙江大学）；Shanghai Jiaotong University（上海交通大学）；Tongji University（同济大学）
ContextCache提出一种多轮对话上下文感知语义缓存系统，采用两阶段检索架构结合自注意力机制精确匹配上下文，显著提升了精确率与召回率，并将响应延迟降低约10倍。
2025-07-15 cs.CL cs.DB
On the Loss of Context-awareness in General Instruction Fine-tuning
UCLA（加州大学洛杉矶分校）
本文研究了通用指令微调中上下文感知能力的丧失，发现其源于聊天模板导致的角色偏见，并提出条件指令微调方法有效缓解此问题且不损害通用能力。
2025-02-02 cs.CL cs.LG
Medical Concept Embedding with Time-Aware Attention
Nankai University（南开大学）；National University of Singapore（新加坡国立大学）；National University Health System（新加坡国立大学卫生系统）
在电子病历（EMR）中嵌入医疗概念（如药物、程序和诊断代码）是医疗保健分析的核心。以往的医学概念嵌入工作将医学概念和电子病历分别作为词和文档。然而，这样的模型错过了EMR数据的时间性质。一方面，两个连续的医学概念并不表明它们在时间上是接近的，但它们之间的相关性可以通过时间间隔来揭示。另一方面，医学概念的时间范围通常变化很大（例如，\textit{common cold}和\textit{diabetes}）。在本文中，我们建议将时间信息嵌入医疗代码。基于连续词袋模型，我们采用注意力机制为每个医学概念学习一个“软”时间感知的上下文窗口。通过聚类和最近邻搜索任务在公共和专有数据集上进行的实验证明了我们模型的有效性，表明它优于五个最先进的基线。
2018-06-06 cs.AI cs.CL
CARE: Commonsense-Aware Emotional Response Generation with Latent Concepts
Alibaba-NTU Singapore Joint Research Institute, Nanyang Technological University (NTU)（阿里巴巴-南洋理工大学新加坡联合研究院，南洋理工大学）；Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly, NTU（南洋理工大学-不列颠哥伦比亚大学老年人积极生活联合卓越研究中心，南洋理工大学）；School of Electrical and Electronic Engineering, NTU（南洋理工大学电气与电子工程学院）；Alibaba Group（阿里巴巴集团）
理性和情感是人类的两个基本要素。赋予智能体理性和情感是人工智能的重要里程碑之一。然而，在对话式AI领域，大多数现有模型只专注于一个方面，而忽略了另一个方面，这往往导致反应迟钝或不相关。在本文中，我们假设，结合理性和情感到会话代理可以提高响应质量。为了检验这一假设，我们关注理性的一个基本方面，即，常识，并提出照顾，一种新的模型，常识意识的情绪反应的产生。具体来说，我们首先提出了一个框架，学习和构建常识感知的情感潜在概念的响应给定的输入信息和所需的情绪。然后，我们提出了三种方法来协同将潜在的概念到响应生成。在两个大规模数据集上的实验结果支持了我们的假设，并表明我们的模型可以产生更准确和常识感知的情感反应，并比只专注于一个方面的最先进模型获得更好的人类评级。
2021-02-28 cs.AI cs.CL
SMI: Ontology-Grounded Semantic IDs for Hierarchy-Aware Medical Concept Representation
School of Electrical Engineering and Computer Science, Ohio University（俄亥俄大学电气与计算机工程学院）；University of Southern California（南加利福尼亚大学）；School of Computer Science, McGill University（麦吉尔大学计算机学院）；Northwestern University（西北大学）；University of Washington（华盛顿大学）
本研究针对生物医学LMs无法捕捉医学概念层次结构的问题，提出无需训练的SMI框架，通过聚合本体层级的LM嵌入生成层次感知医学概念表示，在MIMIC-IV、eICU等数据集上提升了多项临床任务性能。
2026-10-14 cs.AI cs.CL
MoKus: Leveraging Cross-Modal Knowledge Transfer for Knowledge-Aware Concept Customization
Tsinghua University（清华大学）；HKUST（香港科技大学）
本文提出MoKus框架，通过跨模态知识迁移实现知识感知的概念定制，解决稀有token在预训练数据中缺失导致的性能不稳定问题，并引入KnowCusBench基准测试，验证了方法在概念定制任务中的优越性。
2026-03-13 cs.AI cs.CL cs.CV
Contextual Aware Joint Probability Model Towards Question Answering System
Stanford University（斯坦福大学）
在本文中，我们解决了SQuAD 2.0数据集的问答挑战。我们设计了一个模型架构，利用BERT的上下文感知的词嵌入和Bioblog的上下文交互式探索机制的能力。通过整合这两个国家的最先进的架构，我们的系统试图提取上下文单词表示在单词和字符的水平，更好地理解问题和上下文及其相关性。我们还提出了我们原来的联合后验概率预测模块及其相关的损失函数。到目前为止，我们最好的模型在测试PCE排行榜上获得了75.842%的F1分数和72.24%的EM分数。
2019-04-17 cs.AI cs.CL
Context-Aware Sequence-to-Sequence Models for Conversational Systems
Norwegian University of Science and Technology（挪威科技大学）
这项工作提出了一种新的方法，基于序列到序列（seq2seq）模型的上下文感知会话系统。现有的seq2seq模型已被证明是好的，在数据驱动的会话系统中产生自然的反应。然而，他们仍然缺乏机制，以纳入以前的谈话轮流。我们研究了基于RNN的方法，这些方法有效地将先前的回合作为生成响应的上下文。总体而言，我们的实验结果基于人类的判断证明了所提出的方法的可行性和有效性。
2018-05-22 cs.AI cs.CL
Context-Aware Interaction Network for Question Matching
Baidu Inc.（百度公司）；Rutgers University（罗格斯大学）；Northeastern University（东北大学）；HPI/University of Potsdam（HPI/波茨坦大学）
通过采用交叉注意力机制来捕捉两个句子表示之间的相关语义联系，在文本匹配中取得了令人印象深刻的里程碑。然而，常规的交叉注意集中在两个输入序列之间的词级链接，忽视了上下文信息的重要性。我们提出了一个上下文感知的交互网络（COIN），正确地对齐两个序列，并推断它们的语义关系。具体地，每个交互块包括（1）上下文感知交叉注意力机制，以在比对两个序列时有效地整合上下文信息，以及（2）门融合层，以灵活地内插比对的表示。我们应用多个堆叠的交互块来产生不同级别的对齐，并逐渐完善注意力结果。在两个问题匹配数据集上的实验和详细的分析证明了该模型的有效性。
2021-09-18 cs.AI cs.CL
A Dual-Directional Context-Aware Test-Time Learning for Text Classification
Shenzhen University（深圳大学）
针对文本分类中传统模型在可解释性、效率和上下文范围上的权衡，提出动态双向Elman注意力网络（DBEAN），结合双向时间建模与自注意力，动态加权关键片段并保持计算效率。
2025-06-21 cs.AI cs.CL
Estimation of Concept Explanations Should be Uncertainty Aware
University of Cambridge（剑桥大学）；Alan Turing Institute（阿兰·图灵研究所）
本文针对概念解释的噪声问题，提出一种不确定性感知的贝叶斯估计方法，通过理论分析和实验证明该方法对训练选择鲁棒、标签高效，并能在数千概念中恢复相关概念，从而提升模型解释的可靠性。
2024-04-05 cs.AI cs.CL cs.LG
RefineCap: Concept-Aware Refinement for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Pittsburgh（匹兹堡大学）
图像到文本的自动翻译涉及到图像场景理解和语言建模。在本文中，我们提出了一种新的模型，称为RefineCap，使用解码器引导的视觉语义细化语言解码器的输出词汇，并隐式地学习视觉标签词和图像之间的映射。所提出的视觉概念细化方法可以允许生成器参加图像中的语义细节，从而生成更多的语义描述性字幕。与以前的基于视觉概念的模型相比，我们的模型在MS-COCO数据集上实现了卓越的性能。
2021-09-08 cs.CL
From Awareness to Adherence: Bridging the Context Gap in Spoken Dialogue Systems via Context-Aware Decoding
ECE, Seoul National University（首尔大学电气与计算机工程系）；IPAI, Seoul National University（首尔大学IPAI研究所）；Department of AI, University of Seoul（首尔市立大学人工智能系）
提出音频适配的上下文感知解码方法，通过对比有无关键上下文的输出分布，放大多模态上下文信号，解决口语对话系统中上下文遵循问题。
2026-06-16 cs.CL
Context Aware Document Embedding
Peking University（北京大学）
最近，doc2vec在不同的任务中取得了优异的成绩。在本文中，我们提出了一个上下文感知的变种doc2vec。我们引入了一种新的权重估计机制，该机制使用深度神经网络，根据每个词在上下文中的贡献为每个词的出现生成权重。我们的上下文感知模型可以实现类似的结果相比，由维基百科训练向量初始化的doc2vec，同时更有效，从沉重的外部语料库自由。上下文感知权重的分析表明，它们是一种增强的IDF权重，捕获文档中的子主题级别的关键字。它们可能来自于深层神经网络，它以最小的熵学习隐藏的表示。
2017-07-05 cs.CL
Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
The University of Tokyo（东京大学）
尽管已经提出了许多上下文感知神经机器翻译模型来将上下文纳入翻译中，但这些模型中的大多数都是在并行文档上进行端到端训练的。由于只有少数领域（和语言对）具有这样的文档级并行数据，因此我们无法在大多数领域中执行准确的上下文感知翻译。因此，我们提出了一个简单的方法，把一个文档级的语言模型的解码器转换成上下文感知的模型。我们的上下文感知解码器是建立在只有一个文档级并行语料库和单语语料库，因此没有文档级的并行数据是必要的。在理论上，本文的核心部分是利用上下文和当前句子之间的逐点互信息来表示上下文信息。我们证明了我们的方法的有效性，在三个语言对，英语到法语，英语到俄语，日语到英语，通过评估\textsc{bleu}和对比测试上下文感知翻译。
2021-11-15 cs.CL
Steering by Influence: Curvature Aware Data Weighting for Activation Steering
University of Oxford（牛津大学）
本文提出基于影响力函数的曲率感知数据加权方法，用于激活引导，通过最优传输加权概念示例，在毒性抑制、概念归纳和真实性任务上优于基线并保持模型质量。
2026-10-06 cs.AI cs.CL cs.LG
Selective Attention for Context-aware Neural Machine Translation
Monash University（莫纳什大学）；Unbabel；Instituto de Telecomunicações（电信研究所）
尽管在高级NMT方面取得了进展，但目前的系统仍然无法实现完整文件的流畅，高质量的翻译。最近的工作在上下文感知NMT考虑只有几个以前的句子作为上下文，可能无法扩展到整个文档。为此，我们提出了一种新颖的和可扩展的自上而下的方法，层次注意力的上下文感知的NMT使用稀疏的注意力选择性地集中在相关的句子在文档的上下文中，然后出席这些句子中的关键词。我们还提出了基于句子或词级信息的单级注意方法。从这些注意力模块产生的文档级上下文表示被集成到Transformer模型的编码器或解码器中，这取决于我们是使用单语上下文还是双语上下文。我们在不同文档MT设置的英语-德语数据集上的实验和评估表明，我们的选择性注意方法不仅显着优于上下文无关的基线，而且在大多数情况下也超过了上下文感知的基线。
2019-05-24 cs.CL
Low-Rank RNN Adaptation for Context-Aware Language Modeling
University of Washington（华盛顿大学）
上下文感知语言模型使用位置、用户和/或域元数据（上下文）来调整其预测。在神经语言模型中，上下文信息通常表示为嵌入，并作为附加输入提供给RNN，这在许多应用中都很有用。我们引入了一种更强大的机制，通过让上下文向量控制递归层权重矩阵的低秩变换，使用上下文来适应RNN。实验表明，允许更大比例的模型参数进行调整的困惑和几种不同类型的上下文的分类方面的好处。
2018-05-04 cs.CL
Comparing Feature-based and Context-aware Approaches to PII Generalization Level Prediction
School of Information Science and Technology（信息科学与技术学院）；Guangdong University of Foreign Studies（广东外语外贸大学）
本文针对PII泛化中数据分布不均和上下文感知不足的问题，提出基于特征和上下文感知两种方法，其中后者利用Multilingual-BERT和均方误差评分，在WikiReplace上表现更优，推动了文本匿名化隐私保护技术发展。
2024-07-03 cs.CL
Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information
Dept. of Electrical and Computer Engineering, Seoul National University（首尔大学电气与计算机工程系）；Automation and Systems Research Institute, Seoul National University（首尔大学自动化与系统研究所）
上下文感知神经机器翻译（NMT）融合了文本的上下文信息，可以提高文档级机器翻译的翻译质量。许多现有的上下文感知NMT的工作都集中在开发新的模型架构，将额外的上下文，并显示出一些有前途的结果。然而，大多数现有的作品依赖于交叉熵损失，从而限制了上下文信息的使用。在本文中，我们提出了CorefCL，一种新的数据增强和对比学习计划的基础上，源和上下文句子之间的共指。通过破坏自动检测到的上下文语句中的共指提及，CorefCL可以训练模型对共指不一致性敏感。我们在常见的上下文感知NMT模型和两个文档级翻译任务上实验了我们的方法。在实验中，我们的方法不断提高BLEU的比较模型上的英语-德语和英语-韩语任务。我们还表明，我们的方法显着提高了共指消解在英语-德语对比测试套件。
2021-09-13 cs.CL
Measuring and Increasing Context Usage in Context-Aware Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel
神经机器翻译的最新研究已经证明了使用中间语境的必要性和可行性，中间语境是指来自当前翻译句子以外的句子的语境。然而，尽管目前的许多方法提出了理论上可以使用这种额外上下文的模型架构，但通常不清楚它们在翻译时实际使用了多少。在本文中，我们引入了一个新的度量，条件交叉互信息，量化这些模型的上下文的使用。使用这个度量标准，我们测量文档级机器翻译系统使用特定上下文的程度。我们发现，目标上下文被引用的源上下文，并在一个较长的上下文条件有一个递减的效果。然后，我们引入了一种新的，简单的训练方法，上下文感知的词辍学，增加上下文感知模型的上下文的使用。实验表明，我们的方法增加了上下文的使用，这反映了根据BLEU和COMET等指标的翻译质量，以及在照应代词解析和词汇衔接对比数据集上的性能。
2021-06-02 cs.CL
Commonsense Knowledge Aware Concept Selection For Diverse and Informative Visual Storytelling
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）；National Institute of Advanced Industrial Science and Technology（国立产业技术综合研究所）
视觉故事讲述是针对给定的图像序列生成相关且有趣的故事的任务。在这项工作中，我们的目标是增加所生成的故事的多样性，同时保留图像中的信息内容。我们建议通过使用一个概念选择模块，建议一组概念候选人，以促进所生成的故事的多样性和信息量。然后，我们利用大规模的预训练模型将概念和图像转换为完整的故事。为了丰富候选概念，为从其提出概念候选的每个图像序列创建常识知识图谱。为了从图中获得适当的概念，我们提出了两个新的模块，考虑候选概念之间的相关性和图像概念的相关性。广泛的自动和人工评估结果表明，我们的模型可以产生合理的概念。这使得我们的模型能够在故事的多样性和信息量方面大大优于以前的模型，同时保留故事与图像序列的相关性。
2021-02-05 cs.CL cs.CV
Focused Concatenation for Context-Aware Neural Machine Translation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（NAVER欧洲实验室）
上下文感知神经机器翻译的一个简单的方法包括在饲料的标准编码器-解码器架构的连续句子的窗口，由当前的句子和一些句子从它的上下文连接到it. In这项工作中，我们提出了一个改进的连接方法，鼓励模型专注于翻译的当前句子，贴现目标上下文产生的损失。我们还提出了一个额外的改进，加强句子边界和相对句子距离的概念，促进模型符合上下文折扣的目标。我们评估我们的方法与平均翻译质量指标和对比测试集的翻译间的话语现象，证明其优越性香草拼接方法和其他复杂的上下文感知系统。
2022-10-24 cs.CL
Improving Context-aware Neural Machine Translation with Target-side Context
Tokyo Metropolitan University（东京都立大学）
近年来，一些关于神经机器翻译（NMT）的研究试图通过使用多编码器和两个注意力机制来读取当前和先前的句子，以结合先前句子的上下文，从而使用文档级上下文。这些研究的结论是，目标方的上下文是没有那么有用的比源方的上下文。然而，我们认为目标端上下文不太有用的原因在于用于对这些上下文进行建模的架构。因此，在这项研究中，我们研究如何目标端上下文可以提高上下文感知神经机器翻译。我们提出了一种权重共享方法，其中NMT保存解码器状态，并在翻译当前句子时使用保存的状态计算注意力向量。我们的实验表明，目标端的上下文也是有用的，如果我们插入到NMT作为解码器状态时，翻译前一句话。
2019-09-02 cs.CL
A Context-aware Natural Language Generator for Dialogue Systems
Charles University in Prague（布拉格查理大学）
我们提出了一种新的自然语言生成系统的口语对话系统能够夹带（适应）用户的说话方式，提供上下文适当的反应。该生成器是基于递归神经网络和序列到序列的方法。它完全可以从包括先前上下文以及要生成的响应的数据中进行训练。我们表明，上下文感知生成器产生了显着的改进，在自动度量和人类成对偏好测试的基线。
2016-08-25 cs.CL
Challenges in Context-Aware Neural Machine Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）；University of Washington（华盛顿大学）
本文调查了上下文感知神经机器翻译在话语现象、上下文使用、模型架构和评估方面的挑战，并提出段落到段落翻译设置及中英文小说数据集以促进未来研究。
2023-10-23 cs.CL
Context-Aware Interleaved Batching for WhisperX
University of Oxford（牛津大学）
针对WhisperX音频内批处理丢失上下文、标准Whisper推理慢且易幻觉的问题，提出上下文感知交错批处理，利用VAD边界稳定Whisper文本条件，在长音频基准上降WER、提升专有名词转录且保持高推理速度。
2026-09-01 cs.CL
Transformer-based Context-aware Sarcasm Detection in Conversation Threads from Social Media
Emory University（埃默里大学）
我们提出了一个基于transformer的讽刺检测模型，该模型考虑了整个会话线程的上下文，以实现更强大的预测。我们的模型使用深层的Transformer层来执行线程中的目标话语和相关上下文之间的多头注意力。在来自社交媒体Twitter和Reddit的两个数据集上对上下文感知模型进行了评估，并显示出比基线提高了3.1%和7.0%。我们的最佳模型分别为Twitter和Reddit数据集提供了79.0%和75.0%的F1分数，成为该共享任务中36名参与者中性能最高的系统之一。
2020-05-22 cs.CL
CASE: Context-Aware Semantic Expansion
Amazon（亚马逊）；Nanyang Technological University（南洋理工大学）；Tencent AI Lab（腾讯人工智能实验室）；Wuhan University（武汉大学）
在本文中，我们定义和研究一个新的任务称为上下文感知语义扩展（CASE）。给定一个种子项在一个原始上下文中，我们的目标是建议其他术语，以及适合的上下文作为种子。CASE有许多有趣的应用，例如查询建议、计算机辅助写作和词义消歧等。之前的探索（如果有的话）只涉及一些类似的任务，并且都需要人类注释进行评估。在这项研究中，我们证明了这项任务的注释可以从现有语料库中以全自动的方式大规模收获。在由此衍生的180万个句子的数据集上，我们提出了一种网络架构，该架构在建议替代术语之前分别对上下文和种子术语进行编码。在这种架构中的上下文编码器可以很容易地通过将种子感知注意扩展。我们的实验表明，有竞争力的结果取得了适当的选择上下文编码器和注意力评分函数。
2019-12-31 cs.CL
DocOIE: A Document-level Context-Aware Dataset for OpenIE
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
开放式信息抽取（OpenIE）旨在从句子中抽取结构化的关系元组（主语、关系、宾语），对许多下游自然语言处理应用起着关键作用。现有的解决方案在句子级别执行提取，而不参考任何附加的上下文信息。然而，在现实中，句子通常作为文档的一部分而存在，而不是独立的;我们通常需要访问句子周围的相关上下文信息才能准确地解释它。由于没有文档级上下文感知的OpenIE数据集可用，我们手动注释了两个领域（医疗保健和交通）中80个文档的800个句子，形成DocOIE数据集进行评估。此外，我们提出了DocIE，一个新的文档级上下文感知的OpenIE模型。我们基于DocIE的实验结果表明，纳入文档级上下文有助于提高OpenIE的性能。DocOIE数据集和DocIE模型均已公开发布。
2021-05-11 cs.CL
AWARE, Beyond Sentence Boundaries: A Contextual Transformer Framework for Identifying Cultural Capital in STEM Narratives
本文提出AWARE框架，通过引入领域意识、上下文意识和类别重叠意识提升Transformer模型识别学生叙事中文化资本主题的能力，在Macro-F1上超越基线2.1个百分点。
2025-11-03 cs.AI cs.CL cs.CY
HanoiT: Enhancing Context-aware Translation via Selective Context
Beihang University（北京航空航天大学）；The University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出HanoiT端到端模型，通过逐层软选择机制筛选文档上下文中的噪声词，增强上下文感知神经机器翻译，并在四个基准上显著超越已有模型。
2023-01-17 cs.CL
Context-Aware Monolingual Human Evaluation of Machine Translation
eBay（易贝）；Dublin City University（都柏林城市大学）
本文研究在无源文本条件下用上下文感知单语人工评估评价机器翻译，通过专业译员在单一系统和成对系统两种场景中与双语评估对比，证明其效果相当且高效可行。
2025-04-10 cs.CL cs.HC
A context-aware knowledge transferring strategy for CTC-based ASR
National Taiwan University of Science and Technology（台湾科技大学）
非自回归自动语音识别（ASR）建模因其解码速度快、性能优越而受到越来越多的关注。其中，基于联结主义时态分类（CTC）的方法仍然是一个主流。然而，理论上固有的缺陷--符记之间的独立性假设，给作品学派造成了表演上的障碍。为了缓解这一挑战，我们提出了一个上下文感知的知识转移策略，包括一个知识转移模块和上下文感知的培训策略，基于CTC的ASR。前者的目的是从一个预先训练好的语言模型中提取语言信息，而后者的框架是为了调整由条件独立假设引起的限制。因此，本文提出了一个知识注入的上下文感知CTC的ASR建立在wav 2 vec 2. 0。在AISHELL-1和AISHELL-2数据集上的一系列实验证明了该方法的有效性。
2022-10-12 cs.CL cs.SD eess.AS
