Speak in Context: Multilingual ASR with Speech Context Alignment via Contrastive Learning
Institute for Analytics and Data Science, University of Essex(数据分析与科学研究所,埃塞克斯大学);School of Computer Science and Electronic Engineering, University of Essex(计算机科学与电子工程学院,埃塞克斯大学)
本文提出一种基于对比学习的多语言语音识别框架,通过语境对齐提升识别性能,支持多种语言和口音,实现语音与上下文的高效交互。
2026-08-19 cs.CL
Déjà vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation
University of Virginia(弗吉尼亚大学)
根据用户的历史行为序列预测用户的偏好是现代推荐系统的关键和挑战。现有的顺序推荐算法在建模历史事件对当前预测的影响时,大多关注顺序行为之间的过渡结构,而忽略了时间和上下文信息。在本文中,我们认为,过去的事件对用户的当前行动的影响应该随着时间的推移和不同的上下文。因此,我们提出了一个语境化的时间注意力机制,它学会权衡历史行动的影响,不仅是什么行动,而且行动何时以及如何发生。更具体地说,为了动态地校准来自自注意力机制的相对输入依赖性,我们部署了多个参数化核函数来学习各种时间动态,然后使用上下文信息来确定每个输入遵循这些重新加权核中的哪一个。在对两个大型公共推荐数据集的实证评估中,我们的模型始终优于一组广泛的最先进的顺序推荐方法。
2020-01-29 cs.CL cs.IR cs.LG
Dynamically Context-Sensitive Time-Decay Attention for Dialogue Modeling
National Taiwan University(国立台湾大学)
口语语言理解是会话系统的重要组成部分。考虑到上下文提供了更好地理解的信息线索,历史可以用于上下文SLU。然而,以往的研究大多只关注历史话语中的相关内容,而忽略了时间信息。在对话中,直觉告诉我们,最近的话语比最近的话语更重要,时间感知注意力应该是衰减的。因此,本文允许模型自动学习时间衰减注意力函数,其中注意力权重可以根据每个角色上下文的内容动态地决定,这有效地集成了内容感知和时间感知的观点,并对复杂的对话上下文表现出显着的灵活性。在对话状态跟踪挑战(DSTC 4)数据集上的实验表明,本文提出的动态上下文敏感时间衰减注意力机制显著提高了上下文理解性能。
2018-11-01 cs.CL
Attentive Contextual Carryover for Multi-Turn End-to-End Spoken Language Understanding
Alexa Speech, Amazon(亚马逊Alexa语音部门)
近年来,在端到端(E2E)口语语言理解(SLU)系统中已经看到了显著的进步,该系统直接从口语音频预测意图和时隙。虽然已经利用对话历史来改进传统的基于文本的自然语言理解系统,但是当前的E2E SLU方法还没有在多轮和面向任务的对话中结合这样的关键上下文信号。在这项工作中,我们提出了一个上下文E2E SLU模型架构,它使用了一个多头注意力机制,编码以前的话语和对话行为(由语音助手采取的行动)的多轮对话。我们详细介绍了替代方法,以将这些背景整合到最先进的经常性和基于transformer的模型中。当应用于语音助手收集的大量去识别的话语数据集时,我们的方法分别将平均单词和语义出错率降低了10.8%和12.6%。我们还提出了一个公开的数据集上的结果,并表明我们的方法显着提高了非上下文基线的性能
2021-12-13 cs.AI cs.CL
Multilingual Alignment of Contextual Word Representations
University of California, Berkeley(加州大学伯克利分校);Computer Science Division(计算机科学系)
我们提出了评估和加强上下文嵌入对齐的程序,并表明它们在分析和改进多语言BERT中是有用的。特别是,在我们提出的对齐过程后,与基本模型相比,BERT在XNLI上表现出显着改善的zero-shot性能,显著匹配保加利亚语和希腊语的伪全监督训练模型。此外,为了测量对齐的程度,我们引入了一个上下文版本的单词检索,并表明它与下游zero-shot传输相关。使用这个词检索任务,我们还分析了BERT,并发现它表现出系统的缺陷,例如,更差的对齐开放类的词性和词对写在不同的脚本,纠正对齐过程。这些结果支持上下文对齐作为理解大型多语言预训练模型的有用概念。
2020-02-12 cs.CL cs.LG
Conversational Contextual Cues: The Case of Personalization and History for Response Ranking
Google Inc(谷歌公司)
我们调查的任务建模开放域,多轮,非结构化,多参与者,会话对话。我们专门研究了将对话的不同元素结合起来的效果。与以前的努力,专注于建模的消息和响应,我们扩展到长期的上下文和参与者的历史建模。我们的系统不依赖于手写规则或工程特征;相反,我们在大型会话数据集上训练训练深度神经网络。特别是,我们利用Reddit评论和帖子的结构提取了21亿条消息和1.33亿次对话。我们评估了我们的模型在预测对话中的下一个响应的任务,我们发现,建模上下文和参与者提高了预测精度。
2016-06-01 cs.CL cs.LG
Cross-Lingual Alignment of Contextual Word Embeddings, with Applications to Zero-shot Dependency Parsing
MIT(麻省理工学院);Tel Aviv University(特拉维夫大学)
我们介绍了一种新的多语言传输方法,该方法利用深度上下文嵌入,以无监督的方式进行预训练。虽然上下文嵌入已被证明产生更丰富的表示意义相比,他们的静态同行,对齐他们提出了一个挑战,由于他们的动态性质。为此,我们构建了原始单语空间的上下文无关的变体,并利用它们的映射来导出上下文相关空间的对齐。这种映射很容易支持目标语言的处理,通过上下文感知的嵌入来改善传输。我们的实验结果表明,该方法的有效性zero-shot和少样本学习的依存句法分析。具体来说,我们的方法在6种测试语言上的表现始终优于以前的最先进技术,平均提高了6.8个LAS点。
2019-04-04 cs.CL cs.LG
Bootstrapping Multilingual AMR with Contextual Word Alignments
University of Pennsylvania(宾夕法尼亚大学);IBM Research(IBM研究院)
我们开发了高性能的多语言抽象意义表示(AMR)系统,通过投影英语AMR注释到其他语言的弱监督。我们通过引导基于transformer的多语言词嵌入来实现这一目标,特别是那些来自跨语言RoberTa(XLM-R large)的词嵌入。我们开发了一种新的技术,用于外国文本到英语AMR对齐,使用英语和外语标记之间的上下文单词对齐。这种词对齐是弱监督的,依赖于上下文化的XLM-R词嵌入。我们实现了非常有竞争力的性能,超过了德语,意大利语,西班牙语和中文的最佳结果。
2021-02-03 cs.AI cs.CL
Cross-lingual alignments of ELMo contextual embeddings
University of Ljubljana(卢布尔雅那大学)
为特定的NLP任务构建机器学习预测模型需要足够的训练数据,这对于资源较少的语言来说可能很难获得。跨语言嵌入将词嵌入从资源较少的语言映射到资源丰富的语言,使得在来自资源丰富的语言的数据上训练的预测模型也可以在资源较少的语言中使用。为了产生最近上下文嵌入的跨语言映射,嵌入空间之间的锚点必须是相同上下文中的单词。我们用一种新的方法来解决这个问题,用于创建跨语言上下文对齐数据集。在此基础上,我们提出了几种ELMo嵌入的跨语言映射方法。所提出的线性映射方法使用现有的Vecmap和MUSE对齐上下文ELMo嵌入。新的非线性ELMoGAN映射方法基于GANs,并且不假设同构嵌入空间。我们评估了九种语言的映射方法,使用四个下游任务:命名实体识别(NER),依存句法分析(DP),术语对齐,和情感分析。ELMoGAN方法在NER和术语对齐任务上表现非常好,与某些语言的直接训练相比,NER的跨语言损失更低。在DP和情感分析中,线性上下文对齐变体更成功。
2021-07-22 cs.CL
Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings
AWS(亚马逊)
本文提出在微调过程中使用最优传输作为对齐目标,以提升多语言上下文表示,无需预训练词对齐,通过上下文无监督学习词对齐,实现不同映射类型,实验在XNLI和XQuAD任务上取得优于基线的改进。
2021-10-06 cs.AI cs.CL
Integration of Contextual Descriptors in Ontology Alignment for Enrichment of Semantic Correspondence
Khmelnytskyi National University(赫梅利尼茨基国立大学)
本文针对语义本体对齐问题,提出集成基本与上下文描述符的新方法,通过形式化建模与冲突分析工具提升对齐效果,实验显示平均改进约4.36%,有效反映知识复杂性与上下文依赖性。
2024-11-28 cs.CL cs.IR
From Oracle to Noisy Context: Mitigating Contextual Exposure Bias in Speech-LLMs
School of Computer Science and Technology, Xinjiang University, Urumqi, China(新疆大学计算机科学与技术学院,乌鲁木齐,中国);Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Urumqi, China(丝绸之路多语种认知计算联合国际研究实验室,乌鲁木齐,中国);Timekettle
本文提出统一训练框架,通过教师错误知识、上下文dropout和直接偏好优化提升语音大语言模型在真实历史下的鲁棒性,实验表明在预测历史解码中性能提升,且在无关上下文攻击下表现更稳健。
2026-03-25 cs.AI cs.CL
FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems
Emory University(埃默里大学)
本文提出FCC框架,通过融合对话历史与候选来源的领域知识提升多轮对话响应排序性能,在MSDialog数据集上Recall@1提升7%、MAP提升4%。
2023-03-31 cs.AI cs.CL
Contextual Moral Value Alignment Through Context-Based Aggregation
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
本文提出一种基于上下文聚合的系统,通过整合最适合用户输入的LLM响应子集来实现上下文道德价值对齐,在人类价值对齐上优于现有技术。
2024-03-19 cs.AI cs.CL
CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search
Université de Montréal(蒙特利尔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Renmin University of China(中国人民大学)
提出CHIQ两步法,利用开源LLMs在查询重写前解决对话历史歧义,在五个基准上取得SOTA结果,成为对话式搜索中替代闭源商业模型的有竞争力方案。
2024-09-26 cs.CL cs.IR
Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);NTT Communication Science Laboratories(NTT通信科学实验室);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所革新智能综合研究中心)
我们提出了一种新的方法来学习上下文跨语言的词嵌入的基础上一个小的平行语料库(例如几百个句子对)。我们的方法通过LSTM编码器-解码器模型获得词嵌入,该模型同时翻译和重建输入句子。通过在不同语言之间共享模型参数,我们的模型在一个公共的跨语言空间中联合训练词嵌入。我们还建议结合词和子词嵌入,以利用不同语言的拼写相似性。我们的实验基于濒危语言的真实数据,即永宁纳,Shipibo-Konibo和Griko。我们的双语词典归纳和单词对齐任务的实验表明,我们的模型优于现有的方法,大多数语言对的大幅度。这些结果表明,与通常的看法相反,编码器-解码器翻译模型即使在资源极其有限的情况下也有利于学习跨语言表示。此外,我们的模型在高资源条件下也能很好地工作,在德语-英语单词对齐任务上实现了最先进的性能。
2021-10-20 cs.AI cs.CL cs.LG
CANDI: Contextual Alignment for Niche Domains Question Answering
研究针对专业领域大语言模型评估问题,提出CANDI-QA数据集,含两类问答对。评估多种语言模型,给出MTSS-Net框架。揭示特定领域上下文对齐挑战及当前模型局限,为上下文感知语言模型研究提供关键基准。
2026-07-15 cs.AI cs.CL
Alignment Studio: Aligning Large Language Models to Particular Contextual Regulations
IBM Research(IBM研究院)
本文提出对齐工作室架构,包含框架制定者、指导者和审计者三组件,使应用开发者能将语言模型对齐到特定价值观、规范和法律,并协调情境中的冲突要求,以企业聊天机器人对齐商业准则为例。
2024-03-08 cs.AI cs.CL cs.LG
Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学)
跨语言词嵌入(CLWE)已被证明是有用的,在许多跨语言的任务。然而,大多数现有的学习CLWE的方法,包括那些与上下文嵌入是意义不可知的。在这项工作中,我们提出了一个新的框架,对齐上下文嵌入的意义上的水平,利用跨语言的信号,从双语词典。我们首先提出了一种新的感知交叉熵损失模型明确的词义操作我们的框架。用我们的感知交叉熵损失预训练的单语ELMo和BERT模型在词义消歧任务中表现出显着的性能改善。然后,我们在感知交叉熵损失的基础上提出了一个感知对齐目标,用于跨语言模型预训练,并为几种语言对(英语到德语/西班牙语/日语/中文)预训练跨语言模型。与最佳基线结果相比,我们的跨语言模型在zero-shot跨语言NER、情感分类和XNLI任务上的平均性能分别提高了0.52%、2.09%和1.29%。
2022-09-15 cs.AI cs.CL
Persona2Web: Benchmarking Personalized Web Agents for Contextual Reasoning with User History
Department of Artificial Intelligence, Yonsei University, Seoul, Republic of Korea(人工智能系,延世大学,首尔,大韩民国)
提出Persona2Web基准,通过澄清-个性化原则评估Web智能体在真实开放网络中利用用户历史解决模糊查询的个性化能力,并引入推理感知评估框架。
2026-05-27 cs.AI cs.CL
Contextualized Word Vector-based Methods for Discovering Semantic Differences with No Training nor Word Alignment
Konan University(甲南大学);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);Tokyo University of Foreign Studies(东京外国语大学);University of Tokyo(东京大学)
本文提出基于上下文化词向量范数的方法,无需训练和词对齐即可发现两个语料库中词语的语义差异,在母语与非母语及历史语料库中验证了其对语料规模偏斜的鲁棒性及低频词检测能力。
2023-05-19 cs.CL
Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models
提出分层上下文流形对齐方法,在不改动模型权重下重构词元嵌入,提升稀有词元检索、对抗鲁棒性与长距离依赖追踪,兼顾表示质量与计算效率。
2025-03-25 cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);LRI, Univ. Paris-Sud, CNRS(巴黎第十一大学计算机研究实验室,法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中,我们探讨了语境词嵌入的特点,并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案,考虑上下文的多意义词嵌入的噪声(去除),并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入(替换)。实验结果表明,本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐,而不会影响双语词典归纳任务的宏观性能。对于无监督对齐,我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
ValueCompass: A Framework for Measuring Contextual Value Alignment Between Human and LLMs
NYU Shanghai(纽约大学上海校区);New York University(纽约大学);University of Washington(华盛顿大学);MBZUAI;Microsoft(微软);UIUC(伊利诺伊大学香槟分校)
本文提出ValueCompass框架,基于心理学理论和系统性回顾识别并评估人类与AI的价值观对齐,在协作写作、教育、公共部门和医疗保健四个真实场景中揭示了人类与LLMs之间令人担忧的价值观错位,为设计上下文感知的AI对齐策略提供见解。
2025-11-04 cs.AI cs.CL cs.HC
Grounding Agent Memory in Contextual Intent
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
STITCH通过上下文意图索引提升长周期交互的记忆检索能力,有效减少歧义和干扰,实现在动态目标轨迹中的高效检索。
2026-04-30 cs.AI cs.CL cs.IR
PrivacyAlign: Contextual Privacy Alignment for LLM Agents
University of Waterloo(滑铁卢大学);ServiceNow AI Research(ServiceNow AI 研究);McGill University(麦吉尔大学);Mila -- Quebec AI Institute(米拉——魁北克人工智能研究所)
提出PrivacyAlign数据集,通过人类标注对齐LLM代理的隐私决策,并引入基于标注的奖励建模以提升隐私对齐性能。
2026-06-23 cs.AI cs.CL cs.IR
Contextual StereoSet: Stress-Testing Bias Alignment Robustness in Large Language Models
Indian Institute of Information Technology, Allahabad (IIITA)(印度信息与技术研究所(Allahabad));National Institute of Electronics and Information Technology (NIELIT)(国家电子与信息技术研究所)
上下文立体集通过压力测试大型语言模型在不同上下文中的偏见对齐鲁棒性,揭示固定条件测试的偏见分数可能无法推广。
2026-01-15 cs.AI cs.CL cs.CY
Beyond Preferences: Learning Alignment Principles Grounded in Human Reasons and Values
Duke University(杜克大学)
本文提出GCAI框架,通过结合人类理由和价值观生成AI对齐原则,提升AI治理的道德基础和一致性。
2026-01-26 cs.CL cs.LG
BERTMap: A BERT-based Ontology Alignment System
University of Oxford(牛津大学);Samsung Research(三星研究院)
本体对齐(也称为本体匹配(OM))在知识集成中起着至关重要的作用。由于机器学习在许多领域的成功,它已经在OM中得到了应用。然而,现有的方法,往往采用ad-hoc特征工程或非上下文词嵌入,尚未优于基于规则的系统,特别是在无监督的设置。在本文中,我们提出了一种新的OM系统命名BERTMap,它可以支持无监督和半监督设置。该方法首先在文本语义语料库上使用基于上下文嵌入模型BERT的分类器预测映射,然后利用本体的结构和逻辑,通过扩展和修复来细化映射。我们对生物医学本体的三个对齐任务的评估表明,BERTMap通常比领先的OM系统LogMap和AML表现得更好。
2022-05-03 cs.AI cs.CL cs.LG
Hallucinations as Orthogonal Noise: Inference-Time Manifold Alignment via Dynamic Contextual Orthogonalization
Xi’an Jiaotong University(西安交通大学);Xingchen AGI Lab(星辰AGI实验室);China Telecom AI Technology (Beijing) Co., Ltd.(中国电信人工智能技术(北京)有限公司);Institute of Artificial Intelligence, China Telecom(中国电信人工智能研究院);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
提出一种基于线性表示假设的几何框架,将大语言模型幻觉解释为残差流语义流形的正交噪声,并引入推理时干预方法动态上下文正交化(DCO),通过层间Z分数抑制机制选择性地衰减异常正交分量,在保持知识记忆的同时提升上下文忠实度。
2026-06-02 cs.AI cs.CL
Interconnected Question Generation with Coreference Alignment and Conversation Flow Modeling
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
我们研究了问答式会话中关联问题的生成问题。与以往基于单句(或段落)生成问题的作品相比,这一设置在两个主要方面有所不同:(1)问题具有高度的会话性。几乎有一半的人使用共指来追溯对话历史。(2)在连贯的对话中,问题在转折之间有平滑的过渡。我们提出了一个端到端的神经模型与共指对齐和会话流建模。共指对齐模型明确地将会话历史中的共指提及与生成问题中的相应代词引用对齐,这使得生成的问题与会话历史互连。会话流建模通过对文本段落中的前几句话开始提问并将焦点平滑地转移到后面的部分来构建连贯的会话。大量的实验表明,我们的系统优于几个基线,可以生成高度会话的问题。代码实现在https://github.com/Evan-Gao/conversational-QG上发布。
2019-06-17 cs.CL
ContextAdapt: Evaluating Contextual Adaptation and Value Alignment in LLMs
University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
本文提出ContextAdapt评估框架,测试12个大语言模型在医学、法律、金融和国家安全领域的价值对齐,发现模型在情境适应上存在局部严重失败,强调评估需关注价值观的情境化应用。
2026-10-01 cs.AI cs.CL
Statistical Coherence Alignment for Large Language Model Representation Learning Through Tensor Field Convergence
本文提出统计一致性对齐方法,通过张量场收敛强制结构化token表示,整合损失函数优化表示一致性,实验表明该方法改善了困惑度与分类准确率,缓解了表示坍塌,提升了语义完整性。
2025-08-08 cs.CL
Contextual Neural Model for Translating Bilingual Multi-Speaker Conversations
Monash University(莫纳什大学);Unbabel
神经机器翻译的最新工作已经开始探索文档翻译。然而,在线多人对话的翻译仍然是一个悬而未决的问题。在这项工作中,我们提出了翻译双语多说话者对话的任务,并探讨神经架构,利用源和目标方的会话历史,这项任务。为了启动此任务的评估,我们引入了从Europarl v7和OpenSubtitles2016中提取的数据集。我们对四种语言对的实验证实了利用对话历史的重要性,无论是在BLEU还是手动评估方面。
2018-09-02 cs.CL
ValuesRAG: Enhancing Cultural Alignment Through Retrieval-Augmented Contextual Learning
Peking University(北京大学);Enhans;Tsinghua University(清华大学);Peking University Chongqing Research Institute of Big Data(北京大学重庆大数据研究院)
ValuesRAG框架通过将检索增强生成与上下文学习相结合,利用世界价值观调查数据集动态整合文化知识,在多个区域数据集上一致优于零样本、少样本等基线方法,有效提升了大语言模型的文化对齐能力。
2025-05-08 cs.AI cs.CL cs.SI
LUNA: Learning Slot-Turn Alignment for Dialogue State Tracking
JD AI Research(京东人工智能研究院)
对话状态跟踪(DST)的目的是在给定对话历史的情况下预测当前对话状态。现有的方法通常利用所有对话轮的话语来为每个时隙分配值。由于从对话历史中的不相关话语引入的信息,这可能导致次优结果,这可能是无用的,甚至可能导致混淆。为了解决这个问题,我们提出了LUNA,一个sLot-tUrN对齐增强的方法。它首先明确地将每个槽与其最相关的话语对齐,然后基于该对齐的话语而不是所有对话话语进一步预测对应的值。此外,我们还设计了一个时隙排序辅助任务来学习时隙之间的时间相关性,这有助于对齐。在多领域面向任务的对话数据集上进行了综合实验,MultiWOZ 2.0、MultiWOZ 2.1和MultiWOZ 2.2。结果表明,LUNA在这些数据集上取得了新的最先进的结果。
2022-05-05 cs.CL
Attribute-Consistent Knowledge Graph Representation Learning for Multi-Modal Entity Alignment
Beihang University(北京航空航天大学);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Zhongguancun Lab(中关村实验室)
提出属性一致知识图谱表示学习框架ACK-MMEA,通过多模态属性统一化构建ACKGs并结合关系感知图神经网络与联合对齐损失,有效弥补上下文间隙,在多模态实体对齐任务中取得优异性能。
2023-04-04 cs.CL
Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction
Jyvaskylan yliopisto(耶夫斯克扬大学)
研究探讨LLM在基于上下文的提示中推断用户意图的能力,发现更大模型更接近人类解释,隐含意义提示能显著提升响应的相关性和质量,67.6%参与者偏好隐含意义提示。
2026-05-02 cs.AI cs.CL
Enhancing Visual Dialog State Tracking through Iterative Object-Entity Alignment in Multi-Round Conversations
Beijing Information Science and Technology University(北京信息科技大学);Beijing University of Technology(北京工业大学)
针对现有视觉对话方法忽略轮次级对话信息流的问题,提出多轮对话状态跟踪模型MDST,以视觉-语言二元组构建对话状态表示,在VisDial v1.0生成式任务上取得SOTA,且生成答案更一致类人。
2024-08-13 cs.AI cs.CL cs.CV
Not All Gap Correction Helps: A Geometric View of External Information in LLM Inference
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理大学)
本文提出统一理论框架,分析上下文信息对Transformer模型误差动态的影响,通过几何条件和范数约束揭示上下文校正的必要条件,并通过实验验证提升模型性能。
2026-11-13 cs.CL
Enhancing Cross-Tokenizer Knowledge Distillation with Contextual Dynamical Mapping
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
针对跨分词器知识蒸馏中的序列与词汇错位问题,提出 CDM 框架,利用上下文动态对齐并映射词汇,在多类模型和基准上显著优于现有方法。
2025-02-16 cs.CL
A Contextual Hierarchical Attention Network with Adaptive Objective for Dialogue State Tracking
对话状态跟踪(DST)的最新研究利用历史信息来确定状态,这些状态通常表示为槽值对。然而,由于缺乏一个强大的机制来建模槽和对话历史之间的交互,他们中的大多数都有局限性,有效地利用相关的上下文。此外,现有的方法通常忽略了槽不平衡的问题,对待所有的槽不加区别,这限制了学习的硬槽,并最终损害整体性能。在本文中,我们建议通过采用上下文层次注意力网络来增强DST,不仅在单词级别和回合级别上识别相关信息,而且还学习上下文表示。我们进一步提出了一个自适应的目标,以减轻时隙不平衡的问题,在训练过程中动态调整不同的时隙的权重。实验结果表明,我们的方法在MultiWOZ 2.0和MultiWOZ 2.1数据集上分别达到了52.68%和58.55%的联合准确率,并实现了新的最先进的性能,有相当大的改进(+1.24%和+5.98%)。
2020-12-21 cs.CL
Dial-MAE: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对对话响应选择中密集编码器缺乏专用后训练方法导致上下文与响应表示难以对齐的问题,提出 Dial-MAE,采用非对称编码器-解码器架构压缩对话语义,在两个基准上达到 SOTA。
2024-03-27 cs.AI cs.CL
DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment
Tsinghua University(清华大学);Quan Cheng Laboratory(泉城实验室);Zhongguancun Laboratory(中关村实验室);Huawei Cloud BU(华为云业务部)
提出DELTA判别模型,通过将词对齐机制引入上下文掩码自编码器,定位法律案件关键事实并优化[CLS]嵌入,有效提升了法律案件检索性能。
2024-03-27 cs.CL cs.IR
Multilevel Text Alignment with Cross-Document Attention
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
文本对齐在引用推荐和剽窃检测等任务中得到应用。现有的对齐方法在单个预定义级别上操作,并且不能学习在例如句子和文档级别上对齐文本。我们提出了一种新的学习方法,装备以前建立的层次注意力编码器表示文件与跨文件的注意力组件,使结构比较不同的水平(文件到文件和文件到文件)。我们的组件是从文档对中弱监督的,可以在多个级别上对齐。我们的评估预测的引用推荐和剽窃检测的任务上的文档到文档的关系和副本到文档的关系表明,我们的方法优于以前建立的层次,注意编码器的基础上经常性和Transformer上下文,不知道文档之间的结构对应关系。
2020-10-03 cs.CL
VeeAlign: Multifaceted Context Representation using Dual Attention for Ontology Alignment
本体对齐是一个重要的研究问题,适用于各种领域,如数据集成,数据传输,数据准备,等国家的最先进的(SOTA)本体对齐系统通常使用天真的领域相关的方法与手工制作的规则或特定领域的架构,使他们不可扩展和效率低下。在这项工作中,我们提出了VeeAlign,这是一种基于深度学习的模型,它使用一种新的双注意力机制来计算概念的上下文表示,然后再用来发现对齐。通过这样做,我们的方法不仅能够利用编码在本体中的语法和语义信息,它也是,通过设计,灵活和可扩展到不同的领域,以最小的努力。我们在来自不同领域和语言的四个不同数据集上评估了我们的模型,并通过这些结果以及详细的消融研究建立了它的优越性。使用的代码和数据集可在https://github.com/Remorax/VeeAlign上获得。
2021-12-17 cs.CL
Alignment Makes Language Models Normative, Not Descriptive
Technion – Israel Institute of Technology(技术离子-以色列理工学院)
通过对比120个基础-对齐模型对在超过10,000个真实人类决策中的表现,发现对齐诱导了规范性偏差:在单轮教科书式博弈中提升预测,但在多轮战略博弈中因忽略互惠、报复等描述性动态而损害预测。
2026-05-25 cs.AI cs.CL cs.GT