Graph Capsule Aggregation for Unaligned Multimodal Sequences
Sun Yat-sen University（中山大学）
人类通过多种方式表达自己的意见和情感，主要包括文本，听觉和视觉方式。关于多模态情感分析的先前工作主要应用递归神经网络（RNN）来对对齐的多模态序列进行建模。然而，由于不同模态的不同采样率，对齐多模态序列是不切实际的。此外，RNN容易出现梯度消失或爆炸的问题，并且它的学习能力有限，这是建模非对齐多模态序列的主要障碍。本文介绍了图胶囊聚合（GraphCAGE）模型，结合基于图的神经模型和胶囊网络对非对齐多峰序列进行建模。通过将序列数据转换为图，避免了RNN的上述问题。此外，胶囊网络的聚合能力和基于图的结构使我们的模型是可解释的，更好地解决了远程依赖的问题。实验结果表明，GraphCAGE在两个基准数据集上实现了最先进的性能，并通过Capsule Network进行了表示和解释。
2021-08-17 cs.CL
A Novel BGCapsule Network for Text Classification
Institute of Development Research in Banking Technology（银行技术发展研究院）；University of Hyderabad（海得拉巴大学）
即使对于现代深度学习网络，诸如情感分析、新闻分类、多标签分类和观点分类等若干文本分类任务也是具有挑战性的问题。最近，胶囊网络（CapsNets）被提出用于图像分类。已经表明，CapsNets比卷积神经网络（CNN）具有几个优点，而它们在文本领域的有效性却很少被探索。在本文中，我们提出了一种新的混合架构，即，BGCapsule，这是一个Capsule模型，前面有一个双向门控递归单元（BiGRU）的集合，用于几个文本分类任务。我们采用了一个双向GRU的合奏特征提取层之前的主要胶囊层。在执行基本的预处理步骤后，混合架构由五层组成：基于GloVe的嵌入层，基于BiGRU的集成层，主胶囊层，扁平层和全连接ReLU层，然后是全连接softmax层。为了评估BGCapsule的有效性，我们在五个基准数据集（从10，000条记录到700，000条记录）上进行了广泛的实验，包括Movie Review（MR Imdb 2005），AG News数据集，Dbpedia本体数据集，Yelp Review Full数据集和Yelp review polarity数据集。这些基准测试涵盖了几个文本分类任务，如新闻分类，情感分析，多类分类，多标签分类和意见分类。我们发现，与现有方法相比，我们提出的架构（BGCapsule）在没有任何外部语言知识（如积极情感关键字和消极情感关键字）的帮助下实现了更好的准确性。此…
2020-07-02 cs.CL
Capturing Argument Interaction in Semantic Role Labeling with Capsule Networks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
语义角色标注（SRL）涉及从自然语言句子中提取命题（即谓词及其类型化参数）。最先进的SRL模型依赖于强大的编码器（例如，LSTM），并且不对参数之间的非局部交互进行建模。我们提出了一种新的方法来建模这些相互作用，同时保持有效的推理。具体来说，我们使用胶囊网络：每个命题被编码为\textit{capsules}的元组，每个参数类型（即角色）一个胶囊。这些元组充当整个命题的嵌入。在每一个网络层中，胶囊彼此交互，并与句子中的单词表示交互。每次迭代都会导致更新的命题嵌入和关于SRL结构的更新预测。我们的模型在所有7种CoNLL-2019语言上的表现都大大优于非细化基线模型，并在5种语言（包括英语）上实现了最先进的依赖SRL结果。我们分析的类型的错误纠正的细化程序。例如，每个角色通常（但不总是）最多填充一个参数。然而，强制执行这种近似约束是没有用的现代SRL系统，迭代过程纠正错误，捕捉这种直觉在一个灵活的和上下文敏感的方式。
2019-10-07 cs.CL
Targeted aspect based multimodal sentiment analysis:an attention capsule extraction and multi-head fusion network
South China Normal University（华南师范大学）
多模态情感分析目前已经在多个领域中确定了其重要性。出于情感分析的目的，处理和分析与一个目标相对应的区分模态的不同方面。在这项工作中，我们首次提出了有针对性的基于方面的多模态情感分析（TABMSA）。在此基础上，设计了一个用于TABMSA任务的注意胶囊提取和多头融合网络（EF-Net）。分别采用基于多头注意力（MHA）的网络和ResNet-152处理文本和图像。MHA和胶囊网络的集成旨在捕获多模态输入之间的相互作用。除了目标方面之外，还整合了上下文和图像中的信息来传递情感。我们在两个手动注释的数据集上评估了所提出的模型。实验结果表明，我们提出的模型的有效性，这一新的任务。
2021-03-13 cs.CL cs.MM
Adversarial Capsule Networks for Romanian Satire Detection and Sentiment Analysis
University Politehnica of Bucharest（布加勒斯特理工大学）；National Institute for Research and Development in Informatics - ICI Bucharest（布加勒斯特国家信息学研发院）
针对罗马尼亚语NLP资源不足的问题，本研究结合对抗训练与胶囊网络改进经典NLP模型，用于讽刺检测与情感分析，准确率最高达99.08%，优于现有方法。
2023-06-13 cs.CL
weighted CapsuleNet networks for Persian multi-domain sentiment analysis
Islamic Azad University（伊斯兰阿扎德大学）；University of Yazd（亚兹德大学）；K.N. Toosi University of technology（霍加·纳赛尔·丁·图西大学）；University of Zanjan（赞詹大学）
针对情感分类高度依赖领域的问题，提出基于加权胶囊集成的波斯语多领域情感分析方法，利用领域归属度融合各领域模型，在多个数据集上取得高准确率。
2023-07-01 cs.AI cs.CL
Towards Linear Time Neural Machine Translation with Capsule Networks
ByteDance AI Lab（字节跳动人工智能实验室）；Mobile Internet Group, Tencent Technology Co., Ltd（腾讯科技有限公司移动互联网事业群）；Xiamen University（厦门大学）；Tianjin University（天津大学）
在这项研究中，我们首先研究了一种新的胶囊网络与动态路由的线性时间神经机器翻译（NMT），简称为\textsc{CapsNMT}。\textsc{CapsNMT}使用聚合机制将源语句映射到具有预定大小的矩阵中，然后应用深度LSTM网络从源表示中解码目标序列。不同于以往的工作\cite{sutskever2014sequence}，以被动和自底向上的方式存储的源语句，动态路由策略编码的源语句与迭代的过程，以决定从低层和高层节点之间的信用属性。\textsc{CapsNMT}具有两个核心特性：它在时间上运行，在序列长度上是线性的，并且提供了一种更灵活的方式来选择、表示和聚合源句子的部分-整体信息。在WMT 14英语-德语任务和更大的WMT 14英语-法语任务上，\textsc{CapsNMT}实现了与最先进的NMT系统相当的结果。据我们所知，这是第一个工作，胶囊网络已被实证研究序列到序列的问题。
2020-10-12 cs.CL
Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation
SKLSDE, School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院软件开发环境国家重点实验室）；Beijing Advanced Institution on Big Data and Brain Computing, Beihang University（北京航空航天大学大数据与脑机智能高精尖创新中心）；School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）
对比学习在无监督环境下通过自我监督的表示学习中取得了显著的成功。然而，有效地使对比学习适应监督学习任务在实践中仍然是一个挑战。在这项工作中，我们引入了一个双重对比学习（DualCL）框架，同时学习输入样本的特征和分类器的参数在同一个空间。DualCL将分类器的参数看作是与不同标签相关联的增强样本，然后利用输入样本和增强样本之间的对比学习。对五个基准文本分类数据集及其低资源版本的实证研究表明，分类精度有所提高，并证实了DualCL学习判别表示的能力。
2022-01-21 cs.AI cs.CL cs.LG
Information Aggregation via Dynamic Routing for Sequence Encoding
Fudan University（复旦大学）
虽然在如何将文本序列编码为向量序列方面已经取得了很大的进展，但较少关注如何将这些先前的向量（RNN/CNN的输出）聚合为固定大小的编码向量。通常，使用简单的最大或平均池，这是一种自下而上的被动聚合方式，缺乏任务信息的指导。在本文中，我们提出了一种聚合机制，以获得一个固定大小的编码与动态路由策略。动态路由策略是动态地决定从每个单词到文本序列的最终编码需要传递什么信息和多少信息。在Capsule Network的工作基础上，我们设计了两种动态路由策略，将RNN/CNN编码层的输出聚合为最终的编码向量。与其他聚合方法相比，动态路由可以根据最终编码向量的状态对消息进行细化。五个文本分类任务的实验结果表明，我们的方法明显优于其他聚合模型。相关的源代码发布在我们的github页面上。
2018-06-05 cs.CL
Enhanced Auto Language Prediction with Dictionary Capsule -- A Novel Approach
VIT Chennai（韦洛尔理工学院金奈校区）；Samsung R&D Institute India – Bangalore（三星研发研究院印度班加罗尔）
本研究提出结合神经网络与符号表示的ALPDC框架，实现语言预测与多语言到英语字面翻译，在多个基准数据集上达SOTA，提升翻译准确率，具实际应用潜力。
2024-03-09 cs.CL
Towards Scalable and Reliable Capsule Networks for Challenging NLP Applications
Technische Universität Darmstadt（达姆施塔特工业大学）；Nanyang Technological University（南洋理工大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
阻碍胶囊网络开发具有挑战性的NLP应用的障碍包括大输出空间的可扩展性差和路由过程不可靠。在本文中，我们引入：1）协议分数来评估实例级别路由过程的性能; 2）自适应优化器，以增强路由的可靠性; 3）封装压缩和部分路由，以提高封装网络的可扩展性。我们验证了我们的方法在两个NLP任务，即：多标签文本分类和问答。实验结果表明，我们的方法大大提高了强大的竞争对手在这两个任务。此外，我们在低资源环境中获得了最好的结果，只有很少的训练实例。
2019-06-06 cs.CL
Few-shot Text Classification with Dual Contrastive Consistency
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们将探讨如何利用预先训练的语言模型来执行Few-Shot文本分类，其中每个类只给出几个注释的例子。由于在这种情况下使用传统的交叉熵损失对语言模型进行微调会导致严重的过拟合，导致模型泛化效果不佳，因此我们采用了对少量标记数据进行有监督对比学习，对大量未标记数据进行一致性正则化的方法。此外，我们提出了一种新的对比一致性，以进一步提高模型性能和改进句子表示。在四个数据集上进行了广泛的实验后，我们证明了我们的模型（FTCC）可以优于最先进的方法，并具有更好的鲁棒性。
2022-09-29 cs.AI cs.CL cs.LG
Automatic Severity Classification of Coronary Artery Disease via Recurrent Capsule Network
East China University of Science and Technology（华东理工大学）；Shanghai Shuguang Hospital（上海曙光医院）
冠状动脉疾病（CAD）是心血管疾病死亡的主要原因之一。CAD病情进展迅速，如果不能在早期诊断和治疗，最终可能导致不可逆的心肌死亡状态。有创冠状动脉造影是诊断冠心病的金标准技术。冠状动脉造影文本详细描述了哪个部分有狭窄以及狭窄程度。对冠心病的严重程度进行分级至关重要。本文采用递归胶囊网络（RCN）提取中文冠状动脉造影文本中临床命名实体之间的语义关系，并根据Gensini改进的方法自动找出每个管腔的最大狭窄程度，从而推断CAD的严重程度。在上海曙光医院语料库上的实验结果表明，该方法对CAD严重程度的分类准确率达到97.0%.
2018-11-27 cs.CL
A Dual-Directional Context-Aware Test-Time Learning for Text Classification
Shenzhen University（深圳大学）
针对文本分类中传统模型在可解释性、效率和上下文范围上的权衡，提出动态双向Elman注意力网络（DBEAN），结合双向时间建模与自注意力，动态加权关键片段并保持计算效率。
2025-06-21 cs.AI cs.CL
UPB at SemEval-2021 Task 7: Adversarial Multi-Task Learning for Detecting and Rating Humor and Offense
University Politehnica of Bucharest（布加勒斯特理工大学）
检测幽默是一项具有挑战性的任务，因为单词可能共享多个配价，并且根据上下文，相同的单词甚至可以用于攻击性表达。基于Transformer的神经网络架构在多个自然语言处理任务上获得了最先进的结果，特别是文本分类。对抗性学习与其他技术（如多任务学习）相结合，有助于神经模型学习数据的内在属性。在这项工作中，我们描述了我们的对抗性多任务网络AMTL-Humor，用于检测和评估SemEval-2021任务7中的幽默和攻击性文本。模型的每个分支都专注于解决相关的任务，并且由BiLSTM层和Capsule层组成，在用于生成上下文化嵌入的BERTweet之上。我们的最佳模型由所有测试配置的集合组成，任务1a的F1得分为95.66%，准确率为94.70%，任务1b和任务2的RMSE得分分别为0.6200和0.5318。
2021-04-13 cs.AI cs.CL
Knowledge Capsules: Structured Nonparametric Memory Units for LLMs
Zhejiang Angel Medical AI Technology Co., Ltd.（浙江天使医疗人工智能科技有限公司）；Miti AI Technology Co., Ltd.（米蒂人工智能科技有限公司）；China-Singapore Belt and Road Joint Laboratory on Translational Infection Biology for Diagnostics and Therapies（中英一带一路联合实验室（转化感染生物学诊断与治疗））；State Key Laboratory for Diagnosis and Treatment of Infectious Diseases（传染病诊断与治疗国家重点实验室）；The First Affiliated Hospital（第一附属医院）
本文提出知识胶囊，一种结构化的非参数记忆单元，通过冻结基础模型直接从文档语料构建，采用外部键值注入框架提升外部知识在注意力计算中的参与度，提升长上下文和多跳推理的稳定性和准确性。
2026-04-23 cs.AI cs.CL
Capsule Network-Based Semantic Intent Modeling for Human-Computer Interaction
School of Visual Arts（视觉艺术学院）；University of Southern California（南加州大学）；Parsons School of Design（帕森斯设计学院）
本文提出基于胶囊网络的用户语义意图建模算法，利用向量化胶囊、动态路由和卷积特征提取构建层次化意图表示，并通过间隔损失提升类别区分能力，实验证明其在意图识别精度上优于传统方法和其他深度学习模型。
2025-07-01 cs.CL
R-Capsule: Compressing High-Level Plans for Efficient Large Language Model Reasoning
Tianjin University（天津大学）；Tencent Hunyuan（腾讯文元）；Peking University（北京大学）；Fudan University（复旦大学）；National Engineering Research Center of Educational Big Data and the Faculty of Artificial Intelligence in Education, Central China Normal University（教育大数据国家工程研究中心和教育人工智能学院，中央财经大学）
本文提出 R-Capsule 框架，利用信息瓶颈将高层推理计划压缩为少量隐式 token，并通过任务损失与计划重建损失兼顾效率、准确性和可解释性。
2025-09-29 cs.AI cs.CL
Knowledge-Enhanced Personalized Review Generation with Capsule Graph Neural Network
Renmin University of China（中国人民大学）；Huawei Cloud & AI（华为云与人工智能）
个性化评论生成旨在自动生成反映用户偏好的评论文本，这是一个具有挑战性的自然语言生成任务。以往的研究大多没有明确地对产品的事实描述进行建模，容易产生无信息的内容。而且它们主要关注词级生成，无法准确反映多个方面更抽象的用户偏好。针对上述问题，提出了一种基于胶囊图神经网络的知识增强PRG模型（Caps-GNN）。我们首先构建一个异构的知识图谱（HKG），利用丰富的项目属性。我们采用Caps-GNN来学习图胶囊，用于从HKG编码底层特征。我们的生成过程包括两个主要步骤，即体序列生成和句子生成。首先，基于图胶囊，我们自适应地学习方面胶囊推断方面序列。然后，在推断的体标签的条件下，我们设计了一个基于图的复制机制，以生成句子，合并相关实体或词从HKG。据我们所知，我们是第一个将知识图谱用于PRG任务的。合并KG信息能够在方面和单词水平上增强用户偏好。在三个真实数据集上的大量实验证明了我们的模型在PRG任务上的有效性。
2020-10-04 cs.AI cs.CL
Dynamic Context-guided Capsule Network for Multimodal Machine Translation
Xiamen University（厦门大学）；Tencent WeChat AI（腾讯微信AI）；University of Rochester（罗切斯特大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多模态机器翻译（MMT）主要致力于增强具有视觉特征的纯文本翻译，引起了计算机视觉和自然语言处理界的广泛关注。当前的MMT模型大多采用注意力机制、全局上下文建模或多模态联合表示学习来利用视觉特征。然而，注意力机制缺乏足够的语义模态之间的相互作用，而其他两个提供固定的视觉上下文，这是不适合的建模时，产生翻译观察到的变化。为了解决上述问题，在本文中，我们提出了一种新的动态上下文引导胶囊网络（DCCN）的MMT。具体地说，在解码的每个时间步，我们首先采用传统的源-目标注意力来产生特定于时间步的源侧上下文向量。接下来，DCCN将此向量作为输入，并使用它通过上下文引导的动态路由机制来引导相关视觉特征的迭代提取。特别是，我们用全局和区域视觉特征来表示输入图像，我们引入两个并行的DCCN来对具有不同粒度视觉特征的多模态上下文向量进行建模。最后，我们得到两个多模态上下文向量，将其融合并纳入解码器中用于预测目标词。在Multi 30 K英德英法翻译数据集上的实验结果表明了DCCN的优越性。我们的代码可以在https://github.com/DeepLearnXMU/MM-DCCN上找到。
2020-09-04 cs.CL cs.MM
DualTKB: A Dual Learning Bridge between Text and Knowledge Base
IBM Research（IBM研究）；AWS AI（亚马逊云科技AI（AWS AI））；Amazon（亚马逊（Amazon））
在这项工作中，我们提出了一种双重学习方法，用于无监督的文本到路径和路径到常识知识库（KBs）中的文本传输。我们通过创建弱监督数据集来研究弱监督的影响，并表明即使是少量的监督也可以显着提高模型性能并实现更高质量的传输。我们研究了不同的模型架构，和评估指标，提出了一种新的常识知识库完成度量生成模型量身定制。大量的实验结果表明，所提出的方法相比，非常有利的现有的基线。这种方法是一个可行的一步，走向一个更先进的系统，自动知识库建设/扩展和知识库转换为连贯的文本描述的反向操作。
2020-10-27 cs.CL cs.LG
DGST: a Dual-Generator Network for Text Style Transfer
University of Sheffield（谢菲尔德大学）；Utrecht University（乌得勒支大学）
我们提出了一种新颖而简单的用于文本风格转换的双生成器网络结构DGST。我们的模型只使用两个生成器，并且不依赖于任何鉴别器或并行语料库进行训练。在Yelp和IMDb数据集上进行的定量和定性实验表明，与具有更复杂架构设计的几个强大基线相比，我们的模型具有竞争力的性能。
2020-10-27 cs.CL cs.LG
Code-switched Language Models Using Dual RNNs and Same-Source Pretraining
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
本文的工作重点是建立语码转换文本的语言模型。我们提出了两种技术，显着提高这些LM：1）一种新的递归神经网络单元的双组件，分别专注于每种语言的代码切换文本2）预训练LM使用合成文本从生成模型估计使用训练数据。我们证明了我们提出的技术的有效性，通过报告困惑的普通话-英语任务，并获得显着减少困惑。
2018-09-06 cs.CL cs.LG
LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text Retrieval
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Meta AI
双编码器和交叉编码器在图文检索中得到了广泛的应用。在两者之间，双编码器独立地编码图像和文本，然后是点积，而交叉编码器联合地馈送图像和文本作为输入，并执行密集的多模态融合。这两个架构通常单独建模，没有交互。在这项工作中，我们提出了LoopITR，它将它们结合在同一个网络中进行联合学习。具体来说，我们让双编码器向交叉编码器提供硬否定，并使用更具鉴别力的交叉编码器将其预测提取回双编码器。这两个步骤在同一模型中一起有效地执行。我们的工作集中在这种组合架构的实证分析，把主要精力放在蒸馏目标的设计。我们的实验结果突出了在同一个网络中训练两个编码器的好处，并证明了蒸馏可以非常有效，只需几个困难的负面例子。在两个标准数据集（Flickr 30 K和COCO）上的实验表明，与使用类似数据量的方法相比，我们的方法实现了最先进的双编码器性能。
2022-03-10 cs.AI cs.CL cs.CV
DP-GPT4MTS: Dual-Prompt Large Language Model for Textual-Numerical Time Series Forecasting
针对传统模型忽略文本信息及单提示框架捕获语义不足的问题，提出DP-GPT4MTS双提示框架，结合显式与文本提示，在多种数据集上超越现有最优算法。
2025-08-06 cs.CL
Enhancing AMR-to-Text Generation with Dual Graph Representations
Technische Universität Darmstadt（达姆施塔特工业大学）；CNRS/LORIA（法国国家科学研究中心/洛里亚实验室）
从基于图形的数据生成文本，例如抽象意义表示（AMR），是一项具有挑战性的任务，因为在如何正确编码具有标记边缘的图形的结构方面存在固有的困难。为了解决这一困难，我们提出了一种新的图形到序列模型，编码AMR图中包含的结构信息的不同但互补的观点。该模型学习并行的自上而下和自下而上的节点表示，捕获图的对比视图。我们还研究了使用不同的节点消息传递策略，采用不同的国家的最先进的图形编码器来计算节点表示的基础上传入和传出的观点。在我们的实验中，我们证明了对偶图表示导致AMR到文本生成的改进，在两个AMR数据集上实现了最先进的结果。
2019-09-01 cs.CL
A Dual Reinforcement Learning Framework for Unsupervised Text Style Transfer
Peking University（北京大学）；Tencent Inc（腾讯公司）；Beijing Institute of Big Data Research（北京大数据研究院）；Peng Cheng Laboratory（鹏城实验室）
无监督文本风格迁移的目标是在不使用并行数据的情况下，迁移文本的底层风格，但保持其主要内容不变。大多数现有的方法通常遵循两个步骤：首先将内容与原始样式分离，然后将内容与所需样式融合。然而，第一步中的分离是具有挑战性的，因为内容和风格在自然语言中以微妙的方式相互作用。因此，在本文中，我们提出了一个双重强化学习框架，通过一步映射模型直接转移文本的风格，而没有任何内容和风格的分离。具体来说，我们认为学习的源到目标和目标到源的映射作为一个双重的任务，和两个奖励的设计基于这样的双重结构，以反映风格的准确性和内容保存，分别。以这种方式，可以通过强化学习来训练两个一步映射模型，而不使用任何并行数据。自动评估表明，我们的模型在很大程度上优于最先进的系统，特别是在两个基准数据集上平均有超过8个BLEU点的改进。人工评估也验证了我们的模型在风格准确性，内容保留和流畅性方面的有效性。我们的代码和数据，包括所有基线的输出和我们的模型都可以在https://github.com/luofuli/DualLanST上找到。
2019-05-24 cs.CL
DUAL: Diversity and Uncertainty Active Learning for Text Summarization
Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）；School of Informatics（信息学院）
提出结合不确定性与多样性的主动学习算法DUAL，通过迭代选择兼具代表性和挑战性的样本，有效解决了文本摘要任务中传统主动学习方法表现不佳的问题。
2025-03-02 cs.CL
SADGA: Structure-Aware Dual Graph Aggregation Network for Text-to-SQL
School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；Peng Cheng Laboratory（鹏城实验室）；College of Science, Shantou University（汕头大学理学院）
Text-to-SQL任务旨在将问题的自然语言转换为SQL查询，近年来引起了人们的广泛关注。Text-to-SQL最具挑战性的问题之一是如何将训练好的模型推广到看不见的数据库模式，也称为跨域Text-to-SQL任务。关键在于（i）对问题和数据库模式进行建模的编码方法和（ii）学习问题中的单词与数据库模式中的表/列之间的映射的问题-模式链接方法的可推广性。针对这两个关键问题，本文提出了一种结构感知的双图聚合网络（SADGA）。在SADGA中，我们采用了图结构，为自然语言问题和数据库模式提供了一个统一的编码模型。在统一建模的基础上，我们进一步设计了一种结构感知的聚合方法来学习问题图和模式图之间的映射。结构感知聚合方法具有全局图链接、局部图链接和双图聚合机制。我们不仅从经验上研究了我们的提案的性能，而且在撰写本文时，我们在具有挑战性的文本到SQL基准测试Spider中获得了第三名。
2022-01-17 cs.CL
Multimodal Procedural Planning via Dual Text-Image Prompting
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
该研究提出多模态程序规划任务，设计双模态提示方法TIP结合大语言模型与扩散模型能力，构建两个测试基准，验证了方法在规划信息性、时序一致性和准确性上的优势。
2023-05-02 cs.CL
One Source, Two Targets: Challenges and Rewards of Dual Decoding
Univ. Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（信号与噪声实验室）；Orsay, France（法国奥赛）
机器翻译通常被理解为从输入源文档生成一个目标文本。在本文中，我们考虑了一个更强的要求：联合生成两个文本，使每个输出端有效地依赖于其他。正如我们所讨论的，这样的设备有几个实际用途，从多目标机器翻译到目标文本的受控变体的生成。我们提出了一个分析可能实现的双重解码，并与四个应用程序的实验。从多个角度来看这个问题，使我们能够更好地突出双重解码的挑战，并彻底分析生成匹配而不是独立翻译的好处。
2021-09-21 cs.CL
LLM-Enhanced Dual-Branch Learning for Large-Scale Multi-Label Text Classification
Georgia State University（佐治亚州立大学）；Amazon（亚马逊）；Central China Normal University（华中师范大学）
针对大规模多标签文本分类，提出DualMLC双分支框架，融合自回归解码器与双向编码器的异构表示，通过后期逻辑融合提升性能，在三个基准上达到最先进结果。
2026-09-14 cs.AI cs.CL
Robust Text Watermarking for Large Language Models via Dual Semantic Embeddings
Freie Universität Berlin（柏林自由大学）
提出双嵌入水印（DEW），利用上下文和词级嵌入增强对释义和翻译的鲁棒性，通过伪随机矩阵投影隐藏水印，实验表明DEW在保持文本质量的同时提升检测性能。
2026-09-07 cs.CL cs.CR
Distilled Dual-Encoder Model for Vision-Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）；Peng Cheng Laboratory（鹏城实验室）
我们提出了一个跨模态注意力蒸馏框架，用于训练视觉-语言理解任务的双编码器模型，例如视觉推理和视觉问答。双编码器模型比融合编码器模型具有更快的推理速度，并且能够在推理过程中对图像和文本进行预计算。然而，在双编码器模型中使用的浅层交互模块不足以处理复杂的视觉-语言理解任务。为了学习图像和文本的深度交互，我们引入了跨模态注意力蒸馏，它使用融合编码器模型的图像到文本和文本到图像的注意力分布来指导我们的双编码器模型的训练。此外，我们表明，在预训练和微调阶段应用跨模态注意力蒸馏可以实现进一步的改进。实验结果表明，在视觉推理、视觉蕴涵和视觉问答任务中，提取的双编码器模型在推理速度上比融合编码器模型有更快的表现.我们的代码和模型将在https://github.com/kugwzk/Distilled-DualEncoder上公开。
2022-10-17 cs.CL cs.CV
DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs
School of Computer Science and Engineering（计算机科学与工程学院）
DuConTE通过双粒度编码和拓扑约束注意力，提升带文本图的语义表示，实现文本和结构信息的融合，实验表明其在多个基准数据集上表现优异。
2026-04-19 cs.AI cs.CL
SUDER: Self-Improving Unified Large Multimodal Models for Understanding and Generation with Dual Self-Rewards
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；School of Computer Science（计算机科学学院）；Baidu Inc.（百度公司）；School of Computer Science, Wuhan University（武汉大学计算机学院）
SUDER 提出利用理解与生成任务的对偶性，通过自监督双重奖励机制自我改进统一大型多模态模型，无需外部监督即可提升性能，尤其在文生图任务上效果显著。
2025-09-08 cs.AI cs.CL cs.CV
