Graph Convolutional Encoders for Syntax-aware Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
我们提出了一个简单而有效的方法，将句法结构的神经注意力为基础的编码器-解码器模型的机器翻译。我们依赖于图卷积网络（GCN），这是最近开发的一类神经网络，用于对图结构数据进行建模。我们的GCN使用源句子的预测语法依赖树来产生对其语法邻居敏感的单词表示（即编码器的隐藏状态）。GCN将单词表示作为输入并产生单词表示作为输出，因此它们可以容易地作为层并入标准编码器（例如，在双向RNN或卷积神经网络之上）。我们评估其有效性与英语-德语和英语-捷克语翻译实验不同类型的编码器，并观察到实质性的改进，在所有考虑的设置，其语法不可知的版本。
2020-06-18 cs.CL
Inducing Grammars with and for Neural Machine Translation
Informatics Institute（信息学院）；University of Amsterdam（阿姆斯特丹大学）；Department of Computer Science（计算机科学系）；University of Washington（华盛顿大学）
机器翻译系统需要语义知识和语法理解。神经机器翻译（NMT）系统通常假设这些信息是由注意力机制和确保流畅性的解码器捕获的。最近的工作表明，合并显式语法减轻了建模这两种类型的知识的负担。然而，要求解析是昂贵的，并且没有探索模型在翻译期间需要什么语法的问题。为了解决这两个问题，我们引入了一个模型，同时翻译，同时诱导依赖树。通过这种方式，我们利用结构的好处，同时调查什么语法NMT必须诱导，以最大限度地提高性能。我们证明我们的依赖树是1。语言对依赖和2.提高翻译质量。
2018-05-28 cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University（西蒙弗雷泽大学）
在神经机器翻译（NMT）系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola（2017）首次提出的自上而下的树结构模型DRNN（双循环神经网络）来创建一个名为Seq 2DRNN的NMT模型，该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法，基于语法的NMT使用依存句法分析模型，我们的方法使用选区分析，我们认为提供了有用的信息翻译。此外，我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络（Seq 2DRNN +SynC）。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型，并表明我们的模型产生更流畅的翻译，更好的重新排序。由于我们的模型能够同时进行翻译和选区解析，我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
Predicting Target Language CCG Supertags Improves Neural Machine Translation
University of Edinburgh（爱丁堡大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）模型能够从连续的词汇信息中部分地学习句法信息。然而，一些复杂的句法现象，如介词短语附加，模型很差。本文的工作旨在回答两个问题：1）显式地对目标语言语法建模是否有助于NMT？2)单词和语法的紧密结合比多任务训练更好吗？我们在解码器中以CCG超标签的形式引入句法信息，通过将目标超标签与单词序列交织。我们的研究结果表明，明确建模目标语法提高机器翻译质量德语->英语，高资源对，罗马尼亚语->英语，低资源对，也有几个句法现象，包括介词短语附件。此外，单词和语法的紧密耦合比多任务训练更能提高翻译质量。通过将目标语法与在嵌入层中添加源端依赖标签相结合，我们获得了德语->英语的0.9 BLEU和罗马尼亚语->英语的1.2 BLEU的总改进。
2017-07-18 cs.CL
Self-Enhancing Multi-filter Sequence-to-Sequence Model
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
表示学习对于解决自然语言处理中的序列到序列问题具有重要意义。表示学习将原始数据转换为矢量形式表示，同时保留其特征。然而，具有显著不同特征的数据导致其表示的异质性，这可能增加收敛的难度。我们设计了一个多过滤器的编码器-解码器模型来解决序列到序列任务的异构性问题。多过滤器模型使用聚类算法将潜在空间划分为子空间，并训练一组解码器（过滤器），其中每个解码器仅集中于来自其对应子空间的特征。作为主要贡献，我们设计了一个自增强机制，使用强化学习算法来优化聚类算法，而无需额外的训练数据。我们运行的语义解析和机器翻译实验表明，该模型可以超过大多数基准至少5%。实验结果表明，自增强机制可以使模型性能提高10%以上，并证明了模型性能与潜在空间聚类之间的正相关关系。
2023-01-11 cs.CL
A Tree-based Decoder for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
神经机器翻译（NMT）的最新进展表明，向NMT系统中添加句法信息可以提高其翻译质量。大多数现有的工作利用一些特定类型的语言启发的树结构，如选区和依赖解析树。这通常通过对线性化目标树结构进行操作的标准RNN解码器来完成。然而，这是一个悬而未决的问题，具体的语言形式主义，如果有的话，是最好的结构表示NMT。在本文中，我们（1）提出了一个NMT模型，可以自然地产生一个任意的树结构的拓扑结构在目标端，（2）实验与各种目标树结构。我们的实验显示了令人惊讶的结果，即我们的模型在没有任何语言知识的情况下构建了平衡二叉树，从而提供了最佳的改进;该模型比标准seq 2seq模型的性能高出2.1个BLEU点，并且比其他方法的性能高出0.7个BLEU点。
2018-08-28 cs.CL
Gated Tree Cross-Attention for Checkpoint-Compatible Syntax Injection in Decoder-Only LLMs
College of Biomedical Engineering & Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院）；Department of Language Science and Technology, The Hong Kong Polytechnic University（香港理工大学语言科学与技术系）
本文提出一种检查点兼容的门控树交叉注意力机制，用于在解码器-only LLMs中注入语法结构，提升语法鲁棒性而不影响问答和常识推理性能。
2026-04-27 cs.CL
Top-down string-to-dependency Neural Machine Translation
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）；Nara Women’s University（奈良女子大学）
本文提出一种自顶向下生成目标语言依存树的解码器，提升了长输入翻译性能，优于传统序列到序列解码。
2026-03-30 cs.CL
Integrating Multi-Head Convolutional Encoders with Cross-Attention for Improved SPARQL Query Translation
Chang Gung University（长庚大学）；National Chung Hsing University（国立中兴大学）
本文提出基于n-gram语言模型的多头卷积编码器（MHC编码器），结合卷积层与多头注意力改进SPARQL查询翻译，在QALD-9和LC-QuAD-1.0数据集上取得领先性能。
2024-08-24 cs.CL
Latent Part-of-Speech Sequences for Neural Machine Translation
Stony Brook University（石溪大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
学习目标侧句法结构已被证明可以改进神经机器翻译（NMT）。然而，通过潜在变量合并语法在推理中引入了额外的复杂性，因为模型需要边缘化潜在的语法结构。为了避免这种情况，模型通常采用贪婪搜索，这只允许它们探索潜在空间的有限部分。在这项工作中，我们引入了一个新的潜在变量模型，LaSyn，捕捉语法和语义之间的相互依赖，同时允许有效和高效的推理的潜在空间。LaSyn消除了连续潜在变量之间的直接依赖关系，这使得其解码器能够穷尽地搜索潜在的语法选择，同时保持解码速度与潜在变量词汇的大小成比例。我们通过修改基于变换的NMT系统来实现LaSyn，并设计了一个神经期望最大化算法，我们将词性信息作为潜在序列进行正则化。对四个不同的MT任务的评估表明，将目标方语法与LaSyn结合在一起既提高了翻译质量，又提供了提高多样性的机会。
2019-08-30 cs.AI cs.CL
Improving Top-K Decoding for Non-Autoregressive Semantic Parsing via Intent Conditioning
Google（谷歌）
语义解析（SP）是现代虚拟助手（如Google Assistant和Amazon Alexa）的核心组件。虽然基于序列到序列的自回归（AR）方法对于会话语义解析是常见的，但是最近的研究使用非自回归（NAR）解码器并且在保持竞争性解析质量的同时减少推理延迟。然而，NAR解码器的主要缺点是难以生成top-k（即，k-best）输出。为了解决这一挑战，我们提出了一种新的NAR语义解析器，它引入了解码器上的意图条件。受传统意图和槽标记解析器的启发，我们将顶层意图预测与解析的其余部分分离。由于顶级意图在很大程度上控制解析的语法和语义，因此意图调节允许模型更好地控制束搜索并提高前k个输出的质量和多样性。我们引入了一种混合的教师强迫方法，以避免训练和推理不匹配。我们评估建议的NAR会话SP数据集，TOP和TOPv 2。与现有的NAR模型一样，我们保持了O（1）的解码时间复杂度，同时生成更多样化的输出，并将前3个精确匹配（EM）提高了2.4个点。与AR模型相比，我们的模型加快了束搜索推理6.7倍的CPU与竞争力的top-k EM。
2022-04-14 cs.AI cs.CL cs.LG
Semantics-aware Attention Improves Neural Machine Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
将句法结构整合到Transformer机器翻译中已经取得了积极的成果，但据我们所知，还没有工作试图这样做语义结构。在这项工作中，我们提出了两种新的无参数的方法注入语义信息到Transformers，都依赖于语义感知掩蔽（一些）的注意头。一种这样的方法通过场景感知自注意（SASA）头在编码器上操作。另一个在解码器上，通过场景感知交叉注意（SACrA）头。我们表现出一致的改进香草Transformer和语法感知模型的四种语言对。我们进一步表明，在一些语言对使用语义和句法结构时，额外的收益。
2022-05-24 cs.CL
Exploiting Inductive Bias in Transformers for Unsupervised Disentanglement of Syntax and Semantics with VAEs
LIPN（巴黎第十三大学信息与通信科学实验室）；Université Sorbonne Paris Nord（巴黎第十三大学）；CNRS（法国国家科学研究中心）；INRIA Paris（巴黎法国国家信息与自动化研究所）
我们提出了一个生成模型的文本生成，表现出解开潜在的语法和语义表示。与以前的工作相反，该模型不需要句法信息，如选区分析，或语义信息，如释义对。我们的模型完全依赖于在基于注意力的架构（如Transformers）中发现的感应偏差。在Transformers的注意中，键处理信息选择，而值指定传达什么信息。我们的模型，被称为QKVAE，在其解码器中使用注意力来读取潜变量，其中一个潜变量推断密钥，而另一个潜变量推断值。我们运行的实验，潜在的代表性和实验的语法/语义转移表明，QKVAE显示出清晰的迹象，解开语法和语义。我们还表明，与监督模型相比，我们的模型显示出具有竞争力的语法传输能力，并且可比的监督模型需要相当大量的数据（超过50 K个样本）才能在语法和语义传输方面表现出色。我们实验的代码是公开的。
2022-05-19 cs.CL cs.LG
HanoiT: Enhancing Context-aware Translation via Selective Context
Beihang University（北京航空航天大学）；The University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出HanoiT端到端模型，通过逐层软选择机制筛选文档上下文中的噪声词，增强上下文感知神经机器翻译，并在四个基准上显著超越已有模型。
2023-01-17 cs.CL
Syntax-Directed Variational Autoencoder for Structured Data
Georgia Institute of Technology（佐治亚理工学院）；Stony Brook University（石溪大学）；Ant Financial（蚂蚁金服）
深度生成模型在连续数据建模方面取得了成功。然而，它仍然具有挑战性，以捕捉表示离散结构与正式的语法和语义，例如，计算机程序和分子结构。如何生成语法和语义都正确的数据仍然是一个悬而未决的问题。受编译器语法和语义检查通过语法指导翻译（SDT）完成的理论启发，通过引入随机惰性属性，提出了一种新的语法指导变分自编码器（SD-VAE）.这种方法将离线SDT检查转换为用于约束解码器的实时生成的指导。与现有的方法相比，我们的方法对输出空间进行了约束，使得输出不仅在语法上有效，而且在语义上合理。我们评估所提出的模型与应用程序在程序设计语言和分子，包括重建和程序/分子优化。结果表明，在将句法和语义约束的离散生成模型，这是显着优于当前国家的最先进的方法的有效性。
2018-02-24 cs.CL cs.LG
Enhancing Coreference Resolution with Pretrained Language Models: Bridging the Gap Between Syntax and Semantics
Tianjin University（天津大学）；University of Florida（佛罗里达大学）；UCLA（加利福尼亚大学洛杉矶分校）；Amazon（亚马逊）；Huazhong University of Science and Technology（华中科技大学）
本文提出一种结合句法解析、语义角色标注与预训练语言模型及注意力机制的共指消解框架，在多个数据集上超越传统系统并提升指称消歧准确率。
2025-04-08 cs.AI cs.CL
Enhancing Software Vulnerability Detection Using Code Property Graphs and Convolutional Neural Networks
本文提出利用代码属性图与卷积神经网络相结合的方法，实现可扩展且自动化的软件漏洞检测，并构建了函数级漏洞数据集，以提高检测的准确性和粒度。
2025-03-23 cs.LG cs.SE
Enhancing Open-Domain Table Question Answering via Syntax- and Structure-aware Dense Retrieval
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
本文提出语法与结构感知的稠密检索方法，通过问题语法表示、表格结构化表示及语法到结构聚合器，在NQ-tables和新开放域Text-to-SQL数据集上取得最优或显著领先效果。
2023-09-19 cs.CL
CARDIAG: A Dense Segment Classification Benchmark of Deep Learning Architectures for Coronary Angiography
Gdańsk University of Technology（格但斯克工业大学）；NASK National Research Institute（国家信息与通信技术研究所）；Medical University of Gdańsk（格但斯克医科大学）
研究针对冠状动脉造影像素级分类缺标准化评估协议的问题，构建CARDIAG基准，涵盖24种架构。通过实验选出最佳模型并集成提升性能，展示架构校准等情况，强调高低分辨率特征重要性，为未来相关研究提供评估基准。
2026-07-27 cs.AI cs.CV cs.LG
cAST: Enhancing Code Retrieval-Augmented Generation with Structural Chunking via Abstract Syntax Tree
针对现有代码RAG基于行的分块方法易破坏语义结构的问题，提出基于抽象语法树的结构感知分块方法cAST，跨任务生成语义连贯的检索单元，显著提升代码检索与生成性能。
2025-10-02 cs.AI cs.CL cs.IR
SQLformer: Deep Auto-Regressive Query Graph Generation for Text-to-SQL Translation
University of Cambridge（剑桥大学）
SQLformer是一种新型Transformer架构，通过自回归生成SQL查询的抽象语法树并融入结构归纳偏置，在六个文本到SQL基准上取得最先进性能。
2024-05-27 cs.CL cs.LG
Syntax-Infused Variational Autoencoder for Text Generation
Bloomberg（彭博）；Duke University（杜克大学）；ASAPP Inc.（ASAPP公司）
我们提出了一个注入语法的变分自动编码器（SIVAE），它将句子与它们的语法树相结合，以提高生成的句子的语法。与现有的基于VAE的文本生成模型不同，SIVAE包含两个独立的潜在空间，用于句子和句法树。通过优化一个包含两个编码器和两个解码器的联合分布，相应地重新设计了证据下限目标。SIVAE与长短期记忆体系结构一起工作，同时生成句子和语法树。两个版本的SIVAE提出：一个通过条件先验网络捕获的潜在变量之间的依赖关系，和其他处理的潜在变量独立，这样可以进行句法控制的句子生成。实验结果表明，SIVAE在重建和有针对性的句法评价上都具有生成优势。最后，我们表明，所提出的模型可以用于无监督释义给定不同的句法树模板。
2019-06-05 cs.CL cs.LG stat.ML
Filling Memory Gaps: Enhancing Continual Semantic Parsing via SQL Syntax Variance-Guided LLMs without Real Data Replay
Xi’an Research Institute of High-Tech（西安高技术研究所）；Harbin Institute of Technology（哈尔滨工业大学）
针对持续语义解析中现有方法存在的数据隐私问题及对理想设置的依赖，提出LECSP方法，通过SQL语法分析引导LLM重建记忆并校准，结合任务感知双教师蒸馏，在无真实数据重放下实现更优的抗遗忘与泛化效果。
2024-12-10 cs.CL cs.DB
SyntaxSQLNet: Syntax Tree Networks for Complex and Cross-DomainText-to-SQL Task
Yale University（耶鲁大学）
大多数现有的文本到SQL任务的研究不需要生成复杂的SQL查询多个子句或子查询，并推广到新的，看不见的数据库。在本文中，我们提出了SyntaxSQLNet，语法树网络，以解决复杂的和跨域的文本到SQL生成任务。SyntaxSQLNet使用了一个SQL特定的语法树解码器，带有SQL生成路径历史和表感知的列注意编码器。我们在Spider text-to-SQL任务上评估SyntaxSQLNet，该任务包含具有多个表的数据库和具有多个SQL子句和嵌套查询的复杂SQL查询。我们使用数据库分割设置，其中测试集中的数据库在训练期间不可见。实验结果表明，SyntaxSQLNet可以处理比以前的工作更大量的复杂SQL示例，在精确匹配准确率方面比以前的最先进模型高出7.3%。我们还表明，使用跨域增强方法，SyntaxSQLNet可以进一步将性能提高7.5%，总共提高14.8%。据我们所知，我们是第一个研究这个复杂的跨域文本到SQL任务的人。
2018-10-25 cs.AI cs.CL
Hierarchical Token Prepending: Enhancing Information Flow in Decoder-based LLM Embeddings
Carnegie Mellon University（卡内基梅隆大学）；University of Oxford（牛津大学）；Snap Inc（Snap公司）
针对解码器大语言模型因果注意力阻碍反向信息流、现有单令牌前置方法过度压缩长文档信息的问题，提出HTP方法，通过层级块摘要令牌前置与均值池化，在多类嵌入基准上取得稳定性能提升。
2025-11-18 cs.CL cs.LG
SASST: Leveraging Syntax-Aware Chunking and LLMs for Simultaneous Speech Translation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Okinawa Institute of Science and Technology（冲绳科学技術研究院）；Nara Institute of Science and Technology（奈良科学技術研究院）
提出SASST同声语音翻译框架，利用语法感知分块策略解析依存关系，结合冻结Whisper和LLM动态优化翻译时机与内容，在CoVoST2上显著提升多语言翻译质量。
2025-08-11 cs.CL
Beyond Sequence Order: Syntax-Informed Positional Embeddings for Transformers
University of Arizona（亚利桑那大学）
该研究提出句法感知位置嵌入SiPE，将句法先验注入Transformer，使模型在SyntaxGym、GLUE基准分别提升10.3%、8.2%，困惑度降9.0%，在句法监督与推理成本间建立新帕累托前沿。
2026-08-07 cs.AI cs.CL
ASTormer: An AST Structure-aware Transformer Decoder for Text-to-SQL
Shanghai Jiao Tong University（上海交通大学）
本文提出ASTormer，一种AST结构感知的Transformer解码器，通过绝对和相对位置嵌入将树结构知识融入文本到SQL解码过程，在五个基准上验证了其相比RNN解码器的有效性和效率。
2023-10-28 cs.CL
SamatNext v0.2-B: An Exploratory Study of RMS-Normalized Hybrid Decoders for Curriculum Retention in Small Code Models
提出SamatNext v0.2-B混合解码器，在课程微调中通过RMS归一化和输出缩放校准交替使用差分注意力层与简化线性状态混合器，在Python代码课程上相比Transformer基线显著提升保留率，但长期早期阶段保留仍较弱。
2026-06-23 cs.CL cs.LG
Enhancing Instruction-Following Capabilities in Seq2Seq Models: DoLA Adaptations for T5
University College London（伦敦大学学院）
通过梯度激活引导方法改进T5模型的指令遵循能力，显著提升MemoTrap性能
2025-12-12 cs.CL
Text Classification Using Association Rules, Dependency Pruning and Hyperonymization
Institut Mines Telecom（法国矿业电信学院）；Telecom Bretagne（布列塔尼电信学院）
本文提出了一种基于关联规则挖掘的文本分类项目集的剪枝和增强方法.剪枝方法是基于依存句法，增强方法是基于用不同顺序的上位词替换词。我们讨论了这些方法的影响，相比修剪的tfidf排名的话。
2014-07-28 cs.CL cs.IR
Camouflage is all you need: Evaluating and Enhancing Language Model Robustness Against Camouflage Adversarial Attacks
Universidad Politécnica de Madrid（马德里理工大学）
本研究系统评估了Transformer模型对camouflage对抗攻击的漏洞，并提出整合预伪装与动态修改数据的对抗训练方法，显著增强了模型鲁棒性并开源了相应工具。
2024-02-15 cs.CL
Enhancing Large Language Model-based Speech Recognition by Contextualization for Rare and Ambiguous Words
Preferred Elements, Inc.（Preferred Elements公司）
本文提出一种基于LLM的ASR系统，通过在文本提示中提供关键词作为先验信息进行上下文化，利用Whisper编码器和PLaMo-100B解码器，在不修改架构的情况下显著提升了稀有和歧义词的识别性能。
2024-10-11 cs.CL cs.SD eess.AS
ODE-Based Transformer Decoders for Iterative Sign Language Translation
ASELSAN（阿塞尔桑（土耳其国防工业公司））；Hacettepe University（哈杰泰佩大学）
该研究将受常微分方程启发的高阶数值积分格式应用于迭代手语翻译，提出参数高效的解码器，在不增参数下提升性能，在两个基准上优于IPSLT基线。
2026-08-13 cs.CL cs.LG
Enhancing Korean Dependency Parsing with Morphosyntactic Features
The University of British Columbia（不列颠哥伦比亚大学）；The Chinese University of Hong Kong（香港中文大学）；Seoul National University（首尔大学）；KAIST（韩国科学技术院）；Anyang University（安阳大学）
本文提出UniDive框架，融合UD与UniMorph以统一韩语形态句法标注，实验证明增强的形态特征能提升依存解析准确性。
2025-03-26 cs.CL
On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文以 Text-to-SQL 为背景分析 T5 对结构化数据的线性化处理，揭示其可学习模式链接与语法预测，并发现节点编码特性及模态融合冗余带来的压缩空间。
2024-04-03 cs.AI cs.CL
Neighborhood Contrastive Transformer for Change Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
变化字幕是用自然语言描述一对相似图像之间的语义变化。它比一般的图像描述更具挑战性，因为它需要捕获细粒度的变化信息，同时不受无关视点变化的影响，并解决变化描述中的语法歧义。本文提出了一种邻域对比变换器Transformer，以提高模型对不同场景下各种变化的感知能力和对复杂句法结构的认知能力。具体地说，我们首先设计了一个邻近特征聚合，将邻近上下文集成到每个特征中，这有助于在显著参照物的指导下快速定位不显著的变化。然后，我们设计了一个共同特征提取方法，在邻域水平上对两幅图像进行比较，从每幅图像中提取共同的属性，从而学习它们之间有效的对比信息。最后，我们引入单词之间的显式依赖来校准Transformer解码器，这有助于在训练期间更好地理解复杂的语法结构。大量的实验结果表明，所提出的方法实现了国家的最先进的性能在三个公共数据集与不同的变化场景。该代码可在https://github.com/tuyunbin/NCT上获得。
2023-03-06 cs.CL cs.CV cs.MM
Enhancing Clinical Models with Pseudo Data for De-identification
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Argonne National Labs（阿贡国家实验室）
本研究针对临床模型在脱敏编辑文本上训练的影响不明问题，通过在含真实伪文本的数据集上预训练仅编码器模型并微调去标识化任务，显著提升了性能，同时开源了相关数据集生成工具与代码。
2025-06-17 cs.CL
Transformer-Based Neural Text Generation with Syntactic Guidance
Georgia Institute of Technology（佐治亚理工学院）
我们研究的问题，使用（部分）选区解析树的句法指导控制文本生成。现有的方法使用递归结构，这不仅遭受长期依赖问题，而且在建模的语法指导的树结构的不足。我们建议利用Transformer的并行性来更好地结合解析树。我们的方法首先扩展一个部分模板选区解析树到一个完整的解析树为输入源文本量身定制，然后使用扩展的树来指导文本生成。在这个过程中，我们的模型的有效性取决于两个新的注意力机制：1）路径注意力机制，迫使一个节点只关注位于语法树中的路径中的其他节点，以更好地结合语法指导; 2）多编码器注意力机制，允许解码器动态地关注来自多个编码器的信息。我们在受控释义任务中的实验表明，我们的方法在语义和语法上都优于SOTA模型，将最佳基线的BLEU分数从11.83提高到26.27。
2020-10-05 cs.CL
Enhancing Automated Audio Captioning via Large Language Models with Optimized Audio Encoding
AI Lab, Xiaomi Corporation（小米公司AI实验室）
本文通过使用CED音频编码器与Q-Former压缩声学token、7B参数的Llama 2解码器及辅助LLM纠错，并结合LoRA优化，有效提升了自动音频字幕生成性能，SPIDEr-FL分数达33.0。
2024-06-25 cs.CL cs.SD eess.AS
ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs
Institute of Science Tokyo（东京科学研究所）；Tencent（腾讯）
提出ReverseEOL方法，通过反转输入文本生成互补嵌入，结合前向嵌入提升冻结解码器仅LLM的文本表示能力，在STS和MTEB基准上显著提升无训练基线性能。
2026-06-04 cs.CL
Investigating Decoder-only Large Language Models for Speech-to-text Translation
National Taiwan University（台湾大学）；The Chinese University of Hong Kong（香港中文大学）；AI at Meta（Meta人工智能部门）
本文提出一种仅解码器大语言模型架构，直接处理编码语音表示完成语音到文本翻译，并通过参数高效微调在 CoVoST 2 和 FLEURS 上取得无专有数据模型中的最优性能。
2024-07-03 cs.CL cs.SD eess.AS
DRTS Parsing with Structure-Aware Encoding and Decoding
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；University of Edinburgh（爱丁堡大学）；Tianjin University（天津大学）
语篇表征树结构句法分析是近年来备受关注的一种新型语义解析任务。最先进的性能可以通过神经序列到序列模型来实现，将树的构建视为增量序列生成问题。该模型忽略了输入语法和部分输出的中间骨架等结构信息，这对DRTS分析有潜在的帮助。在这项工作中，我们提出了一个结构感知的模型在编码器和解码器阶段整合的结构信息，其中图注意力网络（GAT）被用来有效地建模。在基准数据集上的实验结果表明，我们提出的模型是有效的，可以获得最好的性能在文献中。
2020-05-14 cs.CL
Enhancing Transformers for Generalizable First-Order Logical Entailment
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China（香港科技大学计算机科学与工程系）；Department of Computer Science and Engineering, Beihang University, Beijing, China（北航计算机科学与工程系）；Department of Mathematical Sciences, Tsinghua University, Beijing, China（清华大学数学科学系）
本文研究了Transformer的可泛化一阶逻辑推理能力，揭示了以往架构设计中位置编码的不匹配问题，并提出逻辑感知架构TEGA以显著提升其在一阶逻辑蕴含任务上的性能。
2025-07-10 cs.AI cs.CL
Linguistic Binding in Diffusion Models: Enhancing Attribute Correspondence through Attention Map Alignment
Bar-Ilan University（巴伊兰大学）；Allen Institute for AI（艾伦人工智能研究所）；NVIDIA（英伟达）
本文提出SynGen方法，通过句法分析识别实体与修饰语，并在推理时优化交叉注意力图对齐语言绑定，无需重新训练即可显著提升文本到图像生成中属性对应的忠实度。
2024-01-23 cs.CL cs.CV
