首页/论文/1702.04770

arXiv 1702.047702017-02-15cs.CLcs.LGcs.NE

基于目标传播的语言模型训练

Training Language Models Using Target-Propagation

Harvard SEAS（哈佛大学工程与应用科学学院）；Facebook AI Research（Facebook人工智能研究院）

Sam Wiseman, Sumit Chopra, Marc'Aurelio Ranzato, Arthur Szlam, Ruoyu Sun, Soumith Chintala, Nicolas Vasilache

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

虽然截断时间反向传播（BPTT）是训练递归神经网络（RNN）最流行的方法，但它具有固有的顺序性（使得并行化困难），并且在遥远的时间步长之间截断梯度流。我们调查是否目标传播（TPROP）风格的方法可以解决这些缺点。不幸的是，大量的实验表明，TPROP一般表现不佳BPTT，我们结束了这种现象的分析，并为今后的工作提出建议。

英文摘要：

While Truncated Back-Propagation through Time (BPTT) is the most popular approach to training Recurrent Neural Networks (RNNs), it suffers from being inherently sequential (making parallelization difficult) and from truncating gradient flow between distant time-steps. We investigate whether Target Propagation (TPROP) style approaches can address these shortcomings. Unfortunately, extensive experiments suggest that TPROP generally underperforms BPTT, and we end with an analysis of this phenomenon, and suggestions for future work.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

双路径归因：通过层间目标传播实现SwiGLU-Transformer的高效归因

Layer-wise Target Propagation: Efficient Component Attribution through Target Centric Propagation

School of Computer Science and Engineering, Kyungpook National University（韩国庆北国立大学计算机科学与工程学院）

本文提出双路径归因方法，通过单次前向和反向传播高效追踪Transformer内部信息流，实现高保真度和高效性，适用于长序列和密集组件归因。

2026-09-28cs.CLcs.LG

基于图的目标反向传播用于多LLM智能体系统中的上下文自适应

Graph-based Target Back-Propagation for Context Adaptation in Multi-LLM Agentic Systems

Retail Intelligence, Walmart Global Tech（零售智能，沃尔玛全球技术）

提出GTBP框架，通过图结构反向传播局部目标输出，实现多LLM智能体工作流的上下文自适应，理论保证稳定性，实验优于基线。

2026-06-15cs.CLcs.LG

使用语义标签传播的知识库填充

Knowledge Base Population using Semantic Label Propagation

Ghent University（根特大学）；iMinds（iMinds研究院）

从文本语料库中提取新事实的知识库人口系统的一个关键方面是为其关系提取器生成训练数据。在本文中，我们提出了一种方法，以最小的注释成本最大限度地提高新训练的关系提取器的有效性。远程监督是一种通过将大型文本语料库与已知事实的现有知识库对齐来自动构建训练数据的方法，它可以显著减少手动标记。例如，所有提到“Barack Obama”和“US”的句子都可以充当关系born_in（主语，宾语）的正训练实例。然而，远程监督通常会导致高度嘈杂的训练集：许多训练句子并不能真正表达预期的关系。我们建议将远程监督与最小的人工监督相结合，采用一种称为特征标记的技术，以消除来自大型和嘈杂的初始训练集的噪声，从而显着提高精度。我们通过引入语义标签传播方法来进一步改进这种方法，该方法使用候选训练实例的低维表示之间的相似性来扩展训练集，以提高召回率，同时保持高精度。我们提出的生成训练数据的策略在为知识库人口任务设计的既定测试集合上进行了研究和评估。实验结果表明，语义标签传播策略导致大量的性能增益相比，现有的方法，同时需要一个几乎可以忽略不计的手动注释工作。

2016-03-03cs.CLcs.LG

DropBP：通过丢弃反向传播加速大型语言模型的微调

DropBP: Accelerating Fine-Tuning of Large Language Models by Dropping Backward Propagation

Seoul National University（首尔大学）；NAVER Cloud（NAVER云）

DropBP通过在反向传播中随机丢弃层并基于层敏感性分配丢弃率，降低计算和内存成本，同时保持精度，可与PEFT结合，显著加速LLM微调。

2025-02-28cs.CLcs.LG

快速长短期记忆训练的结构稀疏反向传播算法

Structurally Sparsified Backward Propagation for Faster Long Short-Term Memory Training

University of California, Santa Barbara（加州大学圣巴巴拉分校）；NVIDIA（英伟达）；POSTECH（浦项科技大学）

利用稀疏性使硬件系统能够更快、更节能地运行神经网络。然而，大多数现有的以稀疏性为中心的优化技术仅加速神经网络的前向传递，并且通常需要具有迭代修剪和再训练的甚至更长的训练过程。我们观察到，在LSTM单元的门的梯度中人为地诱导稀疏性对训练质量几乎没有影响。此外，我们可以在门梯度中强制执行结构化稀疏性，使LSTM向后传递的速度比最先进的密集方法快45%，比现代GPU上最先进的稀疏化方法快168%。虽然结构化稀疏化方法会影响模型的准确性，但这种性能差距可以通过混合我们的稀疏训练方法和标准的密集训练方法来消除。实验结果表明，该混合方法可以在更短的时间内达到可比的结果比使用纯粹的密集训练。

2018-06-01cs.CLcs.LGstat.ML

基于图的低资源词性标注多语言标签传播

Graph-Based Multilingual Label Propagation for Low-Resource Part-of-Speech Tagging

Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（LISN实验室）

词性标注是NLP管道的重要组成部分，但许多低资源语言缺乏用于训练的标记数据。在这种情况下，用于训练POS标注器的既定方法是通过从高资源语言转移来创建标记的训练集。在本文中，我们提出了一种新的方法，将标签从多个高资源源低资源的目标语言。我们正式POS标签投影为基于图的标签传播。给定一个句子在多种语言中的翻译，我们通过对齐所有语言对的单词来创建一个以单词为节点、对齐链接为边的图。然后，我们使用一个带有Transformer层的图神经网络将节点标签从源传播到目标。我们表明，我们的传播创建的训练集，使我们能够训练POS标记的一组不同的语言。当与增强的上下文嵌入相结合时，我们的方法实现了低资源语言的无监督POS标记的新的最先进技术。

2022-10-31cs.CL

更多相关论文收起更多论文

大型语言模型（LLM）无训练低秩压缩中的校准与截断误差传播研究

Understanding Calibration and Truncation Error Propagation in Training-Free Low-Rank Compression for LLMs

LG Electronics, North America（北美LG电子）

本研究针对现有LLM无训练低秩压缩框架的两个关键局限，提出带校准修正的逐层压缩与带秩分配修正的迭代压缩方法，在Llama、Qwen3模型的零样本任务上实现1-2.5个准确率点提升。

2026-08-11cs.AIcs.CLcs.PF