Scaling Adaptive Depth with Norm-Agnostic Residual Networks
Zyphra San Francisco, CA(Zyphra旧金山加州)
针对残差网络中残差流范数随深度增长导致深层更新被抑制的问题,提出范数无关残差架构NAG,通过分离幅度和方向信息保持各层贡献,并实现可解释的自适应深度跳过机制,在等计算量下匹配全深度性能。
2026-06-16 cs.AI cs.LG
A Two-stream Neural Network for Pose-based Hand Gesture Recognition
North University of China(中北大学);Shandong University(山东大学);University of Electronic Science and Technology of China(电子科技大学);University of Wollongong(伍伦贡大学)
基于姿态的手势识别近年来得到了广泛的研究。与全身动作识别相比,手势涉及的关节在空间上分布更紧密,协作性更强。这种性质要求从动作识别到捕获复杂空间特征的不同方法。许多手势类别,例如“抓”和“捏”,具有非常相似的运动或时间模式,这对时间处理提出了挑战。为了解决这些问题,本文提出了一种双流神经网络,其中一个流是基于自注意力的图卷积网络(SAGCN),用于提取短期时间信息和分层空间信息,另一个流是剩余连接增强的双向独立递归神经网络(RBi-IndRNN),用于提取长期时间信息。基于自注意的图卷积网络具有动态的自注意力机制,以自适应地利用除了固定的拓扑结构和GCN中的局部特征提取之外的所有手部关节的关系。另一方面,剩余连接增强的Bi-IndRNN扩展了IndRNN,具有双向处理时间建模的能力。这两个数据流被融合在一起以便识别。动态手势数据集和第一人称手部动作数据集被用来验证其有效性,我们的方法达到了最先进的性能。
2021-01-22 cs.CV cs.LG cs.MM
Output-aware Residual Stream Pruning for Large Language Models
Vanderbilt University(范德比尔特大学)
提出一种敏感性感知的残差流剪枝方法,通过输出KL散度的二阶近似和谱上界,将子空间选择简化为特征分解,在多个指令微调模型上优于仅基于激活的剪枝,提升困惑度和下游任务性能。
2026-10-02 cs.LG
Characterizing and Mitigating Distributional Bias in Physics-Informed Generative Models
University of Stuttgart(斯图加特大学)
该研究针对物理感知生成模型中约束满足度与数据分布保真度的冲突,提出数据锚定惩罚项缓解分布偏差,经多类实验验证了其有效性。
2026-10-14 cs.LG
Residual Matrix Transformers: Scaling the Size of the Residual Stream
University of California Santa Cruz(加州大学圣克鲁兹分校)
本文提出Residual Matrix Transformer (RMT),通过外积记忆矩阵替换传统残差流,使残差流规模能独立扩展,在减少计算量、参数和训练数据的同时提升性能并优于传统transformer。
2025-06-28 cs.CL cs.LG
LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment
Royal Holloway, University of London(伦敦大学皇家霍洛威学院);University of West London(西伦敦大学)
本研究提出LARA,一种在冻结模型残差流中运行的轻量适配方法,在参数数量相同时性能与LoRA相当,支持多种行为平滑插值与按token路由,可在单个模型上高效托管多种行为。
2026-08-03 cs.LG
How Does mHC Use Its Residual Streams? Selective Routing and Near-Identity Mixing
Huawei Technologies Co., Ltd.(华为技术有限公司)
该研究探究DeepSeek-V4-Flash的四流mHC中残差流的利用模式,发现读写路由集中、残差混合主要在早期层,后期混合作用小,模型仅利用了部分灵活性。
2026-09-07 cs.AI cs.LG
Interpreting the Residual Stream of ResNet18
Louisiana State University(路易斯安那州立大学)
本文通过分析 ResNet18 的残差流,揭示其在输入与模块特征间灵活管理特征,并利用多尺度混合构建尺度不变表示。
2024-07-07 cs.CV cs.LG
PhaseQuant: Mitigating Activation Quantization Collapse via Residual-Stream Dynamics
City University of Hong Kong(香港城市大学);Zhejiang University of Technology(浙江工业大学)
提出DynamicPTQ,通过分析残差流中激活的相位式动态变化,识别量化敏感层并分配8位精度,在W4A4KV4量化下提升LLaMA-2/3的困惑度和零样本QA性能,吞吐量提升1.05-1.07倍。
2026-10-14 cs.LG
An Analysis of Residual-Stream Geometry Across Transformer Depth
ProRata AI(ProRata人工智能公司)
研究跨Transformer深度的残差流几何规律,提出以转换为中心的分析方法,通过相对位移等测量揭示规律,如相对位移与层有关、旋转幅度恒定等,构建了测量框架,表明深度曲线依赖模型且条件稳定。
2026-07-22 cs.AI cs.LG
Multi-Stream Residual Computation in Diffusion Language Models
该研究针对扩散语言模型采用多残差流与自适应路由,使双流的重构困惑度较标准残差连接降低5.71%,揭示了流的路由机制对上下文保留与预测优化的作用。
2026-10-14 cs.CL cs.LG
Naturally Computed Scale Invariance in the Residual Stream of ResNet18
Independent(独立研究者)
本研究探讨了ResNet18残差流如何通过尺度等变表示的逐元素求和自然计算尺度不变性,并通过消融实验将其与尺度鲁棒的物体识别行为建立因果联系。
2025-04-29 cs.CV cs.LG
Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning
University of Amsterdam(阿姆斯特丹大学)
研究将流形约束超连接作为参数高效微调新方法,包裹冻结主干。发现其与预训练设置作用不同,固定残差混合矩阵有益。独立时不比LoRA优,但mHC+LoRA组合在特定规模下有优势,确定残差路由是有前景的新型PEFT轴。
2026-10-08 cs.LG
Analyzing Stream Collapse in Hyper-Connections: From Diagnosis to Mitigation
MIRAI;BRAIn Lab;Yandex Research;Innopolis University
本文通过细粒度诊断发现超连接中的多流残差连接存在流坍缩现象,即信号集中于主导流,并通过打破初始化对称性缓解该问题以提升性能。
2026-06-02 cs.AI cs.LG
Transformers represent belief state geometry in their residual stream
Simplex(辛普莱克斯);PIBBSS;Pitzer and Scripps College(皮策与斯克里普斯学院);University College London(伦敦大学学院);BITS Principles of Intelligent Behaviour in Biological and Social Systems(BITS生物与社会系统智能行为原理中心)
本文基于最优预测理论证明Transformer在残差流中线性表示数据生成过程的信念状态几何,并揭示这些表征包含超越局部下一token预测的未来信息。
2025-02-04 cs.CL cs.LG
Residual-Stream Burden Shapes Representation Learning in Diffusion Transformers
UC San Diego(加州大学圣迭戈分校);Shanghai Jiao Tong University(上海交通大学);Aether AI
本文提出残差流负担机制,解释扩散Transformer中预测目标与架构如何共同影响表示学习,并引入空间索引超连接(SiHC)在ImageNet 256×256上实现FID 1.71。
2026-10-08 cs.CV cs.LG
The Residual Stream's Effective Depth
Technion Israel Institute of Technology(以色列理工学院);Nvidia(英伟达);ISTA Institute of Science and Technology Austria(奥地利科学技术研究所)
本文提出有效深度($\Deff$)诊断指标,量化Transformer残差流中表示相似性随层距离的衰减,发现多数模型低于理论参考值,表明残差更新相关而非深度未用,并验证其作为全局累积状态诊断的有效性。
2026-09-28 cs.LG
Depth Memory
ELLIS Institute Tübingen(埃利斯研究所蒂宾根分所);Max Planck Institute for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));Tübingen AI Center(蒂宾根人工智能中心);ETH Zürich(苏黎世联邦理工学院);Liquid AI(Liquid AI公司)
本研究提出深度记忆(DM)框架,进而构建线性深度记忆(LDM)架构,在4亿和15亿参数规模下,LDM在语言建模任务中取得最低困惑度,且零样本准确率具有竞争力。
2026-10-14 cs.LG
Nonlinear Residual Echo Suppression Based on Multi-stream Conv-TasNet
Nanjing University(南京大学)
由于回波信号与远端信号之间的非线性关系,线性自适应滤波器不能完全去除回波信号。通常需要后处理模块来进一步抑制回声。在本文中,我们提出了一种残余回声抑制方法的基础上修改的全卷积时域音频分离网络(Conv-TasNet)。采用线性声学回声消除系统的残留信号和自适应滤波器的输出来形成Conv-TasNet的多个流,从而在保持整个系统的较低延迟的同时实现更有效的回声抑制。仿真结果验证了该方法在单端和双端情况下的有效性。
2020-05-15 cs.LG cs.SD eess.AS
Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
通过引入Ledger Residuals架构分离残差流的读写角色,发现大规模激活并非伪影,而是功能性的,在受保护通道中重新出现。
2026-06-23 cs.AI cs.LG
Residual Stream Analysis with Multi-Layer SAEs
本研究提出多层稀疏自编码器(MLSAE)以分析Transformer残差流跨层信息流动,发现潜在变量激活层分布方差大且随模型增大而增强,为理解表示变化提供新方法。
2025-02-24 cs.CL cs.LG
oHC: Orthogonal Hyper-Connections on SO(4) via Quaternions
The Hong Kong University of Science and Technology(香港科技大学);Baidu Inc.(百度公司)
本文针对HC训练不稳定及残差流多样性耗尽问题,提出基于SO(4)与四元数的正交超连接oHC,在多下游任务上性能优于单流基线、mHC与iHC。
2026-09-03 cs.CL cs.LG
The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference
School of Computing and Artificial Intelligence(计算机与人工智能学院)
本文证明Transformer推理中的KV缓存是冗余的,残差流可完全替代其功能,通过重新计算残差流可实现零误差,且提出KV-Direct方法在低内存下实现高效推理。
2026-03-20 cs.AI cs.LG
DeepBooTS: Dual-Stream Residual Boosting for Drift-Resilient Time-Series Forecasting
DeepBooTS通过双流残差提升方法,提升时间序列预测的抗漂移鲁棒性,实验表明在多种数据集上性能提升显著。
2026-01-28 cs.AI cs.LG
Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology
Network Science Institute, Northeastern University(网络科学研究所,东北大学);Flagship Pioneering(先锋计划)
研究Transformer残差流的传播机制,揭示训练过程中谱几何与网络拓扑的耦合关系,发现残差流在深度方向上呈现单调的谱梯度变化,并存在低秩瓶颈导致维度压缩。
2026-05-14 cs.AI cs.LG
TEMPER: Tensorized Efficient Manifold-constrained Parameterization for Expressive Residual Routing
该研究针对残差路由方法参数随流增长过快的问题,提出TEMPER方法,用张量网络参数化生成器,在语言建模等任务上性能相当或更优,参数效率显著提升。
2026-08-11 cs.CL cs.LG
Residual Stream Analysis of Overfitting And Structural Disruptions
BUPT(北京邮电大学);Baidu(百度)
研究通过分析残差流几何揭示安全数据导致的虚假拒绝问题,提出VCL正则化方法降低虚假拒绝率并保持性能。
2026-03-04 cs.AI cs.LG
DSPR: Dual-Stream Physics-Residual Networks for Trustworthy Industrial Time Series Forecasting
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Research Center, East Hope Group Co., Ltd(东希望集团有限公司研究院)
本文提出DSPR框架,通过分离稳定的时序模式与受制度影响的残差动态,提升工业时间序列预测的准确性与物理合理性,实验表明其在不同制度下均能保持高预测精度和鲁棒性。
2026-05-19 cs.AI cs.LG
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
Stony Brook University(石溪大学)
本研究利用残差流激活预测LLM评判对候选顺序的敏感性,线性探针在JudgeBench和MT-Bench上均优于非激活基线,表明判决前激活可有效预测位置翻转。
2026-10-07 cs.AI cs.LG
Defending Large Language Models Against Attacks With Residual Stream Activation Analysis
HiddenLayer(隐层公司);Oregon State University(俄勒冈州立大学)
本文提出一种基于 LLM 白盒访问和 transformer 层间残差流激活分析的创新防御策略,通过分析激活模式对攻击提示进行高准确率分类,并结合安全微调技术,有效提升了对对抗性输入的检测与缓解能力。
2025-04-02 cs.CR cs.LG
SemRF: A Semantic Reference Frame for Residual-Stream Dynamics in Language Models
Monash University(莫纳什大学);Technical University of Munich(慕尼黑工业大学);Chongqing University(重庆大学)
提出语义参考框架(SemRF),通过锚点固定实现残差流语义坐标的稳定测量,并利用Voronoi迹定义最小作用路径,揭示层间计算与参数效率的关系。
2026-07-01 cs.CL cs.LG
Spectral-Sphere-Constrained Hyper-Connections
University of Maryland, College Park(马里兰大学 College Park 分校);University of Utah(犹他大学)
本文提出Spectral-Sphere-Constrained Hyper-Connections (sHC),通过将可行集从刚性多面体转换为谱范数球,允许负数条目,从而解锁选择性特征多样化,解决传统Birkhoff多面体约束的三个局限。
2026-09-28 cs.AI cs.LG
The Geometry of Inference in Transformer Residual Streams
University of Luxembourg(卢森堡大学);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本研究通过比较中间与最终残差状态,揭示Transformer推理中表示几何特异性的形成机制,并证明直线收敛无法解释观察到的竞争变化。
2026-09-30 cs.CL cs.LG
Activation Transport Operators
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本文提出激活传输算子(ATO),通过线性映射和SAE解码器投影研究Transformer残差流中特征的线性传输机制,并提出传输效率上界以估计相关子空间大小,为LLM安全与调试提供轻量工具。
2025-11-04 cs.AI cs.CL cs.LG
Multi-Gate Residuals
Shanghai Yichuang Information Technology Co.,Ltd.(上海亿创信息技术有限公司);Fudan University(复旦大学)
针对深度残差网络中激活值无界增长的问题,提出多门残差(MGR)方法,通过评分与门控机制稳定激活尺度,避免额外通信开销,实验证明其在大规模训练和部署中有效提升性能。
2026-05-22 cs.AI cs.CL cs.LG
Reasoning Errors Have a Region and a Direction in the Residual-Stream Trajectory of LLMs
Australian Institute for Machine Learning(澳大利亚机器学习研究所);Adelaide University(阿德莱德大学);Naval Group Pacific(太平洋海军集团);Responsible AI Research Centre(负责任人工智能研究中心)
该研究针对大语言模型推理错误检测的权衡问题,提出三流检测器,在推理基准上提升选择准确率,还适用于事实类任务,验证了运动、区域、方向信号的互补性。
2026-08-07 cs.CL cs.LG
Scaling laws for activation steering with Llama 2 models and refusal mechanisms
Trajectory Labs(轨迹实验室);Stanford University(斯坦福大学);Dartmouth College(达特茅斯学院);Cornell University(康奈尔大学);University of Oxford(牛津大学)
本文研究了对比激活加法(CAA)在 Llama 2 模型系列中的缩放特性,发现CAA在早期至中间层最有效,其效果随模型规模增大而减弱,且负向引导比正向引导效果更显著。
2025-07-15 cs.LG
Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals
Shandong University(山东大学)
针对时间序列预测模型过拟合问题,提出双流减法与逐层残差学习的 Minusformer,在多数据集上较现有方法平均提升 11.9%。
2024-06-17 cs.LG
Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams
Independent Researcher(独立研究员)
研究通过几何方法识别LLM残差流中有害意图的特征,发现其在不同模型架构中线性可分离,并通过优化策略实现高检测性能。
2026-05-09 cs.AI cs.CL cs.LG
Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
Monash University(莫纳什大学);Chongqing University(重庆大学);Technical University of Munich(慕尼黑工业大学)
本文提出词汇参考框架,通过模型剩余层读取状态近似原生参考框架,其一阶框架LexFrame[1]相干性高、读取误差小,可提升归因忠实度、引导预测并支持早期退出,让模型隐藏状态具备可读性、可归因性与可引导性。
2026-10-20 cs.CL cs.LG
Decodable but Not Corrected by Fixed Residual-Stream Linear Steering: Evidence from Medical LLM Failure Regimes
Amazon(亚马逊)
研究探讨了LLM隐藏状态中线性可解码的失败信号能否用于纠正失败,通过Overthinking现象发现线性引导无法有效纠正,但可解码的失败结构支持生成后可靠性估计。
2026-05-07 cs.AI cs.CL cs.LG
Why Limit the Residual Stream to Layers and Not Tokens? Persistent Memory for Continuous Latent Reasoning
University of Cambridge(剑桥大学)
针对CoCoNuT在潜在空间推理中因中间隐藏状态被覆盖导致概念瓶颈的问题,提出AGCLR模型,通过门控概念流持久记忆机制,在GSM8K、HotpotQA和ProsQA上取得一致提升。
2026-06-05 cs.AI cs.CL cs.LG
Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering
BITS Pilani, Pilani Campus(比斯派恩大学,帕利尼校区)
本文提出LPSR方法,通过监控残差流和引导KV缓存来校正大语言模型中的推理错误,显著提升在MATH-500上的性能,同时在参数和token成本上更具优势。
2026-04-20 cs.AI cs.CL cs.LG
Dissociating Decodability and Causal Use in Bracket-Sequence Transformers
Yale University(耶鲁大学);Harvard University(哈佛大学)
通过探针和干预实验,发现Dyck语言Transformer中层级表示虽可解码,但仅注意力模式中的栈顶位置对长距离准确性有因果影响。
2026-06-17 cs.CL cs.LG
ResFed: Communication Efficient Federated Learning by Transmitting Deep Compressed Residuals
Fraunhofer IVI(弗劳恩霍夫交通与基础设施系统研究所);Technical University of Munich(慕尼黑工业大学);Sony AI(索尼人工智能研究院);Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学)
联邦学习通过共享学习到的局部模型参数,实现了大规模分布式客户端之间的协作训练。然而,随着模型规模的增加,部署联邦学习需要很大的通信带宽,这限制了其在无线网络中的部署。为了解决这个瓶颈,我们引入了一个基于残差的联邦学习框架(ResFed),其中残差而不是模型参数在通信网络中传输进行训练。特别是,我们集成了两对共享的预测模型预测在服务器到客户端和客户端到服务器的通信。通过采用公共预测规则,本地和全局更新的模型总是在客户端和服务器中完全可恢复。我们强调,残差仅指示模型在单个轮间的准更新,因此与模型权重和梯度相比,残差包含更密集的信息,并且具有比模型更低的熵。基于此性质,我们进一步进行有损压缩的残差稀疏化和量化和编码,有效的通信。实验评估表明,与标准联邦学习相比,我们的ResFed需要显着更少的通信成本,并通过利用不太敏感的残差来实现更好的准确性。例如,在非独立同分布(Non-IID)设置下,在CIFAR-10上训练4.08 MB CNN模型,其中有10个客户端,我们的方法在每个通信回合中实现了超过700 X的压缩比,对准确性的影响最小。为了达到70%的准确性,它为所有客户端平均节省了约99%的总通信量,从587.61 Mb到6.79 Mb的上行流量和4.61 Mb的下行流量。
2022-12-11 cs.AI cs.LG
ResiDual Transformer Alignment with Spectral Decomposition
University of Trieste(的里雅斯特大学);Sapienza University of Rome(罗马第一大学(萨皮恩扎大学));Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本文分析视觉Transformer残差流的谱几何特性,发现残差贡献的专业化现象,提出ResiDual技术通过谱对齐放大任务相关成分,在70组实验中实现微调级零样本分类性能。
2025-04-14 cs.CV cs.LG
The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams
Independent Researcher(独立研究者)
本文提出LatentBiopsy方法,通过分析大语言模型残差流激活的几何特性,无需训练即可检测有害提示。该方法基于残差流激活的主成分分析和角度偏差,实现高精度的异常检测,具有低延迟和强鲁棒性。
2026-03-28 cs.AI cs.CL cs.LG
Entropy-Lens: Uncovering Decision Strategies in LLMs
Department of Computer Science University of Cambridge Cambridge, UK(计算机科学系剑桥大学剑桥英国)
熵透镜通过分析LLM残差流的熵剖面,揭示令牌预测动态及决策策略对模型性能的影响。
2026-02-02 cs.AI cs.CV cs.LG