Multi-Stream Residual Computation in Diffusion Language Models
该研究针对扩散语言模型采用多残差流与自适应路由,使双流的重构困惑度较标准残差连接降低5.71%,揭示了流的路由机制对上下文保留与预测优化的作用。
2026-10-14 cs.CL cs.LG
Sparse Autoencoders Do Not Find Canonical Units of Analysis
Durham University(杜伦大学);Decode Research(解码研究机构);Apollo Research(阿波罗研究机构)
本文通过SAE拼接和元SAE两种技术证明稀疏自编码器无法找到规范且原子的分析单元,并建议未来研究探索替代方法或按任务选择SAE规模。
2025-02-07 cs.AI cs.LG
Concept-SAE: A Controllable and Invertible Concept Interface for Sparse Autoencoders
The Chinese University of Hong Kong(香港中文大学)
本文提出Concept-SAE,一种通过结构化可控接口探测用户定义概念的框架,通过将激活子空间分解为概念令牌和自由令牌,实现高保真、局部化强且解耦的概念表示,优于现有方法。
2026-06-04 cs.LG
Transformers represent belief state geometry in their residual stream
Simplex(辛普莱克斯);PIBBSS;Pitzer and Scripps College(皮策与斯克里普斯学院);University College London(伦敦大学学院);BITS Principles of Intelligent Behaviour in Biological and Social Systems(BITS生物与社会系统智能行为原理中心)
本文基于最优预测理论证明Transformer在残差流中线性表示数据生成过程的信念状态几何,并揭示这些表征包含超越局部下一token预测的未来信息。
2025-02-04 cs.CL cs.LG
oHC: Orthogonal Hyper-Connections on SO(4) via Quaternions
The Hong Kong University of Science and Technology(香港科技大学);Baidu Inc.(百度公司)
本文针对HC训练不稳定及残差流多样性耗尽问题,提出基于SO(4)与四元数的正交超连接oHC,在多下游任务上性能优于单流基线、mHC与iHC。
2026-09-03 cs.CL cs.LG
TEMPER: Tensorized Efficient Manifold-constrained Parameterization for Expressive Residual Routing
该研究针对残差路由方法参数随流增长过快的问题,提出TEMPER方法,用张量网络参数化生成器,在语言建模等任务上性能相当或更优,参数效率显著提升。
2026-08-11 cs.CL cs.LG
SemRF: A Semantic Reference Frame for Residual-Stream Dynamics in Language Models
Monash University(莫纳什大学);Technical University of Munich(慕尼黑工业大学);Chongqing University(重庆大学)
提出语义参考框架(SemRF),通过锚点固定实现残差流语义坐标的稳定测量,并利用Voronoi迹定义最小作用路径,揭示层间计算与参数效率的关系。
2026-07-01 cs.CL cs.LG
Geometric and Behavioral Stratification in Transformer Residual Streams
该研究发现Transformer残差流的预测方向是特权锚点,其附近区域高度结构化,远端区域平缓,破坏近端方差方向会导致任务框架转移,为高维计算与线性读出的共存提供了几何解释。
2026-08-21 cs.CL cs.LG
The Geometry of Inference in Transformer Residual Streams
University of Luxembourg(卢森堡大学);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本研究通过比较中间与最终残差状态,揭示Transformer推理中表示几何特异性的形成机制,并证明直线收敛无法解释观察到的竞争变化。
2026-09-30 cs.CL cs.LG
mHC-SSM: Manifold-Constrained Hyper-Connections for State Space Language Models with Stream-Specialized Adapters
Department of Digital Forensics Engineering, Technology Faculty, Firat University(费拉特大学数字取证工程系)
本文提出mHC-SSM,通过约束残差流混合矩阵到双随机矩阵流形,改进状态空间语言模型的性能,并引入流专用适配器以提升模型效果。
2026-05-08 cs.AI cs.CL cs.LG
Output-aware Residual Stream Pruning for Large Language Models
Vanderbilt University(范德比尔特大学)
提出一种敏感性感知的残差流剪枝方法,通过输出KL散度的二阶近似和谱上界,将子空间选择简化为特征分解,在多个指令微调模型上优于仅基于激活的剪枝,提升困惑度和下游任务性能。
2026-10-02 cs.LG
Dense SAE Latents Are Features, Not Bugs
MIT(麻省理工学院);ETH Zürich(苏黎世联邦理工学院);University of Sheffield(谢菲尔德大学)
本文系统研究稀疏自编码器中频繁激活的稠密潜在变量,证明其具有对映体几何结构、反映残差流内在属性并承担位置跟踪、上下文绑定、熵调控等功能,且随层深从结构特征演化为语义和输出信号,表明稠密潜在变量是语言模型计算中的功能性特征而非训练噪声。
2025-11-05 cs.AI cs.CL cs.LG
xHC: Expanded Hyper-Connections
School of AI, Shanghai Jiao Tong University(上海交通大学人工智能学院);Dots Studio, Xiaohongshu Inc.(小红书公司点点工作室);University of Science and Technology of China(中国科学技术大学);School of CS, Peking University(北京大学计算机科学学院);The Chinese University of Hong Kong(香港中文大学)
研究针对超连接(HC)扩展残差流时的性能瓶颈,提出xHC方法,结合时间特征增强与稀疏残差流架构,实现超越N = 4的有效扩展,在MoE模型上有下游改进,还介绍xHC - Flash减少内存流量,让大N残差流扩展用于语言模型预训练更有效实用。
2026-07-17 cs.CL cs.LG
Reasoning Errors Have a Region and a Direction in the Residual-Stream Trajectory of LLMs
Australian Institute for Machine Learning(澳大利亚机器学习研究所);Adelaide University(阿德莱德大学);Naval Group Pacific(太平洋海军集团);Responsible AI Research Centre(负责任人工智能研究中心)
该研究针对大语言模型推理错误检测的权衡问题,提出三流检测器,在推理基准上提升选择准确率,还适用于事实类任务,验证了运动、区域、方向信号的互补性。
2026-08-07 cs.CL cs.LG
Ablate and Rescue: A Causal Analysis of Residual Stream Hyper-Connections
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加州大学伯克利分校);Independent(独立);University of Oxford(牛津大学)
本文提出首个开源mHC语言模型,通过代表层面指标和因果干预分析多流架构,揭示并行流的信息编码与利用机制,引入系统性的流消除-救援框架进行因果比较。
2026-03-16 cs.AI cs.LG
How Does mHC Use Its Residual Streams? Selective Routing and Near-Identity Mixing
Huawei Technologies Co., Ltd.(华为技术有限公司)
该研究探究DeepSeek-V4-Flash的四流mHC中残差流的利用模式,发现读写路由集中、残差混合主要在早期层,后期混合作用小,模型仅利用了部分灵活性。
2026-09-07 cs.AI cs.LG
Residual Stream Duality in Modern Transformer Architectures
本文探讨了变换器架构中残差流的二元性,指出通过序列位置和层深度两个维度组织设计空间的重要性,并比较了不同方法在残差流和局部自适应混合中的应用。
2026-05-14 cs.AI cs.CL cs.LG
Interpreting the Residual Stream of ResNet18
Louisiana State University(路易斯安那州立大学)
本文通过分析 ResNet18 的残差流,揭示其在输入与模块特征间灵活管理特征,并利用多尺度混合构建尺度不变表示。
2024-07-07 cs.CV cs.LG
An Analysis of Residual-Stream Geometry Across Transformer Depth
ProRata AI(ProRata人工智能公司)
研究跨Transformer深度的残差流几何规律,提出以转换为中心的分析方法,通过相对位移等测量揭示规律,如相对位移与层有关、旋转幅度恒定等,构建了测量框架,表明深度曲线依赖模型且条件稳定。
2026-07-22 cs.AI cs.LG
Naturally Computed Scale Invariance in the Residual Stream of ResNet18
Independent(独立研究者)
本研究探讨了ResNet18残差流如何通过尺度等变表示的逐元素求和自然计算尺度不变性,并通过消融实验将其与尺度鲁棒的物体识别行为建立因果联系。
2025-04-29 cs.CV cs.LG
Characterizing stable regions in the residual stream of LLMs
LASR Labs(LASR实验室);University of Oxford(牛津大学);Apollo Research(阿波罗研究公司)
本文识别了Transformers残差流中的稳定区域,发现其对小幅激活变化不敏感且与语义区分一致,为理解网络复杂性、训练动态及可解释性提供了新方向。
2024-11-18 cs.LG
LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment
Royal Holloway, University of London(伦敦大学皇家霍洛威学院);University of West London(西伦敦大学)
本研究提出LARA,一种在冻结模型残差流中运行的轻量适配方法,在参数数量相同时性能与LoRA相当,支持多种行为平滑插值与按token路由,可在单个模型上高效托管多种行为。
2026-08-03 cs.LG
Analyzing Stream Collapse in Hyper-Connections: From Diagnosis to Mitigation
MIRAI;BRAIn Lab;Yandex Research;Innopolis University
本文通过细粒度诊断发现超连接中的多流残差连接存在流坍缩现象,即信号集中于主导流,并通过打破初始化对称性缓解该问题以提升性能。
2026-06-02 cs.AI cs.LG
Activation Transport Operators
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本文提出激活传输算子(ATO),通过线性映射和SAE解码器投影研究Transformer残差流中特征的线性传输机制,并提出传输效率上界以估计相关子空间大小,为LLM安全与调试提供轻量工具。
2025-11-04 cs.AI cs.CL cs.LG
Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
Monash University(莫纳什大学);Chongqing University(重庆大学);Technical University of Munich(慕尼黑工业大学)
本文提出词汇参考框架,通过模型剩余层读取状态近似原生参考框架,其一阶框架LexFrame[1]相干性高、读取误差小,可提升归因忠实度、引导预测并支持早期退出,让模型隐藏状态具备可读性、可归因性与可引导性。
2026-10-20 cs.CL cs.LG
Residual-Stream Burden Shapes Representation Learning in Diffusion Transformers
UC San Diego(加州大学圣迭戈分校);Shanghai Jiao Tong University(上海交通大学);Aether AI
本文提出残差流负担机制,解释扩散Transformer中预测目标与架构如何共同影响表示学习,并引入空间索引超连接(SiHC)在ImageNet 256×256上实现FID 1.71。
2026-10-08 cs.CV cs.LG
Multi-Gate Residuals
Shanghai Yichuang Information Technology Co.,Ltd.(上海亿创信息技术有限公司);Fudan University(复旦大学)
针对深度残差网络中激活值无界增长的问题,提出多门残差(MGR)方法,通过评分与门控机制稳定激活尺度,避免额外通信开销,实验证明其在大规模训练和部署中有效提升性能。
2026-05-22 cs.AI cs.CL cs.LG
Scaling Interpretable Transformers with Parity Bottleneck Layers
Principles of Intelligence(智能原理)
研究旨在解决训练可解释Transformer模型的难题,提出ParityTransformer架构,通过奇偶瓶颈层实现,实验表明其在稀疏探测任务中表现良好,在特征相关指标上更优,朝着训练内部表示可设计解释的模型迈出一步。
2026-07-24 cs.AI cs.LG
Nonlinear Residual Echo Suppression Based on Multi-stream Conv-TasNet
Nanjing University(南京大学)
由于回波信号与远端信号之间的非线性关系,线性自适应滤波器不能完全去除回波信号。通常需要后处理模块来进一步抑制回声。在本文中,我们提出了一种残余回声抑制方法的基础上修改的全卷积时域音频分离网络(Conv-TasNet)。采用线性声学回声消除系统的残留信号和自适应滤波器的输出来形成Conv-TasNet的多个流,从而在保持整个系统的较低延迟的同时实现更有效的回声抑制。仿真结果验证了该方法在单端和双端情况下的有效性。
2020-05-15 cs.LG cs.SD eess.AS
LLM Layers Immediately Correct Each Other
University of California, Berkeley(加州大学伯克利分校)
本文发现相邻 Transformer 层通过 TLCM 机制系统性相互纠正,该机制在预训练中出现并自适应调节,可解释 SAE 特征低特异性及转码器优势。
2026-09-09 cs.CL cs.LG
ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions
Georgia Institute of Technology(佐治亚理工学院)
针对多层稀疏自编码器(SAE)在Transformer中因层间耦合导致的冗余和交互问题,提出残差化稀疏自编码器(ReSAE),通过拟合层间仿射映射并训练SAE于残差上,减少解码器冗余并提升多层替换下的交叉熵恢复。
2026-05-27 cs.AI cs.LG
PhaseQuant: Mitigating Activation Quantization Collapse via Residual-Stream Dynamics
City University of Hong Kong(香港城市大学);Zhejiang University of Technology(浙江工业大学)
提出DynamicPTQ,通过分析残差流中激活的相位式动态变化,识别量化敏感层并分配8位精度,在W4A4KV4量化下提升LLaMA-2/3的困惑度和零样本QA性能,吞吐量提升1.05-1.07倍。
2026-10-14 cs.LG
Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
通过引入Ledger Residuals架构分离残差流的读写角色,发现大规模激活并非伪影,而是功能性的,在受保护通道中重新出现。
2026-06-23 cs.AI cs.LG
Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning
University of Amsterdam(阿姆斯特丹大学)
研究将流形约束超连接作为参数高效微调新方法,包裹冻结主干。发现其与预训练设置作用不同,固定残差混合矩阵有益。独立时不比LoRA优,但mHC+LoRA组合在特定规模下有优势,确定残差路由是有前景的新型PEFT轴。
2026-10-08 cs.LG
Dissociating Decodability and Causal Use in Bracket-Sequence Transformers
Yale University(耶鲁大学);Harvard University(哈佛大学)
通过探针和干预实验,发现Dyck语言Transformer中层级表示虽可解码,但仅注意力模式中的栈顶位置对长距离准确性有因果影响。
2026-06-17 cs.CL cs.LG
Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams
Independent Researcher(独立研究员)
研究通过几何方法识别LLM残差流中有害意图的特征,发现其在不同模型架构中线性可分离,并通过优化策略实现高检测性能。
2026-05-09 cs.AI cs.CL cs.LG
The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference
School of Computing and Artificial Intelligence(计算机与人工智能学院)
本文证明Transformer推理中的KV缓存是冗余的,残差流可完全替代其功能,通过重新计算残差流可实现零误差,且提出KV-Direct方法在低内存下实现高效推理。
2026-03-20 cs.AI cs.LG
DeepBooTS: Dual-Stream Residual Boosting for Drift-Resilient Time-Series Forecasting
DeepBooTS通过双流残差提升方法,提升时间序列预测的抗漂移鲁棒性,实验表明在多种数据集上性能提升显著。
2026-01-28 cs.AI cs.LG
Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology
Network Science Institute, Northeastern University(网络科学研究所,东北大学);Flagship Pioneering(先锋计划)
研究Transformer残差流的传播机制,揭示训练过程中谱几何与网络拓扑的耦合关系,发现残差流在深度方向上呈现单调的谱梯度变化,并存在低秩瓶颈导致维度压缩。
2026-05-14 cs.AI cs.LG
Residual Stream Analysis of Overfitting And Structural Disruptions
BUPT(北京邮电大学);Baidu(百度)
研究通过分析残差流几何揭示安全数据导致的虚假拒绝问题,提出VCL正则化方法降低虚假拒绝率并保持性能。
2026-03-04 cs.AI cs.LG
The Residual Stream's Effective Depth
Technion Israel Institute of Technology(以色列理工学院);Nvidia(英伟达);ISTA Institute of Science and Technology Austria(奥地利科学技术研究所)
本文提出有效深度($\Deff$)诊断指标,量化Transformer残差流中表示相似性随层距离的衰减,发现多数模型低于理论参考值,表明残差更新相关而非深度未用,并验证其作为全局累积状态诊断的有效性。
2026-09-28 cs.LG
Decodable but Not Corrected by Fixed Residual-Stream Linear Steering: Evidence from Medical LLM Failure Regimes
Amazon(亚马逊)
研究探讨了LLM隐藏状态中线性可解码的失败信号能否用于纠正失败,通过Overthinking现象发现线性引导无法有效纠正,但可解码的失败结构支持生成后可靠性估计。
2026-05-07 cs.AI cs.CL cs.LG
DSPR: Dual-Stream Physics-Residual Networks for Trustworthy Industrial Time Series Forecasting
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Research Center, East Hope Group Co., Ltd(东希望集团有限公司研究院)
本文提出DSPR框架,通过分离稳定的时序模式与受制度影响的残差动态,提升工业时间序列预测的准确性与物理合理性,实验表明其在不同制度下均能保持高预测精度和鲁棒性。
2026-05-19 cs.AI cs.LG
Why Limit the Residual Stream to Layers and Not Tokens? Persistent Memory for Continuous Latent Reasoning
University of Cambridge(剑桥大学)
针对CoCoNuT在潜在空间推理中因中间隐藏状态被覆盖导致概念瓶颈的问题,提出AGCLR模型,通过门控概念流持久记忆机制,在GSM8K、HotpotQA和ProsQA上取得一致提升。
2026-06-05 cs.AI cs.CL cs.LG
Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering
BITS Pilani, Pilani Campus(比斯派恩大学,帕利尼校区)
本文提出LPSR方法,通过监控残差流和引导KV缓存来校正大语言模型中的推理错误,显著提升在MATH-500上的性能,同时在参数和token成本上更具优势。
2026-04-20 cs.AI cs.CL cs.LG
Depth Memory
ELLIS Institute Tübingen(埃利斯研究所蒂宾根分所);Max Planck Institute for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));Tübingen AI Center(蒂宾根人工智能中心);ETH Zürich(苏黎世联邦理工学院);Liquid AI(Liquid AI公司)
本研究提出深度记忆(DM)框架,进而构建线性深度记忆(LDM)架构,在4亿和15亿参数规模下,LDM在语言建模任务中取得最低困惑度,且零样本准确率具有竞争力。
2026-10-14 cs.LG
Semantic Convergence: Investigating Shared Representations Across Scaled LLMs
本研究针对不同规模的Gemma-2模型,通过SAE特征提取与对齐方法验证大语言模型存在跨规模的语义共享表征,为跨模型可解释性提供了支撑。
2025-07-21 cs.CL cs.LG
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
Stony Brook University(石溪大学)
本研究利用残差流激活预测LLM评判对候选顺序的敏感性,线性探针在JudgeBench和MT-Bench上均优于非激活基线,表明判决前激活可有效预测位置翻转。
2026-10-07 cs.AI cs.LG
Defending Large Language Models Against Attacks With Residual Stream Activation Analysis
HiddenLayer(隐层公司);Oregon State University(俄勒冈州立大学)
本文提出一种基于 LLM 白盒访问和 transformer 层间残差流激活分析的创新防御策略,通过分析激活模式对攻击提示进行高准确率分类,并结合安全微调技术,有效提升了对对抗性输入的检测与缓解能力。
2025-04-02 cs.CR cs.LG
The Dual-Stream Transformer: Channelized Architecture for Interpretable Language Modeling
Georgia Tech Research Institute(佐治亚理工学院研究机构)
双流变压器通过分解残差流为两个功能组件,实现可解释性与性能之间的权衡,适用于可解释语言模型。
2026-03-08 cs.AI cs.CL cs.LG
Spectral-Sphere-Constrained Hyper-Connections
University of Maryland, College Park(马里兰大学 College Park 分校);University of Utah(犹他大学)
本文提出Spectral-Sphere-Constrained Hyper-Connections (sHC),通过将可行集从刚性多面体转换为谱范数球,允许负数条目,从而解锁选择性特征多样化,解决传统Birkhoff多面体约束的三个局限。
2026-09-28 cs.AI cs.LG
The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams
Independent Researcher(独立研究者)
本文提出LatentBiopsy方法,通过分析大语言模型残差流激活的几何特性,无需训练即可检测有害提示。该方法基于残差流激活的主成分分析和角度偏差,实现高精度的异常检测,具有低延迟和强鲁棒性。
2026-03-28 cs.AI cs.CL cs.LG
IVF-TQ: Calibration-Free Streaming Vector Search via a Codebook-Free Residual Layer
Independent Researcher(独立研究者)
本文提出IVF-TQ,一种基于数据无关残差压缩层的倒排文件索引,通过固定随机旋转和预计算Lloyd-Max标量量化器实现流式向量搜索的稳定性能,无需码本训练或逐数据集位预算调整。
2026-05-22 cs.AI cs.DB cs.IR
Cross-Layer Discrete Concept Discovery for Interpreting Language Models
University of Washington(华盛顿大学)
提出跨层向量量化变分自编码器(CLVQ-VAE),通过离散向量量化瓶颈将残差流中的重复特征压缩为紧凑可解释的概念向量,在三个数据集上优于聚类、单层VQ-VAE和稀疏自编码器基线。
2026-10-01 cs.AI cs.CL cs.LG