Sign-Aware Gated Sparse Autoencoders: Modeling Anticorrelated Features with Bi-Jump-ReLU Activations
符号感知门控稀疏自编码器:使用Bi-Jump-ReLU激活函数建模反相关特征
机构 * Amazon Web Services(亚马逊网络服务)
AI总结 提出符号感知门控稀疏自编码器(SA-GSAE),通过双面门控稀疏性、符号幅度路径和辅助重构,利用Bi-Jump-ReLU激活实现双极性共享,在保持参数效率的同时,在多个LLM激活点上优于标准门控SAE。