AI 中文总结
研究逻辑门网络深度可扩展性问题，提出输入锚定逻辑门网络（IALGNs），其每个门结合隐藏特征与输入锚，保留计算主干并以原始输入为条件，在多个数据集上超100层时提升深度 - 准确率，证明可扩展深度需稳定优化和特定信息访问模式。
AI 中文摘要
逻辑门网络（LGNs）通过布尔运算的组合来实现计算，但与经典布尔电路不同，现有LGNs并不能可靠地从增加的深度中受益。我们识别出两个不同原因：深度松弛LGNs中的优化崩溃以及即使在跳跃偏置初始化和直通估计稳定训练时仍存在的拓扑诱导限制。因此，仅可训练性是不够的；更深层还必须接收支持有用计算的信息。我们引入输入锚定逻辑门网络（IALGNs），其中每个门将一个不断演化的隐藏特征与一个直接输入锚相结合。这种拓扑结构保留了一个计算主干，同时使每一层都以原始输入为条件。我们表明深度为D的路径可以依赖多达D + 1个输入位，并建立了严格的逐路径深度层次结构。随机k锚定松弛进一步改善了锚定选择而不放松主干。在MNIST、CIFAR - 10和CIFAR - 100上，IALGNs在超过100层时实现了一致的固定宽度深度 - 准确率提升，而其他LGN拓扑结构则饱和或退化。逐层探测、拓扑消融和有效深度分析表明输入锚定产生了越来越多信息丰富的表示并保留了更长的计算路径。这些结果表明LGNs中的可扩展深度需要稳定的优化和支持输入条件细化的信息访问模式。
英文摘要
Logic Gate Networks (LGNs) compute through compositions of Boolean operations, yet existing LGNs do not reliably benefit from increased depth. We identify two causes: optimization collapse and topology-induced degradation of output-specific credit that persists even after skip-biased initialization and straight-through estimation stabilize training. We introduce Input-Anchored Logic Gate Networks (IALGNs), in which each gate combines a private hidden spine with a direct input anchor. This topology prevents output-path merging while retaining input access at every layer. Credit diagnostics show that random wiring dilutes or conflicts output-specific gradients, whereas IALGN maintains usable and coherent credit. Random-$k_x$ relaxation improves anchor selection without relaxing the spine. Across MNIST, CIFAR-10, and CIFAR-100, IALGN exhibits consistent fixed-width depth--accuracy scaling up to 150 layers, while alternative topologies saturate or degrade. Linear probes, topology ablations, and operation-aware analysis show that trained IALGNs preserve private states and apply sparse anchor-conditioned updates. These results indicate that scalable LGN depth requires both stable optimization and credit-preserving information access.
Comments7 pages of main text, 4 figures, 2 tables 5 pages of technical supplements
