利用格林算子解耦多任务神经网络中的计算
Disentangling Computation in Multi-Task Neural Networks with the Green's Operator
- University of Washington（华盛顿大学）
- The Allen Institute（艾伦研究所）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本文提出用格林算子刻画循环网络的全局一阶扰动响应，通过任务和时间约简揭示多任务计算的结构化复用与因果路径，为理解学习到的动力学计算组织提供新视角。
AI中文摘要：
在训练好的循环网络中，计算是如何跨任务和时间进行组织和复用的？大多数分析强调神经活动的几何结构、动力学模式或局部扰动的增长。我们转而研究网络的全局一阶扰动响应。有限时域格林算子将沿轨迹的每个源处的扰动映射到其下游的状态空间响应，因此直接表示扰动路由。对该算子进行简单的约简，可以提供同一计算的任务到任务和时间到时间的视图，而无需构造完整算子，矩阵自由乘积即可使这些视图可访问。在一个灵活的多任务循环网络中，任务约简揭示了已知计算模式的结构化复用，而时间约简则揭示了因果路径及其在训练过程中的涌现方式。我们的主要观点很简单：格林算子提供了一种全局响应几何，用于映射学习到的动力学计算的组织结构。
英文摘要：
How is computation organized and reused across tasks and time in a trained recurrent network? Most analyses emphasize the geometry of neural activity, dynamical motifs, or local perturbation growth. We instead study the network's global first-order perturbation response. The finite-horizon Green's operator maps perturbations at each source along a trajectory to their downstream state-space responses and therefore directly represents perturbation routing. Simple reductions of this operator provide task-to-task and time-to-time views of the same computation, while matrix-free products make these views accessible without constructing the full operator. In a flexible multitask recurrent network, task reductions reveal structured reuse of known computational motifs, while temporal reductions reveal causal pathways and how they emerge during training. Our main point is simple: the Green's operator provides a global response geometry for mapping the organization of learned dynamical computation.
