To reduce the complexity of the hardware implementation of neural network-based optical channel equalizers, we demonstrate that the performance of the biLSTM equalizer with approximated activation functions is close to that of the original model.
Implementing Neural Network-Based Equalizers in a Coherent Optical Transmission System Using Field-Programmable Gate Arrays
Aston Institute of Photonic Technologies, Aston University(阿斯顿大学阿斯顿光子技术研究所);Infinera R&D(Infinera研发部);Infinera Unipessoal, Lda(Infinera有限责任公司);AMD Research(AMD研究院)
On the Realization of Compositionality in Neural Networks
University of Amsterdam(阿姆斯特丹大学);University of Tübingen(图宾根大学);Universitat Pompeu Fabra(庞培法布拉大学)
我们提出了一个详细的比较两种类型的序列序列模型训练进行合成任务。这些模型在推理时在架构上是相同的,但它们的训练方式不同:我们的基线模型仅用任务成功信号训练,而另一个模型在其注意力机制(注意力引导)上接受额外的监督,这已被证明是鼓励更多组合解决方案的有效方法(Hupkes et al.,2019年)。我们首先确认,通过在Liška et al.(2019)提出的查找表任务上对模型进行训练,具有细心指导的模型确实比基线推断出更多的组合解决方案。然后,我们对两种模型类型之间的结构差异进行了深入分析,特别关注参数空间和隐藏层激活的组织,并在这两个方面发现了明显的差异。引导网络更多地关注输入的组成部分,而不是整个序列,并开发出具有特定目的的小功能神经元组,这些功能神经元组更有选择性地使用它们的门。参数热图、组件交换和图形分析的结果也表明,引导网络表现出更模块化的结构,具有少量专门的、强连接的神经元。
Normalized gradient flow optimization in the training of ReLU artificial neural networks
Basque Center for Applied Mathematics(巴斯克应用数学中心);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Münster(明斯特大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
Training single-electron and single-photon stochastic physical neural networks
School of Engineering(工程学院);Sussex Centre for Quantum Technologies, University of Sussex(Sussex量子技术中心,Sussex大学);Department of Engineering Science, University of Oxford(工程科学系,牛津大学);National Quantum Computing Centre, Rutherford Appleton Laboratory(国家量子计算中心,Rutherford Appleton实验室);School of Systems(系统学院)
On the existence of global minima and convergence analyses for gradient descent methods in the training of deep neural networks
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Münster(明斯特大学)
在这篇文章中,我们研究了具有任意大量隐藏层的全连接前馈深度ReLU ANN,并且我们证明了在所考虑的监督学习问题的输入数据的概率分布的未归一化密度函数是分段多项式的假设下,在这种ANN的训练中具有随机初始化的GD最优化方法的风险的收敛性,假设目标函数(描述输入数据和输出数据之间的关系)是分段多项式,并且假设所考虑的监督学习问题的风险函数至少允许一个正则全局最小值。此外,在只有一个隐藏层和一维输入的浅人工神经网络的特殊情况下,我们也验证了这一假设,证明在训练这样的浅人工神经网络,对于每个Lipschitz连续目标函数存在一个全局最小值的风险景观。最后,在使用ReLU激活的深度ANN的训练中,我们还研究了梯度流(GF)微分方程的解,并证明了每个非发散GF轨迹都以多项式收敛速率收敛到临界点(在限制Fréchet次可微性的意义上)。我们的数学收敛分析建立在我们以前的文章Eberle等人的思想基础上,基于来自实代数几何的工具,例如半代数函数和广义Kurdyka-Lojasiewicz不等式的概念,基于来自泛函分析的工具,例如Arzelà-Ascoli定理,基于来自非光滑分析的工具,例如极限Fréchet次梯度的概念,以及具有固定架构的浅ReLU ANN的实现函数的集合形成连续函数的集合的闭子集的事实Petersen et al.