A theory explaining how deep learning works is yet to be developed. Previous work suggests that deep learning performs a coarse graining, similar in spirit to the renormalization group (RG). This idea has been explored in the setting of a local (nearest neighbor interactions) Ising spin lattice. We extend the discussion to the setting of a long range spin lattice. Markov Chain Monte Carlo (MCMC) simulations determine both the critical temperature and scaling dimensions of the system. The model is used to train both a single RBM (restricted Boltzmann machine) network, as well as a stacked RBM network. Following earlier Ising model studies, the trained weights of a single layer RBM network define a flow of lattice models. In contrast to results for nearest neighbor Ising, the RBM flow for the long ranged model does not converge to the correct values for the spin and energy scaling dimension. Further, correlation functions between visible and hidden nodes exhibit key differences between the stacked RBM and RG flows. The stacked RBM flow appears to move towards low temperatures whereas the RG flow moves towards high temperature. This again differs from results obtained for nearest neighbor Ising.
Evaluating Deep Human-in-the-Loop Optimization for Retinal Implants Using Sighted Participants
College of Creative Studies at the University of California, Santa Barbara(加州大学圣芭芭拉分校创意研究学院);Department of Computer Science, University of California, Santa Barbara(加州大学圣芭芭拉分校计算机科学系);Department of Communication, University of California, Santa Barbara(加州大学圣芭芭拉分校传播系);Department of Psychological & Brain Sciences, University of California, Santa Barbara(加州大学圣芭芭拉分校心理学与脑科学系)
Deep neural network based i-vector mapping for speaker verification using short utterances
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Snap Inc(Snap公司)
由于短话语之间的大变化和内容失配,使用短话语的文本无关的说话人识别是一个非常具有挑战性的任务。基于I-向量的系统已经成为说话人确认应用的标准,但是它们对于短话语不太有效。在本文中,我们首先比较了两种最先进的通用背景模型训练方法,用于使用全长和短话语评估任务进行i向量建模。这两种方法是基于高斯混合模型(GMM)和基于深度神经网络(DNN)的方法。结果表明,I-vector_DNN系统优于I-vector_GMM系统在不同的持续时间。然而,这两个系统的性能显着降低的话语的持续时间减少。为了解决这个问题,我们提出了两种新的非线性映射方法,训练DNN模型将从短话语中提取的i向量映射到其相应的长话语i向量。映射后的i向量能够恢复缺失信息,并减小原短话语i向量的方差。所提出的方法都模型的联合表示的短和长的话语i-向量使用自动编码器。使用NIST SRE 2010数据集的实验结果表明,当使用具有残差块的深度编码器并添加额外的音素向量时,这两种方法都提供了显着的改进,并导致与基线系统相比相等错误率的最大28.43%的相对改进。当在Speaker In The Wild数据集上进一步测试SRE 10的最佳验证模型时,该方法在任意持续时间(1-5秒)的短话语条件下提高了23.12%。
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);Centre for Next Generation Localisation, Dublin City University(都柏林城市大学下一代本地化中心)
自然语言处理中的许多任务,从机器翻译到问答,可以简化为匹配两个句子或更一般地匹配两个短文本的问题。我们提出了一种新的方法来解决这个问题,称为深度匹配树(DeepMatch $_{tree}$),在一般的设置。该方法由两个部分组成,1)挖掘算法,用于发现在依赖树的乘积空间中定义的用于匹配两个短文本的模式,以及2)深度神经网络,用于使用挖掘的模式来匹配短文本,以及学习算法,用于构建具有稀疏结构的网络。我们在社交媒体中匹配推文和响应的问题上测试我们的算法,这是在[Wang et al.,2013],并表明DeepMatch $_{tree}$可以优于许多竞争对手的模型,包括一个不使用依赖树的模型和一个基于词嵌入的模型,所有这些模型都具有很大的利润率
Deep Learning for Short-term Instant Energy Consumption Forecasting in the Manufacturing Sector
Research Group on Intelligent Engineering and Computing for Advanced Innovation and Development (GECAD)(智能工程与高级创新发展计算研究组(GECAD));Porto School of Engineering (ISEP)(波尔图工程学院(ISEP))
Deep Echo State Networks for Short-Term Traffic Forecasting: Performance Comparison and Statistical Assessment
TECNALIA, Basque Research and Technology Alliance (BRTA)(TECNALIA,巴斯克研究与技术联盟(BRTA));University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU));National Technical University of Athens (NTUA)(雅典国立技术大学(NTUA))
在短期交通预测中,目标是准确地预测在查询预测之后不久发生的感兴趣的交通参数的未来值。在这一长期研究领域中报道的活动最近被不同的深度学习方法所主导,产生了过于复杂的预测模型,这些模型通常可以实现实际效用可疑的准确性增益。在这项工作中,我们详细介绍了深度回声状态网络在这一特定任务中的性能。这些替代建模方法的有效学习算法和更简单的参数配置使它们成为具有竞争力的交通预测方法,用于部署在具有严格有限的计算资源的设备和系统中的实际ITS应用。一个广泛的比较基准是利用在马德里(西班牙)捕获的真实交通数据设计的,共有130多个自动交通阅读器(ATR)和几个浅层学习,集成和深度学习模型。该比较基准的结果以及对报告的性能差距的统计显著性的分析具有决定性意义:Deep Echo State Networks比其他考虑的建模同行实现了更准确的流量预测。
An Evolutionary Deep Learning Method for Short-term Wind Speed Prediction: A Case Study of the Lillgrund Offshore Wind Farm
The University of Adelaide(阿德莱德大学);Sapienza University of Rome(罗马大学);The Australian Institute for Machine Learning(澳大利亚机器学习研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
DeepVRegulome: DNABERT-based deep-learning framework for predicting the functional impact of short genomic variants on the human regulome
Stony Brook University(石溪大学);Renaissance School of Medicine, Stony Brook University(石溪大学文艺复兴医学院);Northwestern University Feinberg School of Medicine(西北大学范伯格医学院);Northwestern University(西北大学)