Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates
Lancaster University(兰卡斯特大学)
针对SVGD等ParVI方法依赖学习率调参的问题,提出基于coin betting的无学习率粒子化贝叶斯推断方法,在高维模型与数据集上达到与现有ParVI算法相当的性能。
2023-06-01 cs.LG stat.ML
Parameter-free Online Linear Optimization with Side Information via Universal Coin Betting
UC San Diego(加利福尼亚大学圣地亚哥分校);Gauss Labs Inc.(高斯实验室公司)
提出了一类无参数的在线线性优化算法,该算法通过自适应一些边信息来利用对抗序列的结构。这些算法结合了Orabona和P{á}l(2016)的归约技术,用于将硬币投注算法用于在线线性优化,并结合了信息论中的通用压缩技术,用于将顺序边信息纳入硬币投注。具体的例子进行了研究,其中的边信息具有树结构,并由量化值的对抗序列,包括固定顺序和可变顺序马尔可夫的情况下,以前的符号。通过修改Willems,Shtarkov和Tjalkens(1995)的上下文树加权技术,所提出的算法被进一步改进,以实现最佳性能的所有自适应算法与树结构的边信息的一个给定的最大阶在计算上有效的方式。
2022-02-04 cs.IT cs.LG math.IT
Online Learning for Changing Environments using Coin Betting
UW-Madison(威斯康星大学麦迪逊分校);Stony Brook University(石溪大学)
在线学习的一个关键挑战是经典算法可能很慢才能适应不断变化的环境。最近的研究提出了“Meta”算法,将任何在线学习算法转换为适应不断变化的环境的算法,其中的自适应性被称为强自适应后悔的数量进行分析。本文描述了一种新的Meta算法,它具有强自适应的遗憾界是一个因素的$\sqrt{\log(T)}$优于其他算法具有相同的时间复杂度,其中$T$是时间范围。我们还扩展了我们的算法,以实现一阶(即,依赖于观察到的损失)强适应性的遗憾界的第一次,我们的知识。其核心是一种新的无参数算法,用于专家建议学习(LEA)问题,其中专家有时不输出连续时间步长的建议(即,\emph{sleeping}专家)。该算法是由所谓的硬币投注问题的最优算法的简化而得。实证结果表明,我们的算法优于国家的最先进的方法在学习与专家的意见和度量学习的情况下。
2017-11-06 cs.LG stat.ML
Learning Rate Free Sampling in Constrained Domains
Lancaster University(兰卡斯特大学);Microsoft Research New England(微软研究院新英格兰分院)
本文提出免学习率的粒子采样算法,基于投注思想与镜像优化视角,统一现有方法,并在多种约束采样任务中达到与现有方法相当的性能且无需调参。
2023-12-26 cs.LG stat.ME stat.ML
Sports Betting: an application of neural networks and modern portfolio theory to the English Premier League
Instituto Tecnológico Autónomo de México(墨西哥自治技术学院);Centro de Enseñanza Técnica y Superior(高等技术教育中心)
本文结合期望效用理论、深度学习和凯利准则优化英超博彩策略,利用神经网络与投资组合优化,在20/21赛季后半段实现135.8%利润,并评估不同策略的性能与风险管理。
2023-07-11 cs.LG q-fin.PM
Complexity, Statistical Risk, and Metric Entropy of Deep Nets Using Total Path Variation
Yale University(耶鲁大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校)
对于任何ReLU网络,都有一种表示,其中每个节点的权重的绝对值之和正好是$1$,并且输入层变量乘以与路径权重的总变化一致的值$V$。高斯复杂性,拉德马赫复杂度,统计风险,和度量熵,所有这些都被证明是成比例的$V$的影响。除了输入$d$的数量之外,不依赖于每层的节点数量。对于具有亚高斯噪声的估计,可以获得的均方泛化误差界是$V \sqrt{L + \log d}/\sqrt{n}$阶,其中$L$是层数,$n$是样本量。
2019-02-06 cs.LG stat.ML
L-FGADMM: Layer-Wise Federated Group ADMM for Communication Efficient Decentralized Deep Learning
University of Oulu(奥卢大学)
本文提出了一种通信高效的分散式深度学习算法,即分层联邦组ADMM(L-FGADMM)。为了最小化经验风险,L-FGADMM中的每个工作者定期与两个邻居通信,其中针对其深层神经网络的不同层分别调整周期。一个约束优化问题,这种设置制定和解决使用随机版本的GADMM提出在我们以前的工作。数值计算表明,通过减少最大层的交换频率,L-FGADMM可以显着降低通信成本,而不会影响收敛速度。令人惊讶的是,尽管交换的信息和分散的操作较少,但间歇性地跳过L-FGADMM中的最大层共识会产生正则化效应,从而实现与联邦学习(FL)一样高的测试准确性,FL是一种借助中央实体实现整个层共识的基线方法。
2020-07-05 cs.DC cs.LG cs.NI
An Information Theoretic Interpretation to Deep Neural Networks
Tsinghua University(清华大学);Massachusetts Institute of Technology(麻省理工学院)
人们普遍认为,深度神经网络(DNN)的隐藏层试图为学习任务提取信息特征。在本文中,我们正式表明,DNN提取的特征与优化问题的结果相吻合,我们称之为“通用特征选择”问题,在本地分析制度,这种直觉。我们将DNN中的权重训练解释为特征函数在特征空间之间的投影,由网络结构指定。我们的公式在推理任务的性能方面具有直接的操作意义,并解释了DNN的内部计算结果。数值实验的结果提供了支持的分析。
2019-05-16 cs.IT cs.LG math.IT
Parameter-Free Locally Differentially Private Stochastic Subgradient Descent
University of Arizona(亚利桑那大学);Boston University(波士顿大学)
我们考虑的问题,最小化的凸风险与随机次梯度保证$ε$ -局部差分私有($ε$ -LDP)。虽然已经表明,通过标准SGD利用$ε$ -LDP进行随机优化是可能的(Song等人,2013年),其收敛速度在很大程度上取决于学习率,这必须通过反复运行来调整。此外,调谐对隐私损失是有害的,因为它显著增加了梯度请求的数量。在这项工作中,我们提出了BANCO(噪音硬币的投注算法),第一个$ε$ -LDP SGD算法,基本上匹配的收敛速度的调整SGD没有任何学习率参数,减少隐私损失,节省隐私预算。
2019-11-21 cs.CR cs.LG math.OC
A quantum algorithm for training wide and deep classical neural networks
Massachusetts Institute of Technology(麻省理工学院);Google Quantum AI(谷歌量子人工智能)
鉴于深度学习在经典机器学习中的成功,传统神经网络架构的量子算法可能为量子机器学习提供最有前途的环境之一。考虑到一个完全连接的前馈神经网络,我们表明,通过梯度下降服从经典可训练性的条件与有效地解决量子线性系统所需的条件一致。我们提出了一种量子算法,通过在$O(\log n)$时间内执行稀疏矩阵求逆,来近似训练一个宽而深的神经网络,以达到$n$误差。为了在梯度下降上实现端到端的指数加速,数据分布必须允许有效的状态准备和读出。我们在数值上证明了MNIST图像数据集满足这些条件;此外,量子算法与全连接网络的精度相匹配。除了经过验证的架构之外,我们还为使用池化的卷积神经网络的$O(\log n)$训练提供了经验证据。
2021-07-19 cs.LG quant-ph
Quantum Geometry insights in Deep Learning
University of Warsaw(华沙大学)
本文探讨了Monge-Ampère方程在深度学习中的核心作用,通过建立最优传输理论与Boltzmann学习的联系,并结合量子几何和重整化群流视角,为层级特征学习提供了跨学科的数学理解。
2025-03-01 cs.IT cs.LG math.DG
Machine Vision Using Cellphone Camera: A Comparison of deep networks for classifying three challenging denominations of Indian Coins
Ahmedabad University(艾哈迈达巴德大学)
针对直径相近、易混淆的三种印度硬币人工识别难的问题,研究用手机拍摄硬币图像,对比4种深度网络架构,发现其中2种可从硬币任意面准确分类面额,准确率达97%。
2023-05-12 cs.CV cs.LG
Coinbot: Intelligent Robotic Coin Bag Manipulation Using Deep Reinforcement Learning And Machine Teaching
Microsoft(微软);Neal Analytics
考虑到在银行现金中心移动沉重的实物货币袋的困难,对培训和部署能够在协作工作空间中执行此类任务的安全自主系统的需求很大。然而,随着大量的刚性体硬币包含在它的袋子的变形特性,显着增加了袋检测,抓取和操纵的机器人夹具和arm.In本文中,我们应用深度强化学习和机器学习技术的任务控制的协作机器人自动卸载硬币袋从手推车的挑战。为了完成抓取硬币袋等柔性材料的特定任务过程,在操作过程中质量中心发生变化,在仿真中实现了一种特殊的夹持器,并在物理硬件中设计。利用深度相机和使用深度学习的目标检测,已经完成了包检测和姿态估计以选择最佳抓取点。提出了一种基于深度强化学习的智能方法,用于提出机器人末端执行器的最佳配置,以最大限度地提高抓取成功率。一种增强的运动规划被用来提高机器人操作期间的运动规划的速度。在实际环境中,使用拟议管道进行的实际试验表明成功率超过96%。
2020-12-02 cs.LG cs.RO
Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation
ShanghaiTech University(上海科技大学)
本文通过同伦延拓建立DEQs与Neural ODEs的联系,提出新隐式模型HomoODE,兼具高精度与稳定性,并在图像分类任务中超越现有隐式模型。
2023-12-21 cs.LG stat.ML
Deep Ancient Roman Republican Coin Classification via Feature Fusion and Attention
COMSATS University Islamabad(伊斯兰堡COMSATS大学);Friedrich-Alexander University (FAU)(弗里德里希-亚历山大大学(FAU));Data61-CSIRO(Data61-联邦科学与工业研究组织);The Australian National University(澳大利亚国立大学);TU Wien(维也纳工业大学)
我们通过识别其反向图案来对古罗马共和国硬币进行分类,其中各种物体,面孔,场景,动物和建筑物以及传说。由于年代久远和保存程度不一,这些硬币大多受到侵蚀,从而影响了其视觉识别的信息属性。背面图案上主要符号位置的变化也会导致硬币类型之间的巨大差异。最后,平面内的方向,不均匀的照明,和适度的背景杂波进一步使分类任务的不平凡和具有挑战性。为此,我们提出了一种新的网络模型CoinNet,它采用了紧凑的双线性池,残差组和特征注意层。此外,我们收集了罗马共和国硬币最大和最多样化的图像数据集,其中包含属于228种不同反面图案的18,000多张图像。在这个数据集上,我们的模型实现了超过\textbf{98\%}的分类精度,并且优于传统的基于视觉词袋的方法和最近最先进的深度学习方法。我们还提供了我们的网络及其泛化能力的详细消融研究。模型和数据集可在https://github.com/saeed-anwar/CoinNet上获得
2020-12-24 cs.CV cs.LG
The Flip Side of the Reweighted Coin: Duality of Adaptive Dropout and Regularization
Rice University(莱斯大学)
稀疏化深度(神经)网络最成功的方法之一是在整个训练过程中自适应地屏蔽网络权重。通过检查这种掩蔽,或辍学,在线性的情况下,我们发现这种自适应方法和正则化之间的对偶性,通过所谓的“$η$技巧”,铸造作为迭代重新加权优化。我们表明,任何辍学策略,适应的权重在单调的方式对应于一个有效的次二次正则化惩罚,因此导致稀疏的解决方案。我们得到了几个流行的稀疏化策略,这是非常相似的经典的惩罚稀疏优化中常用的有效的处罚。考虑变分dropout作为案例研究,我们在深度网络稀疏化任务上展示了自适应dropout方法和经典方法之间类似的经验行为,验证了我们的理论。
2022-01-03 cs.LG stat.ML
Feature Engineering vs. Deep Learning for Automated Coin Grading: A Comparative Study on Saint-Gaudens Double Eagles
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文通过对比特征工程与深度学习方法,发现特征设计在小数据、类别不平衡场景下优于全栈深度学习方案,尤其在硬币评级任务中表现更优。
2025-12-04 cs.CV cs.LG
Two Sides of the Same Coin: White-box and Black-box Attacks for Transfer Learning
CSE, HKUST(香港科技大学计算机科学与工程系);Peng Cheng Laboratory(鹏城实验室);Cloud and Smart Industries Group, Tencent(腾讯云与智慧产业事业群);WeBank(微众银行)
迁移学习已经成为在目标领域中用有限的标记数据训练深度学习模型的常见实践。另一方面,深度模型容易受到对抗攻击的攻击。虽然迁移学习已被广泛应用,但其对模型鲁棒性的影响尚不清楚。为了解决这个问题,我们进行了大量的实证评估,表明微调有效地提高了模型的鲁棒性下的白盒FGSM攻击。我们还提出了一种针对迁移学习模型的黑盒攻击方法,该方法利用源模型产生的对抗性样本对目标模型进行攻击。为了系统地测量白盒和黑盒攻击的效果,我们提出了一个新的度量标准来评估源模型产生的对抗性示例如何转移到目标模型。实验结果表明,当使用微调时,对抗性示例比两个网络独立训练时更具可转移性。
2020-08-25 cs.LG stat.ML
Deep Learning based Intelligent Coin-tap Test for Defect Recognition
Xi’an Jiaotong University(西安交通大学)
硬币敲击法是一种简便的、主要的无损检测方法,但其现场人工操作难度大、成本高。利用最新的智能信号处理方法--卷积神经网络(CNN),实现了一种智能的硬币敲击检测方法,该方法在缺陷识别方面表现出优越的性能。然而,CNN的这种成功依赖于来自相同场景的大量标记良好的数据,这对于许多实际的工业实践来说可能很难获得。本文进一步开发了针对该问题的迁移学习策略,即将在一个场景的数据上训练的模型迁移到另一个场景。在实验中,通过使用领域自适应和伪标签学习策略,结果显示出显著的改善。因此,可以将模型应用于没有或很少(小于10%)采用本文提出的迁移学习策略的标记数据的场景。此外,我们在整个研究中使用了自己构建的基准数据集。这个包含大约100,000个声音信号的硬币敲击测试基准数据集发布在https://github.com/PPhub-hy/torch-tapnet上。
2022-03-20 cs.LG cs.SD eess.AS
COIN: Contrastive Identifier Network for Breast Mass Diagnosis in Mammography
University of Edinburgh(爱丁堡大学)
乳腺X线摄影中的计算机辅助乳腺癌诊断是一个具有挑战性的问题,源于乳腺X线摄影数据的稀缺性和数据纠缠。特别是,数据稀缺性归因于隐私和昂贵的注释。数据纠缠是由于良恶性肿块之间的高度相似性,其中流形驻留在低维空间中,边缘很小。为了解决这两个挑战,我们提出了一个深度学习框架,名为对比标识符网络(\textsc{COIN}),它集成了对抗增强和基于流形的对比学习。首先,我们采用对抗学习来创建包含ROI的分布质量和分布质量。在此之后,我们提出了一种新的对比损失与一个建立的签名图。最后,以对比学习的方式优化神经网络,目的是提高深度模型对扩展数据集的区分度。特别是,通过使用COIN,来自相同类别的数据样本被拉近,而具有不同标签的数据样本则被进一步推到深层潜在空间中。此外,COIN算法在解决乳腺癌诊断问题上的准确率达到93.4%,AUC得分达到95.0%,大大优于目前最先进的相关算法。代码将于 * 发布。
2020-12-29 cs.CV cs.LG
Deep Learning and Transfer Learning Architectures for English Premier League Player Performance Forecasting
Stanford University(斯坦福大学)
本文提出基于CNN的英超球员FPL得分预测模型,以更少特征超越岭回归、LightGBM及已有最优模型,并探索新闻文本迁移学习,为FPL AI智能体和相关预测任务奠定基础。
2024-05-03 cs.LG
From One to Many: A Deep Learning Coincident Gravitational-Wave Search
Max-Planck-Institut für Gravitationsphysik, Albert-Einstein-Institut(马克斯·普朗克引力物理研究所(阿尔伯特·爱因斯坦研究所));Leibniz Universität Hannover(莱布尼茨汉诺威大学)
紧密双星源合并产生的引力波现在由地球探测器定期观测。最灵敏的搜索算法将许多不同的预先计算的重力波形与探测器数据进行卷积,并寻找不同探测器之间的一致匹配。机器学习正在被探索作为构建搜索算法的替代方法,该算法有望降低计算成本并针对更复杂的信号。在这项工作中,我们构建了一个双探测器搜索引力波从二进制黑洞合并使用神经网络训练非旋转的二进制黑洞数据从一个单一的检测器。该网络被应用到两个观测站的数据独立,我们检查事件之间的时间重合。这使得能够通过对独立检测器数据进行时移来有效分析大量背景数据。我们发现,虽然对于一个单一的检测器的网络保留$91.5\%$的灵敏度匹配滤波可以实现,这个数字下降到$83.9\%$两个观测站。为了使网络能够检查检测器中的信号一致性,我们构建了一组简单的网络,直接对来自两个检测器的数据进行操作。我们发现,这些简单的两个检测器的网络都不能提高灵敏度,单独应用网络的数据从检测器和搜索时间重合。
2022-02-10 astro-ph.IM cs.LG gr-qc
Generalization ability and Vulnerabilities to adversarial perturbations: Two sides of the same coin
Pacific Northwest National Laboratory(太平洋西北国家实验室);School of Neuroscience(神经科学学院);Virginia Tech(弗吉尼亚理工大学)
本研究使用自组织映射(SOM)分析深度神经网络的内部决策代码,发现浅层生成同质代码而深层将其转化为多样代码,并指出这种同质代码是导致网络易受对抗扰动攻击的根源。
2024-11-18 cs.LG
A Study of Gradient Variance in Deep Learning
University of Toronto(多伦多大学);Vector Institute(矢量研究所)
梯度噪声对训练深度模型的影响被广泛认可,但尚未得到很好的理解。在这种情况下,我们研究训练过程中梯度的分布。本文介绍了一种最小化分层抽样平均小批量梯度方差的方法--梯度聚类。我们证明了,如果元素是从梯度空间中的加权聚类中采样的,则平均小批量梯度的方差最小化。我们在常见的深度学习基准上测量梯度方差,并观察到,与常见的假设相反,梯度方差在训练过程中会增加,较小的学习率与较高的方差相吻合。此外,我们引入了归一化梯度方差作为一个统计量,与梯度方差相比,它更好地与收敛速度相关。
2020-07-09 cs.LG stat.ML
The Secret Revealer: Generative Model-Inversion Attacks Against Deep Neural Networks
Fudan University(复旦大学);University of California at Berkeley(加州大学伯克利分校);Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了模型反演攻击,其中对模型的访问被滥用来推断有关训练数据的信息。自首次引入以来,鉴于训练数据通常包含隐私敏感信息,此类攻击引起了严重关注。到目前为止,成功的模型反演攻击仅在简单模型上得到证明,例如线性回归和逻辑回归。以前尝试反转神经网络,即使是具有简单架构的神经网络,也未能产生令人信服的结果。我们提出了一种新的攻击方法,称为生成模型反演攻击,它可以以高成功率反演深度神经网络。我们不是从头开始重建私人训练数据,而是利用部分公共信息(可能非常通用)通过生成对抗网络(GAN)学习分布先验,并使用它来指导反演过程。此外,我们从理论上证明了模型的预测能力及其对反转攻击的脆弱性确实是同一枚硬币的两面-高度预测的模型能够在特征和标签之间建立强相关性,这与对手利用什么来发起攻击完全一致。我们广泛的实验表明,所提出的攻击提高了约75%的识别精度比现有的工作,从一个国家的最先进的人脸识别分类器重建人脸图像。我们还表明,差分隐私,在其规范形式,是无济于事的,以抵御我们的攻击。
2020-04-18 cs.LG stat.ML
Network Randomization: A Simple Technique for Generalization in Deep Reinforcement Learning
KAIST(韩国科学技术院);University of Michigan(密歇根大学);Google Brain(谷歌大脑)
深度强化学习(RL)代理通常无法泛化到看不见的环境(但在语义上与经过训练的代理相似),特别是当它们在高维状态空间(如图像)上进行训练时。在本文中,我们提出了一种简单的技术,通过引入随机(卷积)神经网络来提高深度RL代理的泛化能力,该网络随机扰动输入观察。它使经过训练的代理能够通过学习在各种随机环境中不变的鲁棒特征来适应新的领域。此外,我们考虑了一种基于蒙特卡罗近似的推理方法,以减少这种随机化引起的方差。我们在2D CoinRun、3D DeepMind Lab探索和3D机器人控制任务中展示了我们方法的优越性:它显著优于用于相同目的的各种正则化和数据增强方法。
2020-02-15 cs.LG stat.ML
How to Construct Perfect and Worse-than-Coin-Flip Spoofing Countermeasures: A Word of Warning on Shortcut Learning
University of Eastern Finland(东芬兰大学);University of Oulu(奥卢大学);TCG CREST
针对语音欺骗防御对策中的捷径学习问题,提出通过训练与测试侧系统性干预识别虚假相关性的通用框架,并在三种模型和五种条件下验证偏差及其对分数统计的影响。
2023-05-31 cs.CR cs.LG cs.SD
COIN: Counterfactual inpainting for weakly supervised semantic segmentation for medical images
Institute of Computer Science, University of Tartu(塔尔图大学计算机科学学院);Better Medicine;STACC
提出反事实图像修复方法COIN,通过生成模型将异常分类标签翻转为正常,利用易获取的图像级标签在无需分割掩码的情况下实现医学图像病理的精确弱监督语义分割。
2024-07-25 cs.AI cs.CV cs.LG
Detecting data-driven robust statistical arbitrage strategies with deep neural networks
NTU Singapore(南洋理工大学);NUS Singapore(新加坡国立大学)
本文提出一种基于深度神经网络的数据驱动方法,无需识别协整资产对即可在高维市场中构建稳健统计套利策略,并在50维、金融危机及协整失效等场景下验证了其高盈利表现。
2024-02-26 cs.LG q-fin.CP q-fin.MF
Deep Attribute Networks
在许多真实世界的图像分类任务中,如人脸验证和目标识别,获得紧凑和有区别的特征是主要挑战之一。一种可能的方法是表示输入图像的基础上进行人类可以理解的语义含义的高级功能。本文提出了一种新的模型--深度属性网络(DAN)来解决这个问题。对于输入图像,模型输出输入图像的属性而不执行任何分类。使用LFW和a-PASCAL数据集的无约束人脸验证和现实世界的对象识别任务,该模型的有效性进行评估。我们通过展示与现有最先进结果的可比结果,展示了深度学习在基于属性的分类中的潜力。一旦经过适当的训练,DAN速度很快,并且不需要计算可能不可靠且计算昂贵的低级特征。
2012-11-28 cs.CV cs.LG stat.ML
Deep Learning and Artificial General Intelligence: Still a Long Way to Go
QED Software(QED软件公司)
近年来,使用神经网络架构的深度学习,即深度神经网络,一直处于计算机科学研究的前沿。它甚至在某些问题上导致了超人的表现,例如,在计算机视觉、游戏和生物学中,深度学习革命一词由此诞生。深度学习无可争议的成功和快速增长表明,在未来,它可能成为通用人工智能(AGI)的推动者。在这篇文章中,我们批判性地探讨了这一说法,并指出了目前深度神经网络还没有准备好成为实现AGI的首选技术的五个主要原因。
2022-04-05 cs.AI cs.LG
A Robust Deep Unfolded Network for Sparse Signal Recovery from Noisy Binary Measurements
Vrije Universiteit Brussel(布鲁塞尔自由大学);Shenzhen University(深圳大学);imec(比利时微电子研究中心)
我们提出了一种新的深度神经网络,称为DeepFPC- $\ell_2$,用于解决1位压缩感知问题。该网络是通过展开具有单侧$\ell_2$ -范数的定点延拓(FPC)算法(FPC- $\ell_2$)的迭代来设计的。与传统的FPC- $\ell_2$算法相比,DeepFPC-$\ell_2$方法显示出更高的信号重建精度和收敛速度。此外,我们将其对噪声的鲁棒性与先前提出的DeepFPC网络进行了比较--DeepFPC网络源于展开FPC- $\ell_1$算法--用于不同的信噪比(SNR)和符号翻转比(翻转比)场景。我们表明,所提出的网络比以前的DeepFPC方法具有更好的抗噪性。这一结果表明,深度展开的神经网络的鲁棒性与它所源自的算法的鲁棒性有关。
2020-10-15 cs.LG eess.SP
Nearest Class-Center Simplification through Intermediate Layers
Tel Aviv University(特拉维夫大学);eBay Research(eBay研究院)
理论深度学习的最新进展已经引入了训练过程中出现的几何属性,超过插值阈值-训练误差达到零。我们探讨了网络中间层的神经崩溃现象,并强调了深网内部最近类中心失配的内部工作原理。我们进一步表明,这些过程都发生在视觉和语言模型架构。最后,我们提出了一个随机可变性简化损失(SVSL),鼓励更好的几何特征在中间层,并提高了训练指标和泛化。
2022-06-11 cs.LG
SplitBrain: Hybrid Data and Model Parallel Deep Learning
NEC Laboratories America, Inc.(NEC美国实验室公司)
最近深度学习应用的成功与那些广泛可用的强大计算资源相吻合,这些计算资源用于训练具有巨大数据集的复杂机器学习模型。尽管如此,使用模型并行(与数据并行相反)训练诸如卷积神经网络之类的大型模型是具有挑战性的,因为模型碎片之间的通信的复杂性质使得难以以可接受的折衷在多个机器上有效地划分计算。本文介绍了SplitBrain,一个支持混合数据和模型并行的高性能分布式深度学习框架。具体来说,SplitBrain提供了特定于层的分区,可以将计算密集型卷积层放在一起,同时对内存需求层进行分片。提出了一种新的可扩展组通信,以进一步提高训练吞吐量,减少通信开销。实验结果表明,SplitBrain在实现数据和模型并行VGG时,与CIFAR-10相比,可以实现接近线性的加速比,同时节省高达67%的内存消耗。
2021-12-31 cs.CV cs.DC cs.LG
A Data-driven Deep Learning Approach for Bitcoin Price Forecasting
Technische Universität Darmstadt(达姆施塔特工业大学)
针对比特币历史数据难以增强的问题,提出基于特征工程的浅层Bi-LSTM模型预测日收盘价,实验证明其优于其他流行预测模型。
2023-10-27 cs.AI cs.LG eess.SP
GFPNet: A Deep Network for Learning Shape Completion in Generic Fitted Primitives
Elektrobit Automotive(Elektrobit汽车公司);Transilvania University of Brasov(布拉索夫特兰西瓦尼亚大学)
在本文中,我们提出了一个对象重建装置,使用所谓的通用原语(GP)完成形状。GP是描绘一类对象的广义形状的3D点云。为了重建场景中的对象,我们首先将GP拟合到每个被遮挡的对象上以获得初始原始结构。其次,我们使用一个基于模型的变形技术来折叠的GP的表面被遮挡的对象。变形模型被编码在深度神经网络(DNN)的层中,称为GFPNet。网络的目标是将对象的特殊性从场景转移到由GP表示的原始体积。我们表明,GFPNet通过在ModelNet和KITTI基准数据集上提供性能结果,与最先进的形状完成方法竞争。
2020-06-03 cs.CV cs.LG cs.RO