Multitask vocal burst modeling with ResNets and pre-trained paralinguistic Conformers
Google Research(谷歌研究院)
本技术报告介绍了我们提交给ICML表达性发声研讨会和竞赛多任务跟踪(ExVo-MultiTask)的建模方法。我们首先将各种大小的图像分类模型应用于声音爆发的梅尔频谱图表示,这是声音事件检测文献中的标准。这些模型的结果显示,在任务指标的调和平均值方面,比基线系统增加了21.24%,并构成了我们团队向MultiTask跟踪提交的主要内容。然后,我们试图通过应用一个大型的预训练的Conformer模型来描述MultiTask轨道中的净空,该模型以前在语音情感识别和掩码检测等非语言任务上取得了最先进的结果。我们还研究了情感表达、原籍国和年龄预测子任务之间的关系,发现表现最好的模型是作为单任务模型训练的,质疑这个问题是否真的受益于多任务设置。
2022-06-24 cs.LG cs.SD eess.AS
Learning Faster without Deeper Networks: A*-Inspired Batch Selection for Efficient CNN Training
AI Laboratory, University Metropolitan Tirana(地拉那都市大学人工智能实验室);Laboratory of Images Signals and Intelligent Systems, ESIEE Paris(巴黎高等电子与电工工程师学校图像信号与智能系统实验室)
研究针对CNN训练中小批量随机打乱导致的低效问题,提出受A*启发的批量选择方法,通过特定分数排序批次,在MedMNIST-v2基准任务中,该方法在部分任务上超越ResNet基线,训练更快,证明智能批量排序可弥补架构不足。
2026-07-20 cs.LG
How Not to Give a FLOP: Combining Regularization and Pruning for Efficient Inference
Stanford University(斯坦福大学)
在部署阶段加速深度学习模型的挑战一直是现代科技行业中一个巨大而昂贵的瓶颈。在本文中,我们研究了正则化和修剪的使用,以降低深度神经网络(DNN)中的计算复杂性和更有效的推理。特别是,我们将mixup和cutout正则化以及软过滤器修剪应用于ResNet架构,专注于最小化浮点运算(FLOPs)。此外,通过使用正则化结合网络修剪,我们表明,这样的组合使一个实质性的改善,每一个单独的两种技术。
2020-04-09 cs.CV cs.LG eess.IV
ResNets of All Shapes and Sizes: Convergence of Training Dynamics in the Large-scale Limit
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院)
本文研究了ResNets在大规模极限下的训练动态收敛性,证明了在特定条件下误差率与深度、隐藏宽度和嵌入维度有关,且在嵌入空间中具有实验证据支持。
2026-03-18 cs.LG math.PR stat.ML
Early Start Intention Detection of Cyclists Using Motion History Images and a Deep Residual Network
University of Applied Sciences Aschaffenburg(阿沙芬堡应用科学大学);University of Kassel(卡塞尔大学)
在这篇文章中,我们提出了一种新的方法来检测骑自行车的人在现实世界的交通场景中的运动历史图像(MHI)的基础上的启动运动。该方法使用具有残差网络架构(ResNet)的深度卷积神经网络(CNN),其通常用于图像分类和检测任务。通过将MHI与ResNet分类器相结合,并对MHI进行逐帧分类,我们能够检测图像序列中的起始运动。在城市交叉口使用广角立体摄像机系统进行检测。我们将我们的算法与现有的方法进行比较,以检测运动过渡的行人,使用MHIs与直方图的方向一致性(HOG)像描述符和支持向量机(SVM),我们适应骑自行车。为了训练和评估方法,创建了包含394个骑自行车者开始运动的MHI的数据集。结果表明,这两种方法都可以用来检测骑自行车的人的起步运动。使用支持向量机的方法,我们能够安全地检测开始运动后,自行车开始移动平均0.506秒,F1得分为97.7%。ResNet方法在平均检测时间为0.144 s时实现了100%的F1分数。ResNet方法在对假阳性检测的鲁棒性和检测时间方面都优于SVM方法。
2018-03-06 cs.CV cs.LG
MintNet: Building Invertible Neural Networks with Masked Convolutions
Stanford University(斯坦福大学)
我们提出了一种新的方法来构建可逆的神经网络相结合的简单的积木与一套新的组合规则。这导致了一组丰富的可逆架构,包括那些类似于ResNets的架构。反演实现了一个局部收敛的迭代过程,是并行化的,在实践中非常快。此外,雅可比行列式的行列式可以分析和有效地计算,使其生成使用的流动模型。为了证明它们的灵活性,我们证明了我们的可逆神经网络在MNIST和CIFAR-10分类上与ResNets竞争。当作为生成模型进行训练时,我们的可逆网络在MNIST、CIFAR-10和ImageNet 32 x32上实现了有竞争力的可能性,每维比特数分别为0.98、3.32和4.06。
2019-10-29 cs.CV cs.LG stat.ML
Spending Your Winning Lottery Better After Drawing It
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Irvine(加利福尼亚大学欧文分校)
彩票假说(LTH)表明,密集神经网络包含一个稀疏的子网络,当从头开始孤立地训练时,该子网络可以匹配原始密集网络的性能。大多数作品都使用与密集网络相同的训练协议重新训练稀疏子网络,例如初始化,架构块和训练配方。然而,到目前为止,还不清楚这些训练协议是否是稀疏网络的最佳选择。在本文中,我们证明了它是不必要的备用再训练严格继承这些属性从稠密网络。相反,通过插入稀疏子网络架构或其训练配方的有目的的“调整”,其再训练可以比默认情况下显着改善,特别是在高稀疏性水平下。结合我们提出的所有“调整”可以产生LTH的新的最先进的性能,这些修改可以很容易地适应其他稀疏训练算法。具体来说,我们已经实现了一个显着的和一致的性能增益为1.05%- 4.93%的ResNet 18上CIFAR-100香草-LTH。此外,我们的方法被证明可以在数据集(CIFAR 10,CIFAR 100,TinyImageNet)和架构(Vgg 16,ResNet-18/ResNet-34,MobileNet)之间进行推广。所有代码都将公开。
2021-10-11 cs.CV cs.LG
Combining Gradients and Probabilities for Heterogeneous Approximation of Neural Networks
Infineon Technologies(英飞凌科技);Center for Advancing Electronics Dresden(德累斯顿电子推进中心)
这项工作探讨了异构近似乘法器配置神经网络,产生高精度和低能耗的搜索。我们讨论了加性高斯噪声添加到精确的神经网络计算的有效性,作为一个代理模型的行为模拟近似乘子。连续和可微属性的解决方案空间跨越的加性高斯噪声模型被用作启发式,产生有意义的估计层的鲁棒性,而不需要组合优化技术。相反,注入精确计算的噪声量是在使用反向传播的网络训练期间学习的。乘法器误差的概率模型,提出了弥合域之间的差距,该模型估计近似乘法器误差的标准差,连接在加性高斯噪声空间的解决方案,以实际的硬件实例。我们的实验表明,异构近似和神经网络再训练的组合将CIFAR-10数据集上不同ResNet变体的乘法能耗降低了70%至79%,Top-1精度损失低于一个百分点。对于更复杂的Tiny ImageNet任务,我们的VGG16模型实现了53%的能耗降低,Top-5准确率下降了0.5个百分点。我们进一步证明,我们的误差模型可以预测的近似乘法器的参数,在常用的加性高斯噪声(AGN)模型的背景下,具有高精度。我们的软件实现可在www.example.com上获得。
2022-08-15 cs.LG
PAC Confidence Sets for Deep Neural Networks via Calibrated Prediction
University of Pennsylvania(宾夕法尼亚大学)
我们提出了一种算法,将校准的预测和学习理论的泛化边界相结合,为具有PAC保证的深度神经网络构建置信集-即,给定输入的置信度集合包含具有高概率的真实标签。我们演示了如何使用我们的方法在ResNet上为ImageNet构建PAC置信集,这是一个视觉对象跟踪模型,以及半猎豹强化学习问题的动力学模型。
2020-02-15 cs.LG stat.ML
Deep Q-Network (DQN) multi-agent reinforcement learning (MARL) for Stock Trading
Georgia Institute of Technology(佐治亚理工学院)
本文提出融合CNN、LSTM与DQN的集成深度学习框架,通过图像化技术指标和时序特征学习最优买卖持有策略,以应对市场噪声和泛化难题。
2025-05-06 cs.LG
Merging Language and Domain Specific Models: The Impact on Technical Vocabulary Acquisition
School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Fujitsu Research Ltd.(富士通研究有限公司)
本文研究将通用语言模型与领域特定模型融合对技术词汇习得的影响,通过定量评估揭示不同融合方法在增强领域知识及跨语言迁移中的效果与挑战。
2025-03-12 cs.CL cs.LG
Clinical semantics for lung cancer prediction
Erasmus University Medical Center(伊拉斯姆斯大学医学中心);Johnson & Johnson(强生公司)
针对现有临床预测模型忽略临床概念语义关系的问题,本研究通过Poincaré嵌入将SNOMED医疗术语层级映射到双曲空间,结合ResNet和Transformer模型,在Optum EHR数据集上提升了肺癌发病预测的区分能力与校准度。
2025-08-20 cs.LG
Scaling the Scattering Transform: Deep Hybrid Networks
Ecole Normale Supérieure(巴黎高等师范学院);University of Paris-Saclay(巴黎萨克雷大学);INRIA(法国国家信息与自动化研究所);KU Leuven(鲁汶大学);Université Paris-Est(巴黎东大学);École des Ponts ParisTech(巴黎高科桥路学院)
我们使用散射网络作为监督混合深度网络的第一层的通用和固定初始化。我们表明,早期的层不一定需要学习,提供了最好的结果,同时与深度CNN竞争。使用1 x 1卷积的浅级联,其编码对应于非常小尺寸的空间窗口的散射系数,允许在imagenet ILSVRC 2012上获得AlexNet精度。我们证明了这种局部编码显式地学习了相对不变性旋转将散射网络与现代ResNet相结合,我们在imagenet ILSVRC 2012上实现了11.4%的单次裁剪前5名错误,与Resnet-18架构相当,同时仅使用10层。我们还发现,混合架构可以产生优异的性能,在小样本制度,超过他们的端到端的同行,通过他们的能力,将几何先验。我们在CIFAR-10数据集和STL-10数据集的子集上证明了这一点。
2017-04-04 cs.CV cs.LG
Concurrent Adversarial Learning for Large-Batch Training
National University of Singapore(新加坡国立大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Hong Kong University of Science and Technology(香港科技大学)
在使用大量GPU/TPU处理器训练神经网络时,大批量训练已成为一种常用技术。随着批量大小的增加,随机优化器往往收敛到尖锐的局部极小值,导致测试性能下降。目前的方法通常使用广泛的数据增强来增加批量大小,但我们发现数据增强的性能增益随着批量大小的增加而降低,并且数据增强在某个点之后变得不足。在本文中,我们建议使用对抗学习来增加大批量训练中的批量大小。尽管对抗学习是平滑决策表面和偏向平坦区域的自然选择,但它尚未成功应用于大批量训练,因为它需要在每一步至少进行两次连续的梯度计算,即使使用大量处理器,与普通训练相比,这至少会使运行时间增加一倍。为了克服这个问题,我们提出了一种新的并发对抗学习(ConAdv)方法,该方法通过利用静态参数来解耦对抗学习中的顺序梯度计算。实验结果表明,ConAdv可以成功地增加ImageNet上ResNet-50训练的批量大小,同时保持高精度。特别是,我们表明ConAdv在ImageNet ResNet-50训练中可以达到75.3\%的top-1准确率,批量大小为96 K,当将ConAdv与数据增强相结合时,准确率可以进一步提高到76.2\%。这是第一个成功将ResNet-50训练批量规模扩展到96 K的工作。
2022-01-23 cs.AI cs.LG
S&P 500 Stock Price Prediction Using Technical, Fundamental and Text Data
University of South Carolina(南卡罗来纳大学)
我们总结了用于股票价格预测的常见和新颖的预测模型,并将它们与技术指标,基本面特征和基于文本的情绪数据相结合,以预测S&P股票价格。通过将不同的机器学习模型(如随机森林和LSTM)组合到最先进的集成模型中,标准普尔500指数方向预测的准确率为66.18%,个股方向预测的准确率为62.09%。我们使用的数据包含2000年1月1日至2019年12月31日期间,与现任和前任标准普尔500指数成分股公司发行的518种不同普通股相关的每周历史价格,财务报告和新闻项目的文本信息。本研究的创新之处包括利用深度语言模型对财经新闻进行分类和推断;融合包含不同变量和股票组合的不同模型,共同进行预测;通过使用不同股票的数据,克服时间序列中机器学习模型的数据不足问题。
2021-09-22 cs.LG stat.ML
MGAN-CRCM: A Novel Multiple Generative Adversarial Network and Coarse-Refinement Based Cognizant Method for Image Inpainting
Bangladesh University of Professionals(孟加拉国专业大学);Jahangirnagar University(贾汉吉尔纳加尔大学);University of New South Wales (UNSW)(新南威尔士大学(UNSW));Charles Sturt University(查尔斯特大学)
本文提出MGAN-CRCM架构,结合多重GAN与ResNet进行图像修复,通过转置卷积GAN、FR-CNN和Co-Mod GAN分别实现盲修复、目标移除和细化,在多个基准数据集上取得优于现有方法的准确率。
2024-12-25 cs.CV cs.LG eess.IV
Group-Equivariant Poincaré Convolutional Networks
School of Computing Sciences, University of East Anglia(东安格利亚大学计算机科学学院);Department of Physics and Technology, UiT The Arctic University of Norway(北极大学挪威分校物理与技术系)
针对庞加莱ResNet优化困难及标准双曲网络无法处理空间变换等变性的问题,提出结合双曲几何与离散对称群的等变庞加莱ResNet,通过几何安全的张量重塑、左正则置换和联合定向批归一化,实现边界约束下的快速收敛和空间群等变性。
2026-08-25 cs.AI cs.LG
Unsupervised Term Extraction for Highly Technical Domains
IBM Research(IBM研究院)
术语抽取是知识发现平台中的一项信息抽取任务。开发能够在非常多样化和潜在的高技术领域中推广的术语提取器是具有挑战性的,因为需要深入专业知识的领域的注释是稀缺且昂贵的。在本文中,我们描述了一个商业知识发现平台,目标是高度技术领域,如制药,医疗和材料科学的术语提取子系统。为了能够跨领域进行泛化,我们引入了一个完全无监督的注释器(UA)。它通过将来自子词标记化的新颖形态信号与术语到主题和术语内相似性度量相结合来提取术语,这些相似性度量使用通用域预训练的重复编码器来计算。注释器用于实现弱监督设置,其中transformer模型在通过在大型未标记语料库上运行UA生成的训练数据上进行微调(或预训练)。我们的实验表明,我们的设置可以提高预测性能,同时减少CPU和GPU上的推理延迟。我们的注释器为所有注释不可用的情况提供了一个非常有竞争力的基线。
2022-10-24 cs.AI cs.CL cs.LG
Pipelined Training with Stale Weights of Deep Convolutional Neural Networks
University of Toronto(多伦多大学)
随着卷积神经网络(CNN)复杂性的增长,人们越来越关注在训练过程中将网络划分为多个加速器,并在加速器上流水线化反向传播计算。现有的方法通过诸如微缓存或权重存储的技术来避免或限制陈旧权重的使用。这些技术要么未充分利用加速器,要么增加内存占用。我们探索了过时权重对流水线反向传播方案中统计效率和性能的影响,该方案可最大化加速器利用率并保持适度的内存开销。我们使用4个CNN(LeNet-5,AlexNet,VGG和ResNet),并表明当流水线仅限于网络中的早期层时,使用陈旧权重的训练会收敛,并导致模型的推理精度与MNIST和CIFAR-10数据集上的非流水线训练结果相当; 4个网络的精度分别下降了0.4%,4%,0.83%和1.45%。然而,当流水线在网络中更深时,推理精度会显着下降。我们建议结合流水线和非流水线训练的混合方案,以解决这个下降。我们使用ResNet在2个GPU上演示了PyTorch中的流水线反向传播的实现和性能,在1个GPU的基线上实现了高达1.8倍的加速,推理精度略有下降。
2019-12-29 cs.DC cs.LG
ActNetFormer: Transformer-ResNet Hybrid Method for Semi-Supervised Action Recognition in Videos
School of Information Technology, Monash University(莫纳什大学信息技术学院);TCS Research(塔塔咨询服务研究中心)
本文提出ActNetFormer框架,通过跨架构伪标签与对比学习融合3D CNN和视频Transformer,仅用少量标注数据即在半监督视频动作识别中取得最先进性能。
2024-04-09 cs.AI cs.CV cs.HC
Combining Scatter Transform and Deep Neural Networks for Multilabel Electrocardiogram Signal Classification
Fraunhofer IIS(弗劳恩霍夫应用研究促进协会集成电路研究所)
针对心电图多标签分类任务,将散射变换融入ResNet并在其间加入可训练层融合多通道特征,在2020年PhysioNet心电挑战赛中取得第4名的成绩。
2020-10-15 cs.LG eess.SP
LION-DG: Layer-Informed Initialization with Deep Gradient Protocols for Accelerated Neural Network Training
LION-DG通过分层感知初始化和深度梯度协议,提升神经网络训练速度,实现隐式预热,无需超参数,适用于多种深度学习架构。
2026-01-05 cs.AI cs.LG
Combining Machine Learning with Computational Fluid Dynamics using OpenFOAM and SmartSim
TU Darmstadt(达姆施塔特工业大学);Hewlett Packard Enterprise(惠普企业);TU Dresden(德累斯顿工业大学)
本研究针对CFD+ML算法在大规模问题中实现困难的痛点,基于开源软件OpenFOAM与SmartSim提出高效可扩展的耦合方案,简化编程并保障数据交换,覆盖多模块耦合,还提供带示例的子模块供实际应用开发参考。
2024-04-23 cs.LG physics.flu-dyn
Discriminative Parameter Estimation for Random Walks Segmentation: Technical Report
École Centrale Paris(巴黎中央理工学院);Université Paris-Est(巴黎东部大学);École des Ponts ParisTech(巴黎路桥学院);INRIA Saclay(法国国家信息与自动化研究所萨克莱分院);Institute of Myology(肌病学研究所);CEA(法国原子能和替代能源委员会);UPMC University Paris 06(巴黎第六大学)
随机游走(RW)算法是一种最有效、最容易使用的概率分割方法。通过将对比度项与先验项相结合,它以完全自动化的方式提供医学图像的准确分割。然而,使用RW算法的主要缺点之一是其参数必须手动调整。我们提出了一种新的判别学习框架,使用训练数据集估计参数。我们面临的主要挑战是训练样本没有得到充分的监督。特别地,它们提供了图像的硬分割,而不是概率分割。我们克服了这一挑战,治疗的最佳概率分割,是兼容给定的硬分割作为一个潜在的变量。这使我们能够采用潜在的支持向量机制定参数估计。我们表明,我们的方法显着优于基线方法在一个具有挑战性的数据集,包括真正的临床3D MRI体积的骨骼肌。
2013-06-05 cs.CV cs.LG
Low-Memory Neural Network Training: A Technical Report
Stanford University(斯坦福大学)
在训练神经网络模型时,内存越来越成为瓶颈。尽管如此,技术,以降低整体的记忆要求的培训已不太广泛的研究相比,大量的文献减少推理的记忆要求。在本文中,我们研究一个基本问题:实际上需要多少内存来训练一个神经网络?为了回答这个问题,我们在两个代表性的深度学习基准测试中分析了训练的整体内存使用情况-用于图像分类的WideResNet模型和用于机器翻译的DynamicConv Transformer模型-并全面评估了四种标准技术,以减少训练内存需求:(1)对模型施加稀疏性,(2)使用低精度,(3)微处理器,以及(4)梯度检查点。我们将探索这些技术中的每一种单独如何影响训练的峰值内存使用和最终模型的质量,并探索结合这些技术时所产生的内存,准确性和计算权衡。使用这些技术的适当组合,我们表明,可以将在CIFAR-10上训练WideResNet-28-2所需的内存减少多达60.7倍,准确度损失0.4%,并将在IWAR 14德语到英语翻译上训练DynamicConv模型所需的内存减少多达8.7倍,BLEU分数下降0.15。
2022-04-08 cs.LG stat.ML
A Generalized Markov-Chain Modelling Approach to $(1,λ)$-ES Linear Optimization: Technical Report
INRIA Saclay-Ile-de-France, LRI, University Paris-Sud, France Institute of Computer Science, Academy of Sciences(INRIA萨克雷-法国研究所,LRI,巴黎-索夫大学,法国计算机科学研究所)
本文提出一种通用马尔可夫链建模方法,用于(1,λ)-ES在线性优化中的应用,探讨了固定步长下常数步长(1,λ)-ES在简单线性约束问题中的成功条件。
2014-06-18 cs.LG cs.NA cs.NE
Technical Report: Full Version of Analyzing and Optimizing Perturbation of DP-SGD Geometrically
The Hong Kong Polytechnic University(香港理工大学);Harbin Institute of Technology(哈尔滨工业大学)
本文从几何角度分析DP-SGD低效根源,发现方向噪声是关键因素,并提出分别扰动梯度方向与幅度的GeoDP策略,在同等隐私保证下提升模型效率。
2025-04-08 cs.AI cs.CV cs.DB