Beyond Uniform Scaling: Exploring Depth Heterogeneity in Neural Architectures
Nyun AI;Transmute AI Lab(Transmute AI实验室)
本文提出一种利用二阶损失景观信息的自动化缩放方法,在视觉Transformer中引入深度异质性,无需额外训练迭代即可联合缩放与训练,在DeiT-S上实现2.5%准确率提升和10%参数效率改进。
2024-02-19 cs.AI cs.LG cs.NE
Exploring Eye Tracking to Detect Cognitive Load in Complex Virtual Reality Training
Northeastern University(东北大学)
本文研究在复杂VR训练中利用眼动追踪和机器学习检测认知负荷,通过冷喷涂VR系统实验验证了MLP与随机森林基于瞳孔扩张和注视时长的预测可行性。
2024-11-18 cs.HC cs.LG
Exploring the Security Boundary of Data Reconstruction via Neuron Exclusivity Analysis
School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
在现有的针对神经网络梯度的隐私攻击中,\emph{data reconstruction attack}是一种对私有训练数据进行逆向工程的算法。尽管它在大型架构和小批量训练上取得了经验性的成功,但当较小的架构或较大的批量受到攻击时,也会观察到不稳定的重建精度。由于现有的基于学习的攻击的可解释性较弱,人们对数据重构攻击为什么、何时以及如何可行知之甚少。在我们的工作中,我们进行了第一次分析研究的安全边界的梯度数据重建通过微观的角度与整流线性单元(ReLU),在实践中最流行的激活函数的神经网络。本文首次以训练批的\emph{neuron exclusivity state}为特征,以\emph{\textbf{Ex}clusively \textbf{A}ctivated \textbf{N}eurons}(ExAN)的个数为索引,刻画了数据重构攻击的不安全/安全边界。一批中仅由一个样本激活的ReLU)。直观地说,我们发现具有更多ExAN的训练批次更容易受到数据重建攻击,反之亦然。一方面,我们构建了一种新的确定性攻击算法,大大优于以前的攻击重建训练批次躺在一个神经网络的不安全边界。同时,对于位于安全边界内的训练批次,证明了唯一重构的不可能性,并在此基础上设计了一种排他性缩减策略,以扩大安全边界,达到缓解的目的.
2021-12-22 cs.CR cs.LG stat.ML
GradStop: Exploring Training Dynamics in Unsupervised Outlier Detection through Gradient
East China Normal University(华东师范大学);Bilibili Inc.(哔哩哔哩公司);Guangzhou University(广州大学);Shanghai Jiao Tong University(上海交通大学)
本文提出无标签早停算法GradStop,通过采样与梯度内聚指标监测训练动态,缓解深度无监督异常值检测的优化目标错配,并在47个数据集上验证其性能提升。
2025-05-12 cs.LG
Does Representation Matter? Exploring Intermediate Layers in Large Language Models
Mila(米拉研究所);New York University(纽约大学);Meta FAIR;University of Kentucky(肯塔基大学)
该研究探索大语言模型中间层表征质量,发现中间层表征对下游任务更具信息量,通过多指标实证揭示架构差异、训练演化及影响因素,为模型架构优化和训练提供指导。
2024-12-12 cs.CL cs.LG
Training Artificial Neural Networks by Generalized Likelihood Ratio Method: Exploring Brain-like Learning to Improve Robustness
Institute of Computing Technology(计算技术研究所);Chinese Academy of Science(中国科学院);Peking University(北京大学);Fudan University(复旦大学)
在这项工作中,我们提出了一种广义似然比方法,能够训练人工神经网络与一些生物大脑一样的机制,例如,(a)通过损失值学习,(b)通过具有不连续激活和损失函数的神经元学习。传统的反向传播方法不能训练具有上述类脑学习机制的人工神经网络。数值结果表明,当输入数据同时受到自然噪声和对抗攻击的影响时,用该方法训练的各种人工神经网络的鲁棒性都得到了显著提高。代码可用:\url{https://github.com/LX-doctorAI/GLR_ADV}。
2019-07-11 cs.AI cs.LG stat.ML
Exploring Low Rank Training of Deep Neural Networks
Cohere, Inc.(Cohere公司);University of Toronto(多伦多大学);University of Oxford(牛津大学)
在低等级中训练深度神经网络,即具有因子分解层,是社区特别感兴趣的:它在内存消耗和训练时间方面提供了比非因子分解训练更高的效率。先前的工作集中在预训练网络的低秩近似和具有额外目标的低秩空间中的训练,为所选择的实践提供各种特别的解释。我们分析了在实践中运作良好的技术,并通过对GPT2等模型的广泛消融,我们提供了伪造该领域共同信念的证据,在此过程中暗示了仍需回答的令人兴奋的研究机会。
2022-09-27 cs.LG stat.ML
Making EfficientNet More Efficient: Exploring Batch-Independent Normalization, Group Convolutions and Reduced Resolution Training
Graphcore Research(Graphcore研究院)
最近的研究致力于提高图像分类的训练和推理效率。这项工作通常集中在显式地提高理论效率,通常以每FLOP的ImageNet验证准确度来衡量。然而,这些理论上的节省在实践中被证明是具有挑战性的,特别是在高性能训练加速器上。在这项工作中,我们专注于提高最先进的EfficientNet模型在一类新的加速器Graphcore IPU上的实际效率。我们通过以下方式扩展这一系列模型来做到这一点:(i)将dependency卷积推广到组卷积;(ii)添加代理归一化激活,以匹配批量归一化性能与批量无关统计数据;(iii)通过降低训练分辨率和以更高分辨率进行廉价微调来减少计算。我们发现这三种方法都提高了训练和推理的实际效率。代码可在https://github.com/graphcore/graphcore-research/tree/main/Making_EfficientNet_More_Efficient获得。
2021-08-26 cs.CV cs.LG stat.ML
Exploring Memorization in Adversarial Training
Tsinghua University(清华大学);RealAI(瑞莱智慧)
深度学习模型倾向于拟合整个训练集,即使是随机标签,这需要记住每个训练样本。在本文中,我们探讨了对抗训练(AT)中的记忆效应,以促进对模型容量,收敛性,泛化性,特别是对抗训练模型的鲁棒过拟合的更深入理解。我们首先证明了深度网络有足够的能力来记忆带有完全随机标签的训练数据的对抗性示例,但并非所有AT算法都能在极端情况下收敛。我们的研究与随机标签的AT激发进一步分析的收敛性和推广。我们发现,一些AT方法存在梯度不稳定性问题,最近提出的复杂性度量无法通过考虑在随机标签上训练的模型来解释鲁棒泛化。此外,我们确定了一个显着的缺点,记忆AT,它可能会导致强大的过拟合。然后,我们提出了一个新的缓解算法的动机详细的记忆分析。在不同数据集上的实验验证了该方法的有效性。
2022-03-13 cs.CV cs.LG stat.ML
Learning from Complexity: Exploring Dynamic Sample Pruning of Spatio-Temporal Training
HKUST(GZ)(香港科技大学(广州))
本文提出ST-Prune方法,通过动态样本修剪提升时空预测任务的训练效率和模型性能。
2026-03-02 cs.AI cs.LG stat.ML
Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training
University of Maryland, College Park(马里兰大学帕克分校)
对抗性训练已被证明可以有效地强化网络对抗性示例。然而,所获得的鲁棒性受到网络容量和训练样本数量的限制。因此,为了构建更鲁棒的模型,通常的做法是在具有更多参数的加宽网络上进行训练。为了提高鲁棒性,我们提出了一个条件归一化模块,以适应网络在输入样本的条件。我们的自适应网络,一旦经过对抗训练,就可以在干净的验证准确性和鲁棒性方面胜过非自适应网络。我们的方法是客观不可知的,并且始终如一地改进了传统的对抗训练目标和TRADES目标。我们的自适应网络的性能也优于更大的加宽非自适应架构,这些架构具有1.5倍的参数。我们进一步介绍了对抗训练中的几个实用“技巧”,以提高鲁棒性并实证验证其效率。
2020-05-30 cs.LG stat.ML
Exploring the Properties and Evolution of Neural Network Eigenspaces during Training
University of Osnabrück(奥斯纳布吕克大学)
在这项工作中,我们探讨了使用逻辑回归探针\cite{probes}和饱和度度量\cite{featurespace_saturation}的神经网络内部的信息处理。我们发现,问题的难度和神经网络的能力影响的预测性能,在一个对立的方式,打开检测的可能性过和下参数化的神经网络为一个给定的任务。我们进一步表明,观察到的影响是独立于以前报道的病理模式,如“尾巴模式”中描述的\cite{featurespace_saturation}。最后,我们能够证明饱和模式在训练期间早期收敛,从而在分析期间实现更快的周期时间
2021-10-27 cs.AI cs.LG
Exploring Scaling Laws for Local SGD in Large Language Model Training
本文研究局部SGD在LLM训练中的扩展规律,证明其在等效资源下与传统方法竞争力相当,并探讨多集群与边缘计算场景的适用性,作为大型集群训练的替代方案。
2024-09-20 cs.CL cs.LG stat.ML
Exploring the Robustness of Decentralized Training for Large Language Models
Sichuan University(四川大学)
本文从硬件、数据和模型三个视角分析大语言模型去中心化训练的脆弱性,指出其与联邦学习的本质差异,并讨论构建鲁棒高效去中心化训练框架所需的关键组件。
2023-12-01 cs.AI cs.CR cs.LG
Exploring possible vector systems for faster training of neural networks with preconfigured latent spaces
Joint Stock "Research and production company "Kryptonite"(Kryptonite 研究生产公司)
本文提出利用预定义的向量系统加速神经网络训练,通过配置潜在空间结构提升ImageNet大规模分类任务的训练效率。
2025-12-10 cs.AI cs.CV cs.LG
Exploring Grokking: Experimental and Mechanistic Investigations
本研究通过大量实验和机制探索,揭示了过参数化神经网络中涌现现象的行为特征及其与数据、模型和优化的关系,并综述了多种理论观点。
2024-12-14 cs.LG stat.ML
Exploring Continual Learning of Diffusion Models
Jagiellonian University(雅盖隆大学);Warsaw University of Technology(华沙理工大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Eindhoven University of Technology(埃因霍温理工大学);Ideas NCBR(Ideas国家研究与发展中心);Tooploox(Tooploox公司);University of Toronto(多伦多大学);Vector Institute(矢量研究所);Polish Academy of Sciences(波兰科学院)
扩散模型在生成高质量图像方面取得了显着的成功,这要归功于它们应用于前所未有的数据量的新颖训练过程。然而,从头开始训练扩散模型在计算上是昂贵的。这突出了需要研究迭代训练这些模型的可能性,在数据分布变化时重用计算。在这项研究中,我们在这个方向上迈出了第一步,并评估持续学习(CL)性能的扩散模型。我们首先对应用于去噪扩散概率模型(DDPMs)的最常见的CL方法进行基准测试,在那里我们注意到经验重放的强大性能,降低了排练系数。此外,我们提供的动态遗忘,表现出不同的行为跨越扩散时间步长的见解。我们还发现了使用每维比特度量来评估CL的某些陷阱。
2023-03-27 cs.AI cs.CV cs.LG
Exploring Variance Reduction in Importance Sampling for Efficient DNN Training
Takuro Kutsuna(独立研究者)
针对重要性采样中方差减少评估的计算挑战,本文提出基于小批量样本的方差减少估计方法、自动学习率调整的有效小批量大小及相关量化指标与算法,提升DNN训练效率与精度。
2025-11-18 cs.LG stat.ML
Exploring the Limits of Epistemic Uncertainty Quantification in Low-Shot Settings
German Research Center for Artificial Intelligence(德国人工智能研究中心)
神经网络中的不确定性量化有望提高人工智能系统的安全性,但目前尚不清楚性能如何随训练集大小而变化。在本文中,我们评估了七种不确定性方法对时尚MNIST和CIFAR10,因为我们子样本和产生不同的训练集大小。我们发现,校准误差和分布外检测性能强烈依赖于训练集的大小,与大多数方法被误校准的测试集与小的训练集。基于认知的方法似乎很难估计认知的不确定性,并且受训练集大小的影响最大。我们希望我们的结果可以指导未来的研究不确定性量化,并帮助从业者选择基于他们特定的可用数据的方法。
2021-11-18 cs.CV cs.LG
The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training
Sun Yat-Sen University(中山大学);Imperial College London(帝国理工学院)
尽管目前的深度学习技术在各种计算机视觉任务上都取得了优异的性能,但它们仍然容易受到对抗性示例的影响。对抗性训练及其变体已被证明是防御对抗性示例的最有效方法。这些方法通常正则化对抗样本和其对应的自然样本的输出概率之间的差异。但是,如果模型对自然样本进行错误分类,则可能会产生负面影响。为了解决这个问题,我们提出了一种新的对抗训练方案,鼓励模型为对抗示例及其“逆对抗”对应物产生类似的输出。生成这些样本以最大化自然样本邻域中的可能性。在各种视觉数据集和架构上进行的大量实验表明,我们的训练方法具有最先进的鲁棒性和自然准确性。此外,使用逆对抗示例的通用版本,我们以较低的计算成本提高了单步对抗训练技术的性能。
2022-11-01 cs.CV cs.LG
Exploring loss function topology with cyclical learning rates
U.S. Naval Research Laboratory(美国海军研究实验室);University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
我们提出了以前未报告的现象,而训练残差网络的观察和讨论。这项工作的目标是通过对这些新的经验结果的检验来更好地理解神经网络的本质。这些行为是通过应用周期性学习率(RNN)和线性网络插值来识别的。在这些行为中,违反直觉的是训练损失和快速训练的增加和减少。例如,我们展示了尽管使用了大的学习率,但与传统的训练相比,训练可以产生更高的测试准确率。复制这些结果的文件可在https://github.com/lnsmith54/exploring-loss上获得
2017-02-14 cs.LG cs.NE
Exploring the Hyperparameter Landscape of Adversarial Robustness
IBM Research(IBM研究院);IBM Research Ireland(IBM爱尔兰研究院);IBM Research India(IBM印度研究院)
对抗性训练显示出作为训练对对抗性扰动具有鲁棒性的模型的方法的前景。在本文中,我们探讨了对抗训练的一些实际挑战。我们提出了一个敏感性分析,说明对抗性训练的有效性取决于一些突出的超参数的设置。我们表明,出现在这些显着的参数的鲁棒性表面可以是令人惊讶的复杂,因此没有有效的一刀切的参数设置存在。然后,我们证明,我们可以使用相同的显着超参数作为调谐旋钮来导航鲁棒性和准确性之间可能出现的紧张局势。基于这些发现,我们提出了一种实用的方法,该方法利用超参数优化技术来调整对抗训练,以最大限度地提高鲁棒性,同时将准确性损失保持在定义的预算范围内。
2019-05-09 cs.LG stat.ML
Towards Efficient Pre-training: Exploring FP4 Precision in Large Language Models
School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对大语言模型训练的高计算需求,提出基于Transformer架构的FP4训练方案,通过模块和阶段适配的混合精度量化策略保证训练稳定性,实现与BF16、FP8相当的精度且计算成本更低,为高效超低精度训练奠基。
2025-02-17 cs.AI cs.LG
Semi-Autoregressive Energy Flows: Exploring Likelihood-Free Training of Normalizing Flows
Cornell University(康奈尔大学);Carnegie-Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Cornell Tech(康奈尔理工学院)
本文提出无需计算雅可比行列式的能量目标,用于训练归一化流,并引入半自回归能量流模型,在样本质量、推断和速度上媲美似然流,质疑了最大似然的必要性。
2023-06-22 cs.LG stat.ML
Exploring the Efficacy of Meta-Learning: Unveiling Superior Data Diversity Utilization of MAML Over Pre-training
Stanford University(斯坦福大学)
本研究探索数据多样性对视觉模型性能的影响,发现MAML比预训练更有效利用数据多样性,准确率与多样性正相关,为超越规模的数据集属性研究提供新视角。
2025-01-21 cs.AI cs.CV cs.LG
Exploring Quantization for Efficient Pre-Training of Transformer Language Models
Chandar Research Lab(钱达尔研究实验室);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Polytechnique Montréal(蒙特利尔理工学院)
本研究探索了线性量化在Transformer语言模型预训练中的应用,通过系统量化权重、激活、梯度和优化器状态评估其对效率、稳定性和性能的影响,并提出了一套有效的预训练量化策略以提升从头训练的效率并保持语言建模能力。
2024-10-11 cs.LG
Exploring the limits of Concurrency in ML Training on Google TPUs
Google(谷歌)
最近的研究结果表明,使用神经网络的语言理解需要规模空前的训练硬件,在一次训练中需要数千个芯片的协作。本文介绍了在Google TPU Multipod上缩放ML模型的技术,这是一个带有4096 TPU-v3芯片的网格。我们讨论了模型并行来克服数据并行中固定批量大小的扩展限制,通信/集体优化,训练指标的分布式评估,以及主机输入处理扩展优化。这些技术在TensorFlow和JAX编程框架中都有演示。我们还展示了最近Google提交给MLPerf-v0.7基准测试竞赛的性能结果,在Google TPU-v3 Multipod机器上的四个MLPerf模型中,实现了16到28秒的创纪录训练时间。
2021-03-15 cs.DC cs.LG
Exploring the Potential of Low-bit Training of Convolutional Neural Networks
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology (BNRist)(北京国家信息科学与技术研究中心(BNRist))
在这项工作中,我们提出了一个低比特训练框架的卷积神经网络,这是建立在一个新的多级缩放(MLS)张量格式。我们的框架侧重于通过将所有卷积操作数量化为低位宽格式来降低卷积操作的能耗。具体来说,我们提出了MLS张量格式,其中元素的位宽可以大大减少。然后,我们描述了动态量化和低比特张量卷积算法,以有效地利用MLS张量格式。实验表明,我们的框架实现了更好的平衡之间的准确性和比特宽度比以前的低比特训练框架。对于在CIFAR-10上训练各种模型,使用1位尾数和2位指数足以将精度损失保持在$1\%$内。在像ImageNet这样的大型数据集上,使用4位尾数和2位指数足以将精度损失保持在$1\%$范围内。通过对计算单元的能耗仿真,我们可以估计,用我们的框架训练各种模型,可以分别获得比全精度和8位浮点算法训练更高的能量效率$8.3\sim10.2\times$和$1.9\sim2.3\times$。
2021-07-14 cs.LG stat.ML
Exploring Adversarially Robust Training for Unsupervised Domain Adaptation
Johns Hopkins University(约翰斯·霍普金斯大学)
无监督领域自适应(UDA)方法旨在将知识从标记的源域转移到未标记的目标域。UDA在计算机视觉文献中得到了广泛的研究。深度网络已被证明容易受到对抗攻击的攻击。然而,很少有人关注提高深度UDA模型的对抗鲁棒性,这引起了人们对模型可靠性的严重担忧。对抗性训练(AT)被认为是最成功的对抗性防御方法。然而,传统的AT需要地面实况标签来生成对抗性示例和训练模型,这限制了其在未标记目标域中的有效性。本文的目的是探索AT来增强UDA模型的鲁棒性:如何通过AT增强未标记数据的鲁棒性,同时学习UDA的域不变特征?为了回答这个问题,我们提供了一个系统的研究,可以应用于UDA的多种AT变体。此外,我们提出了一种新的UDA的对抗鲁棒训练方法,简称为ARTUDA。在多个对抗攻击和UDA基准测试上的大量实验表明,ARTUDA一致地提高了UDA模型的对抗鲁棒性。代码可在https://github.com/shaoyuanlo/ARTUDA上获得
2022-10-04 cs.CV cs.LG
SysNoise: Exploring and Benchmarking Training-Deployment System Inconsistency
SenseTime Research(商汤科技研究院);Yale University(耶鲁大学);Beihang University(北京航空航天大学)
本文首次提出训练-部署系统不一致性噪声SysNoise,将其分为三类并构建基准测试20+模型,发现该噪声影响模型鲁棒性且常见缓解措施效果有限,为深度学习部署系统研究开辟新课题。
2023-07-01 cs.AI cs.CV cs.LG
Towards Robust Transcription: Exploring Noise Injection Strategies for Training Data Augmentation
Georgia Institute of Technology(佐治亚理工学院)
本文研究白噪声在不同信噪比下对自动钢琴转录模型的影响,并评估Onsets and Frames模型在噪声增强数据上的训练效果,为开发跨声学条件鲁棒的转录模型提供初步依据。
2024-10-18 cs.AI cs.IR cs.LG
PTQ-SL: Exploring the Sub-layerwise Post-training Quantization
Center for Energy-Efficient Computing and Applications, Peking University(北京大学高能效计算与应用中心);Houmo AI(后摩智能)
网络量化是压缩卷积神经网络的一种有效方法。量化粒度决定了如何共享权值中的缩放因子,从而影响网络量化的性能。大多数现有的方法共享缩放因子逐层或逐通道用于卷积层的量化。逐层量化和逐层量化已经广泛地用于各种应用中。然而,很少探索其他量化粒度。在本文中,我们将探讨在多个输入和输出通道之间共享缩放因子的子层粒度。我们提出了一种有效的子层粒度后训练量化方法(PTQ-SL)。然后,我们在各种粒度上进行了系统的实验,并观察到量化的神经网络的预测精度与粒度有很强的相关性。此外,我们发现调整通道的位置可以改善子层量化的性能。因此,我们提出了一种方法来重新排序的子层量化的通道。实验表明,适当的信道重排序的子层量化可以优于信道量化。
2021-10-18 cs.CV cs.LG
Does DQN really learn? Exploring adversarial training schemes in Pong
Brown University(布朗大学)
在这项工作中,我们研究了两个自我发挥的训练计划,Chainer和池,并显示他们导致提高代理性能的Atari乒乓相比,标准的DQN代理-训练对内置的Atari对手。为了衡量代理性能,我们定义了一个鲁棒性度量,该度量捕获了学习击败代理学习策略的策略的难度。通过玩自己的过去版本,Chainer和Pool能够针对其政策中的弱点并提高其对攻击的抵抗力。使用这些方法训练的代理在我们的鲁棒性指标上得分很高,可以轻松击败标准的DQN代理。最后,我们使用线性探测来阐明不同的代理开发玩游戏的内部结构。我们发现,与标准DQN代理相比,使用Chainer或Pool训练代理可以获得更丰富的网络激活,具有更大的预测能力来估计关键的游戏状态特征。
2022-03-20 cs.LG
Exploring Adversarial Examples and Adversarial Robustness of Convolutional Neural Networks by Mutual Information
Yunnan University(云南大学);Southeast University(东南大学)
卷积神经网络(CNN)的一个反直觉性质是其固有的对对抗性示例的敏感性,这严重阻碍了CNN在安全关键领域的应用。对抗性示例与原始示例相似,但包含恶意扰动。对抗训练是一种简单有效的防御方法,可以提高CNN对对抗样本的鲁棒性。对抗性示例和对抗性训练背后的机制值得探索。因此,这项工作调查正常训练的CNN(NT-CNN)和对抗训练的CNN(AT-CNN)之间的相似性和差异,从互信息的角度信息抽取。我们发现:1)无论是NT-CNN还是AT-CNN,对于原始样本和对抗样本,互信息的趋势在整个训练过程中几乎是相似的; 2)与正常训练相比,对抗训练更困难,AT-CNN从输入中提取的信息量更少; 3)用不同方法训练的CNN对某些类型的信息有不同的偏好; NT-CNN倾向于从输入中提取基于纹理的信息,而AT-CNN更喜欢基于形状的信息。对抗性示例误导CNN的原因可能是它们包含更多关于其他类的基于纹理的信息。此外,我们还分析了在这项工作中使用的互信息估计,发现他们勾勒出的几何性质的中间层的输出。
2022-07-26 cs.AI cs.LG
Exploring the Limits of Domain-Adaptive Training for Detoxifying Large-Scale Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达);Arizona State University(亚利桑那州立大学);California Institute of Technology(加州理工学院)
预先训练的语言模型(LM)很容易生成有毒语言。在这项工作中,我们系统地探索领域自适应训练,以减少语言模型的毒性。我们从训练语料、模型大小和参数效率三个维度进行研究。对于训练语料库,我们建议利用LM的生成能力,为领域自适应训练生成无毒数据集,这可以减轻暴露偏差,并且比使用策划的预训练语料库更有效。我们证明了自生成方法在自动和人工评估中始终优于各种模型大小的现有基线,即使它使用1/3较小的训练语料库。然后,我们全面研究了解毒LM,其参数大小从126 M到530 B(比GPT-3大3倍),这是以前从未研究过的规模。我们发现,i)在相同的预训练语料库中,大型LM与较小的LM具有相似的毒性水平,ii)大型LM需要更多的努力来解毒。我们还探索参数高效的戒毒培训方法。我们证明了在LM中添加和训练仅适配器层不仅节省了大量参数,而且比大规模模型的整个模型自适应在毒性和困惑之间实现了更好的权衡。
2022-10-21 cs.AI cs.CL cs.CY
What shapes feature representations? Exploring datasets, architectures, and training
Stanford University(斯坦福大学)
在自然主义学习问题中,模型的输入包含各种各样的特征,有些对手头的任务有用,有些则没有。在这些有用的特性中,模型使用了哪些?在与任务无关的特征中,模型代表了哪些特征?这些问题的答案对于理解模型决策的基础,以及构建能够学习超出原始训练任务的通用、适应性强的表示的模型非常重要。我们使用合成数据集研究这些问题,在合成数据集中,输入特征的任务相关性可以直接控制。我们发现,当两个特征冗余地预测标签时,模型优先表示其中一个,并且它的偏好反映了从未训练过的模型中最线性解码的内容。在训练过程中,任务相关的特征被增强,而任务无关的特征被部分抑制。有趣的是,在某些情况下,一个更容易、预测性较弱的特征可以抑制一个预测性更强、但更困难的特征。此外,经过训练以识别简单和困难特征的模型学习与仅使用简单特征的模型最相似的表示。此外,容易的功能导致更一致的表示跨模型运行比硬功能。最后,模型与未经训练的模型比在不同任务上训练的模型具有更大的代表性相似性。我们的研究结果突出了决定模型代表哪些特征的复杂过程。
2020-10-22 cs.LG stat.ML
Generative Adversarial Networks for Electronic Health Records: A Framework for Exploring and Evaluating Methods for Predicting Drug-Induced Laboratory Test Trajectories
Columbia University(哥伦比亚大学)
生成对抗网络(GANs)代表了一类将神经网络与博弈论相结合的有前途的生成网络。从生成逼真的图像和视频到辅助音乐创作,GANs正在改变许多艺术和科学领域。然而,它们在医疗保健方面的应用尚未完全实现,更具体地说,在生成电子健康记录(EHR)数据方面。在本文中,我们提出了一个框架,用于在连续实验室时间序列数据的背景下探索GANs的价值。我们设计了一个无监督的评估方法,衡量合成实验室测试时间序列的预测能力。此外,我们表明,在预测药物暴露对实验室测试数据的影响时,在训练GAN模型之前结合训练队列的表示学习是有益的。
2017-12-01 cs.LG stat.ML
TensorOpt: Exploring the Tradeoffs in Distributed DNN Training with Auto-Parallelism
The Chinese University of Hong Kong(香港中文大学);Huawei Technologies Co. Ltd(华为技术有限公司)
一个好的并行化策略可以显著提高深度神经网络(DNN)分布式训练的效率或降低成本。最近,已经提出了几种方法来找到有效的并行化策略,但它们都优化了单个目标(例如,执行时间、内存消耗)并仅产生一个策略。我们提出了FT,一个有效的算法,搜索一组最佳的并行化策略,以允许不同的目标之间的权衡。FT可以通过在设备数量有限的情况下最小化内存消耗来适应不同的场景,并充分利用额外的资源来减少执行时间。对于流行的DNN模型(例如,视觉,语言),进行了深入的分析,以了解不同的目标之间的权衡及其对并行化策略的影响。我们还开发了一个用户友好的系统,称为TensorOpt,它允许用户运行他们的分布式DNN训练作业,而不关心并行化策略的细节。实验结果表明,FT运行效率高,提供了准确的运行时成本估计,与现有框架相比,TensorOpt在适应资源可用性方面更加灵活。
2020-04-16 cs.DC cs.LG stat.ML
Exploring the Efficacy of Transfer Learning in Mining Image-Based Software Artifacts
Chapman University(查普曼大学);University of California, Irvine(加州大学欧文分校)
迁移学习允许我们通过利用先前为另一项任务训练的现有模型,训练需要大量学习参数的深度架构,即使可用数据量有限。在这里,我们探讨了迁移学习的适用性,利用非软件工程数据应用于分类软件UML图的问题的模型预训练。我们的实验结果表明,训练对迁移学习的反应与样本大小有关,即使预训练的模型没有暴露于来自软件领域的训练实例。我们将转移网络与其他网络进行了对比,以显示其在不同大小的训练集上的优势,这表明当大量训练数据不可用时,迁移学习对自定义深度架构同样有效。
2020-03-03 cs.LG cs.SE
Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse in Imbalanced Training
Peking University(北京大学);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们介绍了\textit{Layer-Peeled Model},一个非凸但易于分析的优化程序,以更好地理解经过足够长时间训练的深度神经网络。顾名思义,这种新模型是通过将最顶层与神经网络的其余部分隔离开来,然后分别对网络的两个部分施加某些约束而得出的。我们证明了分层剥离模型虽然简单,但继承了训练有素的神经网络的许多特征,从而为解释和预测深度学习训练的常见经验模式提供了有效的工具。首先,在类平衡数据集上工作时,我们证明了该模型的任何解都形成了一个单纯形等角紧框架,这部分解释了最近发现的神经崩溃现象\cite{papyan2020prevalence}。更重要的是,当转向不平衡的情况时,我们对分层剥离模型的分析揭示了一个迄今为止未知的现象,我们称之为\textit{Minority Collapse},它从根本上限制了深度学习模型在少数类上的性能。此外,我们使用分层剥离模型来深入了解如何减轻少数崩溃。有趣的是,这一现象首先由层剥离模型预测,然后由我们的计算实验证实。
2021-09-08 cs.CV cs.LG math.OC
Focus on Hiders: Exploring Hidden Threats for Enhancing Adversarial Training
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology(东方理工大学);The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学)
针对对抗训练仅关注最坏对抗样本引发的模型交替混淆问题,该研究定义了隐藏高风险的“hiders”样本,提出HFAT算法结合迭代进化优化、辅助模型揭示及自适应加权机制,同时提升模型准确率与鲁棒性。
2023-12-12 cs.CR cs.CV cs.LG
From Computation to Consumption: Exploring the Compute-Energy Link for Training and Testing Neural Networks for SED Systems
University of Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学与应用实验室)
本文针对声音事件检测系统中的神经网络,测量不同规模架构训练与测试的能耗,并揭示其与 FLOPs、参数量及 GPU/内存利用率的关系。
2024-09-08 cs.LG cs.SD
Does Prior Data Matter? Exploring Joint Training in the Context of Few-Shot Class-Incremental Learning
Yonsei University(延世大学);Sogang University(成均馆大学);Carnegie Mellon University(卡内基梅隆大学)
本文针对少样本类增量学习中基类与增量类严重不平衡导致联合训练基准不可靠的问题,提出一种不平衡感知的联合训练基准,并通过与现有FSCIL方法的广泛比较,为现实场景下的训练策略选择提供指导。
2025-08-18 cs.AI cs.LG
All You Need is Beyond a Good Init: Exploring Better Solution for Training Extremely Deep Convolutional Neural Networks with Orthonormality and Modulation
Hikvision Research Institute(海康威视研究院)
深度神经网络很难训练,并且随着深度的增加,这种困境变得更糟。这个问题的本质在于反向传播误差的大小,它将导致梯度消失或爆炸现象。我们表明,一个变种的正则化,利用不同的滤波器组之间的正交性可以缓解这个问题。此外,我们设计了一个后向误差调制机制的基础上,两个连续的参数层之间的准等距假设。配备了这两种成分,我们提出了几种新的优化解决方案,可用于训练特定结构(Conv-BNReLU的重复三重模块)的极深卷积神经网络(CNN),而无需从头开始任何快捷方式/身份映射。实验表明,我们提出的解决方案可以在CIFAR-10和ImageNet数据集上实现44层和110层普通网络的明显改进。此外,我们可以成功地训练普通CNN,以匹配剩余的同行的性能。此外,我们提出了新的原则,设计网络结构的启示所引发的正交性。结合残差结构,我们在ImageNet数据集上实现了比较性能。
2017-04-10 cs.CV cs.LG cs.NE
Exploring bidirectional bounds for minimax-training of Energy-based models
China Mobile Research Institute(中国移动研究院);Institute of Image Communication and Network Engineering(图像通信与网络工程研究所);Department of Applied Mathematics and Computer Science(应用数学与计算机科学系)
本文提出用双向界训练基于能量的模型,通过最大化下界并最小化上界来稳定训练过程,并基于雅可比奇异值、互信息、梯度惩罚和扩散过程构造了四种界,实验表明该方法能提升密度估计与样本生成质量。
2025-06-05 cs.CV cs.LG
Large Language Models Are Better Adversaries: Exploring Generative Clean-Label Backdoor Attacks Against Text Classifiers
University of Oregon(俄勒冈大学)
本文提出 LLMBkd,利用大语言模型自动生成多样化风格触发器实现干净标签文本后门攻击,并设计毒样本选择技术与 REACT 防御基线,实验证明其攻击高效且无需模型训练。
2023-10-28 cs.LG
Exploring Hidden Dimensions in Parallelizing Convolutional Neural Networks
Stanford University(斯坦福大学);Microsoft(微软)
在过去的几年里,训练深度卷积神经网络的计算需求不断增长。当前的方法通过应用单个并行化策略(例如,数据或模型并行)到网络中的所有层。虽然很容易推理,但这些方法在大规模分布式训练中会导致次优的运行时性能,因为网络中的不同层可能更喜欢不同的并行化策略。在本文中,我们提出了逐层并行,允许网络中的每一层使用单独的并行化策略。我们通过解决图搜索问题来共同优化每一层的并行化方式。我们的评估表明,逐层并行通过增加训练吞吐量,降低通信成本,实现更好的可扩展性到多个GPU,同时保持原始网络的准确性,优于最先进的方法。
2018-06-09 cs.DC cs.LG cs.NE
Exploring the Potential of Synthetic Data to Replace Real Data
BlueHalo(蓝鹰系统公司);University of Maryland, College Park(马里兰大学帕克分校);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文探索合成数据替代真实数据的潜力,发现其效果受跨域真实图像数量和测试集影响,并提出train2test距离和$\ ext{AP}_\ ext{t2t}$两个新指标来评估合成数据表征测试实例特征的能力,揭示了影响合成数据潜力的因素。
2024-08-26 cs.CV cs.LG
Beyond Squared Error: Exploring Loss Design for Enhanced Training of Generative Flow Networks
IIIS, Tsinghua University(清华大学交叉信息研究院)
研究生成流网络训练中回归损失选择问题,通过理论证明不同回归损失对应特定散度度量,提出三种新回归损失,经实验验证其与多数现有算法兼容,能显著提升算法在收敛速度、样本多样性和鲁棒性方面的性能。
2026-07-28 cs.AI cs.LG
Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards
ETH Zurich(苏黎世联邦理工学院);Maastricht University(马斯特里赫特大学)
本文研究用PPO从显式编程奖励直接训练LLM完成形式语言任务,发现纯RL训练在算术和游戏合成任务上困难且不稳定,并提出批量熵正则化项辅助探索,表明该方法更适合对齐类小改动而非学习全新任务。
2024-10-22 cs.AI cs.CL cs.LG
GOOD: Exploring Geometric Cues for Detecting Objects in an Open World
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们解决开放世界类不可知的目标检测的任务,即,通过从有限数量的基本对象类学习来检测图像中的每个对象。最先进的基于RGB的模型存在过度拟合训练类的问题,并且经常无法检测到外观新颖的对象。这是因为基于RGB的模型主要依赖于外观相似性来检测新的对象,并且也容易过度拟合快捷线索,例如纹理和区分部分。为了解决这些基于RGB的对象检测器的缺点,我们建议将几何线索,如深度和法线,预测通用的单目估计。具体来说,我们使用几何线索训练的对象建议网络的伪标记未注释的新对象的训练集。我们由此产生的几何引导的开放世界对象检测器(GOOD)显着提高了新对象类别的检测召回率,并且仅用几个训练类就已经表现良好。在COCO数据集上使用单个“人”类进行训练,GOOD比SOTA方法高出5.0%AR@100,相对提高了24%。
2023-02-03 cs.CV cs.LG
Exploring Practitioner Perspectives On Training Data Attribution Explanations
Tübingen AI Center(蒂宾根人工智能中心);University of Tübingen(蒂宾根大学);DGIST(大邱庆北科学技术院)
通过采访10位从业者,研究发现训练数据归因(TDA)解释因知名度低而未被广泛使用,呼吁社区从人机协作视角关注其效用并拓宽评估以反映实际用例。
2023-11-22 cs.HC cs.LG
Exploring the Potential of Feature Density in Estimating Machine Learning Classifier Performance with Application to Cyberbullying Detection
Kitami Institute of Technology(北见工业大学);Samurai Labs(武士实验室)
在这项研究中。我们分析了特征密度(HD)作为在训练之前比较估计机器学习(ML)分类器性能的方式的潜力。该研究的目标是帮助解决ML模型的资源密集型训练问题,由于数据集大小的不断增加和深度神经网络(DNN)的日益普及,这正在成为一个严重的问题。对更强大的计算资源的需求不断增加,这也影响了环境,因为训练大规模的ML模型导致二氧化碳排放量惊人地增长。我们的方法是优化自然语言处理的ML模型的资源密集型训练,以减少所需的实验迭代次数。我们扩展了以前使用FD提高分类器训练效率的尝试,同时还提供了对各种语言支持的对话分类特征预处理方法的有效性的见解,特别是网络欺凌检测。
2022-06-04 cs.AI cs.CL cs.LG
Towards Understanding Adversarial Examples Systematically: Exploring Data Size, Task and Model Factors
Peking University(北京大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院);Shanghai Jiaotong University(上海交通大学)
以往的著作多从几个特定的角度对对抗性事例进行解释,缺乏对这一问题的相对完整的理解。本文从训练数据量、任务相关因素和模型相关因素三个方面对对抗性样例进行了系统的研究。特别是,我们证明了标准训练的对抗性泛化(即对抗性示例的测试准确性)需要比标准泛化(即干净示例的测试准确性)更多的数据;并揭示了泛化和鲁棒性之间的全局关系,特别是当数据被生成模型增强时。这揭示了在有限的训练数据范围内标准泛化和鲁棒性之间的权衡关系,以及当数据量足够大时它们的一致性。此外,我们通过大量的实证分析,探讨了不同的任务依赖性和模型特定的因素如何影响深层神经网络的脆弱性。并对防御对抗攻击提出了相关建议。我们的研究结果概述了一个潜在的路径走向光明和系统的理解对抗性的例子。
2019-02-28 cs.LG stat.ML