Unveiling the Potential: Harnessing Deep Metric Learning to Circumvent Video Streaming Encryption
Centrum Wiskunde & Informatica(荷兰数学和计算机科学研究中心);Vrije Universiteit(自由大学);Ministry of Defence(国防部)
针对加密视频流识别攻击存在的准确率、可扩展性等权衡问题,提出基于三元组损失的深度度量学习框架,实现了鲁棒、泛化、可扩展且可跨浏览器迁移的加密视频检测,证明侧信道攻击适用范围更广。
2024-05-16 cs.AI cs.CR cs.CV
Towards Better Orthogonality Regularization with Disentangled Norm in Training Deep CNNs
Shanghai University(上海大学)
该研究提出解耦范数的核正交性新度量提升浅模型性能,又基于严格正交性与深模型容量的冲突提出松弛正则化理论,在CIFAR数据集的ResNet、WideResNet上实现SOTA性能并揭示正交性对深模型的影响。
2023-06-16 cs.CV cs.LG
Training Data Selection with Gradient Orthogonality for Efficient Domain Adaptation
本文提出OGS方法,通过梯度正交性选择训练数据,提升领域适应的效率和性能。
2026-02-06 cs.AI cs.LG
Can We Gain More from Orthogonality Regularizations in Training Deep CNNs?
Texas A&M University(得克萨斯农工大学)
本文试图回答这样一个问题:由于发现权重的(近)正交性是训练深度卷积神经网络的有利属性,我们如何以更有效和更易于使用的方式来实施它?我们开发了新的正交正则化来训练深度CNN,利用各种先进的分析工具,如互相关和限制等距属性。这些即插即用的正则化可以方便地合并到几乎任何CNN的训练中,而不会带来额外的麻烦。然后,我们在最先进的模型ResNet,WideResNet和ResNeXt上,在几个最流行的计算机视觉数据集CIFAR-10,CIFAR-100,SVHN和ImageNet上对它们的影响进行了基准测试。在应用这些建议的正则化后,我们观察到一致的性能增益,无论是最终达到的精度,还是更快,更稳定的收敛。我们已经公开了我们的代码和预训练模型:https://github.com/nbansal90/Can-we-Gain-More-from-Orthogonality。
2018-10-22 cs.CV cs.LG stat.ML
Harnessing the Power of Explanations for Incremental Training: A LIME-Based Approach
Infineon Technologies(英飞凌科技);University of Maryland Baltimore County(马里兰大学巴尔的摩郡分校)
本文提出将 LIME 解释距离引入自定义加权损失,并结合 EWC 进行增量训练,在 Google Speech Commands 关键词识别任务中实现各阶段 0.5%–1.5% 的稳定准确率提升。
2023-07-11 cs.AI cs.LG
Deep Network Trainability via Persistent Subspace Orthogonality
Department of Applied Mathematics and Theoretical Physics, University of Cambridge(应用数学与理论物理系,剑桥大学)
本研究通过持久子空间正交性方法,设计出能够有效训练深层网络的架构,解决了梯度消失和爆炸问题。
2026-02-11 cs.LG cs.NA math.NA
Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation
University of Leicester(莱斯特大学);Institut Curie(居里研究所);PSL Research University(PSL研究大学);King’s College London(伦敦国王学院)
寻找学习机器的最佳架构,如深度神经网络,是一个众所周知的技术和理论挑战。Mellor et al(2021)最近的工作表明,训练网络的准确性与随机初始化网络上定义的一些易于计算的度量值之间可能存在相关性,这些度量值可以在没有训练的情况下搜索数万个神经架构。Mellor等人使用在所有ReLU神经元上评估的汉明距离作为这样的度量。受这些发现的启发,在我们的工作中,我们提出了一个问题,即是否存在其他可能更有原则的措施,这些措施可以用作给定神经结构成功的决定因素。特别是,我们检查,如果神经网络的特征空间的维数和准正交性可以与训练后的网络的性能。我们使用Mellor等人的设置表明,维度和准正交性可以共同作为网络的性能判别式。除了提供加速神经结构搜索的新机会外,我们的研究结果还表明了网络的最终性能与其随机初始化特征空间的属性之间的重要关系:数据维度和准正交性。
2022-03-30 cs.LG
Measuring and Harnessing Transference in Multi-Task Learning
Google Brain(谷歌大脑);Google Research(谷歌研究院);Stanford University(斯坦福大学)
多任务学习可以利用一个任务所学到的信息来帮助其他任务的训练。尽管有这样的能力,天真的配方往往会降低性能,特别是,确定将受益于共同训练的任务仍然是一个具有挑战性的设计问题。在本文中,我们分析了在整个训练过程中跨任务的信息传递或传递的动态。具体来说,我们开发了一种相似性度量,可以量化任务之间的迁移,并使用这个量来更好地理解多任务学习的优化动态,以及提高整体学习性能。在后一种情况下,我们提出了两种方法来利用我们的移情度量。第一个在宏观层面上通过选择哪些任务应该一起训练来操作,而第二个在微观层面上通过确定如何在每个训练步骤组合任务梯度来操作。我们发现,这些方法可以导致显着的改进,比以前的工作在三个监督多任务学习基准和一个多任务强化学习范例。
2021-09-10 cs.AI cs.CV cs.LG
Proof of Training (PoT): Harnessing Crypto Mining Power for Distributed AI Training
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Zayed University(扎耶德大学)
针对 AI 与加密挖矿融合中的三大挑战,本文提出基于 PBFT 共识的 PoT 协议,并通过去中心化训练网络验证其在吞吐、鲁棒性与安全上的潜力。
2023-07-13 cs.CE cs.CR cs.DC
Absorber LLM: Harnessing Causal Synchronization for Test-Time Training
Peking University(北京大学)
本文提出Absorber LLM,通过自监督因果同步解决长上下文保留问题,优化模型在测试时的内存和准确率。
2026-04-22 cs.AI cs.CL cs.LG
$\textbf{AGT$^{AO}$}$: Robust and Stabilized LLM Unlearning via Adversarial Gating Training with Adaptive Orthogonality
School of Computer Science and Technology, Xi’an Jiaotong University, China(西安交通大学计算机科学与技术学院);MOE KLINNS Lab, Xi’an Jiaotong University, China(西安交通大学MOE KLINNS实验室);Shaanxi Province Key Laboratory of Big Data Knowledge Engineering, China(陕西省大数据知识工程重点实验室)
AGT$^{AO}$通过对抗门控训练与自适应正交性,实现LLM反向学习的鲁棒性和实用性平衡。
2026-02-02 cs.CL cs.LG
On the Orthogonality of Knowledge Distillation with Other Techniques: From an Ensemble Perspective
为了将最先进的神经网络投入实际使用,有必要设计一个模型,该模型在测试集上的资源消耗和性能之间具有良好的权衡。许多研究人员和工程师正在开发能够更有效地训练或设计模型的方法。开发一个有效的模型包括几个策略,如网络架构搜索,修剪,量化,知识蒸馏,利用廉价的卷积,正则化,还包括任何工艺,导致更好的性能-资源权衡。当将这些技术结合在一起时,如果性能改进的一个来源不与其他来源冲突,那将是理想的。我们称这种性质为模型效率中的正交性。在本文中,我们专注于知识蒸馏和证明知识蒸馏方法是正交的其他效率提高方法的分析和经验。分析上,我们认为知识蒸馏功能类似于集成方法,自举聚合。本文从知识蒸馏的隐含数据增强性的角度给出了分析解释。经验上,我们验证了知识蒸馏作为一个强大的装置,实际部署的有效神经网络,并介绍了如何将其与其他方法有效地。
2020-09-14 cs.AI cs.LG
Explaining and Harnessing Adversarial Examples
Google Inc.(谷歌公司)
几个机器学习模型,包括神经网络,一贯错误分类对抗性的例子--通过对数据集中的例子施加小的但故意的最坏情况的扰动而形成的输入,使得扰动的输入导致模型输出具有高置信度的错误答案。早期试图解释这一现象的重点是非线性和过拟合。相反,我们认为神经网络对对抗性扰动的脆弱性的主要原因是它们的线性性质。这一解释得到了新的定量结果的支持,同时给出了关于它们最有趣的事实的第一个解释:它们在架构和训练集上的泛化。此外,这种观点产生了一种简单而快速的生成对抗性示例的方法。使用这种方法为对抗训练提供示例,我们减少了MNIST数据集上maxout网络的测试集错误。
2015-03-20 cs.LG stat.ML
Controllable Orthogonalization in Training DNNs
Inception Institute of Artificial Intelligence(人工智能起源研究所);University of Electronic Science and Technology of China(电子科技大学);ByteDance AI Lab(字节跳动人工智能实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
由于其能够保持雅可比矩阵的所有奇异值接近1并减少表示中的冗余,因此可伸缩性被广泛用于训练深度神经网络(DNN)。本文提出了一种使用牛顿迭代(ONI)的计算效率和数值稳定的正交化方法,以学习DNN中的逐层正交权重矩阵。ONI通过迭代地将权重矩阵的奇异值向1拉伸来工作。这个属性使它能够通过迭代次数来控制权矩阵的正交性。我们表明,我们的方法提高了性能的图像分类网络,通过有效地控制的正交性,提供一个最佳的权衡之间的优化利益和代表性的能力降低。我们还表明,ONI通过保持网络的Lipschitz连续性来稳定生成对抗网络(GANs)的训练,类似于频谱归一化(SN),并通过提供可控的正交性进一步优于SN。
2020-04-02 cs.CV cs.LG
From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model
Department of Artificial Intelligence(人工智能系)
本文提出一种高效框架,通过构建零样本判别嵌入模型,利用多模态大语言模型的固有能力,提升多模态表示空间的鲁棒性和零样本嵌入能力。
2026-08-05 cs.AI cs.IR cs.LG
On orthogonality and learning recurrent networks with long term dependencies
École Polytechnique de Montréal(蒙特利尔理工学院);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);CHUM Research Center(蒙特利尔大学医学中心研究中心)
众所周知,针对表现出长期依赖性的任务来训练深度神经网络和递归神经网络是具有挑战性的。消失或爆炸梯度问题是与这些挑战相关联的众所周知的问题。解决消失和爆炸梯度的一种方法是对权重矩阵使用软约束或硬约束,以便鼓励或加强正交性。正交矩阵在反向传播过程中保持梯度范数,因此可能是一个理想的属性。本文探讨的问题与优化收敛,速度和梯度稳定性时,鼓励或强制正交。为了进行这种分析,我们提出了一个权重矩阵分解和参数化策略,通过它我们可以约束矩阵范数,从而控制反向传播过程中引起的膨胀度。我们发现,正交性的硬约束会对收敛速度和模型性能产生负面影响。
2017-10-12 cs.LG cs.NE
Unsupervised learning of disentangled representations in deep restricted kernel machines with orthogonality constraints
KU Leuven(鲁汶大学)
我们介绍了Constr-DRKM,一个深度内核方法的无监督学习解开数据表示。我们建议通过对潜在变量的正交约束来增强用于核PCA的原始深度限制核机公式,以促进解纠缠,并使其能够在不首先定义稳定目标的情况下进行优化。在说明了一个端到端的训练过程的基础上,二次惩罚优化算法与热启动,我们定量评估所提出的方法的有效性,在解开特征学习。我们证明了四个基准数据集,这种方法执行类似的整体$β$ -VAE的一些解纠缠指标时,很少的训练点是可用的,而不太敏感的随机性和超参数选择比$β$ -VAE。我们还提出了一个确定性的初始化Constr-DRKM的训练算法,显着提高了结果的再现性。最后,我们经验性地评估和讨论了所提出的方法中层数的作用,检查了每一层中每个主成分的影响,并表明较低层中的组件作为局部特征检测器捕获数据分布的广泛趋势,而更深层中的组件使用前一层学习的表示,更准确地再现更高级别的特征。
2020-11-25 cs.LG stat.ML
Superpositional Gradient Descent: Harnessing Quantum Principles for Model Training
Mustafa Hakan G\"uven c er Science High School Ankara, T\"urkiye;\. I stanbul Erkek High School \. I stanbul, T\"urkiye;T\"UB\. I TAK Science High School Kocaeli, T\"urkiye
本文提出叠加梯度下降方法,通过量子原理提升模型训练效率,实验证明其在序列分类和LLM微调中表现优于AdamW。
2026-01-29 cs.LG quant-ph
Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification
Duke University(杜克大学);Tsinghua University(清华大学);University of Nevada, Reno(内华达大学里诺分校);Newport High School(纽波特高中)
现代深度神经网络(DNN)通常需要高内存消耗和大计算负载。为了在边缘或移动设备上有效地部署DNN算法,已经探索了一系列DNN压缩算法,包括因子分解方法。分解方法通过两个或多个低秩矩阵的乘法来近似DNN层的权重矩阵。然而,在训练过程中很难测量DNN层的等级。以往的工作主要是通过隐式近似或通过昂贵的奇异值分解(SVD)过程中的每一个训练步骤诱导低秩。前一种方法通常导致高精度损失,而后者具有低效率。在这项工作中,我们提出了SVD训练,这是第一种在训练过程中显式实现低秩DNN的方法,而无需在每一步都应用SVD。SVD训练首先将每一层分解成其满秩SVD的形式,然后直接对分解后的权重进行训练。在奇异向量上加入正交正则化,保证了奇异值分解的有效形式,避免了梯度消失/爆炸。通过在每层的奇异值上应用稀疏诱导正则化器来鼓励低秩。奇异值修剪应用在最后显式地达到低秩模型。我们的经验表明,SVD训练可以显着降低DNN层的秩,并在相同的精度下实现更高的计算负载减少,不仅与以前的因式分解方法相比,而且与最先进的过滤器修剪方法相比。
2020-04-20 cs.LG stat.ML
Harnessing Unlabeled Data to Improve Generalization of Biometric Gender and Age Classifiers
School of Computing, Wichita State University(威奇托州立大学计算机学院);School of Computing, University of Missouri, Kansas City(密苏里大学堪萨斯城分校计算机学院)
随着深度学习的重大进展,许多计算机视觉应用已经达到了拐点。然而,这些深度学习模型需要大量的标记数据用于模型训练和最佳参数估计。用于模型训练的有限标记数据导致过拟合并影响其泛化性能。然而,大量数据的收集和注释是非常耗时且昂贵的操作。此外,由于隐私和安全问题,无法为某些应用(例如涉及医疗领域的应用)收集大量标记数据。自训练、协同训练和自集成方法是三种类型的半监督学习方法,可用于利用未标记数据。在本文中,我们提出了基于自集成的深度学习模型,该模型利用有限的标记数据,利用未标记数据来提高泛化性能。我们评估了所提出的基于自集成的深度学习模型,用于软生物特征性别和年龄分类。对CelebA和VISOB数据集的实验评估表明,性别分类准确率分别为94.46%和81.00%,对于CelebA数据集,仅使用1000个标记样本,剩余199k个样本作为未标记样本,同样,对于VISOB数据集,使用1000个标记样本,剩余107k个样本作为未标记样本。比较评估表明,与在整个CelebA和VISOB数据集上训练的监督模型相比,自集成模型的准确性分别有$5.74\%$和$8.47\%$的提高。我们还在Adience数据集上评估了所提出的年龄组预测学习方法,它优于基线监督深度学习模型,精确准确率为55.55 $\pm$ 4.28,比基线高出3.92%。
2021-10-09 cs.AI cs.CV cs.LG
Harnessing large-language models to generate private synthetic text
Google(谷歌)
本文研究利用预训练大语言模型在敏感数据上私有微调以生成差分隐私合成文本,提出合适的训练目标与少参数调优策略,显著提升合成数据质量,并在下游分类器训练与调优中取得与直接差分隐私训练相竞争的性能。
2024-01-11 cs.CR cs.LG
TabuLa: Harnessing Language Models for Tabular Data Synthesis
National University of Singapore(新加坡国立大学);University of Turin(都灵大学);Delft University of Technology(代尔夫特理工大学)
本文提出 Tabula 表格数据合成器,通过摒弃预训练语言权重、压缩 token 序列并改进填充,在六个数据集上提升数据效用并平均缩短每轮训练时间 46.2%。
2025-02-17 cs.LG
HARNESS-LM: A Three-Phase Training Recipe for Harnessing SLMs in Sponsored Search Retrieval
Microsoft AI(微软人工智能)
提出HARNESS-LM三阶段训练框架,通过知识蒸馏将大规模检索器能力迁移至紧凑模型,在Bing Ads上恢复98%以上精度并实现27倍延迟降低。
2026-05-22 cs.AI cs.IR cs.LG
F-TIS: Harnessing Diverse Models in Collaborative GRPO
Gensyn University of Neuchatel(日内瓦大学内沙特尔分校);Gensyn(盖森);TU Delft(代尔夫特理工大学);University of Neuchatel(日内瓦大学内沙特尔分校)
本文提出F-TIS方法,通过利用异构模型在协同GRPO训练中提高本地模型的学习效果,实现了高效的通信和一致的最终模型收敛,同时在某些情况下提升了模型在分布外任务上的泛化能力。
2026-05-21 cs.LG
On Harnessing Idle Compute at the Edge for Foundation Model Training
The University of Edinburgh(爱丁堡大学);Johns Hopkins University(约翰霍普金斯大学);Cisco Research(思科研究院)
本文提出Cleave框架,通过利用边缘设备的异构计算资源,实现与云训练相媲美的性能,并在设备异构性和故障恢复方面取得显著优势。
2026-04-12 cs.DC cs.LG
CARVE: Breaking Data Barriers in Chip Placement by Harnessing Reusable Expertise
Purdue University(普渡大学);Columbia University(哥伦比亚大学)
CARVE框架通过冻结基础策略、不可变专家和局部验证凭证,实现宏布局策略的持续复用,减少训练时间58.5%,并保持性能稳定。
2026-09-29 cs.LG
Harnessing Increased Client Participation with Cohort-Parallel Federated Learning
EPFL(洛桑联邦理工学院)
本文提出队列并行联邦学习(CPFL),通过将网络划分为多个独立训练的队列并在收敛后用知识蒸馏统一模型,在CIFAR-10和FEMNIST上以极小准确率损失换取了1.9倍训练加速和1.3倍资源节省。
2025-03-10 cs.DC cs.LG
Harnessing uncertainty when learning through Equilibrium Propagation in neural networks
SPINTEC;Univ. Grenoble Alpes(格勒诺布尔大学);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
研究评估了平衡传播(EP)算法在含物理不确定性硬件上的学习能力,发现有限不确定性可提升模型收敛与性能,且存在可扩展的临界极限,为构建节能自学习硬件提供了支持。
2025-03-28 cond-mat.mtrl-sci cs.LG physics.app-ph
Harnessing Large Language Models as Post-hoc Correctors
Aarhus University(奥胡斯大学);Microsoft(微软公司)
本文提出免训练框架LlmCorr,利用大型语言模型作为事后修正器,通过构建情境知识数据库并借助情境学习能力,为任意ML模型预测提供修正,在文本分析和分子预测任务上性能提升高达39%。
2024-06-25 cs.CL cs.LG
Harnessing GANs for Zero-shot Learning of New Classes in Visual Speech Recognition
Adobe(奥多比);NUS(新加坡国立大学);IIIT-Delhi(德里英迪拉·甘地信息技术学院);Bloomberg(彭博)
视觉语音识别(VSR)是通过观察说话人的嘴唇运动来识别或解释语音的过程。最近的基于机器学习的方法将VSR建模为分类问题;然而,训练数据的稀缺性导致在预测看不见的类时具有非常低的准确性的易出错系统。为了解决这个问题,我们提出了一种通过使用生成对抗网络(GANs)生成新类来进行零样本学习的新方法,并展示了添加看不见的类样本如何将VSR系统的准确性提高27%,并使其能够处理与说话者无关的词汇表外短语。我们还表明,我们的模型是语言不可知的,因此能够无缝生成,使用英语训练数据,视频的一种新的语言(印地语)。据我们所知,这是第一个展示使用GANs在VSR领域中生成看不见的类的训练样本的经验证据的工作,从而促进了零样本学习。我们为新课程添加的视频与我们的代码一起公开。
2020-01-02 cs.LG stat.ML
The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes
Virginia Tech(弗吉尼亚理工大学);Columbia University(哥伦比亚大学)
提出镜像影响假说,将训练数据对测试预测的影响转化为逆问题,通过测试样本梯度加训练样本前向传播高效估计数据影响,显著提升效率。
2026-06-08 cs.LG stat.ML
Generalization Guarantees for Neural Networks via Harnessing the Low-rank Structure of the Jacobian
University of California, Riverside(加州大学河滨分校);University of Southern California(南加州大学)
现代神经网络架构通常具有很好的泛化能力,尽管包含的参数比训练数据集的大小要多得多。本文探讨了通过梯度下降训练的神经网络的泛化能力。我们开发了一个依赖于数据的优化和推广理论,它利用了与网络相关的雅可比矩阵的低秩结构。我们的研究结果有助于揭开为什么训练和泛化在干净和结构化的数据集上更容易,在嘈杂和非结构化的数据集上更难,以及网络大小如何影响训练的演变和训练过程中的测试错误。具体来说,我们使用一个控制旋钮分裂的雅可比谱到“信息”和“滋扰”空间与大,小奇异值。我们表明,在信息空间学习是快速的,可以快速训练一个模型,零训练损失,也可以推广。在干扰空间上,训练速度较慢,提前停止可以帮助泛化,但会带来一些偏差。我们还表明,网络的整体泛化能力是由标签向量与信息空间对齐的程度控制的。我们的结果的一个关键特征是,即使是恒定宽度的神经网络也可以证明推广到足够好的数据集。我们在深度网络上进行了各种数值实验,证实了我们的理论发现,并证明:(i)典型的神经网络的雅可比矩阵表现出低秩结构,具有一些大的奇异值和许多小的奇异值,导致低维信息空间,(ii)在信息空间上学习是快速的,并且大部分标签向量落在该空间上,以及(iii)标签噪声落在滋扰空间上并阻碍优化/泛化。
2019-07-04 cs.LG math.OC stat.ML
Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality
University of Trento(特伦托大学)
在神经网络中插入奇异值分解元层容易使协方差出现病态,从而影响模型的训练稳定性和泛化能力。在本文中,我们系统地研究了如何提高协方差条件,通过强制正交的Pre-SVD层。现有的正交处理的权重首先进行了研究。然而,这些技术可以改善条件,但会损害性能。为了避免这样的副作用,我们提出了最近正交梯度(NOG)和最佳学习率(OLR)。我们的方法的有效性进行了验证,在两个应用程序:去相关的批量归一化(BN)和全球协方差池(GCP)。大量的视觉识别实验表明,我们的方法可以同时提高协方差调节和泛化。此外,具有正交权重的组合可以进一步提高性能。
2022-07-05 cs.CV cs.LG cs.NA
From calibration to parameter learning: Harnessing the scaling effects of big data in geoscientific modeling
Pennsylvania State University(宾夕法尼亚州立大学);University of California San Diego(加州大学圣迭戈分校);Princeton University(普林斯顿大学);GloH2O;HydroSapient, Inc.(HydroSapient公司);Tsinghua University(清华大学);China Three Gorges Corporation(中国长江三峡集团有限公司)
许多地球科学中模型的行为和技能(例如,水文学和生态系统科学)在很大程度上依赖于需要校准的空间变化参数。一个经过良好校准的模型可以通过模型物理学将信息从观测值合理地传播到未观测到的变量,但传统的校准效率非常低,并且会导致非唯一的解决方案。在这里,我们提出了一个新的可微参数学习(dPL)框架,有效地学习输入(和可选的响应)和参数之间的全局映射。至关重要的是,dPL展示了以前没有向地球科学家展示过的有益的缩放曲线:随着训练数据的增加,dPL实现了更好的性能,更多的物理一致性和更好的泛化能力(跨空间和未校准变量),所有这些都具有数量级的计算成本。我们展示了从土壤水分和径流中学习的例子,其中dPL大大优于现有的进化和区域化方法,或者只需要~12.5%的训练数据就可以实现类似的性能。通用方案促进了深度学习和基于过程的模型的集成,而无需强制重新实现。
2022-03-23 cs.LG physics.comp-ph
Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);School of Information and Control Engineering, China University of Mining and Technology(中国矿业大学信息与控制工程学院)
提出基于神经单元动力学的类增量学习模型AutoActivator,通过自适应网络扩展与推理时神经单元激活机制,在无排练和最小扩展设置下有效防止遗忘并保持可扩展性。
2024-06-04 cs.LG
Polynomial-Augmented Neural Networks (PANNs) with Weak Orthogonality Constraints for Enhanced Function and PDE Approximation
University of Utah(犹他大学)
提出融合DNN与多项式展开的PANNs,引入正交性约束等策略提升性能,实验证实其在回归、PDE求解及有限光滑性函数回归上的精度优于DNN与纯多项式方法。
2026-08-26 cs.LG
Harnessing omnipresent oscillator networks as computational resource
Faculty of Mathematics and Physics, Institute of Science and Engineering, Kanazawa University(数学物理学院,科学与工程研究所,金泽大学);Graduate School of Information Science and Technology, The University of Tokyo(信息科学与技术研究生院,东京大学)
本文提出利用Kuramoto模型等振荡器网络作为计算资源的通用框架,通过非线性目标系统强迫与训练反馈回路实现模拟,并揭示其同步学习能力与序参量解释的集体智能,为新型信息处理系统奠定基础。
2025-06-19 cs.LG math.DS nlin.AO
Harnessing the Power of Text-image Contrastive Models for Automatic Detection of Online Misinformation
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Chengdu University of Information Technology(成都信息工程大学);University at Buffalo(布法罗大学)
针对在线多模态错误信息检测缺乏标注数据的问题,提出基于文本-图像对比学习的自学习模型,在 COSMOS 上低数据场景中性能提升约10%。
2023-04-19 cs.LG
Harnessing Uncertainty in Domain Adaptation for MRI Prostate Lesion Segmentation
UCL(伦敦大学学院);UCLH NHS Foundation Trust(伦敦大学学院医院NHS基金会信托)
对训练数据的需要可能阻碍采用新的成像模态用于基于学习的医学图像分析。领域自适应方法通过将训练数据从相关的源域转换到新的目标域来部分地缓解该问题,但是通常假设一对一转换是可能的。我们的工作解决了适应一个更丰富的目标域的挑战,其中多个目标样本可以出现从一个单一的源样本。特别是,我们考虑将mp-MRI转换为VERDICT,VERDICT是一种更丰富的MRI模式,涉及用于癌症表征的优化采集协议。我们明确地说明了这种映射的固有不确定性,并利用它来生成以单个输入为条件的多个输出。我们的研究结果表明,当与简单的基于CycleGAN的基线以及更强大的方法结合使用时,这使我们能够为目标域系统地提取更好的图像表示,这些方法集成了判别分割损失和/或残差适配器。与确定性方法相比,我们的方法在广泛的数据集大小、越来越强的基线和评估措施方面都有了实质性的改进。
2021-01-18 cs.CV cs.LG eess.IV
VI-PANN: Harnessing Transfer Learning and Uncertainty-Aware Variational Inference for Improved Generalization in Audio Pattern Recognition
Naval Postgraduate School(海军研究生院);Data Science and Analytics Group(数据科学与分析组)
本文提出在AudioSet上预训练的ResNet-54变分推理模型VI-PANNs,并证明其可向多个声学分类下游任务同时迁移知识与校准的认知不确定性。
2024-03-01 cs.LG cs.SD eess.AS
Unveiling and Harnessing Hidden Attention Sinks: Enhancing Large Language Models without Training through Attention Calibration
Georgia Institute of Technology(佐治亚理工学院)
该研究发现大语言模型中存在序列后续位置的隐藏注意力汇聚点且部分汇聚点对准确率无正向影响,提出无需训练的输入自适应注意力校准技术ACT,可显著提升多类大模型的任务准确率。
2024-06-22 cs.CL cs.LG
Harnessing Low-Fidelity Data to Accelerate Bayesian Optimization via Posterior Regularization
Nanjing University of Posts and Telecommunications(南京邮电大学)
贝叶斯优化(BO)是一个功能强大的范式,用于黑箱目标函数(BOF)的无导数全局优化,这是昂贵的评估。但是,对于具有高成本函数计算的问题,BO的开销仍然是过高的。在本文中,我们研究如何减少BO所需的函数求值的数量,而不影响解决方案的质量。我们探讨了后验正则化的思想,利用高斯过程置信上限(GP-UCB)框架内的低保真度(LF)数据。LF数据可以由BOF的LF近似或相关优化任务的先前评估产生。训练称为LF-GP的额外GP模型以拟合LF数据。我们开发了一个名为动态加权专家产品(DW-POE)融合算子。该算子在BOF的后验上引入正则化。LF GP模型对正则化后验的影响通过贝叶斯形式主义进行自适应调整。大量的基准BOF优化任务的实验结果表明,所提出的算法优于国家的最先进的性能。
2019-12-16 cs.LG stat.ML
Harnessing the Power of Infinitely Wide Deep Nets on Small-data Tasks
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院);Carnegie Mellon University(卡内基梅隆大学)
最近的研究表明,以下两个模型是等效的:(a)无限宽神经网络(NN),通过具有无限小学习率的梯度下降在l2损失下训练;(b)关于所谓的神经切线核(NTK)的核回归(Jacot et al.,2018年)。一种计算NTK及其卷积对应物的有效算法出现在Arora et al.(2019 a)中,该算法允许在CIFAR-10等数据集上研究无限宽网络的性能。然而,内核方法的超二次运行时间使它们最适合小数据任务。我们报告的结果表明,神经切线核在低数据任务上表现强劲。1.在UCI数据库的分类/回归任务的标准测试平台上,NTK SVM击败了以前的黄金标准随机森林(RF)以及相应的有限网络。2.在具有10 - 640个训练样本的CIFAR-10上,卷积NTK始终击败ResNet-34 1% -3%。3.在具有迁移学习的ImageNet上的Few-Shot图像分类任务的VOC 07测试平台上(Goyal等人,2019年),用卷积NTK SVM取代目前使用的线性SVM,不断提高性能。4.将NTK的性能与其所源自的有限宽度网进行比较,NTK行为开始于比理论分析所建议的更低的网宽度(Arora等人,2019年a)。NTK的功效可以追溯到较低的输出方差。
2019-10-27 cs.LG stat.ML
Harnessing Reinforcement Learning for Neural Motion Planning
Technion(以色列理工学院)
运动规划是当今大多数机器人应用中的重要组成部分。在这项工作中,我们考虑的学习设置,其中一组解决运动规划问题是用来提高效率的运动规划不同的,但类似的问题。此设置在具有快速变化的环境的应用程序中(例如电子商务等)非常重要。我们研究了一种基于深度学习的通用方法,其中训练神经网络以将域的图像、当前机器人状态和目标机器人状态映射到计划中的下一个机器人状态。重点介绍了学习算法,并将监督学习方法与强化学习(RL)算法进行了比较。我们首先确定,监督学习方法是低劣的,由于在障碍物的边界上的数据不足,RL方法通过积极探索域缓解的问题。然后,我们提出了一个修改流行的DDPG RL算法,是专门为运动规划域,通过利用已知的模型的问题和解决的计划在数据中的集合。我们表明,我们的算法,被称为DDPG-MP,显着提高了学习的运动规划政策的准确性。最后,我们表明,有足够的训练数据,我们的方法可以规划新的域比现成的采样为基础的运动规划器显着更快。我们的实验结果显示在https://youtu.be/wHQ4Y4mBRb8中。
2019-06-01 cs.LG cs.RO stat.ML
Chaotic Time Series Prediction using Spatio-Temporal RBF Neural Networks
Karachi Institute of Economics and Technology(卡拉奇经济与技术学院);Iqra University(伊克拉大学)
由于混沌时间序列的动态特性,其预测是困难的。在传统的信号处理方法中,仅在时域或空域中处理信号。信号的时空分析通过利用来自时间域和空间域的信息提供了比传统的一维方法更多的优点。在此,我们提出了一个时空扩展的RBF神经网络的混沌时间序列的预测。该算法利用时空正交性的概念,分别处理混沌序列的时间动态性和空间非线性(复杂性)。建议的RBF架构进行了探索的Mackey-Glass时间序列的预测和结果进行了比较,与标准的RBF。时空径向基函数的执行标准RBFNN实现显着降低估计误差。
2019-08-17 cs.LG physics.data-an stat.ML