Supervised Neural Discrete Universal Denoiser for Adaptive Denoising
Seoul National University(首尔大学)
我们改进了最近开发的神经DUDE,一个基于神经网络的自适应离散去噪器,将其与监督学习框架相结合。也就是说,我们使神经DUDE的监督预训练与基于给定的噪声数据进行去噪的参数自适应微调兼容。因此,与香草神经DUDE相比,我们实现了显着的去噪性能提升,后者仅使用随机初始化的参数执行自适应微调步骤。此外,我们表明自适应微调使算法的鲁棒性,使噪声失配或盲目训练的监督模型仍然可以实现匹配模型的性能。此外,我们做了一些算法改进,使神经DUDE更具可扩展性,并处理多维数据或具有更大字母表大小的数据。我们系统地展示了我们对两个非常不同的数据集,二进制图像和DNA序列的改进。
2021-11-24 cs.LG
ATM-Net: Adaptive Termination and Multi-Precision Neural Networks for Energy-Harvested Edge Intelligence
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对能量收集物联网设备,ATM-Net集成自适应终止点与多精度计算,动态调整精度和深度,经实验验证其在保证高精度的同时大幅降低功耗,优化能量-精度权衡,适用于边缘智能场景。
2025-02-13 cs.LG
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients
University of Pittsburgh(匹兹堡大学)
自适应梯度法在解决许多机器学习问题中表现出了优异的性能。虽然最近研究了多种自适应梯度法,但它们主要集中在经验或理论方面,并且仅通过使用特定的自适应学习率来解决特定的问题。因此,需要设计一个通用的框架,为实际的自适应梯度算法与理论保证,以解决一般问题。为了填补这一空白,我们提出了一个更快和通用的自适应梯度框架(即,SUPER-ADAM)通过引入一个通用的自适应矩阵,包括大多数现有的自适应梯度形式。此外,我们的框架可以灵活地集成动量和方差减少技术。特别是,我们的新框架提供了自适应梯度法的收敛性分析支持下的非凸设置。在理论分析中,我们证明了我们的SUPER-ADAM算法可以实现最佳已知梯度(即,随机一阶预言(SFO))复杂度的$\tilde{O}(ε^{-3})$寻找一个$ε$ -平稳点的非凸优化,它匹配的下界随机光滑非凸优化。在数值实验中,我们使用各种深度学习任务来验证我们的算法始终优于现有的自适应算法。代码可在https://github.com/LIJUNYI95/SuperAdam上获得
2022-05-11 cs.CV cs.LG math.OC
DapPep: Domain Adaptive Peptide-agnostic Learning for Universal T-cell Receptor-antigen Binding Affinity Prediction
Zhejiang University(浙江大学);Westlake University(西湖大学);Fudan University(复旦大学)
针对现有方法难以处理新型或稀疏抗原的问题,提出域自适应肽无关学习框架DapPep,结合预训练蛋白语言模型与内环自监督机制,在多基准上优于现有工具,泛化能力强,且在临床任务中有效。
2024-11-26 cs.AI cs.LG q-bio.QM
Adaptive and Universal Algorithms for Variational Inequalities with Optimal Convergence
Boston University(波士顿大学);Northeastern University(东北大学)
我们开发了新的自适应算法与单调算子的变分不等式,它捕获了许多感兴趣的问题,特别是凸优化和凹凸鞍点问题。我们的算法自动适应未知的问题参数,如平滑和规范的运营商,和方差的随机评估预言。我们表明,我们的算法是通用的,同时达到最佳的收敛速度在非光滑,光滑,随机设置。我们的算法的收敛性保证改善现有的自适应方法的$Ω(\sqrt{\ln T})$因子,匹配的最佳非自适应算法。此外,以前的工作要求优化域是有界的。在这项工作中,我们删除这个限制,并给出算法的无界域是自适应的和普遍的。我们的一般证明技术可以用于算法的许多变体,每次迭代使用一个或两个运算符评估。基于ExtraGradient/RightProx算法的经典方法每次迭代需要两次运算符评估,这在许多设置中是运行时间的主要因素。
2021-08-26 cs.DS cs.LG
UniXGrad: A Universal, Adaptive Algorithm with Optimal Guarantees for Constrained Optimization
EPFL(洛桑联邦理工学院);Technion(以色列理工学院);INRIA(法国国家信息与自动化研究所)
针对随机约束凸优化问题,提出了一种新的自适应加速算法.我们的方法,这是受启发的Prox-Prox方法,\emph{simultaneously}实现了最佳的速度光滑/非光滑问题的确定性/随机一阶预言。这是在没有任何关于平滑度或问题的噪声特性的先验知识的情况下完成的。据我们所知,这是第一个自适应的,统一的算法,在约束设置中实现最佳速率。我们通过大量的数值实验证明了我们的框架的实际性能。
2019-10-30 cs.LG math.OC
Dual Adaptivity: Universal Algorithms for Minimizing the Adaptive Regret of Convex Functions
National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China(南京大学新型软件技术国家重点实验室);School of Artificial Intelligence, Nanjing University, Nanjing, China(南京大学人工智能学院);College of Computing, Georgia Institute of Technology, Atlanta, USA(佐治亚理工学院计算机学院)
针对现有在线凸优化自适应遗憾最小化算法通用性不足的问题,本文提出具备双重自适应性的元专家框架,结合休眠专家技术与两种专家构建策略,可适配多类凸函数与变化环境,并拓展至在线复合优化场景。
2025-08-01 cs.LG
Dual Adaptivity: A Universal Algorithm for Minimizing the Adaptive Regret of Convex Functions
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);Paradigm Inc.(第四范式有限公司)
针对在线学习中学习环境的变化,提出了一种新的学习绩效评价指标--适应性后悔,定义为任意区间上的最大静态后悔。在在线凸优化的背景下,已经成功地开发了几种算法来最小化自适应遗憾。然而,现有的算法缺乏通用性,因为它们只能处理一类凸函数,并且需要先验的参数知识。相比之下,存在通用算法,如MetaGrad,同时获得多种类型的凸函数的最佳静态遗憾。沿着这条研究路线,本文提出了第一个通用的算法,最小化凸函数的自适应遗憾。具体来说,我们借用MetaGrad中保持多个学习率的思想来处理函数的不确定性,并利用睡眠专家的技术来捕捉不断变化的环境。通过这种方式,我们的算法自动适应函数的属性(凸,指数凹或强凸),以及环境的性质(静止或变化)。作为副产品,它还允许函数类型在轮之间切换。
2021-05-14 cs.LG stat.ML
Universal Self-Adaptive Prompting
University of Oxford(牛津大学);Google(谷歌)
提出通用自适应提示(USP),通过少量未标记数据和推理模型自动生成伪示例,将上下文学习推广至零样本设置,在40多个任务中性能优于零样本基线且媲美少样本基线。
2023-10-21 cs.AI cs.CL cs.LG
Universal MMSE Filtering With Logarithmic Adaptive Regret
Technion - Israel Inst. of Tech.(以色列理工学院)
我们考虑的问题,在线估计的实值信号被遗忘的零均值噪声使用线性估计。该估计器需要根据当前和最后几个噪声观测值迭代地预测潜在信号,其性能由均方误差来衡量。我们描述和分析了这个任务的算法:1。实现对数自适应后悔对最好的线性滤波器在事后。这个界限是近似紧的,并且解决了Moon和Weissman的问题[1]。2.根据滤波器系数的数量在线性时间内进行迭代。以前的建筑至少需要二次时间。
2011-11-14 cs.IT cs.LG math.IT
A Universal Algorithm for Variational Inequalities Adaptive to Smoothness and Noise
INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);ETH Zürich(苏黎世联邦理工学院)
我们考虑变分不等式来自单调算子,设置,包括凸极小化和凹凸鞍点问题。我们假设访问潜在的噪声无偏值的单调算子和评估收敛通过一个兼容的间隙函数,对应于标准的最优性标准,在上述子情况。我们提出了一个通用的算法,这些不等式的基础上的Prox-Prox算法。具体地说,我们的算法同时实现了最佳速率的平滑/非平滑,和噪声/无噪声设置。这是在没有任何先验知识的情况下完成的,并且在任意范数和相容Bregman分歧的一般设置中。对于凸极小化和凸凹鞍点问题,这导致新的自适应算法。我们的方法依赖于一个新的但简单的自适应选择的步长,这可以被看作是适当的扩展AdaGrad处理约束问题。
2019-02-05 cs.LG math.OC stat.ML
UniGAP: A Universal and Adaptive Graph Upsampling Approach to Mitigate Over-Smoothing in Node Classification Tasks
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Rutgers University(罗格斯大学)
UniGAP通过自适应图上采样缓解节点分类任务中的过平滑问题,提升模型性能并启发进一步研究。
2026-01-31 cs.LG
Adaptive proximal gradient methods are universal without approximation
KU Leuven(鲁汶大学);Kyushu University(九州大学)
本文证明自适应近端梯度方法在仅满足局部 Hölder 梯度连续性时仍可免线搜索收敛,无需近似或先验常数,并给出全序列收敛证明与实验验证。
2024-07-05 cs.LG math.OC
Towards Adaptive Unknown Authentication for Universal Domain Adaptation by Classifier Paradox
Nanjing University of Posts and Telecommunications(南京邮电大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
通用领域自适应(UniDA)是一种通用的无监督领域自适应设置,其解决自适应中的领域和标签偏移。它的主要挑战在于如何识别非共享或未知类中的目标样本。以前的方法通常致力于描述样本的“置信度”以及用于拒绝未知的阈值,并跨域对齐共享类的特征分布。然而,它仍然很难预先指定一个“信心”的标准和阈值,这是适应各种真实的任务,和未知数的错误预测进一步招致的不对齐的功能在共享类。在本文中,我们提出了一种新的UniDA方法与自适应未知认证的分类器paradigm(UACP),考虑到样本与矛盾的预测可能是未知的不属于源类。在UACP中,复合分类器是由两种类型的预测器联合设计的。也就是说,多类(MC)预测器将样本分类到多个源类中的一个,而二进制一对全(OVA)预测器进一步验证MC预测器的预测。验证失败或悖论的样本被识别为未知数。此外,代替共享类的特征对齐,在输出空间中进行隐式域对齐,使得跨域的样本共享相同的决策边界,尽管具有特征差异。实证结果验证了UACP在开集和通用UDA设置。
2022-07-10 cs.CV cs.LG
Universal Adaptive Environment Discovery
KAUST(卡斯土尼亚大学);Huawei Technologies France(华为法国技术有限公司);SASU France(法国SASU公司)
针对机器学习中虚假相关性问题,提出通用自适应环境发现(UAED)框架,通过学习数据变换分布自适应生成环境,优化鲁棒目标,提升最坏情况准确性,实现分布外泛化。
2025-10-14 cs.LG stat.ML
SAQNN: Spectral Adaptive Quantum Neural Network as a Universal Approximator
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文提出了一种谱适应量子神经网络模型,证明其具备通用逼近能力,并在电路规模和参数复杂度方面优于经典神经网络。
2026-02-10 cs.LG quant-ph
Universal Domain Adaptive Object Detection via Dual Probabilistic Alignment
CAIR, HKISI-CAS(中国科学院香港创新研究院人工智能与机器人创新研究所);MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别与智能系统研究部);The Chinese University of Hong Kong(香港中文大学)
提出双概率对齐框架,通过高斯分布建模域概率,解决通用域自适应目标检测中的私有类别对齐和特征异质性,在多种场景下超越现有方法。
2024-12-16 cs.AI cs.CV cs.LG
Universal and data-adaptive algorithms for model selection in linear contextual bandits
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
背景强盗问题中的模型选择问题是关于固定模型类的后悔最小化问题的一个重要补充。我们考虑模型选择的最简单的非平凡的例子:区分一个简单的多臂强盗问题的线性上下文强盗问题。即使在这种情况下,当前最先进的方法以次优的方式进行探索,并且需要强的“特征多样性”条件。在本文中,我们介绍了新的算法,a)探索在数据自适应的方式,和b)提供模型选择保证的形式$\mathcal{O}(d^α T^{1- α})$没有任何功能多样性的条件,其中$d$表示的维度的线性模型和$T$表示轮的总数。第一个算法享有“两全其美”的属性,同时恢复两个先前的结果,在不同的分布假设下。第二种方法完全消除了分布假设,扩大了易于处理的模型选择范围。我们的方法扩展到嵌套的线性上下文土匪模型选择在一些额外的假设。
2022-06-30 cs.LG stat.ML
Universal Novelty Detection Through Adaptive Contrastive Learning
Sharif University of Technology(谢里夫理工大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
针对现有新颖性检测方法因僵化归纳偏置而缺乏通用性的问题,提出基于对比学习与概率性自动负对生成方法AutoAugOOD的自适应框架,在多种分布偏移和设置下展现优越性能。
2024-08-20 cs.LG
Adaptive Universal Generalized PageRank Graph Neural Network
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学)
在许多重要的图形数据处理应用中,所获取的信息包括节点特征和图形拓扑的观察。图神经网络(GNN)旨在利用这两种证据来源,但它们并没有最佳地权衡其效用,并以一种通用的方式整合它们。这里,普适性指的是对同质性或异质性图假设的独立性。我们通过引入一种新的广义PageRank(GPR)GNN架构来解决这些问题,该架构自适应地学习GPR权重,以便联合优化节点特征和拓扑信息抽取,而不管节点标签是同性还是异性。学习的GPR权重自动调整到节点标签模式,与初始化的类型无关,从而保证了通常难以处理的标签模式的良好学习性能。此外,它们允许避免特征过度平滑,这是一个使特征信息无差别的过程,而不需要网络是浅的。我们对GPR-GNN方法的理论分析是由所谓的上下文随机块模型生成的新的合成基准数据集促进的。我们还比较了我们的GNN架构的性能与几个国家的最先进的GNN的节点分类问题,使用著名的基准homophilic和heterophilic数据集。结果表明,GPR-GNN提供了显着的性能改善相比,现有的技术在合成和基准数据。
2021-10-26 cs.LG stat.ML
RLBoost: Harvesting Preemptible Resources for Cost-Efficient Reinforcement Learning on LLMs
UC Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学);Google(谷歌);CMU(卡内基梅隆大学);University of Washington(华盛顿大学)
RLBoost通过高效利用可中断GPU资源提升大语言模型强化学习的效率和成本效益,采用混合架构和三种关键技术实现状态less和 embarrassingly parallel的rollout阶段与可中断资源的匹配。
2026-04-08 cs.DC cs.LG
Universal Transformer Hawkes Process with Adaptive Recursive Iteration
China University of Petroleum(中国石油大学)
异步事件序列广泛存在于自然界和人类活动中,如地震记录、用户在社交媒体上的活动等,如何从这些看似杂乱无章的数据中提取信息一直是研究者关注的课题,其中最有用的模型之一是点过程模型,并在此基础上取得了许多值得注意的成果.此外,近年来,基于神经网络,特别是递归神经网络(RNN)的点过程模型被提出,与传统模型相比,其性能有了很大的提高。受Transformer模型不需要递归和卷积结构就能高效学习序列数据的启发,提出了Transformer Hawkes过程,并取得了最新的性能。然而,有一些研究证明,在Transformer中重新引入递归计算可以进一步提高Transformers的性能。因此,我们提出了一种新的Transformer Hawkes过程模型--通用Transformer Hawkes过程(UTHP),它包含了递归机制和自注意机制,并且为了提高模型的局部感知能力,我们还在位置前馈部分引入了卷积神经网络(CNN)。我们在几个数据集上进行实验,以验证UTHP的有效性,并探讨引入递归机制后的变化。在多个数据集上的实验表明,与现有的模型相比,新模型的性能有一定的提高。
2021-12-29 cs.LG
Adaptive Learning on User Segmentation: Universal to Specific Representation via Bipartite Neural Interaction
INF Technology (Shanghai) Co., Ltd(INF科技(上海)有限公司);Shanghai University of Engineering Science(上海工程技术大学);Ant Group(蚂蚁集团)
提出一种通过信息瓶颈和二分图神经交互的自适应学习框架,实现从通用到用户分割特定的表示学习,显著提升CTR/CVR预测性能。
2024-09-23 cs.IR cs.LG
Improved Impossible Tuning and Lipschitz-Adaptive Universal Online Learning with Gradient Variations
提出一种带辅助初始轮的乐观在线镜像下降算法解决“impossible tuning”问题,并以此作为元算法开发了首个同时实现最先进GV界和LA的UOL算法,克服了先前工作中的关键限制。
2025-09-16 cs.LG
AH-UGC: Adaptive and Heterogeneous-Universal Graph Coarsening
Yardi School of Artificial Intelligence(雅迪人工智能学院);Department of Electrical Engineering(电气工程系);Bharti School of Telecommunication Technology and Management(巴希蒂电信技术与管理学院)
提出AH-UGC框架,结合局部敏感哈希与一致性哈希实现自适应图粗化,并针对异构图提出类型隔离策略,在23个数据集上验证了高效性与结构语义保持。
2025-05-18 cs.LG cs.SI
Extra-Newton: A First Approach to Noise-Adaptive Accelerated Second-Order Methods
EPFL(洛桑联邦理工学院)
本文提出了一种通用的、自适应的二阶方法来极小化二阶光滑、凸函数。当预言机反馈是随机的且方差为$σ^2$时,该算法达到了$O(σ/ \sqrt{T})$收敛,当预言机反馈是确定性的时,该算法收敛到$O( 1 / T^3)$,其中$T$是迭代次数.我们的方法还内插这些速率,而不知道的性质的预言先验,这是使一个无参数的自适应步长,是无视的知识的平滑模量,方差界和直径的约束集。据我们所知,这是第一个通用的算法,这样的全球保证在二阶优化文献。
2022-12-12 cs.LG math.OC stat.ML
Learning Whenever Learning is Possible: Universal Learning under General Stochastic Processes
Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
这项工作启动了学习和泛化的一般性研究,没有独立同分布。假设,从第一原则开始。虽然统计学习理论的传统方法通常依赖于来自概率论的标准假设(例如,i.i.d.或平稳遍历),在这项工作中,我们感兴趣的是发展一个学习理论的基础上,只有最基本的和必要的假设隐含在学习问题本身的要求。我们专门研究普遍一致的函数学习,其目标是当数据遵循给定的随机过程时,为任何目标函数获得较低的长期平均损失。然后,我们感兴趣的问题,是否存在学习规则保证是普遍一致的假设,普遍一致的学习是可能的给定的数据处理。激发这一标准的推理来自于一种乐观主义者的决策理论,因此我们将这种学习规则称为乐观普适的。我们在三种自然学习环境中研究这个问题:归纳,自适应和在线。值得注意的是,作为我们最强的积极结果,我们发现乐观的普遍学习规则确实存在于自适应学习环境中。建立这一事实需要我们开发新的方法来设计学习算法。一路上,我们还确定了简明的家庭的过程下,普遍一致的学习是可能的归纳和自适应设置的特征。我们还提出了一些诱人的开放问题,特别是在线学习设置。
2020-10-20 cs.LG math.PR math.ST
RATQ: A Universal Fixed-Length Quantizer for Stochastic Optimization
Indian Institute of Science(印度科学学院)
我们提出了旋转自适应四迭代量化器(RATQ),一个固定长度的量化器的梯度在一阶随机优化。RATQ易于实现,仅涉及Hadamard变换计算和具有适当选择的动态范围的自适应均匀量化。噪声梯度几乎肯定有界欧氏范数,我们建立了一个信息理论的下限优化精度使用有限精度梯度,并表明RATQ几乎达到这个下限。对于均方有界的噪声梯度,我们使用增益形状量化器,它分别量化的欧几里德范数和使用RATQ的归一化单位范数向量。我们建立下限的任何优化程序和形状量化器的性能,当使用一个均匀的增益量化器。最后,我们提出了一个自适应量化器的增益,当使用RATQ形状量化优于均匀增益量化,事实上,接近最佳。作为一个副产品,我们表明,我们的固定长度量化器RATQ具有几乎相同的性能作为最佳的可变长度量化器的分布均值估计。此外,我们得到了一个有效的量化器的高斯向量,达到一个率非常接近的高斯率失真函数,事实上,是普遍的亚高斯输入向量。
2019-12-16 cs.IT cs.LG math.IT
Universal Learning Waveform Selection Strategies for Adaptive Target Tracking
Virginia Tech(弗吉尼亚理工大学);US Army Research Laboratory(美国陆军研究实验室)
在有源传感器目标跟踪中,在线选择最佳波形一直是一个令人感兴趣的问题。许多传统的解决方案利用估计理论解释,其中使用测量误差的波形特定的Cramér-Rao下限来为每个跟踪步骤选择最佳波形。然而,这种方法仅在高SNR状态下有效,并且需要关于目标运动和测量模型的相当限制性的假设集合。此外,由于计算的问题,许多传统的方法是有限的短期,或近视,优化,即使雷达场景表现出很强的时间相关性。最近,强化学习已经被提出用于波形选择,其中问题被框定为马尔可夫决策过程(MDP),从而允许长期规划。然而,强化学习的一个主要限制是,对于现实的目标和信道动态,底层马尔可夫过程的记忆长度通常是未知的,并且需要一个更通用的框架。本文提出了一种通用的连续波形选择方案,该方案在任何雷达场景中渐近地实现贝尔曼最优性,该雷达场景可以建模为有限但未知的整数$U$的$U^{\text{th}}$阶马尔可夫过程。我们的方法是基于通用信源编码,其中一个固定的源被解析成可变长度的短语,以建立一个上下文树,这是作为一个概率模型的场景的行为领域的成熟的工具。我们表明,基于上下文树加权(CTW)方法的多字母版本的算法可以用来最佳地解决广泛的一类波形敏捷跟踪问题,同时对环境的行为作出最小的假设。
2022-02-10 cs.IT cs.LG eess.SP