Robust Estimation through Schoenberg transformations
勋伯格变换，映射欧几里德配置到欧几里德配置，反过来定义一个转换的惯性，其最小化产生强大的位置估计。该过程仅依赖于观测值之间的欧氏距离，并且等效地适用于单变量和多变量数据。家庭的转换和他们的参数的选择定义了一个灵活的位置策略，推广M-估计。确定了两种解决方案。理论结果的存在性和稳定性，并说明了两个数据集。
2011-02-21 math.ST stat.TH
Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing
Roche（罗氏）；Genentech（基因泰克）
该研究针对模型在多样化分布下的泛化难题，提出均匀分布训练最优的结论，给出非均匀样本下的微调和再平衡方案，为相关研究提供理论支撑与实验验证。
2024-10-08 cs.LG
Generalizing and Improving Jacobian and Hessian Regularization
Boston University（波士顿大学）；Ohio State University（俄亥俄州立大学）；Tianjin University（天津大学）
雅可比正则化和海森正则化的目的是减少一阶和二阶偏导数相对于神经网络输入的大小，它们主要用于确保图像分类器的对抗鲁棒性。在这项工作中，我们推广了以前的努力，将目标矩阵从零扩展到任何矩阵，承认有效的矩阵向量产品。所提出的范例使我们能够构建新的正则化条款，强制执行对称性或对角的平方雅可比矩阵和海森矩阵。另一方面，雅可比和海森正则化的主要挑战是高计算复杂性。我们引入基于Lanczos的谱范数最小化来解决这个困难。该技术使用Lanczos算法的并行实现，并且能够有效且稳定地正则化大型Jacobian和Hessian矩阵。理论的理由和经验证据所提出的范式和技术。我们进行了探索性的实验，以验证我们的新的正则化条款的有效性。我们还进行了比较实验，以评估基于Lanczos的谱范数最小化对以前的方法。结果表明，所提出的方法是有利的广泛的任务。
2022-12-01 cs.LG math.OC
Adversarial and Natural Perturbations for General Robustness
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）；Bosch Center for AI（博世人工智能中心）
在本文中，我们的目的是探讨一般的鲁棒性的神经网络分类器利用对抗以及自然扰动。与以往主要研究神经网络对对抗性扰动的鲁棒性不同，本文还研究了鲁棒化前后神经网络对自然扰动的鲁棒性。在对对抗性扰动和自然扰动之间的比较进行标准化之后，我们证明了尽管对抗性训练提高了网络对对抗性扰动的性能，但它导致了自然扰动样本的性能下降，除了干净的样本。相比之下，自然扰动，如弹性变形，闭塞和波不仅提高了对自然扰动的性能，而且还导致对抗性扰动的性能的改善。此外，它们不会降低干净图像的准确性。
2020-10-03 cs.AI cs.CV cs.LG
Modeling Adversarial Noise for Adversarial Training
Xidian University（西安电子科技大学）；Hong Kong Baptist University（香港浸会大学）；The University of Sydney（悉尼大学）
深度神经网络已被证明易受对抗性噪声的影响，促进了防御对抗攻击的发展。受对抗性噪声包含良好的泛化特征以及对抗性数据和自然数据之间的关系可以帮助推断自然数据并做出可靠预测的事实的启发，本文我们研究通过学习对抗标签之间的转换关系来建模对抗噪声。（即用于生成对抗数据的翻转标签）和自然标签（即自然数据的地面真实标签）。具体来说，我们引入了一个依赖于实例的转移矩阵来关联对抗标签和自然标签，这些标签可以无缝地嵌入目标模型（使我们能够对更强的自适应对抗噪声进行建模）。实验结果表明，该方法可以有效地提高对抗准确率。
2022-07-17 cs.LG
QuantProb: Generalizing Probabilities along with Predictions for a Pre-trained Classifier
Birla Institute of Technology and Science（贝拉理工科学技术学院）；Wadhwani AI（瓦德瓦尼人工智能研究院）
本文提出QuantProb方法，通过分位数与概率的对偶性质从预训练分类器中解耦获取分位数概率，使校准误差在分布失真下保持稳定，解决了深度网络概率泛化不可靠的问题。
2024-05-05 cs.LG
Generalizing Machine Learning Evaluation through the Integration of Shannon Entropy and Rough Set Theory
University of Lyon 2（里昂第二大学）；National University of RadioElectronics（国立无线电电子大学）
本文提出将香农熵与粗糙集理论集成的新框架，用于推广机器学习评估，兼顾预测性能与数据复杂性、模型鲁棒性，提供多面视角以辅助模型选择。
2024-04-18 cs.LG
Distinguishing Non-natural from Natural Adversarial Samples for More Robust Pre-trained Language Model
Shanghai Jiao Tong University（上海交通大学）
近年来，预训练语言模型（PrLM）的鲁棒性问题受到了越来越多的关注。关于对抗攻击的最新研究对PrLM实现了高攻击成功率，声称PrLM不健壮。然而，我们发现PrLM失败的对抗样本大多是非自然的，并且在现实中不会出现。我们质疑目前基于这些非自然对抗样本的PrLM鲁棒性评估的有效性，并提出了一个异常检测器来评估具有更多自然对抗样本的PrLM的鲁棒性。我们还研究了异常检测器的两个应用：（1）在数据增强中，我们使用异常检测器来强制生成被区分为非自然的增强数据，这为PrLM的准确性带来了更大的增益。(2)我们将异常检测器应用到防御框架中，以增强PrLM的鲁棒性。它可用于防御所有类型的攻击，并在对抗样本和兼容样本上实现比其他防御框架更高的准确性。
2022-03-19 cs.CL cs.CR cs.LG
Generalizing to Unseen Domains with Wasserstein Distributional Robustness under Limited Source Knowledge
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学-伯克利深圳学院，清华大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；School of Industrial and Systems and Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）
针对源域标注样本有限时现有域泛化方法鲁棒性不足的问题，提出WDRDG框架，通过类特定Wasserstein不确定性集优化最坏情况性能，并利用最优传输开发测试时自适应模块，有效平衡了鲁棒性与判别性。
2024-03-23 cs.CV cs.LG
Tell Me What To Learn: Generalizing Neural Memory to be Controllable in Natural Language
Columbia University（哥伦比亚大学）
本文提出了一种基于自然语言指令的通用神经记忆系统，实现对学习内容的灵活控制，适用于医疗和客户服务等需要动态更新的场景。
2026-11-06 cs.LG
Per-Domain Generalizing Policies: On Learning Efficient and Robust Q-Value Functions (Extended Version with Technical Appendix)
本文提出通过学习Q值函数来实现领域特定泛化策略，相比传统状态值函数方法，Q值函数在多个领域中表现更优，且在规划器LAMA-first上具有竞争力。
2026-03-18 cs.AI cs.LG
Generalizing the theory of cooperative inference
Rutgers University—Newark（罗格斯大学纽瓦克分校）
协作信息共享是人类学习理论的重要组成部分，对机器学习也有潜在的意义。先前的工作得出的条件，实现最佳的合作推理强，相对限制性的假设。我们放松这些假设，证明收敛的任何离散联合分布，鲁棒性，通过等价类和扰动下的稳定性，和有效性，从原始联合分布的结构性质的界限。我们提供几何解释，连接和最佳运输的影响，连接到重要性采样，并概述了开放的问题和挑战，实现合作推理的承诺。
2019-02-13 cs.LG cs.MA stat.ML
Demystifying and Generalizing BinaryConnect
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
BinaryConnect（BC）及其许多变体已经成为神经网络量化的事实标准。然而，我们对BC的内部工作原理的了解仍然非常有限。我们试图在四个不同的方面缩小这一差距：（a）我们表明，现有的量化算法，包括后训练量化，是惊人的相似;（b）我们认为，作为一个自然的家庭，邻近地图的量化器，既容易设计和分析;（c）我们改进了BC是对偶平均的特殊情况的观察，对偶平均本身是广义条件梯度算法的特殊情况;（d）因此，我们提出ProxConnect（PC）作为BC的推广，并通过利用已建立的连接证明其收敛性。我们在CIFAR-10和ImageNet上进行了实验，并验证了PC具有竞争力的性能。
2021-10-25 cs.LG stat.ML
Learning from Rules Generalizing Labeled Exemplars
在许多应用中，标记的数据并不容易获得，并且需要通过痛苦的人类监督来收集。我们提出了一个规则范例的方法来收集人类的监督，结合规则的效率与实例标签的质量。监督是耦合的，使得它对人类来说是自然的，对学习来说是协同的。我们提出了一种训练算法，通过潜在的覆盖变量联合去噪规则，并通过覆盖和标签变量的软隐含损失来训练模型。去噪后的规则和训练后的模型联合用于推理。对五个不同任务的实证评估表明：（1）我们的算法比现有的几种从干净和有噪声的监督中学习的方法更准确，（2）耦合规则-样本监督在去噪规则方面是有效的。
2020-05-15 cs.CL cs.LG stat.ML
Generalizing Few Data to Unseen Domains Flexibly Based on Label Smoothing Integrated with Distributionally Robust Optimization
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对DNN在小规模数据上易过拟合且标签平滑忽视数据分布的问题，本文将DRO融入LS并提出GI-LS算法，利用BO优化超参数，在异常分类任务上验证了优越性能。
2024-08-09 cs.AI cs.LG
Generalizing Off-Policy Evaluation From a Causal Perspective For Sequential Decision-Making
Harvard University（哈佛大学）
基于来自不同政策的观测数据评估政策的效果是几个高风险决策领域的共同问题，并且已经提出了几种政策外评估（OPE）技术。然而，这些方法在很大程度上将OPE表述为与用于生成数据的过程无关的问题（即因果图形式的结构假设）。我们认为，明确强调这种关联对我们理解OPE的基本限制具有重要意义。第一，这意味着目前的业务促进方案的制定只涉及一套狭窄的任务，即一个具体的因果被估量，其重点是对人口或次人口的政策进行前瞻性评价。其次，我们展示了这种关联如何激励自然desiderata考虑一组一般的因果被估量，特别是扩大的作用，OPE反事实的政策外评估在人口的个人水平。因果被估量的精确描述强调了在所述生成假设下，哪些OPE被估量可从观测数据中识别。对于那些无法识别的OPE被估量，因果观点进一步强调了需要更多实验数据的地方，并强调了人类专业知识可以帮助识别和估计的情况。此外，OPE的许多形式主义完全忽略了不确定性在估计过程中的作用，我们展示了如何具体描述因果被估量突出了不确定性的不同来源，以及人类的专业知识何时可以自然地管理这种不确定性。我们讨论了这些方面的每一个可操作的必要条件，为未来的OPE研究规模和实际效用。
2022-01-20 cs.LG stat.ML
Learning and Generalizing Motion Primitives from Driving Data for Path-Tracking Applications
Beijing Institute of Technology（北京理工大学）；CNRS-UM LIRMM（法国国家科学研究中心-蒙彼利埃大学机器人与微电子实验室）；SAIC Motor Corporation Limited（上海汽车集团股份有限公司）
在路径跟踪系统中考虑从自然驾驶数据中学习到的驾驶习惯可以显着提高智能车辆的接受度。因此，本文的目标是生成预测结果的横向命令的置信区域根据参考的基础上学习的运动基元。我们提出了一个两级结构的学习和概括运动原语通过演示。在上层的路径分割和聚类层下生成下层的运动基元。采用高斯混合模型（GMM）表示运动基元，采用高斯混合回归（GMR）对运动基元进行泛化。我们展示了上层如何帮助提高预测精度，并评估不同时间尺度和高斯分量数量的影响。利用北京理工大学（BIT）智能汽车平台采集的驾驶数据对模型进行了训练和验证。实验结果表明，该方法能从驾驶数据中提取运动基元，并能高精度地预测未来的侧向控制指令。
2018-11-26 cs.LG stat.ML
Intriguing Properties of Randomly Weighted Networks: Generalizing While Learning Next to Nothing
Department of Electrical Engineering and Computer Science York University（约克大学电气工程与计算机科学系）
训练深度神经网络会产生强大的学习表示，表现出良好的泛化能力。在大多数情况下，训练涉及通过反向传播迭代修改网络内部的所有权重。在极限学习机器中，有人建议将网络的第一层设置为固定的随机值，而不是学习它。在本文中，我们建议将这种方法更进一步，固定深度卷积神经网络的几乎所有层，只允许学习一小部分权重。正如我们的实验所示，即使是固定网络的大多数参数，其性能也往往与学习所有参数的性能相当。讨论了深度神经网络这一有趣特性的含义，并提出了利用它来创建更强大的表示的方法。
2018-02-02 cs.AI cs.CV cs.LG
Sinkhorn Flow: A Continuous-Time Framework for Understanding and Generalizing the Sinkhorn Algorithm
ETH Zürich（苏黎世联邦理工学院）
本文提出Sinkhorn算法的连续时间框架Sinkhorn流，据此推导出对噪声和偏差鲁棒的新变体，并统一了机器学习与数学中近期发现的多种动力学。
2023-11-28 cs.LG math.PR stat.ML
Supervision Interpolation via LossMix: Generalizing Mixup for Object Detection and Beyond
Mineral（Mineral公司）
针对数据混合增强难以直接用于目标检测的问题，提出监督插值框架与LossMix正则化方法，通过插值损失误差规范混合数据训练，在多个数据集上优于现有最优方法，还能提升跨域目标检测性能。
2023-12-19 cs.AI cs.CV cs.LG
Generalizing Variational Autoencoders with Hierarchical Empirical Bayes
Brown University（布朗大学）
变分自动编码器（VAE）最近通过使用不需要对超参数进行重大微调的简单架构，成功地作为数据生成模型。然而，已知VAE遭受过度正则化，这可能导致无法逃脱局部最大值。这种现象被称为后崩溃，阻止学习数据的有意义的潜在编码。最近的方法已经缓解了这个问题，确定性矩匹配的聚合后验分布的聚合前。然而，放弃概率框架（从而依赖于点估计）可能会导致不连续的潜在空间并生成不切实际的样本。在这里，我们提出了分层经验贝叶斯自动编码器（HEBAE），概率生成模型的计算稳定框架。我们的主要贡献有两个方面。首先，我们通过在编码分布上放置分层先验来获得收益，使我们能够自适应地平衡最小化重建损失函数和避免过度正则化之间的权衡。其次，我们表明，假设一个一般的依赖结构变量之间的潜在空间产生更好的收敛到平均场假设，以改善后验推理。总的来说，HEBAE比类似的VAE对广泛的超参数初始化更鲁棒。使用来自MNIST和CelebA的数据，我们说明了HEBAE基于FID分数生成比现有基于自动编码器的方法更高质量的样本的能力。
2020-07-20 cs.LG stat.ML
Generalizing Point Embeddings using the Wasserstein Space of Elliptical Distributions
CREST, ENSAE（法国国家信息与自动化研究所（INRIA）巴黎中央理工学院（ENSAE）的CREST（法国国家统计与经济研究中心））；Google Brain（谷歌大脑）
在低维空间中嵌入复杂对象作为向量是机器学习中的一个长期问题。在这项工作中，我们提出了一种扩展的方法，它包括在嵌入对象的椭圆概率分布，即分布的密度有椭圆水平集。我们赋予这些措施与2-Wasserstein度量，有两个重要的好处：（i）对于这样的措施，平方2-Wasserstein度量有一个封闭的形式，等于加权和的平方欧几里德距离之间的平均值和协方差阵之间的平方Bures度量。后者是半正定矩阵之间的黎曼度量，它在这种矩阵的适当因子表示上是欧几里得的，这在这些矩阵之间的整个测地线上是有效的。(ii)2-瓦瑟斯坦距离在比较Dirac时可以归结为通常的欧几里得度量，因此提供了一个自然的框架来扩展点嵌入。我们表明，由于这些原因，Wasserstein椭圆嵌入是更直观的和产量的工具，更好地表现数值比高斯嵌入的替代选择与库尔贝克-莱布勒散度。特别是，与以前基于KL几何的工作不同，我们学习了不一定是对角的椭圆分布。我们展示了椭圆嵌入的优势，使用它们的可视化，计算嵌入的话，并反映蕴涵或上位。
2019-02-17 cs.LG stat.ML
MADOD: Generalizing OOD Detection to Unseen Domains via G-Invariance Meta-Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Baylor University（贝勒大学）
MADOD提出一种基于元学习和G-不变性的框架，通过构造伪OOD任务和能量正则化，同时应对协变量与语义偏移，在未见领域实现高效OOD检测，AUPR提升8.48%-20.81%。
2024-11-02 cs.LG stat.ML
Generalizing Numerical Reasoning in Table Data through Operation Sketches and Self-Supervised Learning
Seoul National University（首尔国立大学）；Soongsil University（顺天大学）
本文提出TaNOS框架，通过操作草图和自监督学习提升表格数据中数值推理的泛化能力，实验显示其在FinQA数据集上表现优异，且在领域转移中鲁棒性更强。
2026-07-01 cs.AI cs.CL cs.LG
GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）
提出GHOST框架，通过将控制分解为高层子目标预测和低层目标条件控制器，实现视觉运动操作策略的泛化，并利用人类演示适应新物体和任务变化。
2026-06-08 cs.CV cs.LG cs.RO
Consistent $k$-Median: Simpler, Better and Robust
University at Buffalo（纽约州立大学布法罗分校）；Microsoft Research（微软研究院）
在本文中，我们介绍和研究在线一致的$k$ -聚类离群值问题，推广的非离群值版本的问题研究[Lattanzi-Vassilvitskii，ICML 17]。我们发现，一个简单的本地搜索为基础的在线算法可以给一个双准则常数近似的问题与$O(k^2 \log^2 (nD))$交换中位数（追索权）的总，其中$D$是直径的度量。当被限制到没有离群值的问题时，我们的算法是简单的，确定性的，并提供更好的近似比和追索权，与[Lattanzi-Vassilvitskii，ICML 17]相比。
2020-08-13 cs.DS cs.LG
Generalizing Medical Image Representations via Quaternion Wavelet Networks
Department of Information Engineering, Electronics and Telecommunications (DIET), Sapienza University of Rome（信息工程、电子与电信系（DIET），罗马萨皮恩扎大学）
针对医学图像数据差异大导致的模型泛化难题，提出四元数小波网络QUAVE，通过四元数小波变换提取并加权多子带特征，适配多种任务与模型，提升性能且对域偏移鲁棒。
2025-05-21 cs.CV cs.LG eess.IV
Benchmarking Robustness of Deep Reinforcement Learning approaches to Online Portfolio Management
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；LUSIS（LUSIS公司）
本文提出了一套训练与评估流程，系统评测经典深度强化学习算法在在线投资组合管理中的鲁棒性，发现多数算法泛化能力差且在回测中快速退化。
2023-06-19 cs.LG q-fin.PM
Inverse Reinforcement Learning with Natural Language Goals
Amazon Alexa（亚马逊Alexa）
人类通常使用自然语言来相互传达任务要求。理想情况下，自然语言也应该可用于向自主机器传达目标（例如，机器人），以最大限度地减少任务规范中的摩擦。然而，理解和映射自然语言目标的状态和动作序列是具有挑战性的。具体地说，现有的工作沿着这些路线遇到了困难，在推广学习的政策，以新的自然语言的目标和环境。在本文中，我们提出了一种新的对抗逆强化学习算法来学习语言条件的政策和奖励函数。为了提高学习策略和奖励函数的泛化能力，我们使用变分目标生成器在训练过程中重新标记轨迹并对不同的目标进行采样。我们的算法在基于视觉的自然语言指令遵循数据集（Room-2-Room）上的性能大大优于多个基线，这表明在指定代理目标时使用自然语言指令是一个很有前途的进步。
2020-12-16 cs.AI cs.LG
