Conditional Distributional Treatment Effect with Kernel Conditional Mean Embeddings and U-Statistic Regression
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technion, Israel Institute of Technology（以色列理工学院）
我们建议分析的条件分布处理效应（CoDiTE），这与更常见的条件平均处理效应（CATE），是设计来编码治疗的分布方面超出了平均值。我们首先介绍一个正式的定义与概率测度之间的距离函数的CoDiTE。然后，我们通过内核条件均值嵌入，再加上假设检验，告诉我们是否有任何条件的分布效应的治疗，讨论了与最大均值差异相关的CoDiTE。最后，我们调查了什么样的条件分布效应的治疗，无论是在探索性的方式通过条件见证函数，并通过U-统计回归的定量方式，概括的CATE高阶矩。在合成、半合成和真实数据集上的实验证明了该方法的优点。
2021-06-10 cs.LG stat.ML
Distributional Random Forests: Heterogeneity Adjustment and Multivariate Distributional Regression
ETH Zürich（苏黎世联邦理工学院）
随机森林（Breiman，2001）是一个成功的和广泛使用的回归和分类算法。它的吸引力和多功能性的部分原因是它在训练数据上（隐式）构建了一个核型加权函数，它也可以用于原始均值估计之外的目标。我们提出了一种新的森林结构的多变量响应的联合条件分布的基础上，独立的估计目标和数据模型。它使用了一种新的分裂准则的基础上MMD分布度量，这是适合于检测多元分布的异质性。诱导的权重定义了完整条件分布的估计，这反过来又可以用于任意和潜在的复杂目标的兴趣。该方法是非常通用和方便使用，因为我们说明了广泛的例子。代码可以作为Python和R包drf提供。
2022-10-12 cs.LG stat.ME stat.ML
Distributionally Robust Learning
Boston University（波士顿大学）
本专著开发了一个全面的统计学习框架，该框架在Wasserstein度量下使用分布鲁棒优化（DRO）对数据中的（分布）扰动具有鲁棒性。从Wasserstein度量和DRO公式的基本性质开始，我们探索对偶性，以达到易于处理的公式，并开发有限样本，以及渐近性能保证。我们考虑了一系列的学习问题，包括（i）分布鲁棒线性回归，（ii）预测变量具有群结构的分布鲁棒回归，（iii）分布鲁棒多输出回归和多类分类，（iv）结合分布鲁棒回归和最近邻估计的最优决策，（iv）分布鲁棒回归和最优决策的最优估计，（v）分布鲁棒回归和最优决策的最优估计，（v）分布鲁棒回归和最优决策的最优估计，（v）分布鲁棒回归和最优决策的最优估计。（v）分布式鲁棒半监督学习，以及（vi）分布式鲁棒强化学习。一个易于处理的DRO松弛每个问题的推导，建立鲁棒性和正则化之间的连接，并获得解决方案的预测和估计误差的界限。除了理论，我们还包括使用合成和真实数据的数值实验和案例研究。真实的数据实验都与各种健康信息学问题有关，这是一个为这项工作提供最初动力的应用领域。
2021-08-20 cs.LG stat.ML
Distributionally Robust Multi-Output Regression Ranking
Boston University（波士顿大学）
尽管它们在经验上取得了成功，但大多数现有的列表学习排名（LTR）模型并没有建立在标签或注释错误，分布数据偏移或对抗性数据扰动的基础上。为了填补这一空白，我们引入了一个新的列表LTR模型，称为分布鲁棒多输出回归排名（DRMRR）。与现有方法不同的是，DRMRR的评分函数被设计为从特征向量到偏差分数向量的多变量映射，其捕获局部上下文信息和跨文档交互。DRMRR使用分布鲁棒优化（DRO）框架来最小化在由Wasserstein球定义的经验数据分布附近的最不利分布下的多输出损失函数。我们证明了这等价于一个正则化回归问题的矩阵范数正则化。我们的实验进行了两个现实世界的应用，医疗文件检索和药物反应预测，显示DRMRR显着优于国家的最先进的LTR模型。我们还进行了全面的分析，以评估DRMRR对各种类型的噪声的弹性：高斯噪声，对抗性扰动和标签中毒。我们表明，DRMRR不仅能够实现比其他基线更好的性能，但它可以保持一个相对稳定的性能，因为更多的噪声被添加到数据。
2021-09-27 cs.LG
Generalization Bounds on Optimal Control for Transformer Training and Wasserstein Distributional Robustness
Bilkent University（比尔肯特大学）
该研究推导了Transformer训练的有限样本泛化界，通过将训练问题转化为马尔可夫控制问题，结合量化模型与Wasserstein分布鲁棒优化，建立了Transformer泛化与分布鲁棒控制的关联。
2026-07-31 cs.LG math.OC
Self-Attention as Distributional Projection: A Unified Interpretation of Transformer Architecture
Independent Researcher（独立研究者）
本文从分布语义学视角，将自注意力解释为语料共现统计到序列上下文的投影，统一推导Transformer的QKV机制、位置编码、多头注意力等组件的代数形式来源。
2025-11-16 cs.LG
How Inverse Conditional Flows Can Serve as a Substitute for Distributional Regression
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；HTWG Konstanz（康斯坦茨应用科学大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
针对分布回归模型神经表示研究不足的问题，提出基于逆流变换的分布回归框架DRIFT，其模型性能与经典统计方法相当，为统计建模和深度学习开辟新路径。
2024-07-10 cs.AI cs.LG stat.CO
Quantile Regression for Distributional Reward Models in RLHF
University of Freiburg（弗莱堡大学）
针对传统RLHF奖励模型点估计无法体现人类偏好多样性的问题，提出基于分位数回归的分位数奖励模型QRM，学习多峰偏好分布，在RewardBench上表现更优，还可用于风险感知RL减少LLM极端负面回复。
2024-09-16 cs.AI cs.CL cs.LG
Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric
Boston University（波士顿大学）
当协变量和响应/标签都可能被离群值污染时，我们为多元线性回归（MLR）和多类逻辑斯谛回归（MLG）开发了分布鲁棒优化（DRO）公式。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。实验结果表明，我们的方法将MLR的预测误差提高了7% - 37%，将MLG的鲁棒性指标提高了100%。
2020-06-10 cs.LG stat.ML
Multi-Step Regression Learning for Compositional Distributional Semantics
University of Oxford（牛津大学）；University of Trento（特伦托大学）；University of Tokyo（东京大学）
我们提出了一个与Coecke等人（2010）的框架相关的组合分布语义模型，并通过将函数表示为张量和参数表示为向量来模拟形式语义。我们引入了一种新的张量学习方法，推广了Baroni和Zamparelli（2010）的方法。我们在两个基准数据集上对其进行了评估，发现它优于现有的领先方法。在我们的分析中，我们认为这种学习方法的性质也使其适合于解决组合分布模型可能面临的更微妙的问题。
2013-01-30 cs.CL cs.LG
Improving Regression Performance with Distributional Losses
University of Alberta（阿尔伯塔大学）
越来越多的证据表明，在监督学习中将目标转换为软目标可以提供相当大的性能增益。这项工作的大部分都考虑了分类，将硬0 - 1值转换为软标签-例如通过添加标签噪声，合并标签模糊性或使用蒸馏。与此同时，强化学习中的回归设置也有一些证据表明，学习分布可以提高性能。在这项工作中，我们调查的原因，这种改善，在回归设置。我们引入了一种新的分布回归损失，同样发现它显着提高了预测精度。我们研究了几个常见的假设，围绕减少过拟合和改进表示。相反，我们找到了一个备择假设的证据：这种损失更容易优化，具有更好的行为梯度，从而提高泛化能力。我们提供了理论支持，这个备择假设，通过表征这种损失的梯度的范数。
2018-06-12 cs.LG stat.ML
Variable Clustering via Distributionally Robust Nodewise Regression
Department of Industrial Engineering and Operations Research & The Data Science Institute, Columbia University（工业工程与运筹学系及数据科学研究院，哥伦比亚大学）
本文提出一种分布鲁棒节点回归方法，通过凸松弛、数据驱动鲁棒区域选择和ADMM算法，实现多因子块模型下的变量聚类，并在数值实验中展示其优越性能。
2026-06-01 cs.LG math.OC q-fin.CP
Distributional Regression for Arbitrary Response Variables Using ReLU Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；Washington University in St Louis（华盛顿大学圣路易斯分校）
本文提出基于ReLU神经网络的任意响应变量分布回归统一框架，构建两类互补估计量并推导误差界与收敛速率，经模拟及真实数据实验验证其有效性。
2026-10-14 cs.LG math.ST stat.ME
Engression: Extrapolation through the Lens of Distributional Regression
ETH Zürich（苏黎世联邦理工学院）
本文提出基于神经网络的分布回归方法engression，通过建模条件分布约束训练域外拟合，从而在预加性噪声模型和单调性假设下实现非线性回归外推，并在模拟与真实数据上验证其优于传统回归方法。
2024-07-05 cs.LG stat.ME stat.ML
Calibrated Multivariate Distributional Regression with Pre-Rank Regularization
Department of Statistics and Data Science, Mohamed Bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE（统计与数据科学系，Mohamed Bin Zayed人工智能大学，阿布扎比，阿联酋）
本文提出了一种基于正则化的校准方法，利用预排名函数在训练过程中提升多变量分布回归模型的校准性能，并引入PCA预排名揭示依赖结构不规范问题。
2026-01-30 cs.LG
Combinations of distributional regression algorithms with application in uncertainty estimation of corrected satellite precipitation products
National Technical University of Athens（雅典国立技术大学）
本文面向卫星降水产品校正的空间预测，提出结合GAMLSS、分布回归森林及堆叠、等权平均的分布回归集成方法，并通过大型多源降水数据验证其在分位数性能与稳定性上的优势。
2025-01-06 cs.LG stat.AP stat.ME
Distributional Regression with Tabular Foundation Models: Evaluating Probabilistic Predictions via Proper Scoring Rules
University of Stuttgart（斯图加特大学）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对表格基础模型（如TabPFN、TabICL）生成完整预测分布但基准仅用点估计指标的问题，提出使用适当评分规则进行训练、微调和排名，证明不同评分规则在有限数据上导致不同归纳偏差和模型性能。
2026-06-23 cs.AI cs.LG
Distributionally robust linear regression through the lens of adversarial training
Uppsala University（乌普萨拉大学）；Science for Life Laboratory（生命科学实验室）
本文研究Wasserstein DRO线性回归，统一平方根Lasso与对抗线性回归，证明其误差界、枢轴性质及解等价性，并验证高效求解。
2026-10-01 cs.LG math.OC stat.ML
Adjusted Wasserstein Distributionally Robust Estimator in Statistical Learning
Georgia Institute of Technology（佐治亚理工学院）；School of Industrial and Systems Engineering（工业与系统工程学院）
本文通过对经典WDRO估计量作非线性变换，提出渐近无偏且均方误差更小的调整型Wasserstein分布鲁棒估计量，并在广义线性模型与数值实验中验证其优势。
2024-05-10 cs.LG stat.ML
Distributional Regression U-Nets for the Postprocessing of Precipitation Ensemble Forecasts
Université de Franche Comté（弗朗什-孔泰大学）；CNRS（法国国家科学研究中心）；Laboratoire des Sciences du Climat et de l’Environnement（气候与环境科学实验室）；CEA（法国原子能和替代能源委员会）；UVSQ（凡尔赛大学）；IPSL（巴黎地球物理研究所）；CNRM（法国国家气象研究中心）；Université de Toulouse（图卢兹大学）；Météo-France（法国气象局）
提出基于 U-Net 的分布回归全局后处理方法，通过评分规则最小化预测降水参数化边际分布，并在 AROME-EPS 法国南部数据上验证其竞争力与强降水预测优势。
2024-07-02 cs.LG stat.AP stat.ML
In-context learning of closed form solution to simple linear regression task using transformer with linear self-attention
Faculty of Education, Mie University（三重大学教育学部）
研究利用具有线性自注意力的变压器在简单线性回归任务中进行上下文学习闭式解，通过层归一化近似获得解，以区别于基于梯度下降算法的近似解，并给出了在经 l1 正则化训练的变压器中的实验示例。
2026-07-20 cs.AI cs.LG
A Cramér Distance perspective on Quantile Regression based Distributional Reinforcement Learning
Amadeus SAS（艾玛迪斯SAS）
分布式强化学习（DRL）扩展了基于值的方法，通过近似未来收益的完整分布而不是仅平均值，提供更丰富的信号，从而提高性能。基于分位数回归（QR）的方法（如QR-DQN）通过最小化1-瓦瑟斯坦距离将任意分布投影到阶梯分布的参数子集中。然而，由于梯度中的偏差，分位数回归损失被用于训练，从而保证相同的最小值并享受无偏梯度。对分位数的非交叉约束已经被证明可以提高QR-DQN对于基于不确定性的探索策略的性能。这项工作的贡献是在固定的分位数水平的设置，是双重的。首先，我们证明了Cramér距离产生一个投影，与1-Wasserstein的一致，并且在非交叉约束下，平方Cramér和分位数回归损失产生共线梯度，揭示了DRL这些重要元素之间的连接。其次，我们提出了一个低复杂度的算法来计算Cramér距离。
2022-02-22 cs.LG stat.ML
Injecting Distributional Awareness into MLLMs via Reinforcement Learning for Deep Imbalanced Regression
The Hong Kong University of Science（香港科学与技术大学）
本文提出基于组相对策略优化的分布感知强化学习框架，通过一致性相关系数奖励实现跨样本关系监督，提升长尾回归任务的分布对齐能力，在中等和少样本场景下表现优异。
2026-05-11 cs.CL cs.CV cs.LG
A non-asymptotic distributional theory of approximate message passing for sparse and robust regression
The Chinese University of Hong Kong（香港中文大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对稀疏与稳健回归，首次建立了可容纳多项式迭代次数的AMP有限样本非渐近分布理论，改进了高斯近似精度并增强了Lasso与稳健M-估计器的分布刻画。
2024-01-08 cs.IT cs.LG eess.SP
Distributional Off-Policy Evaluation with Deep Quantile Process Regression
School of Statistics and Data Science, and Philosophy and Social Sciences Laboratory of Data Science in Finance and Economics at the Ministry of Education, Jiangxi University of Finance and Economics（统计学与数据科学学院，暨教育部金融与经济数据科学与社会科学实验室，江西财经大学）；School of Statistics and Data Science, Shanghai University of Finance and Economics（统计学与数据科学学院，上海财经大学）；School of Artificial Intelligence, and Hubei Key Laboratory of Computational Science, Wuhan University（人工智能学院，湖北省计算科学重点实验室，武汉大学）
本文提出DQPOPE算法，通过深度分位数过程回归估计完整回报分布，改进了传统OPE方法，理论分析显示其在样本复杂度上具有统计优势，实验表明其在政策价值估计上更精确可靠。
2026-04-24 cs.LG stat.ME stat.ML
The Hyperdimensional Transform for Distributional Modelling, Regression and Classification
Ghent University（根特大学）
本文介绍超维变换的理论基础及其在机器学习中的应用，展示其用于分布建模、回归和分类的潜力，并提供改进算法和构建工具箱的见解。
2023-11-14 cs.AI cs.AR cs.LG
Distributionally Robust Active Learning for Gaussian Process Regression
Nagoya University（名古屋大学）；RIKEN AIP（日本理化学研究所AIP）；Nagoya Institute of Technology（名古屋工业大学）；DENSO CORPORATION（电装株式会社）
本文针对高斯过程回归提出两种分布鲁棒主动学习方法，通过最小化目标分布候选集上的最坏情况期望误差，在理论上保证有限标签下误差可任意小，并在合成与真实数据上验证了有效性。
2025-07-07 cs.LG stat.ML
Belted Engression: Sufficient Dimension Reduction for Generative Distributional Regression
The Pennsylvania State University（宾夕法尼亚州立大学）
针对条件生成模型学习复杂协变量依赖的挑战，提出Belted Engression框架，通过嵌入结构瓶颈实现端到端压缩-生成，理论上证明SDR等价性并给出更优收敛速率，实验表明以更少参数取得更优分布预测与降维恢复。
2026-09-22 cs.AI cs.LG math.ST
Semi-Structured Distributional Regression -- Extending Structured Additive Models by Arbitrary Deep Neural Networks and Data Modalities
RWTH Aachen（亚琛工业大学）；LMU Munich（慕尼黑大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
将加性模型和神经网络相结合，可以扩大统计回归的范围，同时通过可解释的结构化加性预测器扩展基于深度学习的方法。然而，现有的尝试将两种建模方法结合起来，仅限于非常特定的组合，更重要的是，涉及可识别性问题。因此，可解释性和稳定的估计通常会丢失。我们提出了一个通用框架，将结构化回归模型和深度神经网络结合到一个统一的网络架构中。为了克服不同模型部分之间固有的可识别性问题，我们构建了一个正交化单元，将深度神经网络投影到统计模型预测器的正交补中。这使得能够正确估计结构化模型部分，从而实现可解释性。我们证明了该框架的数值实验的有效性，并说明其特殊的优点，在基准和现实世界中的应用。
2022-07-09 cs.LG stat.ME stat.ML
Data Distributional Properties Drive Emergent In-Context Learning in Transformers
DeepMind（深度思维）；University College London（伦敦大学学院）；Stanford University（斯坦福大学）
大型的基于transformer的模型能够执行上下文内的少样本学习，而无需进行明确的训练。这一观察提出了一个问题：训练机制的哪些方面导致了这种涌现行为？在这里，我们表明，这种行为是由训练数据本身的分布。当训练数据表现出特定的分布特性时，上下文学习就出现了，例如突发性（项目出现在集群中，而不是随时间均匀分布）和具有大量很少出现的类。上下文学习也出现更强烈的项目的含义或解释是动态的，而不是固定。这些属性由自然语言举例说明，但也是在广泛的其他领域的自然数据所固有的。它们也明显偏离了制服，i.i.d.通常用于标准监督学习的训练分布。在我们最初的实验中，我们发现，上下文学习与更传统的基于权重的学习相权衡，模型无法同时实现两者。然而，我们后来的实验发现，这两种学习模式可以共存于一个模型中，当它在遵循倾斜齐普菲分布的数据上进行训练时，这是自然主义数据的另一个共同属性，包括语言。在进一步的实验中，我们发现自然主义的数据分布只能在Transformers中引发上下文学习，而不是在循环模型中。总而言之，我们的研究结果表明，Transformer架构如何与训练数据的特定属性一起工作，以驱动大语言模型的有趣的新兴上下文学习行为，以及未来的工作如何鼓励上下文学习和加权学习语言以外的领域。
2022-11-17 cs.AI cs.CL cs.LG
Generalized Neural Distributional Regression
Federal University of São Carlos, University of São Paulo（巴西圣保罗联邦大学、圣保罗大学）；Institute of Mathematics and Computer Sciences, University of São Paulo（圣保罗大学数学与计算机科学学院）
介绍广义神经分布回归框架，提出两步半参数估计程序，通过特定方式提取信息矩阵以进行不确定性量化，在多种数据模式下展现通用性和分布校准优势，且在开源包中实现。
2026-07-17 cs.LG math.ST stat.AP
Transformer-based Planning for Symbolic Regression
Virginia Tech（弗吉尼亚理工大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出TPSR，将蒙特卡洛树搜索引入Transformer解码过程，以融合拟合精度和复杂度等不可微分反馈，从而在符号回归任务中超越现有方法，提升拟合-复杂度权衡、外推能力和抗噪性。
2023-10-27 cs.AI cs.LG
deepregression: a Flexible Neural Network Framework for Semi-Structured Deep Distributional Regression
LMU Munich（慕尼黑大学）；Helmholtz AI（亥姆霍兹人工智能研究所）；ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Helmholtz Zentrum Munich（慕尼黑亥姆霍兹中心）；Flatiron Institute（弗莱提荣研究所）
在本文中，我们描述了半结构化深度分布回归的实现，这是一个基于加性回归模型和深度网络组合的学习条件分布的灵活框架。我们的实现包括（1）基于深度学习库\pkg{TensorFlow}的模块化神经网络构建系统，用于融合各种统计和深度学习方法，（2）允许不同子网络的可解释组合的正交化单元，以及（3）建立此类模型所需的预处理步骤。该软件包允许通过公式界面以用户友好的方式定义模型，该公式界面受到\pkg{mgcv}等经典统计模型框架的启发。该软件包的模块化设计和功能为复杂统计模型的可扩展估计以及深度学习和统计方法的组合提供了独特的资源。这允许最先进的预测性能，同时保留经典统计模型不可或缺的可解释性。
2022-03-10 cs.LG stat.CO stat.ML
Sufficiently Reduced Distributional Regression
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
提出充分降维分布回归（SRDR），结合条件分布估计与非线性充分降维，通过最小化能量分数联合训练降维映射和生成模型，证明估计分布收敛，并在多个任务上达到或超越现有方法。
2026-09-25 cs.LG stat.ME stat.ML
DRIVE: Distributional and Retrieval-Augmented Bidding with Value Evaluation
Machine Learning, ICML（机器学习，ICML）
提出DRIVE框架，通过解耦候选动作生成与决策，结合分布建模、检索增强和价值评估，提升离线自动竞价性能。
2026-06-15 cs.LG
A First-Order Algorithmic Framework for Wasserstein Distributionally Robust Logistic Regression
The Chinese University of Hong Kong（香港中文大学）
基于Wasserstein距离的分布鲁棒优化（DRO）最近受到了广泛关注，因为它能够提供各种学习模型的鲁棒性解释。此外，在学习环境中出现的许多DRO问题承认精确的凸重构，因此可以通过现成的求解器来解决。然而，使用这样的求解器严重限制了DRO在大规模学习问题中的适用性，因为它们通常依赖于通用的邻域点算法。另一方面，有很少的作品，试图开发快速的迭代法来解决这些DRO问题，通常具有复杂的结构。在本文中，我们采取了第一步解决上述困难，通过开发一个一阶算法框架来解决一类基于Wasserstein距离的分布鲁棒逻辑斯谛回归（DRLR）问题。具体来说，我们提出了一种新的线性化近端ADMM解决DRLR问题，其目标是凸的，但由一个光滑项加上两个不可分离的非光滑项。我们证明了该方法具有次线性收敛速度。此外，我们进行了三个不同的实验，以显示其在合成和真实世界的数据集上的卓越性能。特别是，我们的方法可以实现相同的精度，比标准的现成求解器快800倍以上。
2019-10-28 cs.LG math.OC stat.ML
Distributional Drift Detection in Medical Imaging with Sketching and Fine-Tuned Transformer
Department of Neurology, University of Miami, FL USA（迈阿密大学神经病学系）；Department of Computer Science & IDSC, University of Miami, FL USA（迈阿密大学计算机科学与IDSC系）；Georgetown University Medical Center, Washington D.C. USA（乔治城大学医学中心）
本文提出结合数据草图与微调Vision Transformer的方法检测CT医学影像分布漂移，在乳腺X线案例中准确率达99.11%，并对微小噪声高度敏感。
2025-05-09 cs.AI cs.CV cs.LG
Distributional encoding for Gaussian process regression with qualitative inputs
ENSAI, CREST - UMR 9194（ENSAI、CREST - UMR 9194）
本文提出分布编码方法，利用类别目标变量的完整分布信息替代传统标签编码，并结合最大均值差异与Wasserstein距离构建适用于类别输入的高斯过程回归，在多种数据集上取得最先进预测性能。
2025-06-05 cs.LG stat.ML
Distributionally Robust Linear Regression With Block Lewis Weights
TTIC（丰田工业大学芝加哥分校）；Institute for Foundations of Data Science, Yale University（耶鲁大学数据科学基础研究所）
提出一种基于块Lewis权重的算法，通过求解少量线性系统获得群体分布鲁棒最小二乘问题的近似最优解，在中等精度下优于内点方法。
2026-07-02 cs.DS cs.LG math.OC
Distributional Refinement Network: Distributional Forecasting via Deep Learning
University of Melbourne（墨尔本大学）；UNSW Business School（新南威尔士大学商学院）
提出分布细化网络（DRN），结合可解释基线模型与改进的深度分布回归（DDR），灵活细化基线分布并捕获特征在所有分位数上的影响，在保持可解释性的同时提升了分布预测性能。
2024-06-03 cs.LG q-fin.RM stat.ME
Distributionally-Robust Machine Learning Using Locally Differentially-Private Data
University of Melbourne（墨尔本大学）
我们考虑使用局部差异私有数据集的机器学习，特别是回归。Wasserstein距离用于定义以被局部差分隐私噪声破坏的数据集的经验分布为中心的模糊集。示出的模糊集包含未扰动的，干净的数据的概率分布。模糊集的半径是隐私预算、数据分布和问题大小的函数。因此，具有局部差异私有数据集的机器学习可以重写为分布式鲁棒优化。对于一般分布，分布鲁棒优化问题可以放松为正则化的机器学习问题，其中机器学习模型的Lipschitz常数作为正则化器。对于线性和逻辑回归，这个正则化子是模型参数的对偶范数。对于高斯数据，分布鲁棒优化问题可以被精确求解以找到最优正则化子。这种方法产生了一种全新的正则化器来训练线性回归模型。使用这种新的正则化器进行训练可以被视为半定规划。最后，在实际数据集上证明了所提出的分布式鲁棒机器学习训练的性能。
2020-06-24 cs.CR cs.LG math.OC
Online Distributional Regression
Statkraft Trading GmbH（Statkraft交易有限公司）；Data Science in Energy and Environment, University of Duisburg-Essen（能源与环境数据科学，杜伊斯堡- Essen大学）
本文提出一种在线估计正则化线性分布模型的方法，结合LASSO在线估计最新发展与GAMLSS框架，用于电力价格预测，展示高效计算与竞争力。
2026-04-24 cs.LG econ.EM stat.AP
Wasserstein Distributionally Robust Nonparametric Regression
Institute for Math and AI（数学与人工智能研究所）；Wuhan University（武汉大学）；School of Artificial Intelligence（人工智能学院）；Department of Statistics and Data Science（统计与数据科学系）；The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
针对WDRO在非参数框架理论性质未充分探索的问题，本文研究非参数回归的WDRO，通过分析结构区分、误差界等，提出极小极大最优的估计器，确保对模糊集内分布的鲁棒性，且框架适用于回归和分类问题。
2025-11-11 cs.LG stat.ML
Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls
Imperial Business School, Imperial College London（帝国理工学院伦敦校区商业学校）；JP Morgan AI Research（摩根大通人工智能研究）
针对对抗鲁棒 Logistic 回归易过拟合的问题，提出利用辅助数据集相交 Wasserstein 模糊集的分布鲁棒优化方法，并给出凸重构与高效算法，实验表现优于基准。
2025-06-11 cs.LG math.OC
Transformers Learn to Achieve Second-Order Convergence Rates for In-Context Linear Regression
University of Southern California（南加州大学）
本文证明Transformers在上下文线性回归中学会近似二阶优化方法，其收敛速率与迭代牛顿法相似且远快于梯度下降，并在病态数据上表现优异。
2024-11-16 cs.AI cs.CL cs.LG
Shifts: A Dataset of Real Distributional Shift Across Multiple Large-Scale Tasks
Yandex（俄罗斯搜索引擎公司）
在开发用于提高对分布偏移和不确定性估计的鲁棒性的方法方面已经进行了重要的研究。相比之下，只有有限的工作审查了开发标准数据集和基准，以评估这些方法。此外，大多数关于不确定性估计和鲁棒性的工作已经开发了基于小规模回归或图像分类任务的新技术。然而，许多实际感兴趣的任务具有不同的模式，例如表格数据、音频、文本或传感器数据，这带来了涉及回归和离散或连续结构化预测的重大挑战。因此，鉴于该领域的现状，有必要建立一个标准化的大规模任务数据集，涵盖受分布变化影响的各种模式。这将使研究人员能够有意义地评估最近开发的大量不确定性量化方法，以及评估标准和最先进的基线。在这项工作中，我们提出了移位数据集的不确定性估计和鲁棒性分布移位的评估。该数据集从工业来源和服务中收集，由三个任务组成，每个任务对应于特定的数据模式：表格天气预测，机器翻译和自动驾驶汽车（SDC）车辆运动预测。所有这些数据模式和任务都受到真实的“野外”分布变化的影响，并对不确定性估计提出了有趣的挑战。在这项工作中，我们为所有任务提供了数据集和基线结果的描述。
2022-02-11 cs.AI cs.LG stat.ML
Deriving Transformer Architectures as Implicit Multinomial Regression
Sandia National Laboratories（桑迪亚国家实验室）
本文从数学上建立了注意力机制与多项式回归的联系，证明Transformer中表示演化等价于优化分类最优特征的轨迹。
2025-10-27 cs.AI cs.LG cs.NA
Fluid-DiT: Graph-Free Diffusion Transformers for Fluid Flow Simulations Learning
CMU（卡内基梅隆大学）；DP Tech（德璞科技）
Fluid-DiT是一种无图扩散Transformer，以注意力去噪替代图消息传递，通过隐空间公式解耦几何保真度与分布学习，在流体流动模拟的基准测试中优于图扩散基线，且泛化性与可扩展性强。
2026-08-10 cs.AI cs.CE cs.LG
Beyond Least Squares: Robust Regression Transformer (R2T)
Vistendo Inc.（Vistendo公司）
针对最小二乘在非对称噪声下失效的问题，提出混合神经符号架构 R2T，用 Transformer 编码与压缩网络预测符号参数，在合成可穿戴数据上回归 MSE 降至 6e-6 至 3.5e-5，较传统方法提升 10-300 倍。
2025-08-04 cs.AI cs.LG stat.ML
Online Distributionally Robust LLM Alignment via Regression to Relative Reward
Department of Statistics and Data Science（统计与数据科学系）；Cornell University（康奈尔大学）
本文提出DRO-REBEL方法，通过类型-p Wasserstein、KL和χ²模糊集实现分布鲁棒优化，证明了在偏好转移下的参数误差界，并在多个基准测试中优于现有基线。
2026-04-16 cs.LG stat.ML
Transformers can optimally learn regression mixture models
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本研究证明Transformer能学习回归混合模型的最优预测器，通过构造生成过程并实验验证其低误差、样本高效及鲁棒性，且理论上证明最优过程可由Transformer实现。
2023-11-14 cs.LG stat.ML
Dynamics of Transient Structure in In-Context Linear Regression Transformers
Gradient Institute（格雷迪安特研究所）；University of Oxford（牛津大学）；University of Melbourne（墨尔本大学）
本文研究了 Transformer 在上下文线性回归任务中的瞬态岭现象，发现模型会从岭回归的通用解转变为特化解，并基于贝叶斯内部模型选择理论，通过损失与复杂性的动态权衡解释了该瞬态结构。
2025-01-31 cs.LG
Optimal Nonparametric Inference with Two-Scale Distributional Nearest Neighbors
University of Tennessee Knoxville（田纳西大学诺克斯维尔分校）；University of Southern California（南加州大学）
加权最近邻（WNN）估计作为一种灵活且易于实现的非参数均值回归估计工具已被广泛应用。装袋技术是一种优雅的方法来形成WNN估计器，其权重自动生成到最近邻居;我们将所得估计器命名为分布最近邻居（DNN），以便于参考。然而，这种估计量缺乏分布结果，限制了它在统计推断中的应用。此外，当均值回归函数具有高阶光滑性时，DNN不能达到最佳非参数收敛速度，主要是因为偏差问题。在这项工作中，我们对DNN进行了深入的技术分析，在此基础上，我们通过线性组合两个具有不同子采样尺度的DNN估计器，提出了DNN估计器的偏倚减少方法，从而产生了新的双尺度DNN（TDNN）估计器。双尺度DNN估计器具有WNN的等价表示，其权重允许显式形式，并且一些权重为负。我们证明，由于使用负权重，双尺度DNN估计享有最佳的非参数收敛速度估计的回归函数下的四阶光滑条件。我们进一步超越估计，并建立DNN和双尺度DNN都是渐近正态的子采样尺度和样本量发散到无穷大。对于实际的实现，我们还提供了方差估计和分布估计使用刀切和自举技术的双尺度DNN。这些估计量可以用来构造有效的置信区间，用于回归函数的非参数推断。理论结果和吸引人的有限样本性能的建议的两尺度DNN方法与几个数值例子说明。
2022-07-18 cs.LG stat.ML
Efficient distributional regression trees learning algorithms for calibrated non-parametric probabilistic forecasts
Swiss Data Science Center（瑞士数据科学中心）；EPFL（瑞士联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文提出高效算法用于校准非参数概率预测，通过min-max堆等数据结构提升计算效率，展示其在WIS和CRPS损失函数下的竞争力，并利用树结构实现可解释的群体条件覆盖保障。
2026-05-13 cs.DS cs.LG
