Loss Functions for Discrete Contextual Pricing with Observational Data
Darden School of Business, University of Virginia(弗吉尼亚大学达顿商学院);University of Texas at Austin(得克萨斯大学奥斯汀分校);IBM Watson(IBM沃森)
我们研究了一种定价设置,其中每个客户都根据客户和/或产品功能提供了一个上下文化的价格。通常只有历史销售数据可用,因此我们观察客户是否以规定的价格购买产品,而不是客户的真实估价。这些观测数据受到历史定价政策的影响,这给评估未来政策的有效性带来了困难。本文的目标是制定损失函数,可用于直接从观测数据评估定价政策,而不是通过一个中间的需求估计阶段,这可能会受到偏见。为了实现这一目标,我们采用了带有损坏标签的机器学习的思想,在这里我们将每个观察到的购买决策视为客户估值的已知概率变换。从这个变换中,我们推导出一类无偏的损失函数。在这个类中,我们确定最小方差估计和估计鲁棒性差的需求估计。此外,我们还表明,对于上下文定价,非政策评估文献中流行的估计量属于此类损失函数。我们提供管理的见解,这些估计是有效的情况下。
2023-02-22 cs.LG stat.ML
Generalization for Adaptively-chosen Estimators via Stable Median
IBM Research – Almaden(IBM研究院 – 阿尔马登)
数据集经常被重复使用,以自适应的方式执行多个统计分析,其中每个分析可能取决于同一数据集上先前分析的结果。标准的统计保证不考虑这些依赖性,并且对于如何在自适应设置中可证明地避免过拟合和错误发现知之甚少。我们考虑这个问题的自然形式化,其中目标是设计一个算法,给定有限数量的i.i.d.~来自未知分布的样本可以回答关于该分布的自适应选择的查询。我们提出了一种算法,估计$k$任意自适应选择的实值估计的期望值使用的样本数,规模为$\sqrt{k}$。我们的算法给出的答案基本上是准确的,如果新鲜的样本被用来评估每个估计。相比之下,以前的工作产生的误差保证规模与最坏的大小写敏感的每个估计。我们还给出了一个版本的算法,可用于验证这样的查询的答案,样本的复杂性依赖于querymically查询的数量$k$(在可重用的保持技术)。我们的算法是基于一个简单的近似中值算法,满足强稳定性保证的差分隐私。我们的技术提供了一种新的方法来分析差分隐私算法的泛化保证。
2017-06-15 cs.DS cs.LG stat.ML
Proper losses regret at least 1/2-order
The Institute of Statistical Mathematics(统计数学研究所);The University of Tokyo(东京大学)
本文研究了proper losses的替代遗憾,证明了严格properness是建立非空替代遗憾界限的必要条件,并指出p-范数的收敛阶不能比替代遗憾的1/2阶更快。
2026-03-03 cs.LG stat.ML
Lower Bounds on the Generalization Error of Nonlinear Learning Models
Weizmann Institute of Science(魏茨曼科学研究所)
本文研究了多层神经网络模型的泛化误差的下界,在该模型中,各层的大小与训练数据中的样本数相当。我们发现,无偏估计量有不可接受的性能,这种非线性网络在这种制度。在线性回归和两层网络的情况下,我们得到了一般有偏估计的显式推广下界。在线性情况下,界是渐近紧的。在非线性的情况下,我们提供了一个比较我们的边界与随机梯度下降算法的实证研究。该分析使用来自大随机矩阵理论的元素。
2022-07-06 cs.LG stat.ML
Optuna Constrained Tree-Structured Parzen Estimator Is a Joint Density Generalization of c-TPE
Independent Researcher(独立研究者);Kyoto University(京都大学)
本文证明Optuna的约束TPE是联合c-TPE,使用联合似然的ECI采集函数,并展示其对约束重复的鲁棒性优于独立c-TPE。
2026-06-03 cs.LG
ARSM Gradient Estimator for Supervised Learning to Rank
University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出了一种新的监督学习排序模型。在我们的模型中,相关性标签被假设为遵循分类分布,其概率是基于评分函数构建的。我们优化训练目标的多变量分类变量与无偏和低方差梯度估计。学习排序方法通常可以分为逐点、成对和列表方法。虽然我们的评分函数是逐点的,建议的框架允许灵活性的选择的损失函数。在我们的新模型中,损失函数不需要是可微的,可以是逐点的或列表的。我们提出的方法在两个数据集上取得了更好或可比的结果相比,现有的成对和列表方法。
2020-02-18 cs.LG stat.ML
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心);University of Copenhagen(哥本哈根大学)
为了使半监督技术在实践中安全地应用,我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上,我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同,该过程不依赖于不是手头分类器固有的假设。理论上证明,在标记和未标记的训练数据上测量,这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知,这是第一种方法,提供了这样强大的,虽然保守,保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集,以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Median Matrix Completion: from Embarrassment to Optimality
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Texas A&M University(德州农工大学)
本文考虑了具有绝对偏差损失的矩阵完备化问题,得到了中位矩阵的一个估计。尽管中位数有几个吸引人的属性,非光滑的绝对偏差损失导致大规模数据集的计算挑战,这是越来越常见的矩阵完成问题。大规模问题的一个简单解决方案是并行计算。然而,过分并行的方式往往会导致低效的估计。基于伪数据的思想,我们提出了一种新的细化步骤,它把这种效率低下的估计到率(近)最优矩阵完成过程。精化估计是正则化最小中值估计的近似,因此不是普通的正则化经验风险估计。这导致了对渐近行为的非标准分析。实验结果也证实了所提出的方法的有效性。
2020-06-18 cs.LG stat.ML
VarGrad: A Low-Variance Gradient Estimator for Variational Inference
Freie Universität Berlin(柏林自由大学);BTU Cottbus-Senftenberg(科特布斯-森夫滕贝格工业大学);dida Datenschmiede GmbH(迪达数据工坊有限公司);University of Warwick(华威大学);Universität Potsdam(波茨坦大学);DeepMind(深度思维);The Alan Turing Institute(艾伦·图灵研究所)
基于留一控制变量的得分函数方法,分析了变分推断的ELBO无偏梯度估计的性质。我们表明,这种梯度估计可以得到使用一个新的损失,定义为准确的后验和变分近似,我们称之为$\textit{log-variance loss}$之间的对数比的方差。在某些条件下,对数方差损失的梯度等于(负)ELBO的梯度。我们从理论上表明,这种梯度估计,我们称之为$\textit{VarGrad}$,由于其连接的对数方差损失,表现出较低的方差比得分函数方法在某些设置中,留一控制变量系数接近最佳的。我们的经验表明,VarGrad提供了一个有利的方差与计算权衡相比,其他国家的最先进的估计离散VAE。
2020-10-29 cs.LG math.ST stat.ML
Generalized Linear Models with Structured Sparsity Estimators
North Carolina State University(北卡罗来纳州立大学)
本文在广义线性模型中引入结构稀疏估计。Stucky和van de Geer(2018)最近针对固定设计和正态误差引入了最小二乘损失中的结构稀疏估计。我们扩展他们的结果去偏结构稀疏估计与广义线性模型为基础的损失。结构化稀疏估计是指在所选范数中使用可能的稀疏结构的惩罚损失函数。这些包括加权群套索,套索和规范产生的凸锥。最大的困难是不清楚如何证明两个预言不等式。第一个是初始惩罚广义线性模型估计。由于不清楚特定的可行加权逐点回归如何适合惩罚广义线性模型的预言不等式,我们需要第二个预言不等式来获得广义线性模型的二阶偏导数的样本估计的近似逆的预言界。我们的贡献有五个方面:1。通过证明隐含条件而不是假设隐含条件,将已有的预言不等式结果推广到惩罚广义线性模型中。其中一个关键问题是一个样本单点边界条件的证明及其在预言不等式中的应用。2.我们的研究结果甚至覆盖非次高斯误差和回归。3.我们提供了一个可行的加权nodewise回归证明,推广了文献中的结果,从一个简单的l_1范数的使用,从凸锥产生的规范。4.我们认识到,在可行的逐节点回归证明中使用的范数应该弱于或等于惩罚广义线性模型损失中的范数。5.通过求广义线性模型损失的奇异样本二阶偏导数的近似逆,可以消除第一步估计的偏差。
2021-04-29 cs.LG econ.EM stat.ML
Unbiased Loss Functions for Extreme Classification With Missing Labels
Aalto University(阿尔托大学);IIT, Kanpur(印度理工学院坎普尔分校)
极端多标签分类(XMC)的目标是从一个非常大的可能标签集合中用一小部分相关标签来标记一个实例。除了大量的训练实例、特征和标签所带来的计算负担之外,XMC中的问题还面临着两个统计挑战,(i)大量的“尾部标签”--那些很少出现的标签,以及(ii)丢失的标签,因为几乎不可能手动将每个相关标签分配给实例。在这项工作中,我们推导出一个无偏估计量的损失函数,分解标签的一般制定,然后推断的形式,常用的损失函数,如铰链和平方铰链损失和二进制交叉熵损失。我们表明,派生的无偏估计量,在适当的加权因子的形式,可以很容易地纳入国家的最先进的极端分类算法,从而扩展到数据集与数十万个标签。然而,根据经验,我们发现了一个稍微改变的版本,它为尾部标签提供了更多的相对权重,从而表现得更好。我们怀疑这是由于数据集中的标签不平衡,我们的理论推导估计量没有明确解决这一问题。在XMC的基准数据集上,最小化所提出的损失函数导致了对现有方法的显着改进(在某些情况下高达20%)。
2020-07-01 cs.LG stat.ML
OEUVRE: OnlinE Unbiased Variance-Reduced loss Estimation
Machine Learning Department(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
OEUVRE提出一种在线无偏方差缩减损失估计器,利用算法稳定性实现常数时间更新,并证明其一致性、收敛速率和集中界,在多种任务上优于或匹配其他估计器。
2025-10-26 cs.LG stat.ML
Fast Global Convergence via Landscape of Empirical Loss
Faculty of Electrical Engineering, Technion(以色列理工学院电气工程学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H. Milton Stewart工业与系统工程学院)
虽然优化凸目标(损失)函数已经成为机器学习的动力至少二十年,非凸损失函数最近吸引了快速增长的兴趣,由于许多理想的属性,如优越的鲁棒性和分类精度,与他们的凸对应。非凸估计的主要障碍是,它是在一般情况下难以找到最优解。本文研究了一些非凸M-估计的计算问题。特别是,我们证明了随机方差缩减方法收敛到全局最优的线性速率,通过利用人口损失的统计性质。在此基础上,我们改进了\cite{mei2016landscape}中批梯度法的收敛性分析。
2018-02-13 cs.LG stat.ML
Binary Losses for Density Ratio Estimation
ELLIS Unit Linz(林茨ELLIS单元);LIT AI Lab(林茨人工智能实验室)
本文针对密度比估计中二分类损失函数选择问题,基于 Bregman 散度刻画了能产生小误差估计器的损失函数,并提出可优先估计大密度比值的新型损失函数,在 484 个任务中提升了 11 种深度域适应算法的性能。
2025-01-27 cs.LG stat.ML
SCOPE: Spectral Concentration by Distributionally Robust Joint Covariance-Precision Estimation
Chinese University of Hong Kong(香港中文大学)
针对随机向量的协方差矩阵与精度矩阵联合估计问题,提出基于凸谱散度模糊集的分布鲁棒模型,将其简化为凸优化问题得到准解析非线性收缩估计器,通过调参纠正谱偏差并改善条件数,实验显示其性能优于现有方法。
2025-11-18 cs.LG math.OC stat.ML
Penalized deep neural networks estimator with general loss functions under weak dependence
THEMA(THEMA研究所);CY Cergy Paris Université(CY巴黎赛尔吉大学)
本文提出稀疏惩罚深度神经网络预测器,适用于弱相依过程与一般损失函数,建立了超额风险的神谕不等式,收敛速率接近O(n^{-1/3}),并成功应用于颗粒物预报。
2023-05-10 cs.LG math.ST stat.ML
Consistent Estimators for Learning to Defer to an Expert
Massachusetts Institute of Technology(麻省理工学院)
学习算法在实际应用中经常与专家决策者一起使用,然而在设计这些算法时,这一事实在很大程度上被忽略了。在本文中,我们将探讨如何学习预测器,可以预测或选择推迟决策的下游专家。在只给出专家决策样本的情况下,我们给出了一个基于学习分类器和拒绝器的过程,并从理论上进行了分析。我们的方法是基于一种新的减少成本敏感的学习,我们给了一个一致的替代损失成本敏感的学习,概括了交叉熵损失。我们展示了我们的方法对各种实验任务的有效性。
2021-01-25 cs.HC cs.LG stat.ML
First-order Newton-type Estimator for Distributed Estimation and Inference
New York University(纽约大学);Shanghai Jiao Tong University(上海交通大学);Purdue University(普渡大学)
本文研究了具有不可微凸损失的一般统计问题的分布估计和分布推断。为了有效的计算,我们限制自己的随机一阶优化,它具有较低的每次迭代的复杂性。为了激励所提出的方法,我们首先研究了一个简单的分治随机梯度下降(DC-SGD)方法的理论特性。我们的理论表明,有一个限制的机器的数量和这个限制变得更加严格时,尺寸$p$大。为了克服这一局限性,本文提出了一种新的多轮分布式估计过程,近似牛顿步骤只使用随机次梯度。在我们的方法中的关键组成部分是一个计算有效的估计$Σ^{-1} w$,其中$Σ$是人口海森矩阵和$w$是任何给定的向量的建议。提出的一阶牛顿型估计器(FONE)不需要估计通常需要损失的二阶可微性的$Σ$(或$Σ^{-1}$),而是直接估计作为整体的感兴趣矢量$Σ^{-1} w$,并且适用于不可微损失。我们的估计量也有利于推断的经验风险最小化。结果表明,极限协方差中的关键项具有$Σ^{-1} w$的形式,可以通过FONE估计。
2021-02-04 cs.LG stat.ME stat.ML
A Note on Asynchronous Challenges: Unveiling Formulaic Bias and Data Loss in the Hayashi-Yoshida Estimator
CQuant Technologies Limited(坤泉科技有限公司)
本文揭示了Hayashi-Yoshida估计量中因伸缩性质导致的公式化偏差与数据丢失问题,证明了其充分必要条件,引入(a,b)-异步对手模型量化数据丢失,发现a=b时最小平均累积数据丢失达25%,并提出计算非现存数据点的算法。
2024-04-28 cs.LG math.CO math.PR
Relative Deviation Learning Bounds and Generalization with Unbounded Loss Functions
Google Research(谷歌研究院);Courant Institute(库朗研究所)
我们提出了一个广泛的分析相对偏差界,包括双边不等式及其影响的详细证明。我们还给出了详细的证明双边广义界,在一般情况下的无界损失函数,假设损失的时刻有界。这些界限在重要性加权分析和其他学习任务(如无界回归)中很有用。
2016-04-04 cs.LG
Regularly Truncated M-estimators for Learning with Noisy Labels
The University of Sydney(悉尼大学);The University of Technology Sydney(悉尼科技大学);Nanjing University of Science and Technology(南京理工大学);Hong Kong Polytechnic University(香港理工大学);Hong Kong Baptist University(香港浸会大学);Hangzhou Dianzi University(杭州电子科技大学);University of Science and Technology of China(中国科学技术大学)
本文提出正则截断M估计器(RTME),通过交替切换截断与原始M估计器,同时解决样本选择中噪声标签副作用及大损失样本利用不足问题,实现标签噪声容忍并提升泛化性能。
2023-09-02 cs.AI cs.LG
Does Flatness imply Generalization for Logistic Loss in Univariate Two-Layer ReLU Network?
本文研究了单变量两层ReLU网络在逻辑损失下的泛化能力,证明了平坦性在逻辑损失下比平方损失更复杂,揭示了平坦解的泛化界和过拟合的可能性。
2025-12-01 cs.AI cs.LG stat.ML
Learning with Square Loss: Localization through Offset Rademacher Complexity
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
我们考虑回归平方损失和一般类的功能没有有界性假设。我们引入了一个概念的偏移拉德马赫复杂度,提供了一个透明的方式来研究本地化的期望和高概率。对于任何(可能是非凸的)类,两步估计的超额损失被证明是通过一个新的几何不等式的偏移复杂性的上界。在凸的情况下,估计减少到经验风险最小化。该方法恢复的结果\citep{RakSriTsy15}的有界的情况下,同时也提供保证,没有有界性假设。
2015-06-15 cs.LG math.ST stat.ML
Sharp Guarantees for Solving Random Equations with One-Bit Information
University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们研究的性能广泛的一类凸优化为基础的估计恢复信号从损坏的一位测量在高维。我们的一般结果预测尖锐的线性渐近制度时,测量向量的条目IID高斯估计的性能。这包括,作为一个特殊的情况下,以前研究的最小二乘估计和各种新的结果,其他流行的估计,如最小绝对偏差,铰链损失和物流损失。重要的是,我们利用这样一个事实,即我们的分析适用于通用凸损失函数,以证明在整个估计类的最佳可实现的性能上的界限。数值模拟证实了我们的理论研究结果,并建议他们是准确的,即使是相对较小的问题尺寸。
2020-01-23 cs.IT cs.LG eess.SP
End-to-End Feedback Loss in Speech Chain Framework via Straight-Through Estimator
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN, Center for Advanced Intelligence Project AIP(理化学研究所 高级智能项目中心)
语音链机制在训练期间将自动语音识别(ASR)和文本到语音合成(TTS)模块集成到单个循环中。在我们以前的工作中,我们应用了语音链机制作为半监督学习。它为ASR和TTS提供了在接收未配对数据时相互帮助的能力,并让它们推断缺失的对并优化重建损失的模型。如果我们只有语音而没有转录,那么ASR会从语音数据中生成最有可能的转录,然后TTS使用生成的转录来重建原始语音特征。然而,在以前的论文中,我们只是将反向传播限制在最近的模块,即TTS部分。一个原因是通过ASR反向传播误差是具有挑战性的,因为ASR的输出是离散的令牌,在TTS和ASR之间产生不可微性。在本文中,我们解决了这个问题,并描述了如何彻底训练语音链端到端的重建损失使用直通估计器(ST)。实验结果表明,从ST-Gumbel-Softmax的采样,我们能够更新ASR参数和提高ASR性能的11- %的相对CER减少相比,基线。
2018-10-31 cs.CL cs.LG cs.SD
REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency
Department of Cybernetics FEE, Czech Technical University(控制系(FEE)捷克技术大学)
REDistill通过引入幂分歧损失,改进了知识蒸馏中教师噪声的处理,提高了学生模型的准确性和泛化能力。
2026-02-04 cs.CV cs.LG
eagle: early approximated gradient based learning rate estimator
Center for Information and Computer Science, School of Science for Open and Environmental Systems, Keio University(庆应义塾大学开放与环境系统科学学院信息与计算机科学中心)
提出EAGLE优化方法,利用连续步骤的参数与梯度变化及局部曲率估计最优参数,并引入Adam与EAGLE间的自适应切换机制以增强稳定性,实验证明其能以更少的epoch加速训练损失收敛。
2025-02-03 cs.AI cs.LG
The Tree Loss: Improving Generalization with Many Classes
Claremont Graduate University(克莱蒙特研究生大学);Claremont McKenna College(克莱蒙特·麦肯纳学院)
多类分类问题通常有许多语义相似的类。例如,ImageNet的1000个类中有90个是针对不同品种的狗的。我们应该期望这些语义相似的类将具有相似的参数向量,但是标准的交叉熵损失并不强制执行此约束。我们引入树损失作为交叉熵损失的替代。树丢失重新参数化参数矩阵,以保证语义相似的类将具有相似的参数向量。利用随机梯度下降的简单性质,我们证明了树损失的泛化误差渐近优于交叉熵损失。然后,我们在合成数据,图像数据(CIFAR100,ImageNet)和文本数据(Twitter)上验证了这些理论结果。
2022-04-16 cs.AI cs.LG
Asymptotically optimal private estimation under mean square loss
University of Maryland(马里兰大学)
本文研究了局部差分隐私约束下支持度为$k$的离散分布的极大极小估计问题。私有化方案独立地应用于每个原始样本,并且我们需要从私有化样本估计原始样本的分布。正数$ε$度量私有化方案的隐私级别。在我们以前的工作(arXiv:1702.00610),我们提出了一个家庭的新的私有化计划和相应的估计。我们还证明了在$\ell_2^2$和$\ell_1$损失下,我们的方案和估计器在$e^ε \ll k$机制中是阶最优的。换句话说,对于大量的样本样本个数,我们的方案的最坏情况下的估计损失被证明与最佳值相差最多一个常数因子。在本文中,我们消除了这个差距,所提出的计划和估计下的$\ell_2^2$(均方)损失的渐近最优性。更准确地说,我们表明,对于任何$k$和$ε,$的最坏情况下的估计损失之间的比率,我们的计划和最佳值接近$1$的样本个数趋于无穷大。
2017-07-31 cs.IT cs.LG math.IT
Bootstrapping Generalization of Process Models Discovered From Event Data
The University of Melbourne(墨尔本大学);Tecnológico de Monterrey(蒙特雷理工学院)
流程挖掘从IT系统的事件日志中记录的痕迹中提取价值,流程发现的任务是推断某个未知系统发出的日志的流程模型。泛化是应用于流程模型的质量标准之一,用于量化模型对系统未来执行的描述程度。泛化也可能是这些标准中最不被理解的一个,缺乏泛化的主要原因是,当唯一可用的行为样本是日志提供的行为样本时,泛化测量系统整个未来行为的属性。在本文中,我们应用自举方法从计算统计学,使我们能够定义一个估计模型的泛化的基础上发现的日志。我们表明,标准的过程挖掘假设导致一致的估计,使更少的错误,作为日志的质量增加。实验证实了该方法支持工业规模数据驱动系统工程的能力。
2022-03-26 cs.AI cs.LG cs.SE