Implicit variance regularization in non-contrastive SSL
Friedrich Miescher Institute for Biomedical Research(弗里德里希·米舍尔生物医学研究所);Faculty of Science, University of Basel(巴塞尔大学理学院)
本文通过解析非对比自监督学习中线性预测器的学习动力学,揭示欧氏与余弦相似度均通过隐式方差正则化避免坍缩,并提出IsoLoss以均衡特征模态收敛速率,从而加速学习并增强鲁棒性。
2023-10-27 cs.AI cs.LG cs.NE
Logistic Regression: The Importance of Being Improper
Cornell University(康奈尔大学);Google Research(谷歌研究院);University of Southern California(南加州大学);New York University(纽约大学)
在随机和在线环境中学习具有逻辑损失的线性预测器是机器学习和统计学中的一项基本任务,与分类和提升直接相关。这种设置的现有“快速率”表现出对预测范数的指数依赖性,Hazan等人(2014)表明,不幸的是,这是无法改进的。从简单的观察,逻辑损失是$1$ -混合,我们设计了一个新的有效的不适当的学习算法在线逻辑回归,绕过上述下限与遗憾界表现出双指数的改善依赖于预测范数。这为McMahan和Streeter(2012)的COLT 2012公开问题的变体提供了一个积极的解决方案,当允许不适当的学习时。这种改进是在在线设置中获得的,并且通过一些额外的工作,在具有高概率的批量统计设置中获得的。我们还表明,改进的依赖于预测范数是接近最优的。利用这种对预测器范数的改进的依赖性产生以下应用:(a)我们给出了具有逻辑损失的在线强盗多类学习算法,其中$\tilde{O}(\sqrt{n})$相对错误界基本上跨越所有参数范围,从而为Abernethy和Rakhlin(2009)的COLT 2009公开问题提供了解决方案,以及(b)我们给出了一种具有最佳样本复杂度的在线多类提升自适应算法,从而部分解决了Beygelzimer等人(2015)和Jung等人(2017)的开放问题。最后,我们给出了一般函数类的不适当逻辑回归的最优速率的信息理论界,从而表征了我们对线性类的改进扩展到其他参数甚至非参数设置的程度。
2018-12-14 cs.LG stat.ML
A PAC-Bayesian Perspective on Structured Prediction with Implicit Loss Embeddings
Mines ParisTech – PSL(巴黎高等矿业学院——巴黎文理研究大学);Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);University College London(伦敦大学学院)
许多实际的机器学习任务可以被构造为结构化预测问题,其中多个输出变量被预测并被认为是相互依赖的。结构化预测的最新理论进展集中在获得快速收敛保证,特别是在隐损失嵌入(ILE)框架中。PAC-Bayes最近因其能够为预测分布产生严格的风险边界而引起了人们的兴趣。这项工作提出了一种新的PAC贝叶斯观点的ILE结构化预测框架。我们提出了两个推广的界限,风险和超额风险,从而产生洞察ILE预测的行为。两个学习算法推导出这些界限。算法的实现和他们的行为分析,源代码可在\url{https://github.com/theophilec/PAC-Bayes-ILE-Structured-Prediction}。
2020-12-21 cs.LG math.ST stat.ML
The Implicit Bias of Gradient Descent on Separable Data
Technion(以色列理工学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文证明无正则化逻辑回归的梯度下降在线性可分数据上会隐式收敛至最大间隔 SVM 方向,并推广到多类与深度网络受限情形。
2024-10-26 cs.LG stat.ML
Sample-Efficient Omniprediction for Proper Losses
Department of Statistics, University of California, Berkeley(加州大学伯克利分校统计系)
本文研究多决策者场景下构建单一概率预测器以同时最小化多个恰当损失的问题,证明多校准比全能预测更难,并提出一种利用恰当损失结构特性的非随机化样本高效算法。
2025-10-14 cs.LG stat.ME
A Note on Task-Aware Loss via Reweighing Prediction Loss by Decision-Regret
Cornell University(康奈尔大学);USC Marshall School of Business(南加州大学马歇尔商学院)
在这篇简短的技术说明中,我们提出了上下文线性优化的决策感知学习的基线,当成本系数可以根据上下文信息预测时,它解决了随机线性优化。我们提出了一个决策感知版本的预测,然后优化。我们重新权衡预测误差的决策后悔所招致的(未加权)的飞行员估计成本,以获得决策意识的预测,然后优化与成本预测从决策意识的预测。该方法可以被激励为先前提出的端到端学习算法的梯度的有限差分、迭代独立的近似;它也与先前提出的端到端学习的直觉一致。该基线在计算上易于用容易获得的重新加权预测预言器和线性优化来实现,并且可以用凸优化来实现,只要预测误差最小化是凸的。从经验上讲,我们证明,这种方法可以导致改进的“预测,然后优化”的框架设置错误的模型,并与其他端到端的方法是有竞争力的。因此,由于它的简单性和易用性,我们建议将其作为端到端和决策感知学习的简单基线。
2022-11-09 cs.LG math.OC stat.ML
Semi-supervised learning of local structured output predictors
Beijing Jiaotong University(北京交通大学)
本文研究了半监督结构化输出预测问题,旨在学习结构化输出的预测器,如序列、树节点、向量等,从输入输出对和没有输出的单输入的一组数据点。传统的预测方法通常只对所有数据点学习一个预测器,而忽略了不同数据点的多样性。数据集的不同部分可能具有不同的局部分布,并且需要不同的最优局部预测器。为了克服现有方法的这一缺点,我们建议同时为不同数据点的邻域和缺失的结构化输出学习不同的局部预测器。在每个数据点的邻域中,我们提出通过最小化预测器的复杂度和结构化预测损失的上界来学习线性预测器。通过梯度下降算法进行最小化。在DDSM乳腺X线摄影医学图像、SUN自然图像数据集、Cora研究论文数据集和西班牙新闻网文章句子数据集上的实验表明了该方法的优越性。
2016-04-11 cs.CV cs.LG
Penalized deep neural networks estimator with general loss functions under weak dependence
THEMA(THEMA研究所);CY Cergy Paris Université(CY巴黎赛尔吉大学)
本文提出稀疏惩罚深度神经网络预测器,适用于弱相依过程与一般损失函数,建立了超额风险的神谕不等式,收敛速率接近O(n^{-1/3}),并成功应用于颗粒物预报。
2023-05-10 cs.LG math.ST stat.ML
Evaluating and improving crop-yield forecasting methods during extreme drought
Boston College(波士顿学院)
本研究针对极端干旱年份2012年的县级玉米产量预测问题,对比非深度学习与深度学习模型,采用样本加权和特征选择改进非深度学习模型,发现VITA模型表现最优。
2026-08-19 cs.LG
Collapsing the Decision Tree: the Concurrent Data Predictor
通过消除属性顺序求值的限制,从决策树分类器中导出了一类并发数据预测器。通过并发地评估属性,决策树折叠成扁平结构。实验结果表明,该方法提高了预测精度。
2021-08-09 cs.LG
A Primal-Dual Convergence Analysis of Boosting
University of California, San Diego(加州大学圣地亚哥分校)
Boosting将弱学习者组合成具有低经验风险的预测器。它的对偶构造了一个高熵分布,弱学习者和训练标签不相关。本文研究了一个广泛的损失家族下的这种原始-对偶关系,包括AdaBoost的指数损失和逻辑损失,揭示了:-弱可学习性有助于整个损失家族:对于任何ε>0,O(ln(1/ε))迭代足以产生经验风险ε接近下确界的预测器;- 允许存在经验风险最小化者的情况可以用原始和对偶问题来表征,得到已知率O(ln(1/ε))的新证明;- 任意实例可以被分解为上述两个,授予率O(1/ε),为逻辑损失提供匹配的下限。
2012-04-02 cs.LG math.OC
Evaluating Protein-protein Interaction Predictors with a Novel 3-Dimensional Metric
Carnegie Mellon University(卡内基梅隆大学)
为了使预测的相互作用直接被生物学家采用,机器学习预测必须具有高精度,而不管召回率如何。这方面无法通过传统的指标(如准确率,ROC或精确度-召回率曲线)进行评估或数字表示。在这项工作中,我们从ROC的灵敏度和查全率的查准率-查全率曲线的对齐,并提出了一个评价指标,侧重于一个模型的能力,以供生物学家采用。该度量评估了机器学习算法仅预测新交互的能力,同时消除了测试数据集的影响。在对同一数据集的不同分类器进行评估和对不同数据集的同一预测器进行评估的实验中,我们的新指标完成了我们感兴趣的评估任务,而两个被广泛认可的指标,ROC和精确度-召回率曲线由于不同的原因而失败。
2015-11-06 cs.LG
Learning Randomly Perturbed Structured Predictors for Direct Loss Minimization
Technion(以色列理工学院)
直接损失最小化是在结构化标签空间上学习预测器的一种流行方法。这种方法在计算上很有吸引力,因为它用优化代替了积分,并允许使用损失扰动预测在深度网络中传播梯度。最近,这种技术被扩展到生成模型,同时引入了一个随机预测器,从随机扰动的得分函数中采样结构。在这项工作中,我们学习这些随机结构化预测变量的方差,并表明它在结构化预测中的学习得分函数和随机噪声之间取得了更好的平衡。我们经验证明学习的信号和随机噪声之间的平衡结构化离散空间的有效性。
2021-06-14 cs.LG stat.ML
Loss Functions for Predictor-based Neural Architecture Search
College of Computer Science, Sichuan University(四川大学计算机学院)
本文首次系统研究NAS性能预测器中的损失函数,将八种损失函数分为回归、排序和加权三类,在五个搜索空间13个任务上评估,发现特定类别损失函数可有效组合以提升基于预测器的NAS,并为任务选择合适的损失函数提供指导。
2025-06-06 cs.AI cs.CV cs.LG
Loss Minimization Yields Multicalibration for Large Neural Networks
ETH Zürich(苏黎世联邦理工学院);Apple(苹果公司);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
本文研究受保护群体由较小神经网络表示、预测器为较大神经网络时的公平性问题,证明平方损失最小化除有限不幸规模外可实现多重校准。
2023-12-08 cs.AI cs.LG stat.ML
Evaluating Reliability in Machine Learning Models for Early Chronic Kidney Disease Prediction: A Systematic Review of Data Leakage and Predictor Stability
East West University(东西方大学)
该研究对慢性肾病预测的机器学习模型进行系统综述,引入结构化分类法和评分框架评估可靠性,发现泄露与性能夸大有关,多数预测器缺乏稳定性,揭示很多性能提升源于方法局限而非真实预测力。
2026-07-15 cs.AI cs.LG
When does a predictor know its own loss?
Apple(苹果公司);Harvard University(哈佛大学);Stanford University(斯坦福大学)
本研究探讨损失预测的理论基础,证明非平凡损失预测与多重校准审计等价,并通过实验验证二者正相关。
2025-02-27 cs.LG
A Universal Trade-off Between the Model Size, Test Loss, and Training Loss of Linear Predictors
University of California, Berkeley(加州大学伯克利分校);University of California, San Diego(加州大学圣地亚哥分校)
本文建立了线性预测器在模型规模、超额测试损失和训练损失之间的通用非渐近权衡,并证明低测试损失模型要么训练损失接近噪声水平,要么参数数量远大于精确拟合所需的最小值,同时通过 Marchenko-Pastur 渐近分析揭示了过参数化程度增加时与分布无关界的一致性。
2023-04-18 cs.LG stat.ML
Evaluating Explanation Methods by the Predictors They Induce
Oslo Metropolitan University(奥斯陆城市大学);SimulaMet;Oslo University Hospital(奥斯陆大学医院)
提出通过将解释转化为预测器并测试其复现能力来评估解释方法,证明特征依赖性决定方法优劣,SHAP在相关特征上领先。
2026-09-18 cs.LG
Predicting Glaucoma Visual Field Loss by Hierarchically Aggregating Clustering-based Predictors
The University of Tokyo(东京大学);JST(日本科学技术振兴机构)
本研究解决了从患者疾病数据集预测昏迷性视野丧失的问题。我们的目标是准确预测个体患者的疾病进展。由于每个患者的可用测量值很少,因此很难为个体产生良好的预测值。最近提出的基于聚类的方法增强了使用具有相似时空模式的患者数据的预测能力。每个患者被归类为一组患者,并使用该类中的所有数据构建预测模型。预测高度依赖于聚类的质量,但很难确定最佳聚类方法。因此,我们提出了一种方法,用于聚合基于聚类的预测,以获得更好的预测精度比从一个单一的基于聚类的预测。此外,该方法显示出非常高的性能,通过分层聚合从几个基于聚类的方法产生的专家。我们使用真实的数据集来证明我们的方法比传统的基于聚类和患者的回归方法表现得更好,因为分层聚合策略具有一种机制,使小社区中的良好预测者能够茁壮成长。
2016-03-23 cs.LG stat.ML
Accuracy Convergent Field Predictors
描述了几种预测算法。突出显示的是通过叠加与训练数据实例相关联的字段来进行预测的变体。它们可以无缝地处理分类、连续和混合数据。预测精度收敛也被讨论作为评估预测算法的标准。方法描述了如何适应算法,以使它们达到预测精度收敛。
2022-05-07 cs.LG
Taking a hint: How to leverage loss predictors in contextual bandits?
University of Southern California(南加州大学);Microsoft Research(微软研究院)
我们在损失预测器的帮助下开始了对情境强盗学习的研究。我们解决的主要问题是,当预测器$\mathcal{E} \leq T$的总误差相对较小时,是否可以改善在$T$轮上学习的极小极大遗憾$\mathcal{O}(\sqrt{T})$。我们提供了一个完整的答案,这个问题,包括上限和下限的各种设置:对抗与随机环境,已知与未知的$\mathcal{E}$,和单一与多个预测。我们得到了一些令人惊讶的结果,例如:1)当$\mathcal{E}$已知时,最优后悔是$\mathcal{O}(\min\{\sqrt{T}, \sqrt{\mathcal{E}}T^\frac{1}{4}\})$,这与非上下文问题的标准和更好的界$\mathcal{O}(\sqrt{\mathcal{E}})$形成了鲜明的对比2)如果$\mathcal{E}$是未知的,则不能实现相同的界限,但是作为补救,$\mathcal{O}(\sqrt{\mathcal{E}}T^\frac{1}{3})$是可实现的; 3)对于$M$预测器,对$M$的线性依赖是必要的,即使对数依赖对于非上下文问题是可能的。我们还开发了几种新的算法技术来实现匹配上界,包括1)已知$\mathcal{E}$的最佳后悔的关键动作重映射技术,2)通过ERM预言器有效地实现Catoni的鲁棒均值估计,从而在随机设置中实现最佳后悔的有效算法,3)对于具有未知…
2020-10-15 cs.LG stat.ML
Optimal Lower Bounds for Networked Information Aggregation
Amazon(亚马逊);Amazon Responsible AI(亚马逊负责任人工智能部门)
针对Kearns等人2026年提出的网络化信息聚合问题中MSE上下界存在的研究空白,该研究利用预测器结构不变性,将下界结论推广至满足正则条件的凸损失函数,成功闭合了相关研究的误差界差距。
2026-08-18 cs.AI cs.LG stat.ML
Spectral Alignment as Predictor of Loss Explosion in Neural Network Training
Tsinghua University(清华大学);Beijing Institute of Mathematical Sciences and Applications(北京数学科学研究院)
针对神经网络训练中损失爆炸难以及时预警的问题,提出具有理论基础的谱对齐(SA)指标,通过监测层输入与权重矩阵主奇异向量的分布对齐符号多样性崩塌,实现比传统指标更早更清晰的损失爆炸预警,且计算开销低,实用性强。
2025-10-05 cs.LG
Fairness-Accuracy Trade-Offs: A Causal Perspective
Columbia University(哥伦比亚大学)
本研究首次从因果视角分析公平性与准确性的权衡,引入路径特定超额损失(PSEL)将总超额损失(TEL)分解为局部成分,并提出因果公平性/效用比指标,同时开发了一种新的因果约束公平学习神经方法。
2024-12-20 cs.AI cs.LG stat.ML
When Does Optimizing a Proper Loss Yield Calibration?
Columbia University(哥伦比亚大学);Apple(苹果公司);Stanford University(斯坦福大学)
本文研究受限预测器族中优化适当损失何时保证校准,提出基于 Lipschitz 后处理的局部最优性条件,证明其等价于双向近似的平滑校准。
2023-12-08 cs.LG math.ST stat.ML
Omnipredictors
VMware Research(VMware研究院);Microsoft Research(微软研究院);Stanford University(斯坦福大学);USC(南加州大学)
损失最小化是机器学习中的主导范例,其中预测器被训练以最小化取决于不确定事件的某个损失函数(例如,“明天会下雨吗?'').不同的损失函数意味着不同的学习算法,并且有时意味着非常不同的预测器。虽然广泛且有吸引力,但这种方法的明显缺点是在学习时可能不知道损失函数,这要求算法使用最佳猜测损失函数。我们提出了一个严格的新范式损失最小化机器学习的损失函数可以忽略在学习的时候,只有在决定一个动作时考虑。我们引入了一个(${\mathcal{L}},\mathcal{C}$)-omnipredictor的概念,它可以用来优化家庭${\mathcal{L}}$中的任何损失。一旦设置了损失函数,预测器的输出就可以进行后处理(单个预测的简单单变量数据独立转换),以便与$\mathcal{C}$类中的任何假设进行比较。后处理本质上是如果预测器的输出是不确定事件的真实概率,则将执行的操作。在某种意义上,全预测器从类$\mathcal{C}$中提取所有预测能力,而不管$\mathcal{L}$中的损失函数如何。我们表明,这种“损失遗忘”的学习是可行的,通过连接到多校准,一个概念引入的上下文中的算法公平性。此外,我们还展示了如何将多校准视为不可知提升的解决方案概念,从而为过去的结果提供新的启示。最后,我们将我们的见解转移回算法公平性的上下文中,通过提供多组损失最小化的全方位预测。
2021-09-11 cs.LG stat.ML
Loss-Controlling Calibration with Asymptotic Guarantees
Tianjin University(天津大学);Shandong University of Technology(山东理工大学);Shandong University of Traditional Chinese Medicine(山东中医药大学);Hefei University of Technology(合肥工业大学)
本文提出面向可交换数据的损失控制校准框架,通过保持可交换性的变换获得有限样本保证,并用近似方法构建适用于一般损失函数的预测器。
2026-11-19 cs.LG
Learning to Reject with a Fixed Predictor: Application to Decontextualization
本文研究了适用于自然语言处理中的固定预测器带有拒绝选项的分类问题。我们引入了一个新的问题制定这种情况下,和算法最小化一个新的代理损失函数。我们提供了一个完整的理论分析的替代损失函数与强大的$H$一致性保证。为了进行评估,我们选择了去语境化任务,并提供了一个手动标记的$2\mathord,000$示例数据集。我们的算法显着优于基线考虑,与$\sim\!\!25\%$改善覆盖率减半时的出错率,这是只有$\sim\!\! 3 \%$远离理论极限。
2023-01-31 cs.LG
Bounded Coordinate-Descent for Biological Sequence Classification in High Dimensional Predictor Space
Bioinformatics Research Centre (BiRC)(生物信息学研究中心(BiRC))
我们提出了一个判别序列分类的框架,其中学习者直接在训练集中所有序列的高维预测空间中工作。这是可能的,通过采用一种新的坐标下降算法,结合边界的梯度的幅度选择判别连续性快。我们的损失函数的特点,我们的通用学习算法可以应用,并提出具体的实现逻辑回归(二项式对数似然损失)和支持向量机(平方铰链损失)。将我们的算法应用于蛋白质远程同源性检测和远程折叠识别导致与最先进的方法(例如,核支持向量机)。与最先进的分类器不同,所得到的分类模型只是加权的区别性顺序的列表,因此可以被解释并与生物学问题相关。
2010-08-03 cs.LG
Lossless Compression via Chained Lightweight Neural Predictors with Information Inheritance
ITMO University(ITMO大学)
本文提出基于链式神经预测器的概率估计架构,利用信息继承机制提升压缩效率,实验表明其在压缩比和吞吐量上优于现有状态最优PAC压缩器。
2026-04-16 cs.IT cs.LG math.IT
Regularized maximum correntropy machine
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Hong Kong University of Science and Technology(香港科技大学)
在本文中,我们研究使用正则化相关熵框架学习分类器从噪声标签。通过最小化过渡损失函数学习的类标签预测器对训练样本的噪声和离群标签敏感,因为过渡损失函数被同等地应用于所有样本。为了解决这个问题,我们建议在正则化的最大相关熵准则(MCC)框架下,通过最大化预测标签和训练样本的真实标签之间的相关熵来学习类标签预测器。此外,我们正则化的预测器参数,以控制预测器的复杂性。学习问题由同时考虑参数正则化和MCC的目标函数来表示。通过交替优化目标函数,我们开发了一种新的预测器学习算法。在两个挑战模式分类任务上的实验表明,它的性能明显优于具有过渡损失函数的机器。
2015-01-18 cs.LG
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research(IBM研究院人工智能基础部);IBM T.J Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了区分对抗网络(DAN)的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络(GANs)和条件GANs的基础上,但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架,它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例:分类和排名。我们在三个不同任务的数据集上的实验结果表明,DAN是一个很有前途的框架,用于半监督学习和学习预测器的损失函数。对于所有任务,DAN的半监督能力可以显着提高小标记集的预测器性能,而任务之间的架构变化较小。此外,由DAN自动学习的损失函数是非常有竞争力的,并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
Finite-time optimality of Bayesian predictors
序贯概率预测的问题被认为是在最一般的设置:一个模型集C是给定的,它需要预测,以及尽可能如果任何措施(环境)在C中被选择来产生的数据。C类模型没有任何假设,特别是没有独立性或混合假设; C可能无法测量;可能没有预测器的损失是次线性的,等等。它表明,任何可能的预测器的累积损失可以匹配的贝叶斯预测器,其先验是离散的,并集中在C上,直到一个加法项的顺序$\log n$,其中,$n$是时间步长。该界对每个$n$和C中的每个测度成立。这是第一个非渐近的结果。此外,建立了一个非匹配的下界:它与$n$一起走向无穷大,但可能会任意慢。
2019-10-24 cs.IT cs.LG math.IT
Are You an Introvert or Extrovert? Accurate Classification With Only Ten Predictors
Yonsei University(延世大学)
本文研究了如何准确地预测是一个内向与外向的人可以用不到十个预测。该研究是基于以前的数据汇集的7161名受访者的91个性和3人口统计项目的调查。结果表明,可以有效地将该测量仪器的大小从94个特征减少到10个特征,性能损失仅为1%,在看不见的数据上实现73.81%的准确度。类不平衡校正方法如SMOTE或ADASYN在验证集上显示出相当大的改进,但在测试集上仅显示出较小的性能改进。
2020-02-29 cs.LG stat.ML
Loss-guided Stability Selection
Carl von Ossietzky University Oldenburg(卡尔·冯·奥西茨基大学奥尔登堡分校);Institute for Mathematics(数学研究所)
在现代数据分析中,一旦预测变量的数量非常高,稀疏模型选择就变得不可避免。众所周知,Lasso或Boosting等模型选择程序往往会在真实数据上过拟合。著名的稳定性选择克服了这些弱点,聚合模型,基于子样本的训练数据,然后选择一个稳定的预测集,这通常是稀疏得多的预测集从原始模型。标准稳定性选择基于全局标准,即每个系列的出错率,同时还需要专家知识来适当地配置超参数。由于模型选择取决于损失函数,即,选择的预测器集w.r.t.某些特定损失函数不同于w.r. t所选择的那些损失函数。对于其他一些损失函数,我们提出了一个稳定性选择变体,该变体通过基于样本外验证数据的额外验证步骤来尊重所选择的损失函数,并可选地通过详尽的搜索策略进行增强。我们的稳定性选择变体适用广泛且用户友好。此外,我们的稳定性选择变体可以避免严重的欠拟合问题,这会影响噪声高维数据的原始稳定性选择,因此我们的优先事项不是不惜一切代价避免误报,而是产生一个稀疏的稳定模型,可以进行预测。我们考虑回归和二进制分类的实验以及我们使用Boosting作为模型选择算法的实验表明,与原始Boosting模型相比,精度有了显着提高,同时没有受到原始稳定性选择的任何问题的影响。
2022-02-10 cs.LG
Smooth Calibration and Decision Making
Northwestern University(西北大学);Shanghai Jiaotong University(上海交通大学)
本文证明对具有ε到校准距离的在线预测器进行后处理,可实现渐近最优的O(√ε)期望校准误差和校准决策损失,方法是通过添加噪声实现差分隐私。
2025-04-22 cs.DS cs.LG stat.ML
Quantile Risk Control: A Flexible Framework for Bounding the Probability of High-Loss Predictions
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学);Harvard University(哈佛大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
严格保证预测算法的性能是必要的,以确保其负责任的使用。以前的工作主要集中在边界的预测的预期损失,但这是不够的,在许多风险敏感的应用程序中,错误的分布是很重要的。在这项工作中,我们提出了一个灵活的框架,以产生一个家庭的界限的分位数的损失分布的预测。我们的方法利用了观测损失值的顺序统计量,而不是仅仅依赖于样本均值。我们表明,分位数是量化预测性能的一种信息方式,我们的框架适用于各种基于分位数的指标,每个指标都针对数据分布的重要子集。我们分析了我们提出的方法的理论特性,并证明了它能够严格控制几个真实世界的数据集上的损失分位数。
2022-12-27 cs.LG stat.ML
Unsupervised anomaly localization using VAE and beta-VAE
University of Iowa(爱荷华大学)
变分自动编码器(VAE)在数据分布的无监督学习中显示出巨大的潜力。在正常图像上训练的VAE预计仅能够重建正常图像,允许通过操纵VAE ELBO损失内的信息来定位图像中的异常像素。ELBO由KL发散损失(图像方面)和重建损失(像素方面)组成。使用后者作为预测器是自然和直接的。然而,通常情况下,局部异常添加到一个正常的图像会恶化整个重建图像,导致分割只使用朴素像素错误不准确。提出了基于能量的投影方法,提高了正常区域/像素的重建精度,在简单自然图像上达到了最先进的定位精度。另一种可能的预测器是ELBO及其分量相对于每个像素的梯度。以前的工作声称KL梯度是一个强大的预测。在本文中,我们认为,基于能量的投影在医学成像是不一样有用的自然图像。此外,我们观察到KL梯度预测器的鲁棒性完全取决于VAE和数据集的设置。我们还探讨了在异常定位中β-VAE和预测器集合内KL损失的权重的影响。
2020-05-19 cs.CV cs.LG
SpO$_2$ Predictor-Guided Stage-Wise Time-Frequency Reconstruction of Low-Quality Dual-Wavelength PPG for Oxygen Saturation Estimation
Department of Computer Science, University of California, Davis, Davis, CA, U.S.A.(加州大学戴维斯分校计算机科学系);Department of Electrical and Computer Engineering, University of California, Davis, Davis, CA, U.S.A.(加州大学戴维斯分校电气与计算机工程系)
研究针对低质量双波长 PPG 信号估计 SpO₂ 不准确的问题,提出 SpO₂ 预测器引导的逐阶段时频重建框架,结合时域与频域损失及 SpO₂ 预测器约束训练模型,实验表明该方法能降低受试者级平均绝对误差。
2026-07-10 cs.AI cs.LG eess.SP
A Framework for Evaluating Approximation Methods for Gaussian Process Regression
University of Edinburgh(爱丁堡大学);California Institute of Technology(加州理工学院)
高斯过程(GP)预测器是机器学习的许多贝叶斯方法的重要组成部分。然而,即使是高斯过程回归(GPR)的直接实现,对于n个样本的数据集也需要O(n^2)空间和O(n^3)时间。已经提出了几种近似方法,但缺乏对不同近似的相对优点的理解,以及在什么情况下它们最有用。我们建议评估作为计算时间的函数获得的预测的质量,并与标准基线进行比较(例如,数据和FITC的子集)。我们实证研究四种不同的近似算法对四个不同的预测问题,并使我们的代码,以鼓励未来的比较。
2012-11-05 cs.LG stat.CO stat.ML
Adaptable Method for Crystal Design across Diverse Constraints and Objectives with Pretrained Property Predictors
The University of Tokyo(东京大学);OMRON SINIC X Corp.(OMRON SINIC X公司);National Institute for Materials Science(国家材料科学研究所);National Institute of Advanced Industrial Science and Technology(国家先进工业科学和技术研究院)
提出一种直接预测器引导的梯度优化方法,结合现成预测器、位点元素掩码、模板初始化和任务特定损失,实现数据高效、约束丰富的晶体设计,在钙钛矿中优于生成和贝叶斯基线,并支持半金属设计。
2026-06-17 cond-mat.mtrl-sci cs.LG
Evaluating the Impact of Loss Function Variation in Deep Learning for Classification
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
损失函数可以说是神经网络最重要的超参数之一。到目前为止,已经设计了许多损失函数,使得正确的选择不是平凡的。然而,有关损失函数的选择,详细的理由没有在相关的工作。正如我们所看到的,这表明了深度学习社区缺乏经验基础的教条主义心态。在这项工作中,我们考虑了监督分类设置中的深度神经网络,并分析了损失函数的选择对训练结果的影响。虽然某些损失函数表现不佳,但我们的工作经验表明,代表性不足的损失(如KL Divergence)可以显着优于最先进的选择,突出表明需要将损失函数作为调整的超参数,而不是固定的选择。
2022-10-28 cs.LG
A novel multivariate performance optimization method based on sparse coding and hyper-predictor learning
School of Electronic Information Engineering, Tianjin University, Tianjin 300072, China(电子信息工程学院,天津大学);College of Information Science and Technology, University of Nebraska Omaha, Omaha, NE 68182,United States(信息科学与技术学院,内布拉斯加大学奥马哈分校)
本文提出一种新型方法,通过稀疏编码和超预测器学习优化多变量性能度量,通过联合优化问题最小化重建误差、稀疏性及复杂损失函数上界。
2015-07-31 cs.CV cs.LG cs.NA
An Efficient Gradient-Aware Error-Bounded Lossy Compressor for Federated Learning
Stevens Institute of Technology(史蒂文斯理工学院);Argonne National Laboratory(阿贡国家实验室);Hong Kong Polytechnic University(香港理工大学)
针对联邦学习梯度数据平滑性差导致现有误差有界有损压缩器压缩比低的问题,提出利用跨轮次时间相关性和卷积核结构规律性的梯度感知EBLC框架,在APPFL中实现最高1.53倍压缩比提升并将端到端通信时间减少76.1%-96.2%。
2025-11-07 cs.DC cs.LG
Optimality of Universal Bayesian Sequence Prediction for General Loss and Alphabet
各种最优性的通用序列预测的基础上贝叶斯混合一般,特别是Solomonoff的预测方案,将进行研究。如果序列$x_1x_2x_3...$的真实生成分布$μ$已知,则可以用链式规则计算在给定过去观测值$x_1...x_{t-1}$的情况下在时间$t$观测到$x_t$的概率。如果$μ$是未知的,但已知属于可数或连续类$\M$,则可以将预测基于贝叶斯混合$ξ$,该贝叶斯混合$ξ$定义为分布$ν\in\M$的$w_ν$加权和或积分。基于$ξ$的贝叶斯最优通用预测方案的累积期望损失与基于$μ$的贝叶斯最优但不可行的预测方案的损失接近。我们表明,界限是紧的,没有其他预测可以导致显着更小的界限。此外,对于各种性能指标,我们显示$ξ$的帕累托最优性,并给出奥卡姆剃刀参数的选择$w_ν\sim 2^{-K(ν)}$的权重是最优的,其中$K(ν)$是描述$ν$的最短程序的长度。结果被应用于机会游戏,定义为一系列的赌注,观察和奖励。预测方案(和界限)进行比较,流行的预测专家的意见为基础。扩展到无限的字母表,部分,延迟和概率预测,分类,和更积极的系统进行了简要讨论。
2003-11-13 cs.AI cs.LG math.PR
Evaluating Loss Landscapes from a Topology Perspective
Arizona State University(亚利桑那州立大学);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室);Dartmouth College(达特茅斯学院);ICSI(国际计算机科学研究所);UC Berkeley(加州大学伯克利分校)
本文利用拓扑数据分析(TDA)量化神经网络的损失景观拓扑,结合性能指标和基于Hessian的局部结构指标,为图像识别和科学机器学习模型的性能与学习动态提供了新见解。
2024-11-14 cs.AI cs.LG
Decomposing Probabilistic Scores: Reliability, Information Loss and Uncertainty
Kyoto University, Japan(京都大学)
本文提出概率分数分解理论,将预测损失分为可靠性项与残余不确定性项,并应用于分类任务,揭示了校准、模型聚合与提升方法中的信息损失与不确定性问题。
2026-03-22 cs.LG math.ST stat.ML
Stochastic linear optimization never overfits with quadratically-bounded losses on general data
这项工作为线性预测器上的迭代不动点方法提供了测试误差界-特别是随机和批量镜像下降(MD)和随机时间差学习(TD)-有两个核心贡献:(a)一种单一的证明技术,即使没有投影、正则化或任何等价物,即使当最优值具有大的或无限的范数时,也能给出高概率的保证,对于二次有界损耗(例如,提供平方损失和逻辑损失的统一处理);(b)局部适应的速率,其不依赖于全局问题结构(例如条件数和最大裕度),而是依赖于可能遭受一些小的过量测试误差的低范数预测器的性质。证明技术是一个基本的和多功能的耦合参数,并在这里演示了以下设置:随机MD下的可实现性;随机MD一般马尔可夫数据;批量MD一般IID数据;随机MD重尾数据(仍然没有预测);随机TD马尔可夫链(所有先前的随机TD边界是在预期中)。
2022-06-28 cs.LG math.OC stat.ML
Learning Inter-Annual Flood Loss Risk Models From Historical Flood Insurance Claims and Extreme Rainfall Data
Instituto Politécnico Nacional(国立理工学院);Massachusetts Institute of Technology(麻省理工学院)
洪水是最具灾难性的自然灾害之一,造成巨大的经济损失。洪水引起的经济损失的预测模型对于气候变化适应规划和保险承保等许多应用都很有用。本研究使用神经网络(条件生成对抗网络)、决策树(极端梯度提升)和基于核的回归(高斯过程)评估在国家洪水保险计划(NFIP)数据集上构建的回归的预测能力。该评估突出了回归的最具信息性的预测因子。索赔额推断的分布建模与伯尔分布允许引入偏差校正方案,并增加回归的预测能力。为了研究与物理变量的相互作用,我们将Daymet降雨估计NFIP作为一个额外的预测。对美国西南部八个州的沿海县进行的一项研究产生了一个$R^2=0.807$。对NFIP数据集中索赔数量较多的11个县的进一步分析表明,极端梯度提升提供了最佳结果,偏差校正显著提高了与参考分布的相似性,降雨预测器增强了回归性能。
2022-12-15 cs.LG physics.data-an stat.AP
Deep Neural Network Based Accelerated Failure Time Models using Rank Loss
Department of Statistics (Institute of Applied Statistics)(统计学系(应用统计研究所));Jeonbuk National University(全北国立大学);Department of Applied Statistics(应用统计学系);Yonsei University(yonsei大学);Department of Statistics and Data Science(统计学与数据科学系);Center for Advanced Image and Information Technology(先进图像与信息技术中心)
针对加速失效时间模型均值预测的非线性问题,提出基于深度神经网络与 Gehan 型秩损失的 DeepR-AFT 模型,模拟与真实数据表明其在非线性及高维线性场景下优于传统模型。
2025-07-12 cs.LG stat.ML
Aligning Data-Driven Predictors with Allocation: A Decision-Focused Approach to Survival Analysis
Department of Computer Science, Carnegie Mellon University, Pittsburgh, PA(计算机科学系,卡内基梅隆大学,匹兹堡,PA);Strategy Robot, Inc.(策略机器人公司);Strategic Machine, Inc.(战略机器公司);Optimized Markets, Inc.(优化市场公司)
针对生存分析中预测模型与分配决策目标不一致的问题,提出基于归一化折现累积增益(NDCG)的决策聚焦学习方法,通过优化NDCG提升分配效果,在心脏移植数据上使基线模型NDCG提升50-100%。
2026-06-01 cs.AI cs.LG
Swap Agnostic Learning, or Characterizing Omniprediction via Multicalibration
Apple(苹果公司);Cornell University(康奈尔大学);Stanford(斯坦福大学)
本文提出 Swap Agnostic Learning,证明其对任意凸损失可行,并通过建立其与 omniprediction、multicalibration 交换变体的等价性,刻画多组公平性、全能预测和 OI 的统一关系。
2024-01-21 cs.LG
Discretization-free Multicalibration through Loss Minimization over Tree Ensembles
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);J.P. Morgan Chase AI Research(摩根大通AI研究)
本文提出一种免离散化的多校准方法,通过树集成上的经验风险最小化实现,并证明在损失饱和条件下有效,实验显示其性能匹配或优于现有方法。
2025-05-23 cs.LG