Universally consistent predictive distributions
Vladimir Vovk
本文描述了简单的普遍一致的概率预测程序，满足小样本有效性的自然属性，假设观测独立产生的IID时尚。
This paper describes simple universally consistent procedures of probability forecasting that satisfy a natural property of small-sample validity, under the assumption that the observations are produced independently in the IID fashion.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Universally Rank Consistent Ordinal Regression in Neural Networks
尽管有序标签在监督学习中普遍存在，但在深度学习中，通常的做法是使用分类交叉熵损失来处理分类分类问题。最近的方法试图解决这个问题，同时尊重有序结构的标签已诉诸转换成一系列的扩展二进制分类子任务的有序回归。然而，由于理论和实践的限制，这些方法的采用仍然不一致。在这里，我们通过证明子任务概率形成马尔可夫链来解决这些限制。我们展示了如何直接修改神经网络架构，以利用这一事实，从而约束预测普遍排名一致。我们还证明了所有的秩一致的解决方案，可以表示在此配方，并推导出一个损失函数产生最大似然参数估计。使用不同的基准和用于COVID-19预测的专用递归神经网络的实际应用，我们证明了这种方法相对于当前最先进技术的实际优势。该方法是开源的，作为用户友好的PyTorch和TensorFlow包。
A universally consistent learning rule with a universally monotone error
提出一种普遍一致且完全确定性的数据依赖划分学习规则，利用循环序和标签经验多样性划分，确保期望误差在任意数据分布下随样本量单调非增。
Universally Consistent Online Learning with Arbitrarily Dependent Responses
这项工作提供了一个在线学习规则，是普遍一致的过程下（X，Y）对，条件下，只有在X过程。作为一个特例，这些条件允许（X，Y）上的所有过程，使得X上的过程是平稳的。这推广了过去的结果，需要平稳的联合过程（X，Y），并要求这个过程是遍历的。特别是，这意味着遍历性对于普遍一致的在线学习来说是多余的。
Universally Consistent K-Sample Tests via Dependence Measures
本文提出一种变换方法，使任意依赖性度量均可用于K样本检验，并证明借助距离相关和HSIC等通用一致性度量可实现通用一致的K样本检验。
Transformers Are Universally Consistent
针对 Transformers 在非欧数据下的函数回归理论空白，本文证明配备 softmax 非线性注意力的模型在双曲空间执行 OLS 回归时具有普遍一致性，并给出了 $\mathcal{O}(t^{-1/2d})$ 的误差收敛上界。
Universal consistency of the $k$-NN rule in metric spaces and Nagata dimension. II
本文证明了k近邻学习规则在Nagata意义下sigma有限维的完备可分度量空间中无并列时具有强普遍一致性，并推广到非阿基米德空间及de Groot有限维空间，特别涵盖海森堡群。
Which Histories Matter for Time Series Forecasting? Learning Predictive Relevance with Future Supervision
该研究针对时间序列预测的历史检索问题，提出基于未来监督的预测相关性重排序方法，在多基准任务中优于SARAF等检索规则，揭示历史相关性具结构化和领域依赖性。
Learning Whenever Learning is Possible: Universal Learning under General Stochastic Processes
这项工作启动了学习和泛化的一般性研究，没有独立同分布。假设，从第一原则开始。虽然统计学习理论的传统方法通常依赖于来自概率论的标准假设（例如，i.i.d.或平稳遍历），在这项工作中，我们感兴趣的是发展一个学习理论的基础上，只有最基本的和必要的假设隐含在学习问题本身的要求。我们专门研究普遍一致的函数学习，其目标是当数据遵循给定的随机过程时，为任何目标函数获得较低的长期平均损失。然后，我们感兴趣的问题，是否存在学习规则保证是普遍一致的假设，普遍一致的学习是可能的给定的数据处理。激发这一标准的推理来自于一种乐观主义者的决策理论，因此我们将这种学习规则称为乐观普适的。我们在三种自然学习环境中研究这个问题：归纳，自适应和在线。值得注意的是，作为我们最强的积极结果，我们发现乐观的普遍学习规则确实存在于自适应学习环境中。建立这一事实需要我们开发新的方法来设计学习算法。一路上，我们还确定了简明的家庭的过程下，普遍一致的学习是可能的归纳和自适应设置的特征。我们还提出了一些诱人的开放问题，特别是在线学习设置。
A learning problem whose consistency is equivalent to the non-existence of real-valued measurable cardinals
本文证明 k-最近邻学习规则的普遍一致性与实值可测基数的不存在性等价，揭示了机器学习一致性问题与集合论大基数假设之间的深刻联系。
Universal consistency of Wasserstein $k$-NN classifier: Negative and Positive Results
瓦瑟斯坦距离提供了概率测度之间差异的概念，该概念最近应用于学习具有不同大小的结构化数据，例如图像和文本文档。在这项工作中，我们研究了$k$ -最近邻分类器（$k$ -NN）的概率测度下的瓦瑟斯坦距离。我们表明，$k$ -NN分类器是不普遍一致的空间上的措施支持$(0,1)$。由于任何欧几里得球都包含一个$(0,1)$的副本，所以不应该期望在没有对基度量空间或Wasserstein空间本身的某些限制的情况下获得普适一致性。为此，通过$σ$ -有限度量维的概念，我们表明，$k$ -NN分类器是普遍一致的空间上的措施支持在$σ$ -一致离散集。此外，通过研究$p=1$和$p=2$的Wasserstein空间的测地线结构，我们证明了$k$ -NN分类器在有限集上支持的测度空间、高斯测度空间和密度表示为有限小波级数的测度空间上是普适的.
Universal consistency and rates of convergence of multiclass prototype algorithms in metric spaces
研究了度量空间中多类分类问题的简单最近邻原型规则的一致性和收敛速度。我们首先表明，一种新的数据相关的划分规则，命名为原NN，是普遍一致的，在任何度量空间，承认一个普遍一致的规则。Proto-NN是OptiNet的一个重要简化，OptiNet是最近提出的一种基于压缩的算法，迄今为止，它是唯一一种已知在这种一般设置中普遍一致的算法。实际上，原型神经网络更容易实现，并享有降低的计算复杂性。然后，我们继续研究收敛速度的超额错误概率。我们首先获得率的标准$k$ -NN规则下的利润率条件和一个新的广义Lipschitz条件。后者是最近提出的修改Lipschitz条件从$\mathbb R^d$度量空间的一个扩展。与改进的Lipschitz条件类似，新条件避免了对数据分布的任何有界性假设。虽然获得率为原NN是开放的，我们表明，第二个原型规则之间的杂交$k$ -NN和原NN实现相同的速率为$k$ -NN，同时享有类似的计算优势，作为原NN。然而，作为$k$ -NN，这种混合规则在一般情况下是不一致的。
Data-Driven Prediction of Embryo Implantation Probability Using IVF Time-lapse Imaging
将人类卵子移植到体外以帮助那些患有不孕症的人怀孕的过程被称为体外受精（IVF）。尽管IVF是辅助生殖技术（ART）中最有效的方法，但其平均成功率仅为20- 40%。对手术成功至关重要的一个步骤是选择将哪个胚胎移植给患者，这是一个通常手动进行的过程，没有任何普遍接受和标准化的标准。在本文中，我们描述了一种新的数据驱动的系统训练，直接预测胚胎植入的概率从胚胎发生的时间推移成像视频。使用从272个胚胎中回顾性收集的视频，我们证明，与外部胚胎学家小组相比，我们的算法导致阳性预测值增加12%，阴性预测值增加29%。
Universal Online Learning: an Optimistically Universal Learning Rule
我们研究了非i.i.d.的通用在线学习的主题。有界损失的过程。普遍一致学习的概念是由Hanneke定义的，目的是在最小假设下研究学习理论，其目标是获得任何目标函数的低长期平均损失。我们感兴趣的是表征过程的学习是可能的，是否存在学习规则保证是普遍一致的唯一假设，这种学习是可能的。无限损失的情况是非常严格的，因为可学习的过程几乎肯定会访问有限数量的点，因此，简单的记忆是乐观的普遍性。我们专注于有界的设置，并给予一个完整的表征承认强和弱的普遍学习的过程。我们进一步表明，k-最近邻算法（kNN）是不是乐观的普遍性，并提出了一种新的变种1 NN是乐观普遍的一般输入和值空间在强和弱设置。这关闭了Hanneke对通用在线学习提出的所有COLT 2021开放问题。
Consistent Range Approximation for Fair Predictive Modeling
本文提出一致范围近似（CRA）框架，利用数据收集背景知识与有偏数据计算公平性查询范围，构建在目标群体上可证明公平的预测模型，效果显著优于现有方法。
Towards Consistent Predictive Confidence through Fitted Ensembles
深度神经网络是最近机器学习应用中许多成功的背后。然而，这些模型在遇到分布外（OOD）示例或做出错误预测时可能会产生过度自信的决策。这种不一致的预测置信度限制了独立训练的学习模型集成到更大的系统中。本文引入了可分离的概念学习框架，以现实地衡量存在OOD的例子分类器的性能。在这种设置中，分类器的几个实例在类集合的分区的不同部分上训练。随后，在单独的测试集上评估这些模型的组合的性能。与当前的OOD检测技术不同，该框架不需要辅助OOD数据集，也不将分类与检测性能分开。此外，我们提出了一个新的强基线，用于在深度模型中实现更一致的预测置信度，称为拟合集合，其中过度自信的预测通过原始分类任务的转换版本进行纠正。拟合集成可以自然地检测OOD的例子，而不需要辅助数据，通过观察其组件之间的矛盾预测。在MNIST、SVHN、CIFAR-10/100和ImageNet上的实验表明，拟合集成在OOD示例上的性能明显优于传统集成，并且可以扩展。
Basis functions nonlinear data-enabled predictive control: Consistent and computationally efficient formulations
该研究通过通用基函数将DeePC扩展到非线性系统，推导了行为预测器与多步辨识预测器等价的充要条件，提出了一致且计算高效的基函数DeePC公式，并在非线性摆模型上验证了其有效性。
Differentially-Private Bayes Consistency
我们构造了一个满足差分隐私（DP）的普遍贝叶斯一致学习规则。我们首先处理二进制分类的设置，然后将我们的规则扩展到更一般的密度估计设置（相对于总变差度量）。普遍一致的DP学习者的存在揭示了与无分布PAC模型的明显区别。事实上，在后者DP学习是非常有限的：即使是一维线性分类器在这个严格的模型中也是不可私下学习的。因此，我们的结果表明，通过允许学习率依赖于目标分布，可以规避上述不可能的结果，实际上，学习\emph{arbitrary}分布由一个单一的DP算法。作为一个应用程序，我们证明了任何VC类可以私下学习的半监督设置与接近最佳的\emph{labeled}样本复杂性的$\tilde{O}(d/\varepsilon)$标记的例子（和未标记的样本复杂性，可以依赖于目标分布）。
Enhancing predictive skills in physically-consistent way: Physics Informed Machine Learning for Hydrological Processes
当前水文建模方法通常依赖于基于物理或数据科学的方法，包括机器学习（ML）算法。虽然基于物理的模型倾向于刚性结构，导致在某些情况下不切实际的参数值，但ML算法在建立输入-输出关系时忽略了众所周知的物理过程所施加的约束。虽然有一种观点认为物理模型可以更好地理解过程，ML算法表现出更好的预测能力，但不增加预测能力的科学知识可能是欺骗性的。因此，需要一种混合建模方法来以协同方式耦合ML算法和基于物理的模型。在这里，我们开发了一个物理信息机器学习（PIML）模型，该模型将概念水文模型的过程理解与最先进的ML模型的预测能力相结合。我们应用所提出的模型来预测每月时间序列的目标（流量）和中间变量（实际蒸散量）在印度的纳尔默达河流域。我们的研究结果表明，PIML模型的性能优于纯概念模型（$abcd$模型）和ML算法，同时确保通过水平衡分析验证的输出的物理一致性。将概念模型结构与ML算法相结合的系统方法可用于提高对洪水风险评估至关重要的关键水文过程的预测精度。
Physically consistent predictive reduced-order modeling by enhancing Operator Inference with state constraints
本文提出一种通过嵌入状态约束增强操作子推断法的方法，以提高复杂多物理系统降阶模型的稳定性与准确性，适用于炭燃烧等应用。
Consistent Validation for Predictive Methods in Spatial Settings
针对空间预测中验证位置与测试位置不匹配、经典及协变量偏移验证方法失效的问题，提出了适配空间固定位置场景的验证方法，证明其满足稠密数据下的准确性检验，且经模拟与真实数据实验验证更具优势。
Does Joint-Embedding Predictive Architecture Pretraining Help Time Series Forecasting?
本研究大规模评估JEPA预训练在九种骨干网络和十一个基准上的效果，发现其收益因架构而异，既有增益也有退化，表明该变异性是普遍属性，选择骨干网络时需考虑。
Distribution Preserving Source Separation With Time Frequency Predictive Models
针对现有源分离方法的感知缺陷，提出一种基于无条件生成模型与混合一致性采样的分布保持源分离方法，分离信号符合源分布，在听力测试中表现更优。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。