Methodological Precedence in Health Tech: Why ML/Big Data Analysis Must Follow Basic Epidemiological Consistency. A Case Study
University of Bologna（博洛尼亚大学）
该研究指出，健康科技中ML/大数据分析必须遵循基本流行病学一致性，否则可能产生误导性结果。
2025-12-12 cs.LG
Deep Generative Modeling in Network Science with Applications to Public Policy Research
RAND Corporation（兰德公司）
网络数据越来越多地用于定量的、数据驱动的公共政策研究。这些通常是非常丰富的数据集，包含复杂的相关性和相互依赖性。这种丰富性既保证对政策研究非常有用，同时也对从这些数据集中提取有用的信息提出了挑战-这一挑战需要新的数据分析方法。在本报告中，我们制定了关键方法论问题的研究议程，这些问题的解决方案将使政策研究的许多领域取得新的进展。然后，我们回顾了将深度学习应用于网络数据的最新进展，并展示了如何使用这些方法来解决我们发现的许多方法学问题。我们特别强调深度生成方法，可用于生成逼真的合成网络，用于微观仿真和基于代理的模型，能够为关键的公共政策问题提供信息。我们通过开发一个新的生成框架来扩展这些最新进展，该框架适用于流行病学建模中常用的大型社会接触网络。对于上下文，我们还比较和对比这些最新的基于神经网络的方法与更传统的指数随机图模型。最后，我们讨论了一些开放的问题，需要更多的进展。
2020-10-16 cs.LG cs.SI
Challenges and proposed solutions in modeling multimodal medical data: A systematic review
Institute of General Practice/Family Medicine（一般医学/家庭医学研究所）；Freiburg Center for Data Analysis, Modeling and AI（弗赖堡数据分析、建模与人工智能中心）；Institute of Medical Biometry and Statistics（医学生物统计研究所）；Institute for Applied Medical Informatics（应用医学信息研究所）；Institute of Medical Systems Biology（医学系统生物学研究所）；Department of Computer Science（计算机科学系）
本系统综述针对多模态医疗数据建模面临的模态缺失、样本量有限等挑战，结合69项研究，介绍迁移学习等解决方案，为该领域未来研发提供实用指导。
2026-07-30 cs.LG stat.ML
Implicit Modeling -- A Generalization of Discriminative and Generative Approaches
Dresden University of Technology（德累斯顿工业大学）
我们提出了一种新的建模方法，是一个泛化的生成和歧视性模型。其核心思想是通过仅指定条件分布来使用联合概率分布的隐式参数化。所提出的方案结合了两个世界的优点-它可以使用强大的复杂的判别模型作为其部分，同时具有更好的泛化能力。我们彻底评估所提出的方法，一个简单的分类任务与人工数据，并说明其优势，为真实的场景上的语义图像分割问题。
2016-12-05 cs.LG
Radiomics in Medical Imaging: Methods, Applications, and Challenges
本文系统分析了放射组学的全流程，探讨了特征稳定性、模型可靠性及临床转化有效性，并提出了标准化、领域转移和临床部署等未来研究方向。
2026-01-24 cs.AI cs.LG eess.IV
Toward Compositional Generalization in Object-Oriented World Modeling
Khoury College of Computer Sciences, Northeastern University（东北大学库利计算机学院）
作文概括是学习和决策的关键能力。我们专注于强化学习在面向对象环境中的设置，研究世界建模中的组合泛化。我们（1）用代数方法形式化合成泛化问题，（2）研究世界模型如何实现这一点。我们介绍了一个概念环境，对象库，和两个实例，并部署了一个原则性的管道来衡量泛化能力。出于制定，我们分析了几种方法，准确或没有组合泛化能力，使用我们的框架，并设计了一个可微的方法，同态面向对象的世界模型（HOWM），实现软，但更有效的组合泛化。
2022-06-17 cs.AI cs.LG cs.RO
Towards Graph-Based Deep Learning for Map Generalization: Insights from Building Footprints Simplification and Aggregation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Zhejiang University（浙江大学）；Mainz University of Applied Sciences（美因茨应用科学大学）
本研究首次探索将图深度学习应用于建筑足迹简化（节点移动预测）和聚合（链接预测），评估了GCN、GAT和GraphSAGE等架构，发现GraphSAGE在链接预测上表现较好，但节点移动预测仍具挑战，且聚合比简化更复杂。
2026-06-19 cs.LG
State-Reification Networks: Improving Generalization by Modeling the Distribution of Hidden Representations
Université de Montréal（蒙特利尔大学）；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Colorado（科罗拉多大学）；Google Research（谷歌研究院）
机器学习承诺从有限标记数据中很好地推广方法。然而，现有的神经网络方法的脆弱性被显着的失败所揭示，例如存在尽管与训练样本几乎相同但被错误分类的对抗样本，或者在没有教师强迫的情况下，递归序列处理网络无法保持在轨道上。我们介绍了一种方法，我们称之为\emph{state reification}，它涉及到建模的隐藏状态的分布在训练数据，然后预测隐藏状态在测试过程中观察到这个分布。我们的直觉是，如果网络可以保持在一个熟悉的隐藏空间流形中，那么网络的后续层应该得到很好的训练，以做出适当的反应。我们证明了这种状态具体化方法有助于神经网络更好地泛化，特别是当标记数据稀疏时，并且还有助于克服通过对抗训练实现鲁棒泛化的挑战。
2019-05-26 cs.AI cs.LG stat.ML
Beyond Point Forecasts: A Survey on Probabilistic Forecasting for Time Series and Spatiotemporal Data
Sorbonne University Abu Dhabi（阿布扎比索邦大学）；Sorbonne Université（索邦大学）
本综述统一了概率预测方法论，通过跨范式实证研究揭示不同不确定性量化范式的适用性，并指出未来挑战。
2026-09-15 cs.LG econ.EM stat.AP
Promises and pitfalls of deep neural networks in neuroimaging-based psychiatric research
Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Freie Universität Berlin（柏林自由大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Berlin Institute of Health（柏林健康研究所）
通过承诺更准确的诊断和个体治疗建议，深度神经网络，特别是卷积神经网络已经发展成为医学成像中的强大工具。在这里，我们首先介绍了方法的关键概念和由此产生的方法承诺，包括表示和迁移学习，以及建模领域特定的先验。在回顾了基于神经影像学的精神病学研究的最新应用，如精神疾病的诊断，疾病亚型的划分，规范建模和神经影像学生物标志物的发展后，我们讨论了当前的挑战。这包括例如在小的、异质的和有偏差的数据集上训练模型的困难、临床标签的有效性的缺乏、算法偏见以及混杂变量的影响。
2023-01-20 cs.LG eess.IV q-bio.NC
A ResNet is All You Need? Modeling A Strong Baseline for Detecting Referable Diabetic Retinopathy in Fundus Images
PLADEMA Institute, UNICEN（国立中央布宜诺斯艾利斯省大学PLADEMA研究所）；Centro de Oftalmología Martínez（马丁内斯眼科中心）
深度学习是目前从彩色眼底照片（CFP）自动检测可诊断糖尿病视网膜病变（DR）的最先进技术。虽然普遍的兴趣是通过方法创新来改善结果，但与使用适当设置训练的标准深度分类模型相比，这些方法的性能如何尚不清楚。在本文中，我们建议基于简单和标准的ResNet-18架构为这项任务建模一个强大的基线。为此，我们在现有技术的基础上，通过使用标准预处理策略训练模型，但使用来自多个公共来源的图像和经验校准的数据增强设置。为了评估其性能，我们涵盖了多个临床相关的角度，包括图像和患者级DR筛查，通过输入质量和DR等级区分反应，评估模型不确定性并以定性方式分析其结果。除了精心设计的训练之外，没有其他方法上的创新，我们的ResNet模型在来自不同公共数据集的61007张测试图像的组合测试集上实现了AUC = 0.955（0.953 - 0.956），这与文献中报道的其他更复杂的深度学习模型一致甚至更好。从专门为此研究准备的两个独立的内部数据库中的480幅图像中获得了相似的AUC值，这强调了其泛化能力。这证实，如果经过适当的训练，标准网络仍然可以成为这项任务的强大基线。
2022-10-06 cs.CV cs.LG eess.IV
Generalization in Generation: A closer look at Exposure Bias
ETH Zürich（苏黎世联邦理工学院）
暴露偏差指的是训练-测试差异，当自回归生成模型在训练时只使用地面实况上下文，但在测试时生成时，似乎会出现这种差异。我们将模型和学习框架的贡献分开，以澄清关于后果的辩论，并审查提出的对策。在这方面，我们认为，泛化是解决和提出无条件生成作为其基本基准的基本属性。最后，我们结合潜变量建模与最近制定的探索强化学习，以获得严格的处理真实和生成的上下文。语言建模和变句自动编码的结果证实了模型的泛化能力。
2019-11-07 cs.CL cs.LG stat.ML
What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?
Hugging Face；Google（谷歌）；LightOn；Allen Institute for AI（艾伦人工智能研究所）；LPENS, École Normale Supérieure（巴黎高等师范学院物理实验室）
大型预训练的Transformer语言模型已被证明具有zero-shot泛化能力，即它们可以执行各种各样的任务，而这些任务并没有被显式训练过。然而，最先进的模型之间使用的架构和预训练目标存在显着差异，并且这些因素的系统比较有限。在这项工作中，我们提出了一个大规模的评估建模的选择和它们的影响zero-shot推广。特别是，我们专注于文本到文本模型，并使用三种模型架构（因果/非因果解码器和编码器-解码器）进行实验，使用两种不同的预训练目标（自回归和掩码语言建模）进行训练，并在有和没有多任务提示微调的情况下进行评估。我们为超过1700亿个令牌训练了超过50亿个参数的模型，从而增加了我们的结论转移到更大规模的可能性。我们的实验表明，在纯无监督预训练后，在自回归语言建模目标上训练的因果解码器模型表现出最强的zero-shot泛化能力。然而，在我们的实验中，使用掩蔽语言建模目标训练的输入具有非因果可见性的模型在多任务微调之后表现最好。因此，我们考虑跨架构和目标调整预训练模型。我们发现，预训练的非因果解码器模型可以适应性能生成的因果解码器模型，使用自回归语言建模作为下游任务。此外，我们发现预训练的因果解码器模型可以有效地适应非因果解码器模型，最终在多任务微调后实现有竞争力的性能。代码和检查点可在https://github.com/bigscience-workshop/architecture…
2022-04-12 cs.CL cs.LG stat.ML
A Domain Generalization Perspective on Listwise Context Modeling
Ctrip Travel Network Technology Co., Limited（携程旅行网络科技有限公司）
作为信息检索中解决排序问题的最流行的技术之一，LETOR（Learning-to-rank）由于其在各种数据采掘应用中的重要性而受到学术界和工业界的广泛关注。然而，大多数现有的LETOR方法选择学习一个单一的全局排名函数来处理所有查询，而忽略了查询之间存在的实质性差异。在本文中，我们提出了一个领域泛化策略来解决这个问题。我们提出了查询不变的列表上下文建模（QILCM），一种新的神经架构，通过学习\textit{query-invariant}潜在表示消除查询间变异的不利影响，使排名系统可以更好地推广到看不见的查询。我们在基准数据集上评估了我们的技术，证明QILCM的性能大大优于以前的最先进的方法。
2019-02-12 cs.IR cs.LG
Overly Optimistic Prediction Results on Imbalanced Data: a Case Study of Flaws and Benefits when Applying Over-sampling
Ghent University – imec（根特大学–imec）；Ghent University Hospital（根特大学医院）；Analytical Minds Ltd.（Analytical Minds有限公司）
从子宫电描记记录中提取的信息可能被证明是一个有趣的额外信息来源，以估计早产的风险。最近，大量的研究报告了近乎完美的结果，以区分使用公共资源（称为术语/早产子宫电图数据库）的足月或早产患者的记录。然而，我们认为，这些结果过于乐观，由于方法上的缺陷。在这项工作中，我们专注于一种特定类型的方法缺陷：在将数据划分为相互排斥的训练集和测试集之前应用过采样。我们使用两个人工数据集展示了这是如何导致结果有偏差的，并重现了发现该缺陷的研究结果。此外，我们评估过采样对预测性能的实际影响，当应用之前的数据划分，使用相同的方法相关研究，提供一个现实的观点，这些方法的泛化能力。我们通过在开放许可证下提供所有代码来使我们的研究具有可复制性。
2020-11-28 cs.LG eess.SP stat.ML
Robust Modeling of Unknown Dynamical Systems via Ensemble Averaged Learning
The Ohio State University（俄亥俄州立大学）；Dartmouth College（达特茅斯学院）
最近的工作集中在通过深度神经网络（DNN）对未知系统的演化进行数据驱动学习，目标是对未知系统的演化进行长期预测。在这种情况下，训练具有低泛化误差的DNN是一项特别重要的任务，因为误差会随着时间的推移而积累。由于DNN训练中固有的随机性，主要是在随机优化中，因此在结果预测中存在不确定性，因此在泛化误差中也存在不确定性。因此，泛化误差可以看作是具有某种概率分布的随机变量。经过良好训练的DNN，特别是那些具有许多超参数的DNN，通常会导致泛化误差的概率分布具有低偏差但高方差。高方差会导致经过训练的DNN结果的可变性和不可预测性。本文提出了一种计算技术，减少了泛化误差的方差，从而提高了DNN模型的可靠性，以推广一致。在所提出的集成平均方法中，多个模型被独立地训练，并且在每个时间步对模型预测进行平均。该方法的数学基础，包括结果的局部截断误差的分布。最后，以三个含时微分方程问题为例，验证了该方法在降低DNN预测方差方面的有效性。
2022-03-07 cs.LG math.DS stat.ML
Towards Out-Of-Distribution Generalization: A Survey
Tsinghua University（清华大学）
本文系统综述了分布外（OOD）泛化问题，从问题定义、方法分类（无监督表示学习、有监督模型学习、优化）、基准数据集到未来方向进行了全面探讨，并提供了相关方法总结网站。
2023-07-27 cs.LG
Using Gradient to Boost the Generalization Performance of Deep Learning Models for Fluid Dynamics
MINES ParisTech（巴黎高科矿业学院）；PSL University（巴黎文理研究大学）；Extrality
当今，计算流体动力学（CFD）是工业设计的基本工具。然而，进行此类模拟的计算成本很昂贵，并且对于需要进行许多模拟的现实用例（例如形状优化任务）来说可能是有害的。最近，深度学习（DL）在广泛的应用中取得了重大飞跃，成为物理系统的良好候选者，为CFD开辟了前景。为了规避CFD的计算瓶颈，DL模型已被用于在欧几里德数据上学习，最近，在非欧几里德数据上学习，如非结构化网格和流形，允许更快，更有效的（内存，硬件）代理模型。然而，DL提出了从训练数据分布（设计空间）外推（推广）的内在限制。在这项研究中，我们提出了一项新的工作，以提高深度学习的泛化能力。为此，我们将物理梯度（输出w.r.t.输入）到DL模型。我们的策略已经显示出良好的结果，更好地推广DL网络和我们的方法/理论研究与实证验证，包括消融研究证实。
2022-10-09 cs.LG cs.NA math.NA
Uncertainty Modeling for Out-of-Distribution Generalization
Peking University（北京大学）；Tencent PCG（腾讯平台与内容事业群）；Singapore University of Technology and Design（新加坡科技设计大学）；Peng Cheng Laboratory（鹏城实验室）
尽管在各种视觉任务中已经取得了显着的进展，但当在分布外场景中进行测试时，深度神经网络仍然遭受明显的性能下降。我们认为，特征统计（平均值和标准差），其中携带的领域特征的训练数据，可以适当地操纵，以提高深度学习模型的泛化能力。常见的方法通常将特征统计量视为从学习的特征中测量的确定性值，并且没有显式地考虑测试期间潜在的域偏移引起的不确定统计量差异。在本文中，我们提高了网络的泛化能力，通过建模的不确定性域的变化与合成的特征统计在训练过程中。具体来说，我们假设的特征统计量，在考虑潜在的不确定性，遵循多元高斯分布。因此，每个特征统计量不再是确定性的值，而是具有不同分布可能性的概率点。利用不确定的特征统计，可以训练模型以减轻域扰动，并对潜在的域偏移实现更好的鲁棒性。我们的方法可以很容易地集成到网络中，没有额外的参数。大量的实验表明，我们提出的方法不断提高网络的泛化能力，对多个视觉任务，包括图像分类，语义分割，和实例检索。该代码可以在https://github.com/lixiaotong97/DSU上获得。
2022-04-22 cs.CV cs.LG
Causal Modeling of Soil Processes for Improved Generalization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Microsoft Research（微软研究院）；Rothamsted Research（洛桑研究所）；University of Glasgow（格拉斯哥大学）
测量和监测土壤有机碳对于农业生产力和解决关键环境问题至关重要。土壤有机碳不仅丰富了土壤中的营养，而且还具有一系列的共同利益，如改善水储存和限制物理侵蚀。尽管在土壤有机碳估算方面做了大量工作，但目前的方法在土壤条件和管理实践中并没有很好地推广。我们的经验表明，明确的土壤过程之间的因果关系建模提高了预测模型的分布泛化能力。我们提供了一个比较分析的土壤有机碳估计模型，其中的骨架估计使用因果发现方法。我们的框架提供了81%的测试均方误差和52%的测试平均绝对误差的平均改善。
2022-11-10 cs.CY cs.LG
Assessing Generalization for Subpopulation Representative Modeling via In-Context Learning
University of California, Davis（加利福尼亚大学戴维斯分校）
本研究利用美国全国选举研究数据评估基于LLM的子群体代表性模型通过上下文学习的泛化能力，发现其效果在不同人口群体间存在不均等益处，强调需建立检验保真度与泛化能力的细粒度基准。
2024-02-12 cs.AI cs.CL cs.CY
Modeling Uncertain Feature Representation for Domain Generalization
Peking University（北京大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Tencent PCG（腾讯平台与内容事业群）；Peng Cheng Laboratory（鹏城实验室）
尽管深度神经网络在各种视觉任务上取得了令人印象深刻的成功，但当模型在分布外场景中进行测试时，仍然存在明显的性能下降。在解决这一局限性时，我们认为可以适当地操纵携带训练数据的域特征的特征统计（均值和标准差），以提高深度学习模型的泛化能力。现有的方法通常认为特征统计是从学习的特征中测量的确定性值，并且没有明确地对测试过程中潜在的域偏移引起的不确定统计差异进行建模。在本文中，我们通过建模不确定性域偏移（DSU）来提高网络的泛化能力，即，在训练期间将特征统计表征为不确定分布。具体来说，我们假设的特征统计量，在考虑潜在的不确定性，遵循多元高斯分布。在推理过程中，我们提出了一种实例自适应策略，可以自适应地处理不可预见的移位，并进一步提高训练模型的泛化能力，而额外的成本可以忽略不计。从泛化误差界和隐正则化效应两个方面进行了理论分析，验证了该方法的有效性。大量的实验表明，我们的方法不断提高网络的泛化能力，对多个视觉任务，包括图像分类，语义分割，实例检索，姿态估计。我们的方法简单而有效，可以很容易地集成到网络中，无需额外的可训练参数或损失约束。代码将在https://github.com/lixiaotong97/DSU上发布。
2023-01-16 cs.CV cs.LG
Improving generalization of machine learning-identified biomarkers with causal modeling: an investigation into immune receptor diagnostics
University of Oslo（奥斯陆大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Oslo University Hospital（奥斯陆大学医院）
该研究探讨了实验设计因素对机器学习诊断泛化能力的影响，以适应性免疫受体库（AIRRs）为例，通过模拟说明因果建模如何识别变量间稳定关系并指导调整人群间差异，从而提升生物标志物的鲁棒性。
2023-04-03 cs.LG q-bio.QM
GLOBEM Dataset: Multi-Year Datasets for Longitudinal Human Behavior Modeling Generalization
University of Washington（华盛顿大学）
最近的研究已经证明了智能手机和可穿戴设备捕获的行为信号用于纵向行为建模的能力。然而，缺乏一个全面的公共数据集，作为算法之间公平比较的开放测试平台。此外，以前的研究主要使用来自单个人群的数据在短时间内评估算法，而没有测量这些算法的跨数据集的泛化能力。我们提出了第一个多年被动传感数据集，包含从移动和可穿戴传感器收集的700多个用户年和497个独特用户的数据，以及广泛的健康指标。我们的数据集可以支持多个跨数据集评估行为建模算法在不同用户和年份的可推广性。作为一个起点，我们提供了18个算法在抑郁症检测任务上的基准结果。我们的研究结果表明，无论是以前的抑郁症检测算法和领域泛化技术显示出潜力，但需要进一步的研究，以实现足够的跨数据集的推广。我们设想我们的多年数据集可以支持ML社区开发可推广的纵向行为建模算法。
2023-03-04 cs.AI cs.HC cs.LG
Know Your Limits: Entropy Estimation Modeling for Compression and Generalization
IBM（国际商业机器公司）
针对语言模型准确度和压缩率受语言固有信息熵限制、现有模型难精确估计熵的问题，提出编码器增强的因果解码器架构，提升训练效率与压缩率，实现逐token熵估计并验证其能增强模型泛化能力。
2025-11-13 cs.AI cs.CL cs.IT
FLOW: A Feedback-Driven Synthetic Longitudinal Dataset of Work and Wellbeing
FLOW通过反馈驱动的模拟生成合成纵向数据集，用于研究工作与幸福感之间的关系，提供可控实验环境以支持方法学发展和基准测试。
2025-12-28 cs.LG
Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
本文通过合成数据集、训练目标对比、剪枝实验和贝叶斯分析，揭示语言建模目标促使 Transformer 形成层级句法泛化偏置。
2025-03-16 cs.CL cs.LG
Raising the Bar in Graph OOD Generalization: Invariant Learning Beyond Explicit Environment Modeling
The School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；The School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）
本文提出MPHIL方法，通过超球面不变表示提取和多原型分类解决图学习中域外泛化问题，提升模型鲁棒性和分类性能。
2025-08-02 cs.AI cs.LG
Adaptive Spectral-Koopman Dynamics Modeling for Temporal Domain Generalization
East China Normal University（华东师范大学）
针对时间域泛化中噪声过拟合和复杂历史建模问题，提出谱正则化Koopman动力学与目标条件注意力机制，在八个基准上取得最优性能。
2026-10-05 cs.AI cs.LG
Modeling the Data-Generating Process is Necessary for Out-of-Distribution Generalization
Microsoft Research（微软研究院）
该研究针对现有领域泛化算法在多属性分布偏移下表现不佳的问题，通过因果图理论证明单一固定约束无法适配所有偏移，提出了自适应应用独立性约束的CACM算法，验证了建模数据生成过程因果关系的重要性。
2024-05-17 cs.AI cs.LG
SleepBand: Single-Source Domain Generalization for Sleep Staging via Physiologically Structured Spectral Modeling
Laboratory of Intelligent Collaborative Computing, University of Electronic Science and Technology of China（电子科技大学智能协同计算实验室）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学学院）；School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络科学与技术学院）
针对睡眠分期模型跨数据集泛化难题及单源域泛化的严格实际场景，提出SleepBand框架，利用可学习的Morlet滤波器组和结构化管道嵌入振荡先验，提升单源域泛化性能。
2026-07-07 cs.LG cs.MM
KNH: Multi-View Modeling with K-Nearest Hyperplanes Graph for Misinformation Detection
University of California, Riverside（加州大学河滨分校）；Snap Inc.（Snap公司）
图是表示数据点及其关系的最有效的结构之一，并且它们已被广泛用于不同的应用。以前，节点之间的高阶关系已经通过称为超图的图的推广来建模。在超图中，边由一组节点定义，即，超边以展示数据之间的高阶关系。然而，节点本身没有显式的高阶泛化。在这项工作中，我们介绍了一种新的推广图，即，K-最近超平面图（KNH），其中节点由高阶欧几里得子空间定义，用于节点的多视图建模。事实上，在KNH中，节点是超平面，或者更精确地说是m平面，而不是数据点。我们在两个多方面数据集上对KNH图进行了实验评估，用于错误信息检测。实验结果表明，使用KNH图的文章的多视图建模在分类性能方面优于经典的KNN图。
2021-02-15 cs.AI cs.CY cs.LG
AgentRM: Enhancing Agent Generalization with Reward Modeling
Tsinghua University（清华大学）
本研究提出AgentRM奖励模型，通过显式、隐式建模及LLM评判三种方式构建，结合N选最优采样等方法，在9个任务上提升智能体泛化与专门化能力，效果优于现有模型。
2026-09-04 cs.AI cs.CL cs.LG
Prescriptive Machine Learning for Automated Decision Making: Challenges and Opportunities
机器学习（ML）的最新应用揭示了一个明显的转变，从其用于预测建模（主要用于预测（地面事实）的数据驱动模型构建）到其用于规定性建模。这意味着学习一个模型的任务，该模型规定了关于现实世界场景中正确行动方针的适当决策：应该应用哪种药物治疗？这个人应该被雇佣吗？正如本文所讨论的，规定性建模带来了新的学习技术条件和关于可靠性、责任和决策道德的新需求。因此，为了支持以理性但同时负责的方式行事的决策代理的数据驱动设计，需要规范ML的严格方法论基础。这篇短文的目的是详细阐述规范性ML的具体特征，并强调它所隐含的一些关键挑战。此外，通过与当代人工智能研究的其他分支建立联系，主张将规定性ML置于（广义）决策理论框架中。
2021-12-15 cs.AI cs.CY cs.LG
EfficientCLIP: Efficient Cross-Modal Pre-training by Ensemble Confident Learning and Language Modeling
Kuaishou Technology（快手科技）；Zhongnan University of Economics and Law（中南财经政法大学）；Zhejiang University（浙江大学）
虽然大规模的学前教育在弥合视觉和语言之间的差距方面取得了巨大的成就，但它仍然面临着一些挑战。首先，前期培训费用昂贵。其次，没有有效的方法来处理降低模型性能的数据噪声。第三，以前的方法只利用有限的图像-文本配对数据，而忽略了更丰富的单模态数据，这可能导致对单模态下游任务的泛化能力差。在这项工作中，我们提出了一个有效的CLIP方法，通过增强自信学习，以获得一个噪音较小的数据子集。使用额外丰富的非成对单模态文本数据来提高文本分支的泛化能力。在中文跨模态检索任务上，与CLIP和WenLan相比，我们仅用1/10的训练资源就实现了最先进的性能，同时对单模态任务（包括文本检索和文本分类）表现出了出色的泛化能力。
2021-09-22 cs.CL cs.CV cs.LG
