UAFS: Uncertainty-Aware Feature Selection for Problems with Missing Data
缺失数据是许多现实世界数据集中的一个问题,通常需要插补方法来估计缺失数据的值,但是具有过度缺失和高维的数据集挑战大多数插补方法。在这里,我们表明,适当的特征选择可以是一个有效的预处理步骤填补,允许更准确的填补和后续的模型预测。这种预处理的关键特征是它包含了不确定性:通过在选择特征时考虑由于缺失而导致的不确定性,我们可以降低缺失的程度,同时限制用于构建预测模型的无信息特征的数量。我们介绍了一种方法来执行不确定性感知特征选择(UAFS),提供了一个理论的动机,并测试UAFS的真实和合成的问题,表明在各种数据集和缺失水平,我们可以提高插补的准确性。由于UAFS而改进的插补也导致在使用这些插补数据集执行监督学习时提高了预测准确性。我们的UAFS方法是通用的,可以卓有成效地耦合到各种插补方法。
2021-04-20 cs.LG physics.data-an stat.ME
Data Reconstruction: Identifiability and Optimization with Sample Splitting
Zhili College at Tsinghua University(清华大学紫荆学院);Courant Institute for Mathematical Sciences at New York University(纽约大学Courant数学科学研究所);School of Computing and Data Science at University of Hong Kong(香港大学计算与数据科学学院);Courant Institute for Mathematical Sciences, and Center for Data Science at New York University(纽约大学Courant数学科学研究所和数据科学中心)
本文研究了数据重建的可识别性与优化问题,提出样本分割方法以提升重建性能。
2026-02-09 cs.CR cs.LG stat.ML
GeoID-PINN: Identifiability-Aware Regional Epidemic Inference with Geographic Coupling
University of Michigan(密歇根大学)
本研究提出GeoID-PINN,一种结合地理耦合与正则化的物理信息神经网络,用于区域流行病SIRD动力学推断,在模拟数据与路易斯安那州64个县COVID-19数据上均提升了预测准确性。
2026-08-05 cs.LG stat.AP stat.ML
Generalized Identifiability Bounds for Mixture Models with Grouped Samples
Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所)
最近的工作表明,只要可以访问已知来自相同混合成分的大小为$2m-1$的样本组,具有$m$成分的有限混合模型是可识别的,同时不对混合成分做出任何假设。在这项工作中,我们推广的结果,并表明,如果每个子集的混合模型的$k$混合成分是线性无关的,那么该混合模型是可识别的,每组只有$(2m-1)/(k-1)$样本。我们进一步表明,这个值不能提高。我们证明了一个类似的结果,一个更强的形式的可识别性被称为“determinedness”以及相应的下界。如果从一个$k$维空间中随机选择混合组分,则这种独立性假设几乎肯定成立。我们描述了我们的研究结果多项式混合模型和主题建模的一些影响。
2022-07-22 cs.LG math.ST stat.ML
SALR: Sharpness-aware Learning Rate Scheduler for Improved Generalization
University of Michigan(密歇根大学);American University of Beirut(贝鲁特美国大学)
提出SALR锐度感知学习率更新技术,通过动态调整学习率逃离尖锐谷地,提升深度学习泛化能力与收敛速度。
2021-10-16 cs.LG stat.ML
Non-readily identifiable data collaboration analysis for multiple datasets including personal information
University of Tsukuba(筑波大学);NTT DATA Corporation(NTT数据公司)
多源数据融合,即对多个数据源进行联合分析以获得改进的信息,具有相当大的研究关注。对于多个医疗机构的数据集,数据保密性和跨机构通信至关重要。在这种情况下,通过共享降维中间表示而无需迭代跨机构通信的数据协作(DC)分析可能是合适的。当分析包括个人信息的数据时,共享数据的可识别性是必不可少的。在这项研究中,直流分析的可识别性进行了研究。结果表明,共享的中间表示是很容易识别的原始数据的监督学习。然后,本研究提出了一种非易识别DC分析,仅共享包括个人信息在内的多个医疗数据集的非易识别数据。所提出的方法解决了可识别性问题的基础上,随机样本排列,可解释的DC分析的概念,和使用的功能,不能重建。在医学数据集上的数值实验中,该方法在保持传统DC分析的高识别性能的同时,表现出不容易识别。对于一个医院数据集,所提出的方法表现出九个百分点的提高识别性能的本地分析,只使用本地数据集。
2022-08-31 cs.CR cs.LG
SADT: Combining Sharpness-Aware Minimization with Self-Distillation for Improved Model Generalization
University of Vaasa(瓦萨大学)
改善深度神经网络训练时间和模型概括性的方法包括各种数据增强、正则化和优化方法,这些方法往往对超参数设置敏感,并使再现性更具挑战性。这项工作联合考虑了两个最近的训练策略,解决模型的泛化:尖锐意识最小化,和自蒸馏,并提出了新的培训策略的尖锐意识蒸馏教师(SADT)。这项工作的实验部分表明,SADT在模型收敛时间,测试时间性能和模型泛化能力方面始终优于先前发表的训练策略,这些训练策略适用于各种神经架构,数据集和超参数设置。
2022-11-01 cs.LG
Optimal Clipping and Magnitude-aware Differentiation for Improved Quantization-aware Training
NVIDIA Corporation(英伟达公司)
数据裁剪对于减少量化操作中的噪声和提高量化感知训练(QAT)的可实现精度至关重要。目前的实践依赖于算法来设置裁剪阈值标量,并且不能被证明是最佳的。我们提出了最优裁剪张量和矢量(OCTAV),一个递归算法来确定MSE最优裁剪标量。OCTAV源自快速Newton-Raphson方法,在QAT例程的每次迭代中为每个张量动态地找到最佳裁剪标量。因此,QAT算法在每一步都用可证明的最小量化噪声来制定。此外,我们揭示了QAT中常见的梯度估计技术的局限性,并提出了幅度感知微分作为进一步提高准确性的补救措施。在实验中,支持OCTAV的QAT在多个任务上实现了最先进的精度。这些包括从头开始训练和重新训练ImageNet上的ResNets和MobileNets,以及使用BERT模型的Squad微调,其中支持OCTAV的QAT在低精度(4到6位)下始终保持准确性。我们的结果不需要修改基线训练配方,除了在适当的地方插入量化操作。
2022-06-13 cs.LG
Position Masking for Improved Layout-Aware Document Understanding
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
文档扫描和PDF的自然语言处理有可能极大地提高业务流程的效率。诸如LayoutLM之类的布局感知的词嵌入已经显示出用于对这样的文档进行分类和从这样的文档中提取信息抽取的前景。本文提出了一种新的预训练任务,可以提高包含2-D位置嵌入的布局感知词嵌入的性能。我们将仅使用语言掩蔽预训练的模型与使用语言掩蔽和位置掩蔽预训练的模型进行比较,我们发现位置掩蔽在表单理解任务中的性能提高了5%以上。
2021-09-01 cs.CL cs.LG
GA-SAM: Gradient-Strength based Adaptive Sharpness-Aware Minimization for Improved Generalization
Peking University(北京大学)
近年来,最小化算法(SAM)在视觉任务中显示出了最新的泛化能力。它表明,平坦的极小往往意味着更好的推广能力。然而,它有一些困难,暗示SAM的一些自然语言的任务,特别是具有剧烈的梯度变化的模型,如RNN。在这项工作中,我们从一个新颖而直接的理论角度分析了局部极小值的平坦性与其推广能力之间的关系。我们提出,训练和测试分布的移动可以等效地看作是一个虚拟的参数损坏或扰动,这可以解释为什么平坦的最小值,对参数损坏或扰动具有鲁棒性,具有更好的泛化性能。在此基础上,我们提出了一个基于一致性强度的自适应锐度感知最小化(GA-SAM)算法,以帮助学习算法找到平坦的最小值,更好地推广。各种语言测试结果验证了GA-SAM算法在自然语言任务上的有效性。
2022-10-13 cs.LG
Motion-Aware Feature for Improved Video Anomaly Detection
University of California, Merced(加州大学默塞德分校)
出于我们的观察,运动信息是视频中良好的异常检测性能的关键,我们提出了一个时间增强网络来学习运动感知功能。仅此功能就可以实现与以前最先进的方法竞争的性能,并且当与它们结合时,可以实现显着的性能改进。此外,我们将时间上下文的多实例学习(MIL)的排名模型,通过使用一个注意力块。学习的注意力权重可以帮助更好地区分异常和正常视频片段。通过提出的运动感知功能和时间MIL排名模型,我们在UCF Crime数据集中的异常检测和异常动作识别任务上都大大优于以前的方法。
2019-07-24 cs.CV cs.LG eess.IV
Improved singing voice separation with chromagram-based pitch-aware remixing
Amazon Web Services(亚马逊云科技);Stanford University(斯坦福大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
声乐声部分离的目的是将音乐分为人声和伴奏成分。该任务的主要限制之一是具有分离人声的训练数据量有限。数据增强技术,如随机源混合,已被证明可以更好地利用现有数据,并温和地提高模型的性能。我们提出了一种新的数据增强技术,chromagram为基础的音高感知混音,音乐片段与高音调对齐混合。通过在监督和半监督设置下进行对照实验,我们证明了具有音高感知混音的训练模型显着提高了测试信号失真比(SDR)
2022-03-28 cs.LG cs.SD eess.AS
Speaker Style-Aware Phoneme Anchoring for Improved Cross-Lingual Speech Emotion Recognition
Department of Electrical Engineering, National Tsing Hua University, Taiwan(National Tsing Hua University电子工程系);Language Technologies Institute, Carnegie Mellon University, USA(卡内基梅隆大学语言技术研究所)
针对跨语言语音情感识别中语音差异和说话人风格差异的挑战,提出说话人风格感知的音素锚定框架,通过图聚类和双空间锚定提升跨语言情感迁移,并在英语和台湾普通话语料库上验证了其优越性。
2025-09-19 cs.CL cs.LG
Sharpness-Aware Minimization: General Analysis and Improved Rates
Johns Hopkins University(约翰斯·霍普金斯大学)
本文对 SAM 及其非归一化变体在统一更新规则下进行收敛性分析,在更自然的假设下为非凸及 PL 条件问题提供了收敛保证,并验证了其在深度神经网络图像分类任务中的有效性。
2025-03-04 cs.LG math.OC stat.ML
Drum-Aware Ensemble Architecture for Improved Joint Musical Beat and Downbeat Tracking
National Cheng Kung University(国立成功大学);Academia Sinica(中央研究院);Yating Music Team(雅婷音乐团队);Taiwan AI Labs(台湾人工智能实验室)
本文提出了一种新的系统架构,集成了盲声源分离与联合节拍和下拍跟踪音乐音频信号。声源分离模块分离输入信号的振荡和非振荡分量,在其上分别执行差拍和下差拍跟踪,然后利用可学习的融合机制聚合结果。这样,系统可以自适应地确定输入信号的跟踪结果应该在多大程度上取决于输入的振荡或非振荡分量。四个测试集,具有不同程度的存在鼓的声音的评估表明,新的架构始终优于广泛采用的基线架构,不采用声源分离。
2021-06-16 cs.LG cs.SD eess.AS
Improved Variance-Aware Confidence Sets for Linear Bandits and Linear Mixture MDP
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文提出了线性强盗和线性混合马尔可夫决策过程的新的\emph{variance-aware}置信集。对于线性强盗,我们得到了一个$\tilde{O}(poly(d)\sqrt{1 + \sum_{k=1}^{K}σ_k^2})$数据依赖的后悔界,其中$d$是特征维数,$K$是回合数,$σ_k^2$是第$k$回合奖励的方差\emph{unknown}.这是第一个遗憾界限,它只与方差和维数成比例,但与\emph{no explicit polynomial dependency on $K$}成比例。当方差很小时,这个界可以显著小于$\tildeΘ\left(d\sqrt{K}\right)$最坏情况下的后悔界。对于线性混合MDP,我们得到了一个$\tilde{O}(poly(d, \log H)\sqrt{K})$遗憾界,其中$d$是基础模型的数量,$K$是情节的数量,$H$是规划范围。这是第一个遗憾的界限,只有规模\emph{logarithmically}与$H$在强化学习与线性函数逼近设置,从而\emph{exponentially improving}现有的结果,并解决了一个开放的问题,在\citep{zhou2020nearly}。我们开发了三个技术思想,可能是独立的兴趣:1)应用剥离技术的输入范数和方差大小,2)基于递归的估计方差,和3)一个新的凸势引理,推广了种子椭圆势…
2021-10-29 cs.LG
Improved Semantic-Aware Network Embedding with Fine-Grained Word Alignment
Duke University(杜克大学)
网络嵌入学习大规模网络中每个顶点的低维表示,近年来受到了相当大的关注。对于广泛的应用,在网络中的顶点通常伴随着丰富的文本信息,如用户简档,论文摘要等,我们建议将语义特征到网络嵌入匹配的文本序列之间的所有对顶点的重要单词。我们引入了一个字的字对齐框架,衡量词对之间的嵌入的兼容性,然后自适应地积累这些对齐功能与一个简单而有效的聚合函数。在实验中,我们评估所提出的框架在三个现实世界的基准下游任务,包括链接预测和多标签顶点分类。结果表明,我们的模型优于国家的最先进的网络嵌入方法的大幅度。
2018-08-29 cs.AI cs.CL cs.LG
RxnCLF: Contrastive Transformation-Aware Reaction Foundation Model for Improved Reactivity Prediction
Discovery Chemistry, Merck & Co., Inc.(默克公司发现化学部门)
本研究提出RxnCLF,一种基于凝聚反应图的自监督对比反应基础模型,经170万Pistachio反应预训练后,在多类产率预测基准上均优于基线模型,展现出良好泛化潜力。
2026-08-07 cs.LG
Density-Aware Personalized Training for Risk Prediction in Imbalanced Medical Data
Texas A&M University(德州农工大学);University of Washington(华盛顿大学)
感兴趣的医疗事件,如死亡率,在电子病历中的发生率通常很低,因为大多数入院患者都能存活下来。具有这种不平衡率(类密度差异)的训练模型可能导致次优预测。传统上,这个问题是通过ad-hoc方法,如rescue或重新加权,但在许多情况下,性能仍然是有限的。我们针对这种不平衡问题提出了一个训练模型的框架:1)我们首先将特征提取和分类过程解耦,为每个组件分别调整训练批次,以减轻类别密度差异造成的偏差; 2)我们训练网络,同时使用密度感知损失和可学习的错误分类成本矩阵。我们展示了我们的模型在现实世界的医疗数据集(TOPCAT和MIMIC-III)中的改进性能,以显示与该领域的基线相比改进的AUC-ROC,AUC-PRC,Brier技能评分。
2022-07-29 cs.LG
Abnormal-aware Multi-person Evaluation System with Improved Fuzzy Weighting
Anhui University of Finance and Economics(安徽财经大学)
在日常评价过程中存在着主观性很强的现象。我们的研究主要集中在一个多人的评价系统与异常检测,以尽量减少可能的不准确性,主观评价带来的。我们选择了两阶段筛选方法,该方法包括粗筛选和得分加权Kendall- $τ$距离以筛选出异常数据,并结合假设检验以缩小全局差异。然后,我们使用模糊综合评价方法(FSE),以确定评分的显着性的审稿人以及他们的可靠性,最终在一个更公平的权重为每个审稿人在最后的结论。结果表明,我们得到了一个明确的和全面的排名,而不是片面的分数,我们得到了一个有效的过滤异常数据,以及一个合理的客观的权重确定机制。我们可以感觉到,通过我们的研究,人们将有机会修改一个多人评价系统,以达到公平和相对优越的竞争氛围。
2022-05-01 cs.CY cs.LG stat.AP
Uncertainty-Aware Answer Selection for Improved Reasoning in Multi-LLM Systems
University of Maryland(马里兰大学);Hilabs;University of Central Florida(佛罗里达中央大学);Capital One
针对多LLM系统中可靠响应选择难的问题,提出基于校准对数似然得分的高效选择方法,在多个数据集的不同设置下实现3%-5%的性能提升。
2025-09-30 cs.CL cs.LG
Improved Deep Neural Network Generalization Using m-Sharpness-Aware Minimization
LinkedIn Corporation(领英公司);Massachusetts Institute of Technology(麻省理工学院)
现代深度学习模型是过度参数化的,其中优化设置强烈影响泛化性能。这些系统的可靠性优化的一个关键因素是损失函数的修改。Sharpness-Aware Minimization(SAM)修改了底层的损失函数,以引导下降方法朝向更平坦的最小值,这可以说具有更好的泛化能力。在本文中,我们关注SAM的一个变体,称为mSAM,它在训练过程中,将对抗性扰动生成的更新平均在一个小批量的几个不相交的碎片上。最近的研究表明,mSAM在测试准确性方面优于SAM。然而,文献中缺少对mSAM的全面实证研究-以前的结果大多限于特定的架构和数据集。为此,本文对mSAM在各种任务和数据集上进行了全面的实证评估。我们提供了一个灵活的实现mSAM和比较的泛化性能的mSAM和不同的图像分类和自然语言处理任务上的SAM和香草训练的性能。我们还进行了仔细的实验,以了解使用mSAM进行训练的计算成本,其对超参数的敏感性及其与损失景观平坦度的相关性。我们的分析表明,mSAM产生优越的泛化性能和平坦的最小值,SAM相比,在广泛的任务,而不会显着增加计算成本。
2022-12-07 cs.LG math.OC
Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
Alterra AI(Alterra人工智能公司);Queen’s University(女王大学);Workday Inc.(Workday公司)
提出上下文感知提示压缩方法CPC,通过对比学习训练句子编码器进行句子级提示压缩,在基准数据集上显著优于现有方法且推理速度最高提升10.93倍。
2024-12-18 cs.CL cs.LG
Uncertainty-Aware Boosted Ensembling in Multi-Modal Settings
BITS Pilani, K K Birla Goa Campus(比拉理工学院皮拉尼校区果阿分校);Harvard Medical School(哈佛医学院)
机器学习(ML)系统的可靠性在医疗保健等安全关键型应用中至关重要,而不确定性估计是一种广泛研究的方法,用于突出ML系统在部署中的置信度。顺序和并行集成技术已经显示出通过一起利用特征集来提高ML系统在多模态设置中的性能。我们提出了一种用于多模态集成的不确定性感知提升技术,以便专注于具有较高相关不确定性估计的数据点,而不是具有较高损失值的数据点。我们评估这种方法对涉及现实世界的多模态语音和文本数据的痴呆症和帕金森病相关的医疗保健任务,其中我们的方法显示出改进的性能。进一步的分析表明,将不确定性意识引入到增强的集合中会降低系统的整体熵,使其对数据中的异方差更鲁棒,并更好地校准每个模态以及高质量的预测区间。我们在https://github.com/usarawgi911/Uncertainty-aware-boosting上开源了整个代码库
2021-04-21 cs.AI cs.LG
ChA-MAEViT: Unifying Channel-Aware Masked Autoencoders and Multi-Channel Vision Transformers for Improved Cross-Channel Learning
Boston University(波士顿大学);Morgridge Institute, UW–Madison(莫里格德研究所,威斯康星大学麦迪逊分校)
提出ChA-MAEViT,通过动态通道-补丁掩码、记忆令牌、混合令牌融合和通道感知解码器,增强多通道成像中的跨通道学习,在多个数据集上显著优于现有方法。
2025-10-25 cs.CV cs.LG
Enhancing Physics-Informed Neural Networks with Domain-aware Fourier Features: Towards Improved Performance and Interpretable Results
Department of Engineering Cybernetics NTNU(工程 cybernetics 系 NTNU);Swiss Data Science Center (SDSC) ETH Zürich(瑞士数据科学中心(SDSC)ETH 苏黎世)
通过引入领域感知的傅里叶特征,改进物理信息神经网络的性能和可解释性,实现更准确、高效且易解释的物理信息学习。
2026-09-17 cs.AI cs.CE cs.LG
VI-PANN: Harnessing Transfer Learning and Uncertainty-Aware Variational Inference for Improved Generalization in Audio Pattern Recognition
Naval Postgraduate School(海军研究生院);Data Science and Analytics Group(数据科学与分析组)
本文提出在AudioSet上预训练的ResNet-54变分推理模型VI-PANNs,并证明其可向多个声学分类下游任务同时迁移知识与校准的认知不确定性。
2024-03-01 cs.LG cs.SD eess.AS
Estimation of Concept Explanations Should be Uncertainty Aware
University of Cambridge(剑桥大学);Alan Turing Institute(阿兰·图灵研究所)
本文针对概念解释的噪声问题,提出一种不确定性感知的贝叶斯估计方法,通过理论分析和实验证明该方法对训练选择鲁棒、标签高效,并能在数千概念中恢复相关概念,从而提升模型解释的可靠性。
2024-04-05 cs.AI cs.CL cs.LG
Improved Prognostic Prediction of Pancreatic Cancer Using Multi-Phase CT by Integrating Neural Distance and Texture-Aware Transformer
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Peking University(北京大学);Hupan Lab(湖畔实验室);Sun Yat-sen University Cancer Center(中山大学肿瘤防治中心);South China Hospital, Shenzhen University(深圳大学华南医院);Tianjin Medical University Cancer Institute and Hospital(天津医科大学肿瘤医院);Changsha Institute for Computing and Digital Economy(长沙计算与数字经济研究院);Guangdong Provincial People’s Hospital(广东省人民医院);Shengjing Hospital(盛京医院)
提出可学习神经距离描述肿瘤与血管关系,并结合CNN与Transformer提取多期CT动态纹理特征,在多中心数据集上显著提升PDAC预后预测性能。
2023-09-13 cs.CV cs.LG eess.IV
Context-Aware Assistant Selection for Improved Inference Acceleration with Large Language Models
Chandar Research Lab(钱达尔研究实验室);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院)
本研究将辅助解码中的草稿模型选择建模为上下文多臂老虎机,通过离线数据训练对齐策略,无需先验知识即可在多领域加速LLM推理,并验证了其灵活性与有效性。
2024-12-15 cs.AI cs.LG