Transfer Learning and Mixup for Fine-Grained Few-Shot Fungi Classification
Georgia Institute of Technology(佐治亚理工学院)
本文针对FungiCLEF 2025提出基于迁移学习、视觉transformer模型及平衡采样的细粒度少样本真菌分类方法,最终模型优于竞赛基线并在私有测试集排名35/74。
2025-07-11 cs.CV cs.IR cs.LG
FedSM: Robust Semantics-Guided Feature Mixup for Bias Reduction in Federated Learning with Long-Tail Data
FedSM通过语义引导的特征混合和轻量级分类器重训练,有效减少联邦学习中长尾数据的偏见问题。
2025-10-31 cs.LG
SageMix: Saliency-Guided Mixup for Point Clouds
Korea University(高丽大学);Meta Reality Labs(Meta现实实验室)
数据增强是提高深度学习模型泛化能力的关键。Mixup是一种简单且广泛使用的数据增强技术,已被证明可以有效缓解过拟合和数据稀缺问题。此外,最近在图像域中的显著性感知Mixup的研究表明,保留区分部分有利于提高泛化性能。然而,这些基于Mixup的数据增强在3D视觉中,特别是在点云中的探索不足。在本文中,我们提出了SageMix,一个显着性指导的混合点云,以保持显着的局部结构。具体来说,我们从两个点云中提取显著区域,并将它们平滑地组合成一个连续的形状。通过重新加权显著性分数的简单顺序采样,SageMix保留了显著区域的局部结构。大量的实验表明,该方法始终优于现有的混合方法在各种基准点云数据集。使用PointNet++,我们的方法在3D Warehouse数据集(MN40)和ScanObjectNN中分别实现了2.6%和4.0%的准确率增益。除了泛化性能,SageMix还提高了鲁棒性和不确定性校准。此外,当采用我们的方法的各种任务,包括部分分割和标准的2D图像分类,我们的方法取得了竞争力的表现。
2022-10-13 cs.CV cs.LG
Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity
Seoul National University(首尔国立大学);Neural Processing Research Center(神经处理研究中心)
虽然深度神经网络在拟合训练分布方面表现出很好的性能,但提高网络对测试分布的泛化性能和对输入扰动敏感性的鲁棒性仍然是一个挑战。尽管已经提出了许多基于混淆的增强策略来部分地解决它们,但是从优化的角度来看,如何最好地利用每个输入数据内的监督信号来进行混淆仍然是不清楚的。我们提出了一个新的角度对批量混淆和制定一批混淆数据的最佳建设最大化的数据显着性措施,每个单独的混淆数据,并鼓励超模之间的多样性建设混淆数据。这导致了一个新的离散优化问题,最大限度地减少子模函数之间的差异。我们还提出了一个有效的模块近似为基础的迭代子模块最小化算法,每个小批量有效的混合计算适合于基于小批量的神经网络训练。我们的实验表明,所提出的方法实现了最先进的泛化,校准,和弱监督定位结果相比,其他混淆的方法。源代码可在https://github.com/snu-mllab/Co-Mixup上获得。
2021-02-05 cs.AI cs.CV cs.LG
Source-Free Domain Adaptation with Diffusion-Guided Source Data Generation
Georgia Institute of Technology(佐治亚理工学院);University of Texas, Dallas(德克萨斯大学达拉斯分校);Amazon GenAI(亚马逊生成式AI部门)
本文提出 DMSFDA 方法,通过微调预训练扩散模型生成最小化熵并最大化置信度的源域图像,并利用图像 mixup 策略弥合域差距,显著提升了无源域适应性能。
2024-06-26 cs.AI cs.CV cs.LG
Boosting Factorization Machines via Saliency-Guided Mixup
University of Science and Technology of China(中国科学技术大学);University of Arizona(亚利桑那大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);JD Explore Academy(京东探索研究院);University of Sydney(悉尼大学)
因式分解机(FM)由于其自适应性和从稀疏数据中学习的能力而被广泛应用于推荐系统中。然而,对于稀疏数据中普遍存在的非交互性特征,现有的FM只能通过其嵌入的内积来估计与这些特征相对应的参数。不可否认的是,它们无法学习这些特征的直接交互,这限制了模型的表达能力。为此,我们首先提出了MixFM,灵感来自Mixup,生成辅助训练数据,以提高FM。与现有的需要人工成本和专业知识来收集位置和字段等额外信息的增强策略不同,MixFM仅通过原始数据的凸组合生成这些额外数据,而无需任何专业知识支持。更重要的是,如果要混合的父样本具有非交互特征,MixFM将建立它们的直接交互。其次,考虑到MixFM可能会产生冗余甚至有害的实例,我们进一步提出了一种新的由显着性引导的Mixup驱动的因式分解机(SMFM)。在自定义显著性的指导下,SMFM可以生成更多信息的邻居数据。通过理论分析,我们证明了所提出的方法最小化的泛化误差的上界,这举行了一个有益的效果,以增强功能模块。值得注意的是,我们给出了FM的第一个推广界,这意味着推广需要更多的数据和更小的嵌入大小下,足够的表示能力。最后,在五个数据集上的广泛实验证实了我们的方法优于基线。此外,结果表明,“中毒”混合数据同样有利于FM变体。
2022-06-17 cs.IR cs.LG
Surprisal-Guided Selection: Compute-Optimal Test-Time Strategies for Execution-Grounded Code Generation
Arc Intelligence(Arc智能)
本文提出惊讶引导选择策略,通过提升样本多样性和智能选择,优化执行导向代码生成任务的测试时间策略,实现计算最优的高成功率。
2026-02-07 cs.AI cs.LG
Selective Mixup Helps with Distribution Shifts, But Not (Only) because of Mixup
Idiap Research Institute(Idiap 研究院);Microsoft Research Asia(微软亚洲研究院);University of Adelaide(阿德莱德大学)
本文揭示选择性 mixup 应对分布偏移的收益主要来自非随机配对导致的隐式重采样而非混合本身,建立其与重采样的等价关系,并提出结合两者优势的方法。
2023-06-02 cs.LG
Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
Mixup方案建议混合一对样本以创建增强的训练样本,并且最近获得了相当大的关注,以提高神经网络的泛化能力。Mixup的一个简单且广泛使用的扩展是与区域丢弃方法相结合:从一个样本中删除随机补丁,并用另一个样本的特征替换它。尽管这些方法简单有效,但由于其随机性,容易产生有害样本。为了解决这个问题,最近提出了“最大显着性”策略:他们只选择信息量最大的特征来防止这种现象。然而,他们现在缺乏样本多样化,因为他们总是确定性地选择具有最大显着性的区域,从而将偏见注入增强数据。在本文中,我们提出了一种新颖而简单的混合变体,它可以捕获两个世界中最好的。我们的想法是双重的。通过随机采样的功能和'嫁接'到另一个样本,我们的方法有效地产生不同的,但有意义的样本。其第二个要素是通过以显著性校准的方式混合标签来产生嫁接样本的标签,这纠正了随机抽样程序引入的监管误导。我们在CIFAR,Tiny-ImageNet和ImageNet数据集上的实验表明,我们的方案不仅在分类准确性方面优于当前最先进的增强策略,而且在应对数据损坏和对象遮挡等压力条件下也更优越。
2021-12-16 cs.AI cs.CV cs.LG
Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures
Royal Fenice Kft / ALETHEIA PROTOCOL research(皇家芬伊克公司 / ALETHEIA协议研究)
Aletheia通过梯度探针识别任务相关层,采用不对称秩分配实现高效LoRA微调,实验显示在14种模型上提升训练速度15-28%,且下游表现保持良好。
2026-04-04 cs.CL cs.LG
Improving Unsupervised Domain Adaptive Re-Identification via Source-Guided Selection of Pseudo-Labeling Hyperparameters
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能和替代能源委员会);Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息处理与系统实验室)
用于重新识别(re-ID)的无监督领域自适应(UDA)是一项具有挑战性的任务:为了避免额外数据的昂贵注释,它旨在将知识从具有注释数据的领域转移到仅具有未标记数据的感兴趣领域。伪标签方法已被证明是有效的UDA重新ID。然而,这些方法的有效性在很大程度上取决于一些超参数(HP)的选择,影响通过聚类生成伪标签。在感兴趣的领域中缺乏注释使得这种选择变得重要。目前的方法简单地重复使用相同的经验值用于所有适应任务,而不管通过伪标记训练阶段改变的目标数据表示。由于这种简单化的选择可能会限制他们的表现,我们的目标是解决这个问题。我们提出了新的理论基础上的HP选择聚类UDA重新ID以及方法的自动和循环HP调整伪标记UDA聚类:HyPASS。HyPASS包括在伪标记方法中结合两个模块:(i)基于标记的源验证集的HP选择和(ii)特征区分度的条件域对齐以改进基于源样本的HP选择。在常用的人员re-ID和车辆re-ID数据集上的实验表明,与常用的经验HP设置相比,我们提出的HyPASS始终改进了re-ID中最先进的方法。
2021-11-04 cs.CV cs.LG
Adversarial Mixup Unlearning
The Hong Kong University of Science and Technology(香港科技大学)
针对机器遗忘中的灾难性遗忘问题,本文提出 MixUnlearn 框架,通过对抗生成 mixup 样本并结合多重对比损失,在删除目标信息的同时保留关键知识,性能优于现有方法。
2025-02-14 cs.LG
AGMixup: Adaptive Graph Mixup for Semi-supervised Node Classification
Xidian University(西安电子科技大学);JD Explore Academy(京东探索研究院);Yunnan University(云南大学)
针对现有图mixup方法破坏图拓扑、采用统一混合比的问题,提出以子图为中心、可自适应调整混合比的AGMixup框架,在半监督节点分类任务上取得优于SOTA的效果。
2024-12-11 cs.AI cs.LG
MSMix:An Interpolation-Based Text Data Augmentation Method Manifold Swap Mixup
AI laboratory, Yiwise(Yiwise人工智能实验室);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出MSMix数据增强方法,通过在深度网络中间层部分交换两个样本的隐藏特征并设计两种选择策略,在中文意图识别任务的全样本和小样本设置中均取得更优性能。
2023-05-31 cs.AI cs.LG
Guided Interpolation for Adversarial Training
Zhejiang University(浙江大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Shandong University(山东大学);The University of Tokyo(东京大学)
为了增强对抗性鲁棒性,对抗性训练在其自然数据生成的对抗性变体上学习深度神经网络。然而,随着训练的进行,训练数据变得越来越不可攻击,破坏了鲁棒性增强。一个简单的补救办法是合并更多的训练数据,但有时会产生无法承受的成本。在本文中,为了缓解这个问题,我们提出了引导插值框架(GIF):在每个时期,GIF采用前一个时期的Meta信息来指导数据的插值。与vanilla mixup相比,GIF能够提供更高比例的可攻击数据,这有利于增强鲁棒性;同时,GIF也缓解了模型类间的线性行为,线性行为有利于泛化,但不利于鲁棒性。因此,GIF鼓励模型在每个类的聚类中进行不变的预测。实验表明,GIF确实可以增强各种对抗训练方法和各种数据集的对抗鲁棒性。
2021-02-15 cs.LG
AuG-KD: Anchor-Based Mixup Generation for Out-of-Domain Knowledge Distillation
Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);Huawei Cloud(华为云)
针对无数据知识蒸馏中教师域与学生域差异导致的性能下降,提出AuG-KD方法,利用锚点对齐和混合学习平衡域外知识蒸馏,实验验证其稳定性与优越性。
2024-03-18 cs.CV cs.LG
SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe
Massachusetts Institute of Technology(麻省理工学院);Zoom Video Communications(Zoom视频通讯)
本文提出SFTMix方法,通过混合不同置信度的数据提升指令微调效果,适用于指令遵循和医疗特定任务,展示了在不同模型和数据集上的广泛适用性。
2026-04-18 cs.AI cs.CL cs.LG
RL-Guided Data Selection for Language Model Finetuning
Stanford University(斯坦福大学)
针对大语言模型微调数据选择的预算受限优化难题,将其重构为可解的MDP,用强化学习结合代理模型奖励学习最优选择策略,仅用5%数据即可达到或超越全量微调效果,还能大幅缩短训练时间。
2025-09-30 cs.LG
Enhancing Diagnostic Accuracy for Urinary Tract Disease through Explainable SHAP-Guided Feature Selection and Classification
Labcin - Nature Inspired Computing Laboratory(Labcin - 自然启发计算实验室);Federal University of Espírito Santo(巴西圣埃斯皮里图联邦大学);Graduate Program in Computer Science(计算机科学研究生项目)
本文提出基于SHAP特征选择的方法,结合多种机器学习算法,提升膀胱癌等泌尿系统疾病的诊断准确性与模型可解释性,支持临床决策。
2025-10-22 cs.LG
Graph-Guided Concept Selection for Efficient Retrieval-Augmented Generation
Huawei Cloud Computing Technology Co., Ltd, China(华为云计算技术有限公司,中国)
针对基于图的RAG需大量调用LLM构建知识图谱导致成本过高的问题,提出包含块选择与无LLM概念图谱的G2ConS方法,在降本的同时提升了检索与问答效果。
2025-10-28 cs.LG
GEM: Guided Expectation-Maximization for Behavior-Normalized Candidate Action Selection in Offline RL
School of Automation and Intelligent Sensing(自动化与智能感知学院)
GEM通过引导期望最大化框架,在离线强化学习中实现多模态且可控的动作选择,通过高斯混合模型和行为归一化支持提升决策稳定性与性能。
2026-03-24 cs.LG
Loss-guided Stability Selection
Carl von Ossietzky University Oldenburg(卡尔·冯·奥西茨基大学奥尔登堡分校);Institute for Mathematics(数学研究所)
在现代数据分析中,一旦预测变量的数量非常高,稀疏模型选择就变得不可避免。众所周知,Lasso或Boosting等模型选择程序往往会在真实数据上过拟合。著名的稳定性选择克服了这些弱点,聚合模型,基于子样本的训练数据,然后选择一个稳定的预测集,这通常是稀疏得多的预测集从原始模型。标准稳定性选择基于全局标准,即每个系列的出错率,同时还需要专家知识来适当地配置超参数。由于模型选择取决于损失函数,即,选择的预测器集w.r.t.某些特定损失函数不同于w.r. t所选择的那些损失函数。对于其他一些损失函数,我们提出了一个稳定性选择变体,该变体通过基于样本外验证数据的额外验证步骤来尊重所选择的损失函数,并可选地通过详尽的搜索策略进行增强。我们的稳定性选择变体适用广泛且用户友好。此外,我们的稳定性选择变体可以避免严重的欠拟合问题,这会影响噪声高维数据的原始稳定性选择,因此我们的优先事项不是不惜一切代价避免误报,而是产生一个稀疏的稳定模型,可以进行预测。我们考虑回归和二进制分类的实验以及我们使用Boosting作为模型选择算法的实验表明,与原始Boosting模型相比,精度有了显着提高,同时没有受到原始稳定性选择的任何问题的影响。
2022-02-10 cs.LG
D2ACE: Multi-Label Batch Selection Guided by Dual Dynamics and Adaptive Correlation Enhancement
Key Laboratory of DECV, Chongqing University of Posts and Telecommunications(重庆邮电大学信息与通信工程重点实验室);School of Computer Science and Technology, Chongqing University of Posts and Telecommunications(重庆邮电大学计算机科学与技术学院);School of Informatics, Aristotle University of Thessaloniki(希腊塞萨洛尼基阿里斯托芬大学信息学院)
D2ACE通过双动态和自适应相关增强方法,提升多标签分类的训练效率和预测性能,通过动态标签权重和局部上下文相关增强,优化标签重要性与相关性建模。
2026-05-10 cs.LG
Biological Pathway Guided Gene Selection Through Collaborative Reinforcement Learning
University of Central Florida(佛罗里达中央大学);University of Kansas(堪萨斯大学);Vanderbilt University Medical Center(范德比尔特大学医学中心);Arizona State University(亚利桑那州立大学)
提出一种基于多智能体强化学习的两阶段框架,通过整合KEGG通路知识与统计方法,显著提升了高维基因组数据基因选择的预测准确性与生物学可解释性。
2025-05-30 cs.LG
Uncertainty-Guided Checkpoint Selection for Reinforcement Finetuning of Large Language Models
Applied Artificial Intelligence Initiative(应用人工智能计划);Deakin University(德肯大学)
针对大语言模型强化微调中检查点选择的稳定性与成本问题,提出不确定性引导的检查点选择方法UGCS,通过样本级不确定性识别困难案例并排序检查点,在多数据集和模型上优于传统策略,能持续识别泛化能力更强的检查点。
2025-11-13 cs.LG
MAVIS: Multi-Objective Alignment via Inference-Time Value-Guided Selection
Department of Electrical and Computer Engineering, Texas A\&M University, College Station, Texas, USA(电气与计算机工程系,德克萨斯A&M大学,学院站,德克萨斯州,美国)
MAVIS通过推理时值引导选择实现多目标对齐,通过训练小价值模型动态调整LLM输出,提升多目标平衡性能。
2026-02-14 cs.LG
Feature-Guided Analysis of Neural Networks: A Replication Study
McMaster University(麦克斯特大学);University of Bergamo(伯加莫大学)
本文复现并评估了Feature-Guided Analysis(FGA)在MNIST和LSC数据集基准上的适用性,发现FGA精确率高于文献结果,且神经网络架构、训练和特征选择显著影响召回率但对精确率影响可忽略。
2025-10-28 cs.LG
Emotion and Intention Guided Multi-Modal Learning for Sticker Response Selection
本文提出EIGML框架,通过联合建模情感与意图,提升贴纸响应选择的准确性和理解深度。
2025-11-16 cs.AI cs.LG
Multi-Channel Attention Selection GANs for Guided Image-to-Image Translation
ETH Zurich(苏黎世联邦理工学院);University of Oxford(牛津大学);University of Trento(特伦托大学)
我们提出了一个新的模型命名为多通道注意力选择生成对抗网络(SelectionGAN)引导图像到图像的翻译,在这里我们将输入图像翻译成另一个,同时尊重外部语义指导。所提出的SelectionGAN明确地利用语义指导信息,并由两个阶段组成。在第一阶段,输入图像和条件语义指导被送入一个循环的语义指导生成网络,以产生初始的粗糙结果。在第二阶段中,我们通过使用所提出的多尺度空间池化和通道选择模块以及多通道注意力选择模块来改进初始结果。此外,从注意力图自动学习的不确定性图用于指导像素丢失,以更好地进行网络优化。对四个具有挑战性的引导图像到图像翻译任务(面部,手部,身体和街景)的详尽实验表明,我们的SelectionGAN能够产生比最先进的方法更好的结果。同时,所提出的框架和模块是统一的解决方案,可以应用于解决其他生成任务,如语义图像合成。该代码可在https://github.com/Ha0Tang/SelectionGAN上获得。
2022-10-06 cs.CV cs.LG eess.IV
Towards LLM-guided Efficient and Interpretable Multi-linear Tensor Network Rank Selection
Imperial College London(帝国理工学院)
提出一种利用LLMs指导张量网络模型秩选择的框架,通过LLMs的推理与知识提升可解释性并优化目标函数,在金融高阶数据集上验证了其强泛化与自我增强能力。
2024-10-14 cs.AI cs.LG
Metric-DST: Mitigating Selection Bias Through Diversity-Guided Semi-Supervised Metric Learning
Delft University of Technology(代尔夫特理工大学)
针对选择偏差损害机器学习公平性的问题,提出Metric-DST多样性引导自训练策略,结合度量学习与隐式嵌入空间纳入多样本,在多类带偏差数据集上训练出更稳健模型,为缓解选择偏差、提升模型公平性提供灵活通用方案。
2024-11-28 cs.AI cs.LG
GRACE:Gradient-guided Coreset Selection for LLM Unlearning
University of Pisa(比萨大学);Aarhus University(奥胡斯大学)
针对大语言模型遗忘中需从异构语料推断遗忘集和保留集的问题,提出GRACE梯度引导核心集选择方法,通过梯度计算与匹配追踪选择核心集,在多领域、多模型、多算法实验中提升模型效用且保持遗忘质量。
2026-08-31 cs.AI cs.LG
Block Model Guided Unsupervised Feature Selection
University of California, Davis(加利福尼亚大学戴维斯分校)
特征选择是数据挖掘的一个核心领域,最近的创新是图驱动的无监督特征选择的链接数据。在此设置中,我们有一个数据集$\mathbf{Y}$,该数据集由每个具有$m$特征的$n$实例和相应的$n$节点图(其邻接矩阵为$\mathbf{A}$)组成,该节点图具有指示两个实例相似的边。在属性网络上进行无监督特征选择的现有努力已经探索了通过求解$f$来直接重新生成链接,使得$f(\mathbf{y}_i,\mathbf{y}_j) \approx \mathbf{A}_{i,j}$或在$\mathbf{A}$中找到社区结构并使用$\mathbf{Y}$中的特征来预测这些社区。然而,图形驱动的无监督特征选择仍然是一个研究不足的领域,探索更复杂的指导。在这里,我们采取了新的方法,首先在图上建立一个块模型,然后使用块模型进行特征选择。也就是说,我们发现$\mathbf{F}\mathbf{M}\mathbf{F}^T \approx \mathbf{A}$,然后找到一个子集的功能$\mathcal{S}$,诱导另一个图,以保持$\mathbf{F}$和$\mathbf{M}$。我们称我们的方法块模型引导无监督特征选择(BMGUFS)。实验结果表明,我们的方法优于国家的最先进的几个现实世界的公共数据集上找到高质量的特征聚类。
2020-07-05 cs.LG stat.ML
A User-Guided Bayesian Framework for Ensemble Feature Selection in Life Science Applications (UBayFS)
Norwegian University of Life Sciences(挪威生命科学大学)
特征选择是一种降低高维数据集复杂性并深入了解数据系统变化的方法。这方面在依赖模型可解释性的领域(如生命科学)中特别重要。我们提出了UBayFS,集成特征选择技术嵌入在贝叶斯统计框架。我们的方法考虑两个信息来源:数据和领域知识。我们建立了一个元模型,从一个合奏的基本特征选择器和聚合这些信息在一个多项式的可能性。用户通过加权特征和惩罚特定特征块或组合来指导UBayFS,通过Dirichlet型先验分布和正则化项实现。在定量评估中,我们证明了我们的框架(a)允许用户知识和数据观测之间的平衡权衡,(b)实现了具有竞争力的性能与最先进的方法。
2021-12-11 cs.LG stat.ME
PAIR: A Novel Large Language Model-Guided Selection Strategy for Evolutionary Algorithms
Egypt University of Informatics(埃及信息学大学);Birmingham City University(伯明翰城市大学)
本文提出PAIR选择策略,利用大型语言模型基于遗传多样性、适应度和交叉兼容性评估个体以指导进化算法配对,实验证明其在TSP实例中显著优于LMEA基线,提升了收敛性并有效逃离局部最优。
2025-03-05 cs.LG cs.NE
Calibrated Speculative Decoding: Frequency-Guided Candidate Selection for Efficient Inference
Shanghai Jiao Tong University(上海交通大学);Alibaba Cloud Computing(阿里云 computing)
本文提出校准的推测解码,通过频率引导的候选选择和概率保护的接受机制,提升大语言模型推理效率,实测效果优于现有方法。
2026-04-15 cs.CL cs.LG
Bandit Guided Submodular Curriculum for Adaptive Subset Selection
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出ONLINESUBMOD方法,通过多臂老虎机框架和亚模函数优化,实现自适应子集选择,提升课程学习的准确性与效率。
2025-11-28 cs.AI cs.LG
StreamFP: Learnable Fingerprint-guided Data Selection for Efficient Stream Learning
Huazhong University of Science and Technology(华中科技大学);Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(新加坡国立大学)
针对流学习中动态数据选择效率不足的问题,提出StreamFP,利用可学习指纹引导核心集选择与缓冲区更新,在多种数据到达速率下显著提升准确率和训练吞吐量。
2025-01-04 cs.AI cs.LG
EEG-VID: Task-Guided Latent Predictive Pretraining for EEG Decoding and Assistive Target Selection
School of Information and Control Engineering, China University of Mining and Technology(中国矿业大学信息与控制工程学院);School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院);Shanghai Innovation Institute(上海创新研究院)
本研究提出EEG-VID预训练框架,通过指数移动平均目标编码器与弱任务引导实现EEG解码,在多数据集及场景任务中提升准确率,为EEG解码与辅助目标选择提供可迁移预训练策略。
2026-10-27 cs.AI cs.LG
Loss-Guided Pretraining Data Selection for Time-Series Foundation Models
Tsinghua University(清华大学)
本文提出一种静态数据选择框架,通过参考预测器评分并保留中间区间,在减少预训练窗口的同时提升时间序列基础模型的性能,且小型参考模型可有效为大型模型选择数据。
2026-09-30 cs.AI cs.LG
Oort: Efficient Federated Learning via Guided Participant Selection
University of Michigan(密歇根大学)
联邦学习(FL)是分布式机器学习(ML)的一个新兴方向,它支持对边缘数据进行原位模型训练和测试。尽管与传统ML具有相同的最终目标,但FL执行的规模差异很大,涉及数千到数百万台参与设备。因此,数据特征和设备功能在客户端之间差异很大。然而,现有的努力随机选择FL参与者,这导致模型和系统效率低下。在本文中,我们提出奥尔特,以提高性能的联邦训练和测试指导参与者的选择。为了提高模型训练的准确性性能,Oort优先考虑使用那些既有数据又有数据的客户端,这些数据在提高模型准确性方面具有最大的效用,并且能够快速运行训练。为了使FL开发人员能够在模型测试中解释他们的结果,Oort强制执行他们对参与者数据分布的要求,同时通过挑选客户端来提高联邦测试的持续时间。我们的评估表明,与现有的参与者选择机制相比,Oort将时间准确性提高了1.2倍至14.1倍,最终模型准确性提高了1.3%至9.8%,同时在数百万客户端的规模上有效地执行开发人员指定的模型测试标准。
2021-05-28 cs.DC cs.LG
BVSIMC: Bayesian Variable Selection-Guided Inductive Matrix Completion for Improved and Interpretable Drug Discovery
Department of Statistics University of South Carolina(统计学系南卡罗来纳大学);Department of Biostatistics University of South Carolina(生物统计学系南卡罗来纳大学);Department of Biostatistics University of Florida(生物统计学系佛罗里达大学);Department of Surgery University of Florida(外科医学系佛罗里达大学);Department of Statistics George Mason University(统计学系乔治·梅森大学)
本文提出BVSIMC模型,通过学习稀疏潜在嵌入提升药物发现预测精度和可解释性,并在模拟研究和两个真实应用中优于其他方法,揭示了临床意义最大的侧信息特征。
2026-03-19 cs.LG stat.ME
CES-KD: Curriculum-based Expert Selection for Guided Knowledge Distillation
McGill University(麦吉尔大学)
知识蒸馏(KD)是压缩边缘设备深分类模型的有效工具。然而,KD的性能受到教师和学生网络之间的大容量差距的影响。最近的方法已经求助于KD的多教师助理(TA)设置,其顺序地减小教师模型的大小以相对地弥合这些模型之间的大小差距。本文提出了一种新的技术,称为课程专家选择知识蒸馏(CES-KD),有效地提高能力差距问题下的紧凑型学生的学习。这种技术是建立在这样的假设之上的,即学生网络应该使用分层教学课程来逐步引导,因为它从较低(较高)容量的教师网络中更好、更快地学习简单(硬)数据样本。具体来说,我们的方法是一个渐进的TA为基础的KD技术,选择一个单一的教师,每个输入图像的基础上,课程驱动的分类图像的难度。在这项工作中,我们根据经验验证了我们的假设,并对CIFAR-10、CIFAR-100、CINIC-10和ImageNet数据集进行了严格的实验,并在VGG类模型、ResNets和WideResNets架构上显示出更高的准确性。
2022-09-15 cs.CV cs.LG
MS-Mix: Sentiment-Guided Adaptive Augmentation for Multimodal Sentiment Analysis
Chongqing Institute of Green Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究院);Chongqing School, University of Chinese Academy of Sciences(中国科学院大学重庆学院);School of Engineering, Westlake University(西湖大学工学院)
本文提出MS-Mix,一种基于情感的自适应增强框架,通过情感感知的样本选择策略、情感强度引导模块和情感对齐损失提升多模态情感分析的鲁棒性和实用性。
2026-04-02 cs.CV cs.LG
RL-Selector: Reinforcement Learning-Guided Data Selection via Redundancy Assessment
Nanjing University(南京大学)
本文提出RL-Selector,将数据选择转化为强化学习过程,利用epsilon-sample cover量化样本冗余并作为奖励信号优化选择策略,在降低训练成本的同时提升了模型泛化性能和训练效率。
2025-06-26 cs.CV cs.LG
WASHH: An Anchor-Aware Whale-Guided Selection Hyper-Heuristic for Continuous Optimization and SVC Configuration
Faculty of Applied Sciences, Macao Polytechnic University(澳门理工学院应用科学学院);School of Mechanical and Electrical Engineering and Automation, Shanghai University(上海大学机械与自动化工程学院);Pazhou Lab (Huangpu), Guangzhou(广州 Pazhou 实验室(黄埔));College of Animal Science and Technology, Zhongkai University of Agriculture and Engineering(仲恺农业工程学院动物科学与技术学院);Macao Polytechnic University(澳门理工学院)
提出WASHH超启发式算法,通过在线奖励控制器选择多种搜索行为,在连续优化和SVC超参数配置中取得最优平均排名和最低验证损失。
2026-05-13 cs.LG cs.NE
Causally-Guided Diffusion for Stable Feature Selection
Arizona State University(亚利桑那州立大学);Clemson University(克雷默斯大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出CGDFS方法,通过因果引导扩散模型实现稳定特征选择,提升模型在分布变化下的鲁棒性与泛化能力。
2026-03-21 cs.AI cs.IT cs.LG
Decoding Positive Selection in Mycobacterium tuberculosis with Phylogeny-Guided Graph Attention Models
London School of Hygiene & Tropical Medicine(伦敦卫生与热带医学院)
本研究提出系统发育引导的图注意力网络,将SNP注释的系统发育树转为图结构,在结核分枝杆菌数据上实现0.88准确率,并识别出41个趋同进化的候选变异,证明其检测正选择的有效性。
2025-10-09 cs.LG q-bio.PE
Adaptive Uncertainty-Guided Model Selection for Data-Driven PDE Discovery
Osaka University(大阪大学)
该研究提出参数自适应的不确定性惩罚贝叶斯信息准则UBIC,结合复杂度与量化不确定性惩罚筛选偏微分方程,辅以物理信息神经网络验证,可准确识别含噪数据对应的真实控制PDE,还揭示了去噪对模型权衡的优化作用。
2023-08-31 cs.LG physics.comp-ph
Gene selection with guided regularized random forest
Intuit(财捷公司);Arizona State University(亚利桑那州立大学)
正则化随机森林(RRF)是近年来提出的一种用于特征选择的方法。在RRF中,对每个树节点处的部分训练数据评估特征。我们推导出一个上界的不同的基尼信息增益值在一个节点的数量,并表明,许多功能可以共享相同的信息增益在一个节点上具有少量的实例和大量的功能。因此,在具有少量实例的节点中,RRF可能选择不强相关的特征。在这里,一个增强的RRF,被称为引导RRF(GRRF),提出。在GRRF中,来自普通随机森林(RF)的重要性分数用于指导RRF中的特征选择过程。在10个基因数据集上的实验表明,GRRF的准确性能,一般来说,比RRF的参数变化时,更强大。与RRF、varSelRF和LASSO逻辑回归(具有来自RF分类器的评估)相比,GRRF在计算上是高效的,可以选择紧凑的特征子集,并且具有有竞争力的准确性性能。此外,对于这里考虑的大多数数据集,应用于RRF选择的具有最小正则化的特征的RF优于应用于所有特征的RF。因此,如果认为精度比特征子集的大小更重要,则可以考虑具有最小正则化的RRF。我们使用RF,一个强分类器的准确性性能,评估特征选择方法,并说明弱分类器是不太能够捕获的信息中包含的特征子集。RRF和GRRF都是在CRAN的“RRF”R包中实现的,CRAN是官方的R包存档。
2013-06-20 cs.CE cs.LG
Evidence-Guided Neural Architecture Selection under Uncertainty for Subject-Specific Blood Glucose Forecasting
organization= Department of Mechanical;Data-Enabled Sciences, University at Buffalo , city= Buffalo , state= NY , country= USA
提出EVIDENT框架,结合贝叶斯训练、证据排序和任务特定验证,在有限、噪声和异构数据中自动选择最优神经架构,用于个体化血糖预测。
2026-06-03 cs.LG physics.bio-ph
Model-Agnostic Feature Selection via LOCO-Guided Adaptive Minipatch Sampling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出LAMPS,一种模型无关的集成特征选择框架,利用LOCO得分自适应采样,在高维下实现精确选择,优于现有方法。
2026-09-22 cs.LG stat.ME stat.ML
Efficient Training of Deep Networks using Guided Spectral Data Selection: A Step Toward Learning What You Need
针对神经网络训练的数据整理问题,提出GSTDS算法,利用预训练模型动态选数据,通过谱分析和Fiedler向量评分减少计算量,在多个基准上优于现有方法,实现四倍计算量减少且不损失性能,提升泛化与准确性。
2025-07-06 cs.CV cs.LG
Uncertainty-Guided Model Selection for Tabular Foundation Models in Biomolecule Efficacy Prediction
AIML GSK
本研究提出不确定性引导的模型选择策略,利用TabPFN的预测区间四分位距作为无标签启发式,通过OligoICP方法选择低不确定性模型集成,提升siRNA功效预测性能。
2025-10-06 cs.LG q-bio.QM