Towards Few-Shot Adaptation of Foundation Models via Multitask Finetuning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文从理论上证明在多样化相关任务上多任务微调基础模型可降低少样本目标任务的适配误差，并提出基于多样性与一致性指标的任务选择算法，实验验证了其有效性。
2024-02-22 cs.AI cs.CL cs.LG
N$^3$LARS: Minimum Redundancy Maximum Relevance Feature Selection for Large and High-dimensional Data
Yahoo Labs（雅虎实验室）
我们提出了一种特征选择方法，发现非冗余的功能，从一个大的和高维数据的非线性方式。具体来说，我们提出了一个非线性扩展的非负最小角回归（LARS）称为N ${}^3$ LARS，其中输入和输出之间的相似性是通过希尔伯特-施密特独立准则（HSIC）的归一化版本来衡量。N ${}^3$ LARS的一个优点是它可以很容易地与Hadoop和Spark等map-reduce框架结合。因此，在分布式计算的帮助下，可以有效地从大量的高维数据中选择一组特征。此外，N ${}^3$ LARS是一个凸方法，可以找到一个全局最优解。该方法的有效性首先通过特征选择实验证明分类和回归与小，高维数据集。最后，我们在一个大型的高维生物数据集上评估了我们提出的方法。
2014-11-10 cs.LG stat.ML
Maximum Relevance and Minimum Redundancy Feature Selection Methods for a Marketing Machine Learning Platform
Uber Technologies, Inc.（优步技术公司）
在用于在线产品供应和营销策略的机器学习应用中，通常有数百或数千个特征可用于构建此类模型。在这类应用中，特征选择是一种重要的方法，可以实现多个目标：通过消除不相关的特征来提高预测精度，加快模型训练和预测速度，减少特征数据管道的监控和维护工作量，提供更好的模型解释和诊断能力。然而，从一个大的特征空间中选择一个最佳的特征子集被认为是一个NP完全问题。mRMR（最小冗余和最大相关性）特征选择框架通过选择相关特征同时控制所选特征内的冗余来解决这个问题。本文描述了在Uber的一个营销机器学习平台中扩展、评估和实现mRMR特征选择方法的方法，该平台可以自动创建和部署大规模的目标和个性化模型。本研究首先通过引入非线性特征冗余度和基于模型的特征相关度来扩展现有的mRMR方法。然后，对八种不同的特征选择方法进行了广泛的实证评估，使用Uber的一个合成数据集和三个真实世界的营销数据集来覆盖不同的用例。基于实证结果，所选择的mRMR方法在生产中实施的营销机器学习平台。生产实施的描述，并通过平台部署的在线实验进行了讨论。
2019-08-15 cs.LG stat.ML
Population-Robust Feature Selection via Generalized Welfare Optimization
该研究提出PopFS方法，通过多任务稀疏学习缩小候选池并在硬特征集上搜索，实现群体鲁棒特征选择，在多个数据集的预测任务中提升平均与最差群体性能，且可通过调整福利目标优化特定群体表现。
2026-08-05 cs.LG
Robust quantum minimum finding with an application to hypothesis selection
Stanford University（斯坦福大学）；IBM Research Almaden（IBM阿尔马登研究中心）；Centre for Quantum Technologies, National University of Singapore（新加坡国立大学量子技术中心）
我们考虑的问题，找到最小元素的列表长度$N$使用噪声比较器。噪声建模如下：给定两个元素进行比较，如果元素的值与元素上定义的某个度量相差至少$α$，则将正确进行比较;如果元素的值比$α$更接近，则比较的结果不受任何保证的影响。我们证明了一个量子算法的噪声量子最小值的发现，保留了无噪声的情况下的二次加速：我们的算法运行在时间$\tilde O(\sqrt{N (1+Δ)})$，其中$Δ$是一个上限的间隔$α$内的元素的数量，并输出一个很好的近似的真实的最小值具有很高的概率。我们的噪声比较器模型的动机是假设选择的问题，其中给定一组$N$已知的候选概率分布和来自未知目标分布的样本，人们试图输出一些候选分布$O(\varepsilon)$ -接近未知目标。经典前沿的许多工作都致力于加快从$O(N^2)$到$O(N)$的经典假设选择的运行时间，部分是通过使用统计原语，如Scheffé检验。假设一个量子预言机的经典数据访问和应用我们的噪声量子最小值发现算法，我们把这个运行时间到次线性制度。最终预期运行时间为$\tilde O( \sqrt{N(1+Δ)})$，未知分布的$O(\log N)$样本复杂度与经典算法相同。我们希望强大的量子最小值发现是一个有用的构建块的算法的情况下，比较器（这可能是另一个量子或经典算法）是分辨率有限的或受到一些不确定性。
2020-03-26 cs.DS cs.LG quant-ph
Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks
IBM Research UK（IBM英国研究院）
来自深度学习的化学表征正在成为药物发现和材料创新等领域的强大工具。目前，这种方法有三个主要的局限性-代表生成的成本，遗传偏见的风险，以及需要大量的数据。我们建议将多任务学习与迁移学习结合使用，以直接解决这些限制。为了避免在多任务学习过程中由于任务选择本身而引入未知偏差，本文通过任务间的亲和度计算任务相似度，并利用该度量来编程选择任务。我们在几个真实世界的数据集上测试了这种方法，以证明其在复杂和低数据环境中的执行潜力。最后，我们利用任务相似性，通过与常用的化学信息学指纹进行比较，进一步探索学习表示的表达能力，并表明深度表示能够捕获更具表达力的基于任务的信息。
2018-09-17 cs.LG physics.chem-ph stat.ML
Minimum Description Feature Selection for Complexity Reduction in Machine Learning-based Wireless Positioning
Elmore Family School of Electrical and Computer Engineering, Purdue University（埃尔莫家族电气与计算机工程学院，普渡大学）；School of Electrical, Computer and Energy Engineering, Arizona State University（电气、计算机与能源工程学院，亚利桑那州立大学）
针对深度学习无线定位中高维特征计算复杂度过高的问题，提出利用最大功率测量及其时间位置的最小描述特征选择P-NN，并结合自注意力与自适应特征空间优化，在低SNR下显著改善性能-复杂度权衡。
2025-09-30 cs.LG eess.SP
Identification of Negative Transfers in Multitask Learning Using Surrogate Models
Northeastern University（东北大学）
本文提出一种基于代理模型的高效方法，通过线性回归近似多任务性能并计算相关性分数，以准确识别负迁移并选择有益源任务子集，优于现有方法。
2023-12-27 cs.AI cs.CL cs.LG
Sparse minimum Redundancy Maximum Relevance for feature selection
RIKEN AIP（日本理化学研究所AIP）；Keio University（庆应大学）
提出一种基于惩罚mRMR和knockoff滤波器的特征筛选方法，通过控制FDR识别非活跃特征，性能与HSIC-LASSO相当但更保守，仅需设置FDR阈值。
2025-08-26 cs.LG stat.ME stat.ML
Supervised Infinite Feature Selection
University of Guilan（桂兰大学）
在本文中，我们提出了一种新的特征选择方法，适用于无监督和监督的问题。我们建立在最近提出的无限特征选择（IFS）的方法，考虑所有大小（包括无穷大）的特征子集。我们以两种方式扩展IFS。首先，我们提出了一个有监督的版本。其次，我们提出了新的方法来形成特征邻接矩阵，在无监督的问题中表现得更好。我们广泛评估我们的方法在许多基准数据集，包括大型图像分类数据集（PASCAL VOC），并表明我们的方法优于IFS和广泛使用的“最小冗余最大相关性（mRMR）”特征选择算法。
2017-08-21 cs.LG
Graph-Based Automatic Feature Selection for Multi-Class Classification via Mean Simplified Silhouette
Bar-Ilan University（巴伊兰大学）
本文提出一种基于图的自动特征选择方法GB-AFS，利用JM距离和t-SNE生成低维空间，并通过MSS指数选择最小特征集，在保持准确率的同时仅用7%-30%的特征，分类时间减少15%-70%。
2023-09-05 cs.LG
Feature selection in high-dimensional dataset using MapReduce
Université Libre de Bruxelles（布鲁塞尔自由大学）
本文描述了一个分布式MapReduce实现的最小冗余最大相关性算法，一个流行的特征选择方法在生物信息学和网络推理问题。所提出的方法处理高/窄和宽/短数据集。我们进一步提供了一个基于Hadoop/Spark的开源实现，并说明了它在涉及数百万观测或特征的数据集上的可扩展性。
2017-09-07 cs.DC cs.LG stat.ML
Pretext Tasks selection for multitask self-supervised speech representation learning
Avignon Université（阿维尼翁大学）；Télécom Paris（巴黎电信学院）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；CNRS（法国国家科学研究中心）
通过解决借口任务，自监督学习利用未标记的数据来提取有用的潜在表示，以取代下游任务中的传统输入特征。在音频/语音信号处理中，通过几十年的研究工作设计出了各种各样的特征。事实证明，学习预测这些特征（也称为伪标签）已被证明是一个特别相关的借口任务，导致有用的自我监督表示，这些表示被证明对下游任务有效。然而，用于组合这些借口任务以更好地执行下游任务的方法和常见实践尚未被适当地探索和理解。事实上，这个过程几乎完全依赖于一个计算量很大的实验过程，随着借口任务数量的增加，这个过程变得很棘手。本文介绍了一种从候选任务集中选择一组任务的方法。我们提出的方法估计校准权的部分损失所考虑的借口任务在自我监督的训练过程中。在自动语音识别、说话人和情感识别上进行的实验验证了我们的方法，因为用我们的方法选择和加权的组比经典的基线表现得更好，从而便于选择和组合相关的伪标签进行自监督表示学习。
2022-11-11 cs.LG cs.SD eess.AS
Deep Multitask Learning for Mixed-Type Outcomes with Shared Sparsity
School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；School of Statistics and Data Science, Southeast University（东南大学统计与数据科学学院）；Key Laboratory of Big Data Mining and Knowledge Management, Chinese Academy of Sciences（中国科学院大数据挖掘与知识管理重点实验室）；Department of Biostatistics, Yale School of Public Health（耶鲁大学公共卫生学院生物统计学系）
提出多任务变换框架，通过共享第一层的深度神经网络和组Lasso惩罚优化平滑秩准则，实现混合类型结果的预测和变量选择，并建立了非渐近超额风险界和变量选择一致性。
2026-07-02 cs.LG stat.ML
Regression Trees and Random forest based feature selection for malaria risk exposure prediction
Université d’Abomey-Calavi（阿波美卡拉维大学）；Université Paris 1 Panthéon Sorbonne（巴黎第一大学（先贤祠-索邦大学））
本文讨论了利用环境和气候变量预测疟疾风险的主要媒介按蚊数量。变量的选择是基于一个自动的机器学习方法，使用回归树，随机森林结合分层两级交叉验证。使用变量重要性的二次距离来访问变量重要性的最小阈值，同时使用所选变量的最优子集来执行预测。最后，结果显示，在选择，预测和CPU时间的观点比GLM-Lasso方法得到的定性更好。
2016-06-24 cs.LG stat.ML
Multitask Regression with Pairwise Fusion
University of California, Davis（加州大学戴维斯分校）
本研究提出一种成对融合惩罚的多任务回归方法，通过惩罚跨任务系数差异并附加组惩罚，实现系数共享结构估计，并在理论上证明其上下界一致，实验验证了其有效性。
2026-09-24 cs.LG stat.ML
Minimum Description Length Control
Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学中心）；DeepMind（深度思维）；Facebook Reality Labs（脸书现实实验室）
我们提出了一种基于最小描述长度（MDL）原则的多任务强化学习新框架。在这种方法中，我们称之为MDL-C（MDL-Control），智能体学习它所面临的任务之间的共同结构，然后将其提炼成一个更简单的表示，这有助于更快地收敛和推广到新的任务。在这样做的时候，MDL-C自然地平衡了对每个任务的适应与对任务分配的认知不确定性。我们激励MDL-C通过MDL原则和贝叶斯推理之间的正式连接，获得理论性能保证，并证明MDL-C的经验有效性离散和高维连续控制任务。
2022-07-24 cs.LG
Stockformer: A Price-Volume Factor Stock Selection Model Based on Wavelet Transform and Multi-Task Self-Attention Networks
Central University of Finance and Economics（中央财经大学）；School of Statistics and Mathematics（统计与数学学院）
本文提出 Stockformer 选股模型，通过小波变换分解价量收益并结合多任务自注意力网络，提升市场波动下的收益与趋势预测能力，在多个真实数据集及回测中表现优于现有方法。
2024-06-17 cs.LG q-fin.TR
A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL)
对模型选择中的过拟合概念进行了解释，并举例说明。在介绍了信息论和Kolmogorov复杂度的一些背景知识之后，我们对最小描述长度和错误最小化进行了简短的解释。最后，我们讨论了模型选择中过拟合的典型特征。
2010-05-14 cs.CC cs.LG
Target Curricula via Selection of Minimum Feature Sets: a Case Study in Boolean Networks
University of Newcastle（纽卡斯尔大学）
我们考虑了在监督多标签分类（MLC）问题上训练布尔模型时引入目标课程的效果。特别是，我们考虑如何在没有先验知识的情况下订购目标，以及如何在使用元分析训练离散非线性模型时执行这样的课程。我们表明，目标之间的层次依赖关系，可以利用执行适当的课程，使用分层损失函数。在已知目标困难的多输出电路推理问题上，用这种损失函数训练的前馈布尔网络（FBN）实现了显着更低的样本外误差，在某些情况下高达$10\%$。这种改进随着损失更加强调目标顺序而增加，并且与容易到困难的课程密切相关。我们还证明了相同的改进三个真实的世界模型和两个基因调控网络（GRN）推理问题。我们提出了一个简单的先验方法，用于确定一个适当的目标顺序和估计布尔MLCs中的目标关系的强度。这些方法使用内在维度作为目标难度的代理，该目标难度使用被称为最小特征集（minFS）问题的组合优化问题的最优解来估计。我们还表明，可以实现相同的泛化增益，而不提供任何知识的目标难度。
2017-11-01 cs.AI cs.LG
High-dimensional Penalty Selection via Minimum Description Length Principle
本文基于最小描述长度（MDL）原则，解决了正则化惩罚函数的选取问题。特别是，我们认为惩罚函数的设计空间是高维的。在这种情况下，幸运归一化最大似然（LNML）最小化方法是有利的，因为LNML量化了正则化模型的良好性，考虑到最小描述长度原则，并引导我们通过高维空间找到一个好的惩罚函数。然而，LNML的最小化需要两个主要挑战：1）LNML的归一化因子的计算和2）它在高维空间中的最小化。本文提出了一种新的正则化选择方法（MDL-RS），在该方法中，LNML（uLNML）的紧上界被最小化，并保证局部收敛。我们的主要贡献是推导uLNML，这是一个统一的间隙上界的LNML的解析表达式。这以近似的方式解决了上述挑战，因为它允许我们精确地近似LNML，然后有效地最小化它。实验结果表明，MDL-RS提高了正则化估计的泛化性能，特别是当模型具有冗余参数时。
2018-04-26 cs.LG stat.ML
Minimum-Action Learning: Energy-Constrained Symbolic Model Selection for Physical Law Identification from Noisy Data
Institute on Human Development and Disability, University of Washington（华盛顿大学人类发展与残疾研究所）
本文提出最小作用学习框架，通过最小化三作用功能选择符号力定律，提升从噪声数据中识别物理定律的准确性与效率。
2026-04-08 cs.LG
A machine learning based algorithm selection method to solve the minimum cost flow problem
Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；Comma Soft AG（Comma Soft股份公司）
最小费用流问题是网络优化问题中研究最多的问题之一，在许多应用中出现。对于这个问题存在一些有效的算法，它们以库或软件包的形式免费提供。值得注意的是，这些求解器中没有一个在所有情况下都优于其他求解方法。因此，问题是是否可以根据实例的特性为给定实例选择最快的算法。为此，我们训练几个机器学习分类器，以在给定的求解器集合中预测最快的。我们通过创建81，000个实例的代表性数据集并通过相关特征的向量来表征这些实例中的每一个来实现这一点。为了获得更好的性能，我们进行了网格搜索，以优化分类器的超参数。最后，我们通过准确性来评估不同的分类器。结果表明，基于树的模型似乎适应和利用的最小成本流问题的相关结构，特别是在大量的实例，预测最快的解决方案的准确性超过90%。
2022-10-03 cs.LG math.OC
(Exhaustive) Symbolic Regression and model selection by minimum description length
1 Institute of Cosmology \& Gravitation, University of Portsmouth, Dennis Sciama Building, Portsmouth, PO1 3FX, United Kingdom
本文提出穷举式符号回归结合最小描述长度原则进行模型选择，以信息单位直接权衡准确性与复杂性，并在三个天体物理开放问题上验证其优于文献标准函数。
2025-07-17 astro-ph.CO astro-ph.GA astro-ph.IM
A Scalable Gradient-Based Optimization Framework for Sparse Minimum-Variance Portfolio Selection
School of Mathematics and Statistics（数学与统计学学院）；University of New South Wales（新南威尔士大学）；School of Mathematical and Physical Sciences（数学与物理科学学院）；University of Technology Sydney（技术大学悉尼分校）；Bayes Business School（贝叶斯商学院）；City St George’s, University of London（伦敦大学城圣乔治学院）；Faculty of Science and Engineering（科学与工程学院）；Macquarie University（麦考瑞大学）
针对稀疏最小方差投资组合的基数约束混合整数规划求解瓶颈，提出基于 Boolean 松弛和凸凹目标连续调控的可扩展梯度优化框架。
2025-05-15 cs.LG math.OC q-fin.PM
Sample Selection Using Multi-Task Autoencoders in Federated Learning with Non-IID Data
Gebze Technical University, Department of Computer Engineering（盖泽技术大学计算机工程系）
本文提出利用多任务自编码器估计样本贡献，通过损失和特征分析进行样本选择，结合无监督异常检测方法提升模型准确率。
2026-04-28 cs.CV cs.LG
Model Selection Through Model Sorting
Shahed University（沙希德大学）
本研究提出基于嵌套模型连续经验超额风险PAC界的NER与S-NER模型选择方法，可高概率选出真实模型阶数与最简约风险模型，在线性回归和UCR数据集分类任务中表现优异。
2024-09-15 cs.LG stat.ML
Minimum description length as an objective function for non-negative matrix factorization
University of Southampton（南安普顿大学）
非负矩阵分解（NMF）是一种降维技术，它倾向于产生数据的稀疏表示。通常，实际矩阵和重建矩阵之间的误差被用作目标函数，但这种方法可能不会产生我们想要的表示类型，因为它允许模型的复杂性增长，仅受子空间大小和非负性要求的约束。如果施加额外的约束，如稀疏性，参数选择的问题变得至关重要。而不是增加稀疏性约束，在特设的方式，我们提出了一种新的目标函数，通过使用最小描述长度（MDL）的原则。我们的公式，MDL-NMF，自动权衡模型的复杂性和准确性之间的原则性的方法，几乎没有参数选择或需要领域的专业知识。我们证明了我们的模型有效地工作在三个异构的数据集和一系列的半合成数据显示我们的方法的广泛适用性。
2019-02-05 cs.LG stat.ML
Determining Principal Component Cardinality through the Principle of Minimum Description Length
Facebook Research（脸书研究院）
PCA（Principal Component Analysis）及其变体是矩阵降维和降维潜在因子提取的普遍技术。使用PCA的一个重要挑战是主成分数量的选择。信息论的最小描述长度（MDL）原则为模型选择提供了基于压缩的客观标准，但很难将其现代定义--归一化最大似然（NML）--应用于PCA问题。这项工作显示了NML问题的一般减少到低维问题。应用这一约简，它用已知的线性回归的NML项来界定PCA的NML。
2019-06-29 cs.LG stat.ML
Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach
Northeastern University, Boston, MA（东北大学）；University of Michigan, Ann Arbor, MI（密歇根大学）
本文提出一种基于一阶近似的算法，利用多任务元初始化的函数值和梯度快速估计辅助任务子集的微调性能，无需反复训练，在指令微调和思维链微调中实现30倍加速且误差仅1%，性能最高提升3.8%。
2025-06-01 cs.CL cs.LG
Minimum discrepancy principle strategy for choosing $k$ in $k$-NN regression
Inria（法国国家信息与自动化研究所）；Paris 1 - Panthéon Sorbonne University（巴黎第一大学先贤祠-索邦大学）
本文提出一种基于早停和最小差异原则的无留出数据策略来选择 $k$-NN 回归中的 $k$，该方法在保持最小最大最优性的同时降低计算时间，并在人工和真实数据上优于其他模型选择策略。
2024-07-17 cs.LG math.ST stat.ML
