G-IFT: A Gated Linear Unit adapter with Iterative Fine-Tuning for Low-Resource Children's Speaker Verification
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对成人语音训练的SV系统在儿童语音上因声学失配和数据受限而表现不佳的问题，提出G-IFT框架，通过在预训练模型与分类器间插入门控线性单元适配器并进行迭代优化，有效提升了知识迁移效率，在多种架构和数据集上均显著降低了等错误率。
2025-08-11 cs.LG eess.AS
BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models
Pennsylvania State University（宾夕法尼亚州立大学）；Dalian University of Technology（大连理工大学）；GE Healthcare（GE医疗）；Stony Brook University（石溪大学）
针对自动参数高效微调中搜索空间纠缠与预算整合不足的问题，提出BIPEFT策略，通过迭代解耦搜索空间及基于预算的早期选择机制，显著提升了低参数预算下大型预训练模型的微调效率与性能。
2024-10-04 cs.AI cs.CL cs.LG
Adversarial Fine-Tuning of Language Models: An Iterative Optimisation Approach for the Generation and Detection of Problematic Content
Australian National University（澳大利亚国立大学）；Mathematical Sciences Institute（数学科学研究所）；Research School of Astronomy（天文研究学院）；College of Engineering and Computer Science（工程与计算机科学学院）
本研究提出基于对抗微调的双阶段迭代优化方法，通过对抗模型生成有害提示、判别模型迭代识别，提升问题内容检测准确率，使ada模型仅数轮就超越GPT-4 13%，并改善并行任务性能。
2023-08-26 cs.CL cs.LG
PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）；School of Computer and Cyber Sciences（计算机与网络科学学院）
针对PEFT配置搜索空间大且架构搜索开销高的问题，本文提出PrunePEFT，将策略搜索建模为剪枝并迭代移除冗余或冲突模块，以更低计算成本获得高效微调配置。
2025-06-09 cs.AI cs.LG
Importance of Tuning Hyperparameters of Machine Learning Algorithms
Eindhoven University of Technology（埃因霍温理工大学）；Columbia University（哥伦比亚大学）
许多机器学习算法的性能取决于它们的超参数设置。本研究的目标是确定是否需要调整超参数，或者是否可以安全地将其设置为默认值。我们提出了一种方法来确定调整超参数的非劣效性测试和调整风险的基础上的重要性：性能损失时发生的超参数没有调整，但设置为默认值。因为我们的方法需要默认参数的概念，我们提出了一个简单的过程，可以用来确定合理的默认参数。我们使用OpenML的59个数据集在基准研究中应用我们的方法。我们的研究结果表明，将特定的超参数保留为默认值并不比调整这些超参数差。在某些情况下，将超参数保留为默认值甚至优于使用具有有限迭代次数的搜索过程对其进行调整。
2020-07-15 cs.LG stat.ML
MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning
本文提出MathSE自演化框架，通过迭代推理、反思与奖励引导微调提升多模态大模型的数学推理能力，在MathVL-test上超越开源模型QVQ。
2025-11-10 cs.AI cs.LG
Iterative Tuning of Nonlinear Model Predictive Control for Robotic Manufacturing Tasks
ZHAW Institute of Materials and Process Engineering（ZHAW材料与加工工程学院）；Zürich University of Applied Sciences（苏黎世应用科学大学）
本文提出一种基于任务级反馈的迭代学习框架，用于在机器人重复制造任务中自适应调优非线性模型预测控制的权重矩阵，实现高效且精确的控制性能。
2026-01-02 cs.LG cs.RO cs.SY
Bayesian Optimization for Iterative Learning
University of Oxford（牛津大学）
深度（强化）学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵，通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能，而忽略了早期训练步骤的中间信息。在本文中，我们提出了一个贝叶斯优化（BO）的方法，利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数，根据训练成功和稳定性，将训练过程中任何阶段的学习进度压缩为单个数值分数。然后，我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
Parameter Importance is Not Static: Evolving Parameter Isolation for Supervised Fine-Tuning
Tencent Hunyuan（腾讯文言）；Tencent Yuanbao（腾讯元宝）；Peking University（北京大学）；UESTC；University of New South Wales（新南威尔士大学）
本文提出EPI框架，通过动态调整参数隔离策略，减少训练中的任务干扰和遗忘，提升模型泛化能力。
2026-04-15 cs.CL cs.LG
GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
National University of Defense Technology（国防科技大学）；Information Support Force Engineering University（信息支援部队工程大学）
GRASS提出一种基于梯度的自适应层级重要性采样方法，通过动态调整层采样概率和优化器状态卸载机制，在降低内存使用的同时提升微调性能，实验显示其在多个模型和基准测试中均优于现有方法。
2026-04-09 cs.CL cs.LG
DRIFT: Decoupled Rollouts and Importance-Weighted Fine-Tuning for Efficient Multi-Turn Optimization
The Hong Kong University of Science（香港科学与技术大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对多轮交互中在线强化学习成本高而离线监督微调存在分布偏移的问题，提出DRIFT框架，通过将KL正则化强化学习目标等价转化为重要性加权监督学习，实现高效且稳定的多轮优化。
2026-05-29 cs.CL cs.LG
Adaptive Mixture Importance Sampling for Automated Ads Auction Tuning
Microsoft（微软公司）
本文提出AMIS框架，通过动态调整混合分布参数及混合率优化大规模推荐系统KPI，实验证明其在噪声环境中优于传统GIS并能可靠识别最优调优点。
2024-09-20 cs.LG stat.AP
Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Cleveland Clinic Lerner Research Institution（克利夫兰诊所勒纳研究所）
提出重要性感知稀疏微调（IST），通过逐层重要性评分选择关键层进行更新，以更少内存提升大语言模型参数高效微调的性能。
2024-11-05 cs.CL cs.LG
IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning
Graduate School of Information, Production and Systems（信息、生产与系统研究生院）；Institute of Computing Technology, University of the Chinese Academy of Sciences（中国科学院大学计算技术研究所）
IRIS通过可调Rényi自博弈框架提升大语言模型微调效果，统一解释多种自博弈方法，实验表明其在少样本下优于传统监督微调。
2026-04-22 cs.AI cs.LG
Feature Importance Guided Random Forest Learning with Simulated Annealing Based Hyperparameter Tuning
Florida Atlantic University（佛罗里达亚特兰大大学）
本文提出结合概率特征采样与模拟退火超参数调优的随机森林增强框架，提升预测精度与泛化能力，在多领域鲁棒分类中有效，克服传统随机森林局限，结合重要性感知采样与元启发式优化。
2025-10-31 cs.AI cs.ET cs.IT
Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities
University of California San Diego（加州大学圣迭戈分校）；Microsoft Research（微软研究院）；University of Virginia（弗吉尼亚大学）
本文提出ADV-LLM迭代自微调框架，以低计算成本构建高越狱能力的对抗性LLM，在开源模型上实现近100%攻击成功率，并具备向GPT-3.5和GPT-4等闭源模型的强迁移性。
2025-11-07 cs.CL cs.LG
Combining Open-box Simulation and Importance Sampling for Tuning Large-Scale Recommenders
Microsoft（微软）
针对大规模广告推荐平台调优计算成本高的问题，提出融合开盒仿真与重要性采样的SGIS方法，先粗筛参数再迭代优化，在保证精度的同时降低开销并提升KPI。
2024-09-23 cs.AI cs.IR cs.LG
LEAD: Iterative Data Selection for Efficient LLM Instruction Tuning
HKUST (GZ)（香港科技大学（广州））；Université Paris Cité（巴黎Cité大学）；BIT（北京理工大学）
针对迭代模型感知数据选择需反复全量推理导致的效率瓶颈，提出 LEAD 框架，在训练循环内利用 IDU 和多臂老虎机两阶段选择高效样本，仅用 2.5% 数据即显著提升性能并缩短训练时间。
2025-05-12 cs.AI cs.DB cs.LG
A Study of Designing Compact Audio-Visual Wake Word Spotting System Based on Iterative Fine-Tuning in Neural Network Pruning
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）；iFlytek Research（科大讯飞研究院）
由于信号传输中的环境干扰，仅基于音频的唤醒字定位（WWS）在噪声条件下具有挑战性。在本文中，我们研究设计一个紧凑的视听WWS系统，利用视觉信息，以减轻退化。具体来说，为了使用视觉信息，我们首先使用MobileNet将检测到的嘴唇编码为固定大小的向量，并将它们与声学特征连接起来，然后使用WWS的融合网络。然而，基于神经网络的视听模型需要大的足迹和高的计算复杂性。为了满足应用需求，我们引入了一个神经网络修剪策略，通过彩票假设在迭代微调的方式（LTH-IF），单模态和多模态模型，分别。测试我们的内部语料库的视听WWS在家庭电视场景中，建议的视听系统实现了显着的性能改善，在不同的噪声条件下的单模态（音频或视频）系统。此外，LTH-IF修剪可以在不降低WWS性能的情况下大大减少网络参数和计算，从而为TV唤醒场景提供潜在的产品解决方案。
2022-02-17 cs.AI cs.CV cs.LG
FIST: A Feature-Importance Sampling and Tree-Based Method for Automatic Design Flow Parameter Tuning
Duke University（杜克大学）；Nvidia Corporation（英伟达公司）；National Taiwan University of Science and Technology（台湾科技大学）；Texas A&M University（得克萨斯农工大学）
设计流程参数对芯片设计质量至关重要，并且需要很长的时间来评估其影响。实际上，流动参数调整通常是基于设计者的经验以特别的方式手动执行的。在这项工作中，我们介绍了一个基于机器学习的自动参数调整方法，旨在找到最佳的设计质量与有限的试验次数。而不是仅仅插入机器学习引擎，我们开发聚类和近似采样技术，以提高调优效率。该方法中的特征提取可以重用已有的设计知识。此外，我们利用最先进的XGBoost模型，并提出了一种新的动态树技术来克服过拟合。在基准电路上的实验结果表明，与随机森林方法相比，该方法的设计质量提高了25%，采样代价降低了37%.我们的方法进一步验证了两个工业设计。通过采样不到0.02%的可能参数集，与经验丰富的设计师手动调整的最佳解决方案相比，它减少了1.83%和1.43%的面积。
2020-11-26 cs.AR cs.LG
Table-LLM-Specialist: Language Model Specialists for Tables using Iterative Generator-Validator Fine-tuning
University of Michigan（密歇根大学）；Microsoft Corporation（微软公司）
本文提出Table-LLM-Specialist，通过生成-验证框架实现表格任务的有效微调，无需人工标注数据，提升性能并降低部署成本。
2026-03-23 cs.CL cs.DB cs.LG
On the Importance of Data Size in Probing Fine-tuned Models
Iran University of Science and Technology（伊朗科技大学）；Tehran Institute for Advanced Studies, Khatam University（哈塔姆大学德黑兰高等研究院）
该研究针对现有微调探测研究忽略数据规模作用的问题，通过实验揭示微调数据量影响模型编码语言知识的程度、高层变化及知识变化可恢复性，且变化程度与迭代次数而非样本多样性相关。
2022-03-17 cs.CL cs.LG
The Importance of Prompt Tuning for Automated Neuron Explanations
Mt. Carmel High School（卡梅尔山高中）；UC San Diego（加州大学圣地亚哥分校）；Canyon Crest Academy（峡谷峰学院）
本研究通过优化解释生成提示，以更自然的方式格式化提示，显著提升了LLM神经元解释的质量并降低了计算成本，经自动与人工评估验证。
2023-10-11 cs.CL cs.LG
ICE-Pruning: An Iterative Cost-Efficient Pruning Pipeline for Deep Neural Networks
School of Computing Science University of Glasgow（计算科学学院格拉斯哥大学）
针对现有迭代剪枝流水线反复微调导致计算成本高的问题，本文提出ICE-Pruning迭代剪枝流水线，通过自动微调判定、冻结策略和剪枝感知学习率调度器，在保持精度的同时最高将剪枝速度提升9.61倍。
2025-06-15 cs.CV cs.LG stat.ML
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University（东北大学）；Google Research（谷歌研究院）
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法，如贝叶斯优化，已被开发来自动化和加快这一过程。然而，调优仍然非常昂贵，因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络，考虑到每个训练样本贡献的相对信息量。为此，我们利用了重要性采样（IS）;这显著提高了黑盒函数计算的质量，但也提高了它们的运行时间，因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题，实现了两全其美：通过学习IS的参数化，权衡评估复杂性和质量，我们改进了贝叶斯优化最先进的运行时间和最终验证错误，跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
Tree pyramidal adaptive importance sampling
Intel Labs, Intel Corporation（英特尔公司英特尔研究院）
本文介绍了树-金字塔自适应重要性抽样（TP-AIS），一种新的迭代抽样方法，它优于确定性混合总体蒙特卡罗（DM-PMC）、混合总体蒙特卡罗（M-PMC）和分层自适应重要性抽样（LAIS）等最先进的方法。TP-AIS迭代地构建由树金字塔参数化的建议分布，其中每个树叶跨越表示其重要性密度的子空间。在每个新的采样操作之后，一组树叶被细分，以改善建议分布对目标密度的近似。与文献中的其他方法不同，TP-AIS是无参数的，不需要调整就能达到最佳性能。我们评估TP-AIS与不同的复杂性随机目标概率密度函数（PDF），并分析其应用到不同的维度。最先进的迭代重要性抽样方法和其他基线MCMC方法使用归一化有效样本量（N-ESS），詹森-香农发散和时间复杂度的结果进行比较。
2020-03-23 cs.LG stat.CO stat.ML
LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning
NVIDIA（英伟达）；The Hong Kong University of Science and Technology（香港科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出LISA方法，利用LoRA微调中层间权重范数偏斜的观察，对不同层进行重要性采样并随机冻结大多数中间层，以LoRA级内存成本超越LoRA和全参数微调性能。
2024-12-25 cs.AI cs.CL cs.LG
MatRL: Provably Generalizable Iterative Algorithm Discovery via Monte-Carlo Tree Search
Stanford University（斯坦福大学）
提出基于强化学习的MatRL框架，利用蒙特卡洛树搜索自动发现计算矩阵函数的迭代算法，并证明其可泛化至同分布的大规模矩阵，实验表明优于多种基线方法。
2025-07-16 cs.LG
Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection
School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学）；State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）
Hi-ZFO通过结合一阶和零阶优化，提升LLM微调的精度与探索能力，有效解决训练中的局部极小值问题。
2026-01-09 cs.CL cs.LG
Criticality-Constrained Iterative Pruning for Energy-Efficient Spiking Neural Networks via Combined Importance Scoring
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
提出CQP方法，融合权重幅度和代理梯度临界性形成精确重要性指标，通过迭代剪枝与梯度掩蔽消除伪影，实现高稀疏度下SNN的高精度和低能耗。
2026-07-01 cs.LG cs.NE
From Black-Box Tuning to Guided Optimization via Hyperparameters Interaction Analysis
IRIT, UMR5505 CNRS Université Toulouse Capitole（IRIT，CNRS UMR5505，图卢兹大学）；LIS, UMR 7020 CNRS Aix-Marseille University（LIS，CNRS UMR7020，阿维尼翁-马赛大学）
MetaSHAP通过分析超参数交互，提供可操作的调优见解，帮助优化机器学习模型。
2025-12-22 cs.LG
A Multi-Objective Anytime Rule Mining System to Ease Iterative Feedback from Domain Experts
从软件存储库中提取的数据被广泛用于软件工程研究，例如，预测源代码中的缺陷。在我们对这一领域的研究中，我们使用了来自开源项目和工业合作伙伴的数据，我们注意到传统的数据采掘方法在分类问题上的几个缺点：（1）领域专家的接受是至关重要的，领域专家可以提供有价值的输入，但很难使用这种反馈。(2)模型的评估不是计算AUC或准确性的简单问题。相反，有多个目标，其重要性各不相同，但其重要性不容易量化。此外，在我们的例子中，模型的性能不能在每个实例的级别上进行评估，因为它与集合覆盖问题共享一些方面。为了克服这些问题，我们采取了一个整体的方法，并开发了一个规则挖掘系统，简化了领域专家的迭代反馈，可以很容易地将特定领域的评估需求。该系统的核心部分是一个新的多目标的任何时候规则挖掘算法。该算法是基于GRASP-PR元启发式，但扩展了它与其他几种方法的想法。我们成功地将该系统应用于工业领域。在当前的文章中，我们专注于算法的描述和系统的概念。我们提供了一个实现的系统重用。
2018-12-23 cs.LG cs.SE stat.ML
Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Hupan Lab（湖畔实验室）
本研究提出“零到强泛化”范式，通过迭代提示LLMs标注未标注数据并过滤高质量标签，无需金标即可逐步激发模型在下游分类与推理任务上的强大能力，实验验证其有效性并适用于多种模型规模。
2024-09-19 cs.CL cs.LG
Iterative Feature Exclusion Ranking for Deep Tabular Learning
Universiti Sains Malaysia（马来西亚理科大学）；Al-Quds Open University（圣城开放大学）
本文提出迭代特征排除模块，通过迭代排除特征并计算注意力分数，提升表格数据中特征重要性排名和分类性能。
2025-12-18 cs.LG
Improving Low-Resource Knowledge Tracing Tasks by Supervised Pre-training and Importance Mechanism Fine-tuning
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Guangdong Institute of Smart Education, Jinan University（暨南大学广东智慧教育研究院）；TAL Education Group（好未来教育集团）
针对低资源知识追踪中交互稀少、易过拟合且架构难选的问题，本文提出LoReKT框架，通过多源监督预训练与重要性机制微调提升迁移效果，并在六个公开数据集上验证了AUC和Accuracy优势。
2024-10-25 cs.AI cs.CL cs.CY
Iterative Averaging in the Quest for Best Test Error
University of Oxford（牛津大学）；University of Bristol（布里斯托大学）；University of Cambridge（剑桥大学）
我们分析和解释增加的泛化性能的平均使用高斯过程扰动模型之间的真实和批量风险表面的高维二次。我们得到三个现象\latestEdits{from our theoretical results:}（1）结合平均（IA）与大的学习率和正则化的重要性，以改善正则化。(2)降低平均频率的理由。(3)我们期望自适应梯度方法与非自适应梯度方法一样好，甚至更好地使用平均值。这些结果的启发\latestEdits{, together with}经验调查的重要性，适当的正则化的解决方案的多样性的迭代，我们提出了两个自适应算法与平均。与随机梯度下降（SGD）相比，这些方法提供了更好的结果，需要更少的调整，并且不需要提前停止或验证集监控。我们在各种现代和经典网络架构上的CIFAR-10/100，ImageNet和Penn Treebank数据集上展示了我们的方法的有效性。
2021-10-31 cs.LG stat.ML
The Importance of Online Data: Understanding Preference Fine-tuning via Coverage
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）；Cornell University（康奈尔大学）
本研究通过覆盖度理论证明离线对比方法需全局覆盖条件，而在线RL仅需局部覆盖，并据此提出混合偏好优化算法HyPO，兼具性能与效率优势。
2024-07-16 cs.AI cs.CL cs.LG
Hyperparameter Tuning is All You Need for LISTA
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Alibaba US, Damo Academy（阿里巴巴美国达摩院）
学习迭代收缩保持算法（LISTA）引入了展开迭代算法并像神经网络一样训练它的概念。它在稀疏恢复方面取得了巨大成功。在本文中，我们证明了在LISTA网络中向中间变量添加动量可以实现更好的收敛速度，特别是具有实例最优参数的网络是超线性收敛的。此外，我们的新的理论结果导致一个实用的方法，自动和自适应地计算LISTA网络层的参数的基础上，其以前的层。也许最令人惊讶的是，这种自适应参数过程将LISTA的训练减少到仅从数据中调整三个超参数：在最近削减LISTA复杂性的进展背景下的新记录集。我们称之为超轻量网络HyperLISTA。与最先进的LISTA模型相比，HyperLISTA在可见数据分布上实现了几乎相同的性能，并且在不可见分布（特别是具有不同稀疏度和非零幅度的分布）上进行测试时表现更好。代码可用：https://github.com/VITA-Group/HyperLISTA。
2021-10-29 cs.LG stat.ML
QUATRO: Query-Adaptive Trust Region Policy Optimization for LLM Fine-tuning
Seoul National University（首尔国立大学）；Ewha Woman University（成均馆大学）；Geogia Institute of Technology（佐治亚理工学院）
QUATRO通过原则性优化直接施加信任区域约束，实现稳定且可控的LLM微调，提升训练稳定性与熵控制。
2026-09-18 cs.LG
TRACE: Time SeRies PArameter EffiCient FinE-tuning
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Science, University of Hong Kong（香港大学科学学院）
TRACE提出了一种时间序列参数高效微调方法，通过门控DSIC和重构预测头提升长期预测性能，适用于多种时间序列任务。
2025-11-21 cs.LG
Fed-HeLLo: Efficient Federated Foundation Model Fine-Tuning with Heterogeneous LoRA Allocation
Department of Computer Science and Engineering, University of Nevada, Reno（计算机科学与工程系，内华达大学雷诺分校）
针对联邦基础模型微调中客户端资源异构、现有方法性能受限的问题，提出Fed-HeLLo框架及多种异构LoRA分配策略，在多数据集多分布设置下实现了高效且性能优异的联邦微调。
2025-06-13 cs.DC cs.LG
Iterative Layer-wise Distillation for Efficient Compression of Large Language Models
Lomonosov Moscow State University, Russia（莫斯科罗蒙诺夫国立大学）
本文提出基于 ShortGPT 的迭代逐层蒸馏方法，通过评估层重要性并结合 KL 散度与均方误差联合损失进行微调，在 Qwen2.5-3B 上以较小质量损失实现模型层数压缩，适用于资源受限部署。
2025-11-07 cs.CL cs.LG
SFT-GO: Supervised Fine-Tuning with Group Optimization for Large Language Models
Center for Advanced AI, Accenture（Accenture高级人工智能研究中心）
针对现有监督微调对所有token一视同仁的局限，提出SFT-GO方法，按重要性分组token并优化最差组损失，提升模型在LLM基准上的性能。
2025-06-17 cs.AI cs.LG
Bias Mitigation in Fine-tuning Pre-trained Models for Enhanced Fairness and Efficiency
Hangzhou Dianzi University（杭州电子科技大学）；Remin University of China（中国人民大学）
本文提出高效鲁棒的公平微调框架，利用跨群体 Fisher 信息识别并中和影响不同人口统计群体的权重，并结合低秩矩阵分解降低计算成本。
2024-03-01 cs.CY cs.LG
Towards a deeper GCN: Alleviate over-smoothing with iterative training and fine-tuning
Institute of Big Data Science and Industry（大数据科学与产业研究院）；Shanxi University（山西大学）；Key Laboratory of Evolutionary Science Intelligence of Shanxi Province（山西省进化科学智能重点实验室）；Zhengzhou University of Aeronautics（郑州航空工业大学）
本文针对GCN深层过平滑问题，提出逐层渐进训练策略LGT，结合逐层训练、低秩适配和恒等初始化，在保持表达能力的同时显著提升32层GCN性能，并可兼容现有方法。
2025-07-22 cs.LG
Iterative Feature Boosting for Explainable Speech Emotion Recognition
University of Québec (TÉLUQ)（魁北克大学（TÉLUQ））；Concordia University（康考迪亚大学）；University of Québec at Montréal（蒙特利尔魁北克大学）
本文提出一种基于Shapley值的迭代特征增强方法，通过可解释的特征评估循环优化语音情感识别特征选择，在TESS数据集上超越人类水平和现有最优方法。
2024-06-05 cs.AI cs.CL cs.LG
The Art of Repair: Optimizing Iterative Program Repair with Instruction-Tuned Models
Simula Research Laboratory（Simula研究实验室）
本文研究在每缺陷最多10个补丁的限制下，结合多输出生成与多轮迭代的程序修复策略，通过对三种指令微调LLM进行不同规模和技术的微调，在HumanEval-Java和Defects4J上验证了少量数据微调可显著提升修复效果，并揭示了迭代策略在复杂基准上的优势。
2025-05-05 cs.AI cs.CL cs.LG
EPnG: Adaptive Expert Prune-and-Grow for Parameter-Efficient MoE Fine-tuning
Ulsan National Institute of Science & Technology (UNIST)（蔚山科学技术院）
提出EPnG框架，基于路由器门控概率动态分配LoRA容量，剪枝低效专家并扩展重要专家，在固定参数预算下超越LoRA，性能媲美全微调。
2026-07-03 cs.AI cs.LG
Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）
提出自进化机制DiverseEvol，让模型自身迭代采样多样数据子集进行指令微调，无需人工或高级模型干预，在少于8%数据上保持或提升性能。
2023-11-14 cs.CL cs.LG
Conditional Feature Importance with Generative Modeling Using Adversarial Random Forests
Leibniz Institute for Prevention Research & Epidemiology – BIPS（莱布尼茨预防研究与流行病学研究所 – BIPS）；Faculty of Mathematics and Computer Science, University of Bremen（不来梅大学数学与计算机科学学院）；Berlin School of Economics and Law（柏林经济与法律学院）；University of Copenhagen（哥本哈根大学）
本文提出cARFi方法，利用对抗随机森林生成的条件分布采样特征值，以少量调参稳健衡量条件特征重要性，支持条件/边际概念及统计显著性检验。
2025-01-19 cs.LG stat.ML
ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning
Harvard University（哈佛大学）
提出ElaLoRA自适应低秩微调框架，通过基于梯度重要性分数动态剪枝和扩展秩，解决固定秩方法局限，在多基准上优于现有PEFT方法，为资源受限环境提供高效方案。
2025-03-31 cs.AI cs.CL cs.CV
MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
本文提出 Gym 风格框架 MLE-Dojo，基于 200 多个 Kaggle 真实任务构建交互式 MLE 环境，支持 LLM 智能体的迭代训练、调试与评估。
2025-05-12 cs.LG
Triplets Better Than Pairs: Towards Stable and Effective Self-Play Fine-Tuning for LLMs
National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（人工智能学院）；Alibaba International Digital Commerce（阿里巴巴国际数字商务）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
T-SPIN通过引入历史优势和熵约束，提升自play微调在稀缺标注数据下的稳定性和性能
2026-01-13 cs.CL cs.LG
On tuning consistent annealed sampling for denoising score matching
Dolby Laboratories（杜比实验室）
基于得分的生成模型为图像和音频合成提供最先进的质量。从这些模型的采样迭代地执行，通常采用一系列离散化的噪声水平和预定义的方案。在本文中，我们首先概述了三种常见的采样方案，用于使用去噪得分匹配训练的模型。接下来，我们将重点放在其中之一，一致退火采样，并研究其超参数边界。然后，我们强调了这种超参数的可能配方，明确考虑这些边界，并方便调整时，使用很少或可变数量的步骤。最后，我们强调了与其他抽样方案的制定的一些连接。
2021-04-08 cs.AI cs.CV cs.LG
