Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation
University of Florence(佛罗伦萨大学);SEED – Electronic Arts(SEED – 艺电)
针对小规模低质量离线数据集导致离线预训练策略次优、在线强化学习性能下降的问题,提出基于世界模型的状态增强策略,可提升离线预训练效果,大幅减少在线微调的环境交互量。
2023-12-19 cs.AI cs.LG
SCPL: Enhancing Neural Network Training Throughput with Decoupled Local Losses and Model Parallelism
Computer Science and Information Engineering National Central University(计算机科学与信息工程国家中央大学)
SCPL通过解耦局部损失和模型并行性,提升神经网络训练吞吐量,有效解决深度学习训练效率问题。
2026-02-03 cs.AI cs.LG
Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction
Ningde Normal University(宁德师范学院)
本文提出参数线性预测(PLP)方法,利用训练中参数变化规律预测DNN参数,在CIFAR-100上提升Vgg16、Resnet18和GoogLeNet的训练效率与性能。
2024-07-02 cs.CV cs.LG
Supplement Generation Training for Enhancing Agentic Task Performance
University of Pennsylvania(宾夕法尼亚大学);AWS Agentic AI Labs(AWS智能代理AI实验室)
本文提出补充生成训练(SGT),通过小型LLM生成补充文本帮助大模型更高效完成任务,降低计算成本并提升部署灵活性。
2026-04-22 cs.AI cs.LG
Enhancing Stability for Large Language Models Training in Constrained Bandwidth Networks
Foundational AI Technologies (FAIT), LinkedIn(领英基础人工智能技术(FAIT));AI Platforms, LinkedIn(领英人工智能平台)
针对低带宽集群中ZeRO++的hpZ方案因竞态条件导致大模型训练收敛不稳定的问题,提出分区算法改进方案,在保持训练效率的同时实现大模型可靠收敛,且不损失收敛质量。
2024-10-06 cs.AI cs.LG
SIME: Enhancing Policy Self-Improvement with Modal-level Exploration
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institution(上海创新研究所);Noematrix Ltd.(诺玛特有限公司)
本文提出SIME框架,通过在策略执行中引入模态级探索机制生成多样化交互,并筛选高价值数据学习,成功实现机器人自我改进,以低成本开发高成功率的控制策略。
2025-05-02 cs.AI cs.LG cs.RO
Enhancing Training Efficiency Using Packing with Flash Attention
IBM Research(IBM研究院)
本文分析 Hugging Face Transformers 4.44 新增的打包样本掩码功能,证明其结合 Flash Attention 能减少填充浪费、提升 LLM 微调时的 GPU 利用率和训练效率。
2024-09-01 cs.AI cs.LG
Oh-A-DINO: Understanding and Enhancing Attribute-Level Information in Self-Supervised Object-Centric Representations
Heinrich Heine University(海因里希·海涅大学);Technical University of Dortmund(多特蒙德工业大学)
该研究发现自监督视觉模型及基于槽的物体表征难以保留颜色、材质等非几何表面属性,通过在分割块上学习经VAE正则化的辅助潜空间可恢复这些属性,提升多物体实例检索效果。
2025-10-01 cs.CV cs.LG
SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院);Queen’s University, Canada(加拿大女王大学);Google DeepMind(谷歌DeepMind)
针对自监督学习现有数据增强破坏图像结构与语义的问题,提出基于神经风格迁移的SASSL增强方法,解耦图像语义与风格并仅变换风格,在ImageNet等基准上提升分类及迁移性能且不影响预训练吞吐量。
2024-11-02 cs.CV cs.LG stat.ML
Stochastic Gradient Sampling for Enhancing Neural Networks Training
Stony Brook University(石溪大学)
提出扩展 Adam 的 StochGradAdam 优化器,通过训练中选择性采样梯度子集降低计算成本,并在图像分类与分割任务中保持相当或更优性能。
2025-03-18 cs.AI cs.CV cs.LG
Enhancing accuracy of deep learning algorithms by training with low-discrepancy sequences
ETH Zürich(苏黎世联邦理工学院)
我们提出了一种基于低差异序列作为训练集的深度监督学习算法。通过理论论证和大量的数值实验相结合,我们证明,该算法显着优于标准的深度学习算法,是基于随机选择的训练数据,在中等高的维度的问题。该算法为科学计算中的许多底层地图提供了一种有效的替代方法。
2020-05-26 cs.LG cs.NA math.NA
BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization
Aalborg University(奥胡斯大学);Technical University of Denmark(技术大学);Pioneer Centre for AI(先锋人工智能中心)
BiSSL通过双层优化增强自监督预训练与下游微调之间的对齐,提升模型在下游任务中的性能。
2026-02-10 cs.AI cs.LG
Enhancing Reinforcement Learning with discrete interfaces to learn the Dyck Language
Saarland University(萨尔大学)
尽管现实世界中的大多数接口都是离散的,但还没有有效的方法来训练神经网络来利用它们。我们增强了交互网络(强化学习架构)与离散接口和训练它的广义Dyck语言。这个任务需要理解层次结构来解决,并且长期以来一直被证明对神经网络来说是困难的。我们提供了第一个解决方案的基础上学习使用离散数据结构。我们在训练过程中遇到了意想不到的异常行为,并利用基于执行跟踪的预训练来克服它们。所得到的模型非常小且快速,并且推广到比训练数据长整个数量级的序列。
2021-10-27 cs.AI cs.LG
SEMPAI: a Self-Enhancing Multi-Photon Artificial Intelligence for prior-informed assessment of muscle function and pathology
Friedrich-Alexander University Erlangen-Nuremberg(弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校);Erlangen Graduate School in Advanced Optical Technologies(埃尔兰根先进光学技术研究生院);KU Leuven(鲁汶大学);University Medical Center Mannheim, Medical Faculty Mannheim(曼海姆大学医学中心曼海姆医学院)
深度学习(DL)在生物医学研究中取得了显著的成功。然而,大多数深度学习算法都是黑箱工作,排除了生物医学专家,并且需要大量的数据。我们介绍了自增强多光子人工智能(SEMPAI),它集成了假设驱动的先验知识的数据驱动的DL方法的研究肌纤维的多光子显微镜(MPM)。SEMPAI利用元学习同时优化先验集成、数据表示和神经网络架构。这允许假设检验,并提供有关MPM图像中生物信息来源的可解释反馈。SEMPAI执行多个任务的联合学习,以实现对小数据集的预测。该方法应用于广泛的多研究数据集,从而对单个肌纤维的病理和功能进行了最大的联合分析。SEMPAI在七项预测任务中的六项中优于最先进的生物标志物,包括那些数据稀缺的任务。SEMPAI的DL模型与集成先验优于那些没有先验和先验只有机器学习的方法。
2022-10-28 cs.CV cs.LG q-bio.QM
Dict-BERT: Enhancing Language Model Pre-training with Dictionary
Microsoft Cognitive Services Research(微软认知服务研究院);University of Notre Dame(圣母大学);Carnegie Mellon University(卡内基梅隆大学)
预训练语言模型(PLM)旨在通过在大规模语料库上进行自我监督训练任务来学习通用语言表示。由于PLM在不同的上下文中捕获单词语义,单词表示的质量高度依赖于词频,其通常在预训练语料库中遵循重尾分布。因此,尾部的稀有词的嵌入通常优化得很差。在这项工作中,我们专注于通过利用字典中罕见单词的定义来增强语言模型预训练(例如,Wiktionary)。为了将一个罕见词的定义作为输入的一部分,我们从字典中获取它的定义,并将其附加到输入文本序列的末尾。除了使用掩蔽语言建模目标进行训练外,我们还提出了两个新的自监督预训练任务,用于输入文本序列和稀有词定义之间的词和词级对齐,以增强字典的语言建模表示。我们评估建议的Dict-BERT模型上的语言理解基准GLUE和八个专业领域的基准数据集。大量的实验表明,Dict-BERT可以显着提高对稀有词的理解,并提高各种NLP下游任务的模型性能。
2022-03-20 cs.AI cs.CL cs.LG
Self-Evolved Preference Optimization for Enhancing Mathematical Reasoning in Small Language Models
Microsoft Research, India(微软研究院(印度));IIT Delhi, India(印度德里理工学院)
本文提出自进化数据生成流水线SPHERE,通过自我生成、自我纠正和多样性诱导三个阶段迭代优化推理链,显著提升小型语言模型的数学推理能力,并在多个数学基准上达到或超越GPT-4o。
2025-03-04 cs.AI cs.CL cs.LG
STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
本文提出STEP方法,利用时空场景图引导视频大语言模型自生成推理数据,通过思维链监督提升多步组合推理能力,实验显示在复杂推理任务上提升21.3%。
2025-03-30 cs.CV cs.LG
StateLinFormer: Stateful Training Enhancing Long-term Memory in Navigation
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人社会研究院)
StateLinFormer通过状态化训练机制提升导航任务的长期记忆能力,实验显示其在MAZE和ProcTHOR环境中优于传统模型。
2026-07-10 cs.AI cs.LG
Enhancing robustness of data-driven SHM models: adversarial training with circle loss
School of Information Science and Engineering, Chongqing Jiaotong University(重庆交通大学信息科学与工程学院);Institute of Intelligent Software(智能软件研究院);Saarland University(萨尔大学);University of Auckland(奥克兰大学)
针对结构健康监测中机器学习模型易受对抗样本攻击的问题,提出结合circle loss的对抗训练方法,通过优化特征距离使样本远离决策边界,显著提升了模型鲁棒性,优于现有防御机制。
2024-06-20 cs.AI cs.LG
Multi-Layer GRPO: Enhancing Reasoning and Self-Correction in Large Language Models
Shenzhen Jinzheng Youzhi Technology(深圳金政智科技)
本文提出多层GRPO(MGRPO),通过第二层GRPO对第一层生成的初始响应进行错误识别与纠正,以隐式过程级监督缓解奖励消失问题,并在数学推理基准上显著超越标准GRPO。
2025-06-05 cs.LG
Enhancing Counterfactual Classification via Self-Training
IBM Research(IBM研究院)
与传统的监督学习不同,在许多情况下,只有部分反馈可用。我们可能只会观察到所选行为的结果,而不会观察到与其他选择相关的反事实结果。这种设置涵盖了各种各样的应用,包括定价,在线营销和精准医疗。一个关键的挑战是,观测数据受到系统中部署的历史政策的影响,产生有偏见的数据分布。我们将此任务视为一个领域自适应问题,并提出了一种自训练算法,该算法将观察数据中有限的不可见行为的分类值归为结果,通过伪标签模拟随机试验,我们称之为反事实自训练(CST)。CST迭代地估算伪标记并重新训练模型。此外,我们表明输入一致性损失可以进一步提高CST性能,这是在最近的伪标记的理论分析。我们证明了所提出的算法在合成和真实数据集上的有效性。
2021-12-08 cs.LG stat.ML
RegMix: Adversarial Mutual and Generalization Regularization for Enhancing DNN Robustness
School of Computing Newcastle University(计算学院新castle大学)
本文针对对抗训练中MSE正则化导致的过度均匀优化问题,提出加权对抗互正则化和对抗泛化正则化两种策略,显著提升模型对抗鲁棒性。
2025-10-06 cs.CV cs.LG
Enhancing Cardiovascular Disease Prediction through Multi-Modal Self-Supervised Learning
ETH Zürich(苏黎世联邦理工学院);Brigham and Women’s Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院);University of Zürich(苏黎世大学);ETH AI Center(苏黎世联邦理工学院人工智能中心)
本文提出一种多模态自监督学习框架,结合心脏磁共振图像、心电图和医疗信息,通过掩码自编码器和对比学习在有限标注下提升心血管疾病预测,在心肌梗死任务上平衡准确率比监督方法高7.6%。
2024-11-08 cs.CV cs.LG
Task-Aware Virtual Training: Enhancing Generalization in Meta-Reinforcement Learning for Out-of-Distribution Tasks
Graduate School of Artificial Intelligence, UNIST, Ulsan, South Korea(人工智能研究生院,UNIST,韩国乌山)
本文提出Task-Aware Virtual Training方法,通过度量学习提升元强化学习在分布外任务中的泛化能力,采用虚拟任务保持任务特征并利用状态正则化技术减少状态变化环境中的过估计误差。
2025-06-18 cs.AI cs.LG
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America(美国三星研究院)
Transformer模型的引入使序列建模,特别是文本领域的建模取得了巨大的进步。然而,使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中,我们引入了门控对抗Transformer(GAT),以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外,GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案,以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析,以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Enhancing Adversarial Robustness for Deep Metric Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
由于对抗性漏洞的安全影响,深度度量学习模型的对抗性鲁棒性必须得到提高。为了避免由于过于困难的例子而导致模型崩溃,现有的防御方法忽略了最小-最大对抗训练,而是从弱对手那里学习效率低下。相反,我们提出了硬度操纵,根据更硬的良性三元组或伪硬度函数,有效地干扰训练三元组,直到指定的对抗训练硬度水平。它是灵活的,因为常规训练和最小-最大对抗训练是它的边界情况。此外,提出了一系列伪硬度函数,即渐进式Adjuster函数,用于在训练过程中逐渐增加指定的硬度水平,以便在性能和鲁棒性之间实现更好的平衡。此外,良性和对抗性样本之间的类内结构损失项进一步提高了模型的鲁棒性和效率。综合的实验结果表明,所提出的方法,虽然简单的形式,压倒性地优于国家的最先进的防御措施的鲁棒性,训练效率,以及性能良性的例子。
2022-03-02 cs.CR cs.CV cs.LG
BLoad: Enhancing Neural Network Training with Efficient Sequential Data Handling
University of California Santa Barbara(加州大学圣巴巴拉分校);Army Research Laboratory(美国陆军研究实验室)
本文提出一种名为BLoad的新颖训练方案,通过高效处理不同大小的序列实现低开销的分布式数据并行训练,将填充量减少100$x$以上且不删除任何帧,最终在实验中提升了训练时间与Recall的整体性能。
2024-04-25 cs.DC cs.LG
This looks more like that: Enhancing Self-Explaining Models by Prototypical Relevance Propagation
UiT The Arctic University of Norway(挪威北极圈大学);Technische Universität Berlin(柏林工业大学)
当前的机器学习模型在解决各种现实问题方面表现出了很高的效率。然而,他们的黑箱性质构成了一个重大挑战的理解和可追溯性的基本决策策略。作为一种补救措施,许多事后解释和自我解释的方法已经发展到解释模型的行为。此外,这些方法还可以识别模型可以学习的工件,作为类相关的特征。在这项工作中,我们提供了一个详细的案例研究的自我解释的网络,ProtoPNet,在存在一系列的文物。因此,我们确定了ProtoPNet的主要缺点,特别是它的粗糙和空间不精确的解释。我们通过引入原型相关传播(PRP)来解决这些限制,PRP是一种用于生成更精确的模型感知解释的新方法。此外,为了获得干净的数据集,我们建议使用多视图聚类策略,使用PRP解释分离伪影图像,从而抑制模型中潜在的伪影学习。
2021-08-27 cs.LG
Enhancing Multi-Corpus Training in SSL-Based Anti-Spoofing Models: Domain-Invariant Feature Extraction
本文提出IDFE框架,通过多任务学习和梯度反转层减少语料特定信息,降低平均等错误率20%,提升反伪装模型的鲁棒性。
2026-11-17 cs.LG
StateX: Enhancing RNN Recall via Post-training State Expansion
Department of Science and Technology, Tsinghua University(清华大学科学技术部)
StateX通过后训练方法扩展RNN状态,提升长上下文回忆与上下文学习性能,无需显著增加参数量。
2026-04-24 cs.AI cs.CL cs.LG
Enhancing Trajectory Prediction through Self-Supervised Waypoint Noise Prediction
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
针对现有轨迹预测方法受限于预设数据流形导致预测简化的问题,提出自监督航点噪声预测方法SSWNP,通过构建双视图并引入噪声预测辅助任务,在多个数据集上显著提升了轨迹预测性能。
2023-11-26 cs.AI cs.LG cs.RO
Enhancing Adversarial Training with Second-Order Statistics of Weights
University of Liverpool(利物浦大学)
对抗性训练已被证明是提高深度神经网络鲁棒性的最有效方法之一。它被形式化为模型权重和对抗扰动的最小-最大优化,其中权重可以通过梯度下降方法(如SGD)进行优化。在本文中,我们证明了将模型权重视为随机变量可以通过\textbf{S}二阶\textbf{S}统计\textbf{O}优化(S $^2$ O)来增强对抗训练。通过放松之前PAC-贝叶斯框架中所有权重在统计上独立的常见(但不切实际)假设,我们推导出了改进的PAC-贝叶斯对抗泛化界,这表明优化权重的二阶统计可以有效地收紧该界。除了这种理论见解之外,我们还进行了一系列广泛的实验,这些实验表明S $^2$ O不仅在孤立使用时提高了训练神经网络的鲁棒性和泛化能力,而且还可以轻松集成到最先进的对抗训练技术中,如TRADES,AWP,MART和AVMixup,从而使这些技术得到了可衡量的改进。代码可在\url{https://github.com/Alexkael/S2O}上获得。
2022-03-11 cs.LG
Enhancing NLP Robustness and Generalization through LLM-Generated Contrast Sets: A Scalable Framework for Systematic Evaluation and Adversarial Training
College of Natural Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校自然科学学院)
本文提出利用LLM自动生成多样化对比集,并在SNLI上构建3000样本对比集,通过微调提升模型鲁棒性和泛化能力,为NLP系统评估与对抗训练提供可扩展框架。
2025-03-09 cs.AI cs.CL cs.LG
Enhancing Transformer Training Efficiency with Dynamic Dropout
ASCENDING inc.(ASCENDING公司)
本文提出 Dynamic Dropout 技术,通过动态调整 dropout 率以平衡正则化与模型容量,在 Shakespeare_char 数据集上显著加速 GPT 模型训练并提升推理效率,其中基于验证损失的调度策略表现最佳。
2024-11-05 cs.LG
OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection
Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出开源框架OriGen,通过代码到代码数据增强和基于编译器反馈的自反思机制提升RTL代码生成质量,在VerilogEval-Human上超越GPT-4 Turbo并显著优于其他开源模型。
2024-09-02 cs.AI cs.AR cs.LG
Enhancing Stability of Physics-Informed Neural Network Training Through Saddle-Point Reformulation
针对 PINN 训练因损失景观复杂而不稳定的问题,本文将其重构为非凸-强凹鞍点问题,并通过理论分析与多任务、多架构实验证明该方法优于现有最先进技术。
2025-09-27 cs.LG math.OC
MC-NEST: Enhancing Mathematical Reasoning in Large Language Models leveraging a Monte Carlo Self-Refine Tree
L3S Research Center(L3S研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学)
本文提出蒙特卡洛自精炼树MC-NEST,结合UCT与自评估提升LLM数学推理,在AIME等基准上达SOTA。
2025-06-01 cs.LG
An Energy-Based Self-Adaptive Learning Rate for Stochastic Gradient Descent: Enhancing Unconstrained Optimization with VAV method
Purdue University(普渡大学)
针对学习率优化难题,本文提出基于能量的VAV自适应学习率方法,通过辅助变量实现无回溯能量近似,在保证稳定性的同时加速收敛,并优于SGD。
2024-11-10 cs.LG math.OC stat.ML
FunReason: Enhancing Large Language Models' Function Calling via Self-Refinement Multiscale Loss and Automated Data Refinement
AWorld Team, Inclusion AI(AWorld Team,Inclusion AI);City University of Hong Kong(香港城市大学);Southwest Jiaotong University(西南交通大学)
FunReason通过自精炼多尺度损失和自动化数据精炼方法,提升大语言模型的功能调用能力,实现性能接近GPT-4o并缓解微调中的灾难性遗忘。
2025-11-25 cs.IR cs.LG
Enhancing Privacy in Federated Learning through Local Training
KTH Royal Institute of Technology(瑞典皇家理工学院);East China University of Science and Technology(华东理工大学)
本文提出联邦学习算法Fed-PLT,通过部分参与和本地训练减少通信轮次且不影响准确率,推导其差分隐私边界并通过理论与分类任务数值结果验证其增强隐私的有效性。
2024-11-28 cs.LG math.OC
Enhancing Data Quality through Self-learning on Imbalanced Financial Risk Data
School of Computing and Artificial Intelligence, Southwestern University of Finance and Economics(西南财经大学计算机与人工智能学院)
针对金融风险数据中少数类样本少、标注成本高、类别不平衡导致模型性能受限的问题,提出包含少数类合成样本生成、二元反馈过滤、伪标签自学习的TriEnhance预处理技术,在6个基准数据集上验证了其提升少数类校准度的效果,助力构建更鲁棒的金融风险预测系统。
2024-09-15 cs.LG
Enhancing Diffusion Language Models with Autoregressive Post-Training Weights
EPFL(洛桑联邦理工学院)
提出A2D框架,无需训练即可将自回归模型的后训练权重更新应用于扩散语言模型,通过组合AR与扩散后训练更新,提升指令遵循、数学推理和编码能力。
2026-10-07 cs.LG
Enhancing Neural Training via a Correlated Dynamics Model
Technion(以色列理工学院)
本文提出 Correlation Mode Decomposition (CMD) 算法,通过将参数空间聚类为同步变化的模式来高效表示复杂网络的训练动力学,从而提升测试集泛化能力,并在图像分类与联邦学习中展现出超越现有方法的性能与更低的通信开销。
2024-07-23 cs.LG math.DS
Enhancing Zero-Shot Many to Many Voice Conversion with Self-Attention VAE
University of California(加利福尼亚大学);Tencent AI Lab(腾讯AI实验室)
变分自动编码器(VAE)是一种有效的神经网络结构,它能将语音分解为说话人身份和语言内容的潜在嵌入,然后从源说话人的话语生成目标说话人的话语。这可以通过将目标说话者的身份嵌入和说出期望句子的源说话者的内容嵌入连接起来来实现。在这项工作中,我们提出了改进VAE模型与自注意和结构正则化(RGSM)。具体来说,我们找到了一个合适的位置VAE的解码器添加一个自我注意层,将非本地信息在生成转换后的话语和隐藏源说话人的身份。我们采用松弛分组分裂方法(RGSM)来正则化网络权值,并显着提高泛化性能。在VCTK数据集上进行的zero-shot多对多语音转换实验中,通过引入自注意层和宽松的分组划分方法,该模型在对未知说话人的说话人分类准确率提高了28.3%的同时,转换语音质量在MOSNet评分方面略有改善。我们令人鼓舞的研究结果指出,未来的研究将在VAE框架中整合更多种类的注意结构,同时控制模型大小和过拟合,以推进zero-shot多对多语音转换。
2022-08-22 cs.LG cs.SD eess.AS
Focus on Hiders: Exploring Hidden Threats for Enhancing Adversarial Training
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology(东方理工大学);The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学)
针对对抗训练仅关注最坏对抗样本引发的模型交替混淆问题,该研究定义了隐藏高风险的“hiders”样本,提出HFAT算法结合迭代进化优化、辅助模型揭示及自适应加权机制,同时提升模型准确率与鲁棒性。
2023-12-12 cs.CR cs.CV cs.LG
Enhancing Signed Graph Neural Networks through Curriculum-Based Training
the College of the Informatics, Huazhong Agricultural University(华中农业大学信息学院);the School of Computer Science, University of Auckland(奥克兰大学计算机学院);the School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);the department of Computer Science, University of Illinois(伊利诺伊大学计算机系)
针对有符号图神经网络(SGNNs)缺乏专门训练方案的问题,提出基于课程学习的CSG框架,通过轻量级难度测量器评估边难度并按由易到难顺序训练,在六个数据集上提升SGNN准确率达23.7%且增强稳定性。
2024-11-27 cs.LG
Self-Guidance: Enhancing Neural Codecs via Decoder Manifold Alignment
University of Science and Technology of China(中国科学技术大学)
提出自引导方法,通过轻量特征映射损失对齐解码器内部流形,在不改变推理过程下提升VQ-VAE神经语音编解码器重建质量,实现低比特率SOTA性能并支持4倍码本缩减。
2026-06-12 cs.LG cs.SD
Enhancing Reinforcement Learning for Radiology Report Generation with Evidence-aware Rewards and Self-correcting Preference Learning
Department of Computer Science and Engineering, ECUST(电子科技大学计算机科学与工程系);Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education, P. R. China(教育部能源化工过程智能制造重点实验室);Zhejiang University(浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院)
本文提出ESC-RL方法,结合证据感知对齐奖励和自校正偏好学习,提升放射科报告生成的临床准确性与持续改进能力,实验表明其在胸部X光数据集上表现优异。
2026-04-15 cs.LG stat.ME
Symmetric Replay Training: Enhancing Sample Efficiency in Deep Reinforcement Learning for Combinatorial Optimization
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH));OMELET
针对深度强化学习在组合优化中样本效率低的问题,提出对称重放训练(SRT)方法,利用高奖励样本免费探索对称区域,提升多种DRL方法在真实任务中的样本效率。
2024-07-17 cs.LG
PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning
Shenzhen University(深圳大学);Nanyang Technological University(南洋理工大学)
针对反事实增强数据训练中模型过度关注修改特征的问题,本文提出PairCFR方法,通过对比学习促进全局特征对齐,并在OOD数据集上取得优于现有方法的性能。
2024-06-09 cs.LG
Enhancing Ethereum Fraud Detection via Generative and Contrastive Self-supervision
Zhejiang University of Technology(浙江工业大学);Binjiang Institute of Artificial Intelligence, ZJUT(浙江工业大学滨江人工智能研究院);Science and Technology on Communication Information Security Control Laboratory(通信信息安全控制技术实验室)
针对以太坊交易中交互频率和类型的不平衡问题,提出双自监督增强的欺诈检测框架Meta-IFD,通过生成式与对比式机制及多视图特征学习有效提升了庞氏骗局等欺诈行为的检测性能。
2024-12-20 cs.LG
S2O: Enhancing Adversarial Training with Second-Order Statistics of Weights
Department of Computer Science, University of Exeter(埃克塞特大学计算机科学系);National Mobile Communications Research Laboratory, Southeast University(东南大学国家移动通信研究实验室);Department of Computer Science, University of Liverpool(利物浦大学计算机科学系)
S2O通过优化模型权重的二阶统计量,提升对抗训练的鲁棒性和泛化能力,并增强其他先进对抗训练技术。
2026-03-01 cs.LG
Enhancing Adversarial Defense by k-Winners-Take-All
Columbia University(哥伦比亚大学)
我们提出了一个简单的改变现有的神经网络结构,以更好地抵御基于梯度的对抗攻击。我们不使用流行的激活函数(如ReLU),而是提倡使用k-Winners-Take-All(k-WTA)激活,这是一种C 0不连续函数,它故意使神经网络模型在密集分布的输入数据点处的梯度无效。所提出的k-WTA激活可以很容易地用于几乎所有现有的网络和训练方法,没有显着的开销。我们的建议在理论上是合理的。我们分析了为什么k-WTA网络中的不连续性可以在很大程度上阻止基于梯度的对抗性样本搜索,以及为什么它们同时对网络训练无害。这一认识也得到了经验的支持。我们在通过训练方法优化的各种网络结构上测试k-WTA激活,无论是否是对抗性训练。在所有情况下,k-WTA网络在白盒攻击下的鲁棒性都优于传统网络。
2019-10-29 cs.AI cs.CR cs.DS
EmoPerso: Enhancing Personality Detection with Self-Supervised Emotion-Aware Modelling
School of Electronics and Computer Science, University of Southampton(电子工程与计算机科学学院,南安普顿大学);School of Electronic Engineering and Computer Science, Queen Mary University of London(电子工程与计算机科学学院,伦敦女王学院);Department of Computational Biology, Mohamed bin Zayed University of Artificial Intelligence(计算生物学系,Mohamed bin Zayed人工智能大学)
针对文本人格检测依赖标注数据、忽略情感与人格交互的问题,提出自监督框架EmoPerso,通过生成式数据增强、情感-人格多任务联合优化、交叉注意力捕捉细粒度交互及自学习迭代增强推理,在两个基准数据集上超越现有最优模型。
2025-09-02 cs.CL cs.LG