Shrink-Perturb Improves Architecture Mixing during Population Based Training for Neural Architecture Search
Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所);Leiden University Medical Center(莱顿大学医学中心);Delft University of Technology(代尔夫特理工大学)
本文提出PBT-NAS方法,通过在基于种群的训练中引入shrink-perturb技术混合网络并继承权重,实现高效的神经架构搜索,在图像生成和强化学习任务上优于基线方法。
2023-07-28 cs.LG
Resource Optimized Neural Architecture Search for 3D Medical Image Segmentation
VUNO Inc.(维诺公司)
神经架构搜索(NAS)是一种自动化设计神经网络任务的框架,最近在深度学习领域得到了积极的研究。然而,只有少数NAS方法适用于3D医学图像分割。医学3D图像通常非常大;因此,由于其GPU计算负担和较长的训练时间,难以应用先前的NAS方法。我们提出了资源优化的神经架构搜索方法,该方法可以在短的训练时间内(1GB数据集为1.39天)使用少量的计算能力(一个RTX 2080 Ti,10.8GB GPU内存)应用于3D医学分割任务。无需重新训练(微调)也可以实现出色的性能,这在大多数NAS方法中是必不可少的。这些优点可以通过使用具有参数共享的基于强化学习的控制器来实现,并且专注于宏搜索而不是微搜索的最优搜索空间配置。我们的实验表明,所提出的NAS方法优于手动设计的网络与国家的最先进的性能在3D医学图像分割。
2019-09-02 cs.CV cs.LG eess.IV
Efficient Architecture Search for Diverse Tasks
Carnegie Mellon University(卡内基梅隆大学)
虽然神经架构搜索(NAS)已经为深入研究的领域提供了自动化机器学习(AutoML),但其在计算机视觉之外的任务中的应用仍处于探索阶段。由于较少研究的领域正是我们期望AutoML产生最大影响的领域,因此在这项工作中,我们研究NAS以有效地解决各种问题。为了寻求一种快速、简单和广泛适用的方法,我们修复了标准卷积网络(CNN)拓扑,并提出搜索其操作应采用的正确内核大小和膨胀,这大大扩展了模型在不同类型数据的多分辨率下提取特征的能力,同时只需要在操作空间上搜索。为了克服在这个搜索空间中朴素权重共享的效率挑战,我们引入了DASH,这是一种可微分的NAS算法,使用卷积的傅立叶对角化来计算混合运算,在实践中实现了更好的渐近复杂度和高达10倍的搜索时间加速。我们评估了DASH在跨越各种应用领域的10个任务,如PDE求解,蛋白质折叠和心脏病检测。DASH在总体上优于最先进的AutoML方法,在七个任务上实现了最知名的自动化性能。与此同时,在十个任务中的六个任务上,搜索和再训练的组合时间比简单地训练一个准确度低得多的CNN主干慢不到2倍。
2022-10-09 cs.AI cs.LG
BatchQuant: Quantized-for-all Architecture Search with Robust Quantizer
Apple(苹果公司)
随着深度学习模型在边缘设备上的应用加速增长,快速适应具有不同资源约束的各种场景已成为模型部署的关键方面。因此,具有自适应配置的模型优化策略变得越来越流行。虽然单次量化神经架构搜索在模型架构和量化策略方面都具有灵活性,但组合搜索空间带来了许多挑战,包括训练权重共享超网时的不稳定性以及难以导航指数增长的搜索空间。现有的方法倾向于将架构搜索空间限制为一小组选项,或者将量化策略搜索空间限制为固定精度策略。为此,我们提出了BatchQuant,这是一种强大的量化器配方,可以快速稳定地训练紧凑,单次,混合精度,权重共享的超网。我们采用BatchQuant来训练一个紧凑的超网(提供超过$10^{76}$量化的超网),比以前的方法在更少的GPU时间。我们的方法,量化的所有(QFA),是第一个无缝扩展一杆权重共享NAS超网,以支持任意超低位宽混合精度量化策略的重复训练。QFA为联合硬件感知神经架构搜索和量化开辟了新的可能性。我们证明了我们的方法在ImageNet上的有效性,并在低复杂度约束($<20$ MFLOPs)下实现了SOTA Top-1的准确性。代码和模型将在https://github.com/bhpfelix/QFA上公开提供。
2021-05-19 cs.CV cs.LG
Behavior Importance-Aware Graph Neural Architecture Search for Cross-Domain Recommendation
Tencent(腾讯)
本文提出BiGNAS框架,通过跨域定制超网络和图行为重要性感知器联合优化GNN架构与源域行为数据重要性,在多个基准及工业数据集上取得优于现有方法的跨域推荐效果。
2025-03-11 cs.IR cs.LG
FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search
Cornell University(康奈尔大学);Google(谷歌公司)
本文提出FLIQS,首个无需重新训练的混合精度量化搜索方法,可同时搜索整数与低精度浮点量化方案,并在多个模型上以相似成本显著提升ImageNet精度。
2024-05-01 cs.CV cs.LG
TG-NAS: Generalizable Zero-Cost Proxies with Operator Description Embedding and Graph Learning for Efficient Neural Architecture Search
Department of EECS, University of California, Irvine(电子工程与计算机科学系,加州大学伊市分校);Department of Computer Science, University of California, San Diego(计算机科学系,加州大学圣地亚哥分校)
TG-NAS提出一种结合Transformer算子嵌入与图卷积网络的零成本代理,无需重训练即可跨搜索空间预测架构性能,显著提升搜索效率并发现高精度架构。
2025-05-23 cs.AI cs.LG
SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
Georgia Institute of Technology(佐治亚理工学院);Rice University(莱斯大学);Oracle Health and AI(甲骨文健康与人工智能部门)
本文提出SuperTickets,通过联合架构搜索和参数剪枝的二合一训练方案直接从超网络中识别高效DNNs及其彩票子网络,无需重训练即可实现更优的准确率与效率权衡,并具备跨任务迁移能力。
2025-03-03 cs.CV cs.LG
Q-PhotoNAS: Hybrid Quantum Neural Architecture Search Framework on Photonic Devices
Quandela Ascella photonic QPU(Quandela Ascella 光子量子处理器)
本文提出了一种结合遗传算法和可学习量子相位编码的混合光子量子-经典模型神经架构搜索框架,通过系统探索经典和量子组件的联合设计空间,提高了图像分类任务的准确率和硬件兼容性。
2026-07-23 cs.LG quant-ph
NASH: Neural Architecture and Accelerator Search for Multiplication-Reduced Hybrid Models
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);School of Integrated Circuits, Sun Yat-sen University(中山大学集成电路学院)
本文提出 NASH 框架,通过零样本 NAS 指标与由粗到细的加速器搜索联合优化乘法缩减混合模型及其硬件配对,显著提升边缘部署的吞吐量、FPS 和准确率。
2024-09-07 cs.AI cs.LG
Neural Architecture Transfer 2: A Paradigm for Improving Efficiency in Multi-Objective Neural Architecture Search
Politecnico di Milano(米兰理工大学)
本文提出NATv2,通过利用OFAv2改进的超网络并结合初始化、预处理、网络档案更新新策略及微调后处理流水线,改进多目标搜索算法,成功提升了动态超网络中可提取子网络的性能,适用于研究最少参数的高性能架构。
2023-07-03 cs.AI cs.CV cs.LG
Breaking the Architecture Barrier: A Method for Efficient Knowledge Transfer Across Networks
Poznan University of Technology(波兹南理工大学)
迁移学习是一种用于提高神经网络性能的流行技术。然而,现有的方法仅限于在具有相同架构的网络之间传递参数。提出了一种在不同结构的神经网络之间传递参数的方法。我们的方法,称为DPIAT,使用动态规划,以匹配块和层之间的架构和传输参数有效。与现有的参数预测和随机初始化方法相比,它显著提高了训练效率和验证精度。在ImageNet上的实验中,经过50次训练,我们的方法将验证准确率平均提高了1.6倍。DPIAT允许研究人员和神经架构搜索系统修改训练过的网络并重用知识,避免从头开始重新训练。我们还引入了一个网络架构相似性度量,使用户能够选择最好的源网络,而无需任何训练。
2022-12-28 cs.LG
Few-Shot Test-Time Optimization Without Retraining for Semiconductor Recipe Generation and Beyond
UC Berkeley(加州大学伯克利分校);Virginia Tech(弗吉尼亚理工大学);Lam Research(拉姆研究公司);UCL(伦敦大学学院)
提出模型反馈学习(MFL)框架,利用轻量级反向模型在测试时优化输入,无需重训练即可实现少样本适应,在半导体配方生成等任务中显著优于现有方法。
2025-05-21 cs.LG
Neural Networks Weights Quantization: Target None-retraining Ternary (TNT)
WeBank(微众银行);Harbin Engineering University(哈尔滨工程大学);University of Hyogo(兵库县立大学);Gakushuin University(学习院大学)
深度神经网络(DNN)的权重量化已被证明是在边缘设备(如移动设备、ASIC和FPGA)上实现DNN的有效解决方案,因为它们没有足够的资源来支持涉及数百万个高精度权重和乘法累加运算的计算。本文提出了一种新的方法来压缩DNN的高精度权重向量到三进制向量,即基于余弦相似性的目标非训练三进制(TNT)压缩方法。我们的方法利用余弦相似性而不是文献中常用的欧氏距离,并成功地减少了搜索空间的大小,以找到从3N到N的最佳三元向量,其中N是目标向量的维数。因此,TNT寻找理论上最优的三元向量的计算复杂性仅为O(N log(N))。此外,我们的实验表明,当我们用高精度参数对DNN模型进行三值化时,所获得的量化模型可以表现出足够高的精度,因此不需要重新训练模型。
2019-12-18 cs.CC cs.LG
Can Transformers Learn to Verify During Backtracking Search?
Yin Jun Phua (corresponding author) Institute of Science Tokyo, 2-12-1 Ookayama, Meguro-ku, Tokyo 152-8550, Japan Tony Ribeiro Centrale Nantes, CNRS, Laboratoire des Sciences du Num\'erique de Nantes, LS2N, UMR 6004, F-44000 Nantes, France National Institute of Informatics, 2-1-2 Hitotsubashi, Chiyoda-ku, Tokyo 101-8430, Japan Steelous Protocol, 8-20-32, Ginza, Chuo-ku, Tokyo 104-0061, Japan Tuan Nguyen Hanoi University of Science;Technology, No. 1 Dai Co Viet, Hai Ba Trung, Ha Noi, Vietnam Katsumi Inoue National Institute of Informatics, 2-1-2 Hitotsubashi, Chiyoda-ku, Tokyo 101-8430, Japan
本文研究了Transformer在回溯搜索中的验证能力,指出传统方法在处理轨迹数据时存在散列检索和历史纠缠问题,并提出局部化和选择性状态注意力(SSA)来解决这些问题,通过实验验证了SSA在3-SAT、图着色、Blocks World和回溯解析等任务中的有效性。
2026-05-21 cs.AI cs.LG cs.LO
Shapley-Guided Neural Repair Approach via Derivative-Free Optimization
National University of Defense Technology(国防科技大学);Nanjing University(南京大学);Zhejiang University(浙江大学)
本文提出SHARPEN方法,结合可解释故障定位与无导数优化策略,有效修复深度神经网络的缺陷,提升鲁棒性和泛化能力。
2026-04-01 cs.LG cs.SE
ShrinkML: End-to-End ASR Model Compression Using Reinforcement Learning
Samsung AI Center(三星人工智能中心);University of Oxford(牛津大学)
端到端自动语音识别(ASR)模型越来越大和复杂,以实现尽可能好的准确性。在本文中,我们构建了一个AutoML系统,该系统使用强化学习(RL)来优化每层压缩比,当应用于由多个LSTM层组成的最先进的基于注意力的端到端ASR模型时。我们使用奇异值分解(SVD)的低秩矩阵分解作为压缩方法。对于我们的基于RL的AutoML系统,我们专注于实际的考虑,如奖励/惩罚函数的选择,形成一个有效的搜索空间,并创建一个有代表性的,但小的数据集搜索步骤之间的快速评估。最后,我们提出了我们的AutoML系统压缩模型的LibriSpeech的准确性结果,并将其与手动压缩模型进行了比较。我们的研究结果表明,在没有重新训练我们的RL为基础的搜索是一个有效的和实用的方法来压缩生产级ASR系统。当重新训练是可能的,我们表明,我们的AutoML系统可以选择更好的高度压缩的种子模型相比,手动手工制作的排名选择,从而允许更多的压缩比以前可能的。
2019-09-24 cs.AI cs.LG eess.AS
When Embedding Models Meet: Procrustes Bounds and Applications
UiPath;Spotify
本文研究嵌入模型间的对齐问题,提出Procrustes后处理方法,通过正交变换实现模型互操作,并在重训练兼容、文本检索和混合模态搜索中达到最优性能。
2025-10-15 cs.LG
Bayesian Learning of Neural Network Architectures
AI Research, Volkswagen Group(大众集团人工智能研究院)
在本文中,我们提出了一个贝叶斯方法估计结构参数的神经网络,即层的大小和网络深度。我们通过学习这些参数的具体分布来做到这一点。我们的研究结果表明,具有学习结构的规则网络可以在小数据集上更好地推广,而完全随机网络对参数初始化更鲁棒。所提出的方法依赖于标准的神经变分学习,与随机结构搜索不同,不需要重新训练模型,从而将计算开销保持在最低限度。
2019-01-27 cs.LG stat.ML
Quantune: Post-training Quantization of Convolutional Neural Networks using Extreme Gradient Boosting for Fast Deployment
Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院)
为了对一系列资源受限的目标采用卷积神经网络(CNN),有必要通过执行量化来压缩CNN模型,由此将精度表示转换为较低比特表示。为了克服诸如训练数据集的敏感性、高计算要求和大时间消耗之类的问题,已经提出了不需要再训练的后训练量化方法。此外,为了在不进行再训练的情况下补偿精度下降,以前关于后训练量化的研究提出了几种补充方法:校准、方案、裁剪、粒度和混合精度。为了生成具有最小误差的量化模型,有必要研究这些方法的所有可能组合,因为它们中的每一个都是互补的,并且CNN模型具有不同的特性。然而,穷举或启发式搜索要么太耗时,要么是次优的。为了克服这一挑战,我们提出了一种称为Quantune的自动调谐器,它构建了一个梯度树提升模型,以加速搜索量化配置并减少量化误差。我们评估和比较Quantune与随机,网格,和遗传算法。实验结果表明,Quantune将量化的搜索时间减少了约36.5倍,在六个CNN模型中的准确性损失为0.07~0.65%,包括脆弱的模型(MobileNet,SqueezeNet和ShuffleNet)。为了支持多个目标并采用不断发展的量化工作,Quantune作为一个开源项目在一个成熟的深度学习编译器上实现。
2022-02-21 cs.LG
Discriminative Adversarial Search for Abstractive Summarization
reciTAL;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(LIP6实验室)
我们介绍了一种新的序列解码方法,判别式对抗搜索(DAS),它具有理想的性能,减轻曝光偏差的影响,而不需要外部指标。受生成对抗网络(GANs)的启发,其中一个迭代器用于改进生成器,我们的方法与GANs的不同之处在于,生成器参数在训练时不更新,迭代器仅用于在推理时驱动序列生成。我们研究了所提出的方法在抽象摘要任务上的有效性:获得的结果表明,DAS的天真应用程序比最先进的方法有所改进,通过重复训练获得了进一步的收益。此外,我们展示了DAS如何有效地进行跨领域自适应。最后,报告的所有结果都是在没有额外的基于规则的过滤策略的情况下获得的,这些策略通常由可用的最佳性能系统使用:这表明可以有效地部署DAS,而无需依赖对生成的输出进行事后修改。
2020-08-30 cs.CL cs.LG
Evolutionary Context Search for Automated Skill Acquisition
Institute of Science Tokyo, Japan(东京科学研究院)
进化上下文搜索通过进化方法发现非显而易见的上下文配对,显著提升模型性能,为自动化技能获取提供高效替代方案。
2026-02-18 cs.LG cs.NE
QoS-Nets: Adaptive Approximate Neural Network Inference
Infineon Technologies(英飞凌科技);Center for Advancing Electronics Dresden (cfaed)(德累斯顿先进电子中心)
QoS-Nets通过灵活复用近似乘法器并支持重训练,使神经网络能在运行时动态调整操作点以平衡精度与资源消耗,在MobileNetV2上实现15.3%-42.8%功耗节省且参数仅增2.75%。
2024-10-10 cs.LG
Arachne: Search Based Repair of Deep Neural Networks
University of Luxembourg(卢森堡大学);KAIST(韩国科学技术院)
深度神经网络(DNN)的快速和广泛采用需要测试其行为的方法,许多测试方法已经成功地揭示了DNN的错误行为。然而,人们在发现后如何纠正这种行为相对不清楚,因为再培训涉及昂贵的数据汇集,并不能保证解决根本问题。本文介绍了一种新的DNN程序修复技术Arachne,它直接使用DNN的输入输出对作为规范来修复DNN。Arachne定位神经权重,它可以在其上生成有效的补丁,并使用差分进化来优化局部权重并纠正错误行为。使用不同基准的实证研究表明,Arachne可以修复DNN的特定错误分类,而不会显着降低总体准确性。平均而言,由Arachne生成的补丁可以概括61.3%的不可见的不当行为,而由最先进的DNN修复技术生成的补丁只能概括10.2%,有时甚至没有,而所需的时间是Arachne的数十倍。我们还表明,Arachne可以通过消除性别分类模型的偏见来解决公平问题。最后,我们成功地将Arachne应用于文本情感模型,以表明它超越了卷积神经网络。
2022-08-16 cs.LG
Series of quasi-uniform scatterings with fast search, root systems and neural network classifications
本文提出了一种基于半单李群不可约表示构造大规模可扩展向量集合的方法,用于神经网络潜在空间配置和分类任务。
2025-12-04 cs.LG math.AG math.RT
Learning to design without prior data: Discovering generalizable design strategies using deep learning and tree search
Carnegie Mellon University(卡内基梅隆大学)
自20世纪80年代以来,构建一个能够自主设计的人工智能智能体一直是一个目标。最近,深度学习已经显示出从大规模数据中学习的能力,从而使数据驱动设计取得了重大进展。然而,对先前数据的学习限制了我们只能解决以前已经解决的问题,并使数据驱动的学习偏向于现有的解决方案。设计代理的最终目标是能够在问题空间中学习可概括的设计行为,而无需之前看到它。在这项工作中,我们引入了一个自我学习的代理框架,实现这一目标。该框架将深度策略网络与一种新的树搜索算法相结合,其中树搜索探索问题空间,深度策略网络利用自我生成的经验进一步指导搜索。这个框架首先展示了在没有任何先验数据的情况下发现高性能生成策略的能力,其次,它说明了生成策略在各种看不见的边界条件下的zero-shot泛化。这项工作的有效性和多功能性的框架,通过解决多个版本的两个工程设计问题,而无需再培训。总的来说,本文提出了一种方法,在任意问题空间中自我学习高性能和可推广的问题解决行为,规避了对专家数据,现有解决方案和特定问题学习的需求。
2022-11-28 cs.AI cs.LG
MOHAQ: Multi-Objective Hardware-Aware Quantization of Recurrent Neural Networks
Halmstad University(哈尔姆斯塔德大学);Umeå University(于默奥大学);KTH University(瑞典皇家理工学院)
深度学习模型的压缩对于将此类模型部署到边缘设备至关重要。压缩参数的选择可以使用优化算法自动化以满足硬件平台和应用的变化。本文介绍了一种多目标硬件量化方法(MOHAQ),它将硬件效率和推理误差作为混合精度量化的目标。所提出的方法可行地评估候选解决方案,在一个大的搜索空间,依靠两个步骤。首先,后训练量化应用于快速解决方案评估(仅推理搜索)。其次,我们提出了“基于信标的搜索”,重新训练选定的解决方案,并使用它们作为信标,知道再培训对其他解决方案的影响。我们使用一个基于简单递归单元(SRU)的语音识别模型,使用TIMIT数据集,并应用我们的方法在SiLago和Bitfusion平台上运行。我们提供的实验评估表明,SRU可以通过训练后量化压缩到8倍,而不会增加任何显着的误差。在SiLago上,我们发现解决方案实现了97%和86%的最大可能加速和节能,误差略有增加。在Bitfusion上,基于信标的搜索将仅推理搜索的错误增益降低了4.9个百分点。
2022-01-20 cs.AR cs.LG
Enhancing Reinforcement Learning for the Floorplanning of Analog ICs with Beam Search
University of Trieste(特里埃斯特大学);Infineon Technologies AT(英飞凌科技AT);Infineon Technologies AG(英飞凌科技AG)
本文提出将束搜索与强化学习结合的混合方法,用于模拟IC布局规划,在无需重训练的情况下灵活适应不同目标权重并解决拥塞,实验显示面积、死区和线长较标准RL提升约5-85%。
2025-05-08 cs.AI cs.LG
Anatomy of a Sound Neural Reasoner: One-Shot Amortization, First-Pass Poisoning, and Search Inertness in Clue-Rich Completion
Neapolis University, Pafos(帕福斯新帕福斯大学)
研究富含线索填数问题中神经推理器的表现,发现LDT存在首次通过中毒等问题,添加CoLT可减少无效推导,还给出两种干预措施提升准确率,指出类似LDT系统是一次性摊销预测器,搜索主要消除计算浪费。
2026-07-23 cs.AI cs.LG
LiFT: Local Search via Linear Programming for Overfitting-Controlled Transformers
Department of Management Sciences, Indian Institute of Technology Kanpur(印度理工学院坎普尔分校管理科学系);Department of Civil Engineering, Indian Institute of Technology Kanpur(印度理工学院坎普尔分校土木工程系);Operations and Decision Sciences, Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校运营与决策科学系);Brij Disa Centre for Data Science and AI, Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校Brij Disa数据科学与人工智能中心)
提出基于线性规划的局部搜索框架,通过双层优化联合更新模型参数和正则化超参数,利用验证梯度和Hessian信息构造局部下降方向,在保持训练最优性的同时减少过拟合,实验表明在GPT-2 Small微调中持续改善测试困惑度。
2026-06-16 cs.CL cs.LG
A Low Effort Approach to Structured CNN Design Using PCA
Purdue University(普渡大学)
深度学习模型在许多领域都具有最先进的性能,但它们的设计仍然基于几何学或网格搜索方法,这通常会导致过度参数化的网络。这项工作提出了一种方法来分析训练的网络,并推导出一个优化的,压缩的架构,保持准确性,同时保持计算成本易于处理。模型压缩是针对在硬件中实现深度学习模型的问题的活跃研究领域。然而,大多数修剪方法往往是实验性的,需要大量的计算和时间密集的迭代来重新训练整个网络。我们通过使用PCA(主成分分析),提出了一个Single Shot分析的训练网络,作为一个一阶,低努力的降维方法,将结构引入模型设计。所提出的方法同时分析每一层的激活,并考虑生成这些激活的过滤器所描述的空间的维数。它在层数和每层滤波器数量方面优化了架构,而无需任何迭代再训练程序,使其成为设计高效网络的可行,低工作量技术。我们在CIFAR-10、CIFAR-100和ImageNet数据集上的AlexNet和VGG风格网络上演示了所提出的方法,并成功地实现了优化的架构,操作和参数的数量分别减少了3.8倍和9倍,而准确率不到1%。我们还将该方法应用于MobileNet,并分别实现了操作和参数数量的1.7倍和3.9倍减少,同时将准确性提高了近一个百分点。
2020-01-10 cs.CV cs.LG
Two-step hyperparameter optimization method: Accelerating hyperparameter search by using a fraction of a training dataset
University of California Irvine(加利福尼亚大学欧文分校);Pacific Northwest National Laboratory(西北太平洋国家实验室);University of Southern California(南加州大学)
提出两步超参数优化方法,先用少量数据初步评估,再全量数据重训,实现高达135倍加速,并应用于气溶胶活化模拟器。
2023-09-08 cs.LG physics.ao-ph
HeatACO: A Heatmap-Guided Max--Min Ant System for Large-Scale Travelling Salesman Problems
Centre for Data Science;Artificial Intelligence \& the School of Engineering;Computer Science, Victoria University of Wellington, Wellington, 6140, New Zealand
HEATACO通过结合热图与蚁群算法,有效解决大规模旅行商问题,在质量与时间之间取得更好的权衡。
2026-07-29 cs.LG cs.NE
Weight Weaving: Parameter Pooling for Data-Free Model Merging
Recod.ai Lab.(Recod.ai 实验室);Instituto de Computação Universidade Estadual de Campinas (UNICAMP)(计算研究所,坎皮纳斯州立大学)
权重编织通过参数池化在无数据条件下自动设置缩放因子,正交增强多种模型合并方法,在视觉多任务、持续学习和领域泛化任务中平均准确率提升最高达15.9个百分点。
2025-10-15 cs.CV cs.LG