Searching for Winograd-aware Quantized Networks
University of Oxford（牛津大学）；Arm ML Research Lab（安谋机器学习研究实验室）
卷积神经网络（CNN）的轻量级架构设计以及量化为在移动设备上部署要求苛刻的计算机视觉应用铺平了道路。与此并行，卷积运算的替代公式，如FFT，Strassen和Winograd，已被适配用于CNN，提供进一步的加速。Winograd卷积是空间小卷积的最快已知算法，但充分利用其潜力会带来数值误差的负担，使其在量化环境中无法使用。在这项工作中，我们提出了一个Winograd感知的卷积层公式，它将Winograd变换引入的数值不准确性暴露在模型参数的学习中，从而能够在不影响模型大小的情况下设计有竞争力的量化模型。我们还解决了数值误差的来源，并提出了一个放松的形式的转换矩阵，导致高达10%的分类精度提高CIFAR-10。最后，我们提出了wiNAS，一个神经架构搜索（NAS）框架，利用Winograd感知层，联合优化给定的宏架构的准确性和延迟。与im 2 row（最广泛使用的优化卷积实现之一）相比，Winograd感知的ResNet-18（使用wiNAS针对CIFAR-10进行优化）可实现2.66倍的加速，并且不会损失准确性。
2020-02-25 cs.CV cs.LG stat.ML
DeepFedNAS: Efficient Hardware-Aware Architecture Adaptation for Heterogeneous IoT Federations via Pareto-Guided Supernet Training
本文提出DeepFedNAS，通过帕累托引导的超网络训练，实现异构物联网联邦的高效硬件感知架构适应，显著提升搜索效率和模型精度。
2026-09-28 cs.CV cs.DC cs.LG
Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs
Google（谷歌）
设备上的ML加速器正在成为现代移动片上系统（SoC）的标准。神经架构搜索（NAS）可以有效地利用这些加速器提供的高计算吞吐量。然而，现有的NAS框架在扩展到多个任务和不同的目标平台方面有几个实际的限制。在这项工作中，我们提供了一个双管齐下的方法来应对这一挑战：（i）NAS使能基础设施，其将模型成本评估、搜索空间设计和NAS算法结合在一起，以快速针对各种设备上的ML任务，以及（ii）从基于组卷积的反向瓶颈（IBN）变体制作的搜索空间，其在ML加速器上提供灵活的质量/性能权衡，补充了现有的基于全卷积和去卷积的IBN。使用这种方法，我们针对最先进的移动平台Google Tensor SoC，并展示了神经架构，可以提高各种计算机视觉（分类，检测，分割）以及自然语言处理任务的质量性能帕累托边界。
2022-04-09 cs.CV cs.DC cs.LG
OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search
University of Campinas (Unicamp)（坎皮纳斯大学（Unicamp））
OFA是一种神经架构搜索（NAS）框架，旨在通过解耦训练和搜索阶段来解决为具有不同资源约束的设备搜索有效架构的问题。训练OFA神经网络的计算上昂贵的过程仅进行一次，然后可以根据每个部署场景对从该训练的网络中提取的子网络执行多次搜索。在这项工作中，我们的目标是通过明确地将搜索阶段视为一个多目标优化问题，进一步提高搜索效率。然后，帕累托边界被填充有高效的、已经训练好的神经架构，这些神经架构在冲突的目标之间表现出明显的权衡。这可以通过在搜索阶段使用任何多目标进化算法来实现，例如NSGA-II和SMS-EMOA。换句话说，神经网络被训练一次，考虑不同硬件约束的子网络的搜索也被完成一次，然后用户可以根据每个部署场景选择合适的神经网络。共轭OFA和显式算法的多目标优化打开了一个后验决策的可能性，在采样有效的子网络，这是一个非常好的近似帕累托边界后，这些子网络已经训练和准备使用。源代码和最终的搜索算法将在https://github.com/ito-rafael/once-for-all-2上发布
2023-03-23 cs.AI cs.CV cs.LG
GaussianPSL: Soft partitioning for complex PSL problem
School of Information Science, Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学信息科学学院）
本文提出GaussianPSL框架，通过软划分帕累托决策/目标空间解决复杂帕累托前沿问题，提升探索与收敛性，增强鲁棒性，实验显示其在学习复杂帕累托前沿方面优于传统PSL模型。
2026-03-28 cs.LG
MPCViT: Searching for Accurate and Efficient MPC-Friendly Vision Transformer with Heterogeneous Attention
Peking University（北京大学）；Virginia Tech（弗吉尼亚理工大学）；Ant Group（蚂蚁集团）
本文提出 MPCViT 与增强版 MPCViT+，通过异构注意力空间和 MPC 感知架构搜索，在加密推理中显著降低 ViT 延迟并提升准确率。
2023-08-19 cs.CR cs.LG
Pareto-efficient Acquisition Functions for Cost-Aware Bayesian Optimization
MIT（麻省理工学院）；Amazon Web Services（亚马逊云科技）
贝叶斯优化（BO）是一种流行的方法来优化昂贵的黑盒函数。它有效地调整机器学习算法的隐含假设下，超参数评估成本大致相同。实际上，评估不同超参数的成本，无论是时间、美元还是能源，都可以跨越几个数量级的差异。虽然已经提出了一些方法来使BO具有成本意识，但这些方法都没有被证明有效。在这项工作中，我们重新制定成本意识BO的帕累托效率，并引入成本帕累托阵线，数学对象，使我们能够突出常用的收购功能的缺点。在此基础上，我们提出了一种新的帕累托有效的适应预期的改善。在144个真实世界的黑盒函数优化问题上，我们证明了我们的帕累托高效采集函数显著优于以前的解决方案，带来了高达50%的速度提升，同时提供了对成本-精度权衡的更精细控制。我们还重新审视了高斯过程成本模型的常见选择，表明简单，低方差成本模型可以有效地预测训练时间。
2020-11-24 cs.LG stat.ML
AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling
Facebook；University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经结构搜索（NAS）在设计准确高效的最新（SOTA）模型方面表现出了巨大的潜力。近年来，两阶段NAS，如BigNAS，简化了模型训练和搜索过程，并取得了显着的搜索效率和准确性。两阶段NAS需要在训练期间从搜索空间中采样，这直接影响最终搜索模型的准确性。虽然均匀采样因其简单性而被广泛使用，但它不知道模型性能Pareto前沿，这是搜索过程中的主要焦点，因此错过了进一步提高模型精度的机会。在这项工作中，我们提出了AttentiveNAS，重点是改善采样策略，以实现更好的性能帕累托。我们还提出了算法，以有效地识别网络的帕累托在训练过程中。无需额外的重新训练或后处理，我们可以同时获得大量网络，跨越各种各样的FLOP。我们发现的模型家族AttentiveNAS模型在ImageNet上达到了77.3%到80.7%的顶级准确率，并且优于SOTA模型，包括BigNAS和Once-for-All网络。我们还实现了ImageNet的准确率为80.1%，只有491个MFLOP。我们的训练代码和预训练模型可以在www.example.com上找到。
2021-04-13 cs.CV cs.LG
MoGA: Searching Beyond MobileNetV3
Xiaomi AI Lab（小米人工智能实验室）
MobileNets的演进为神经网络在移动端的应用奠定了坚实的基础。随着最新的MobileNetV 3，神经架构搜索再次声称其在网络设计中的至高无上地位。不幸的是，到目前为止，所有的移动方法主要集中在CPU的延迟，而不是GPU，然而，后者在实践中是更可取的，因为它具有更快的速度，更低的开销和更少的干扰。考虑到目标硬件，我们提出了第一个移动GPU感知（MoGA）神经架构搜索，以精确地为现实世界的应用程序量身定制。此外，设计移动网络的最终目标在于通过最大化有限资源的利用来实现更好的性能。在限制时间消耗的同时要求更高的能力是不可调和的。我们通过加权进化技术来缓解这种紧张。此外，我们鼓励增加参数的数量，以提高代表性。相比MnasNet，GPU天数减少了200倍，我们获得了一系列在类似延迟约束下优于MobileNetV 3的模型，即，MoGA-A在ImageNet上达到了75.9%的top-1准确率，MoGA-B达到了75.5%，在移动GPU上仅花费0.5 ms。MoGA-C最好地证明了GPU的感知能力，达到75.3%，在CPU上较慢，但在GPU上更快。模型和测试代码可以在这里获得https://github.com/xiaomi-automl/MoGA。
2020-03-03 cs.CV cs.LG cs.NE
Tiered Pruning for Efficient Differentialble Inference-Aware Neural Architecture Search
NVIDIA（英伟达）
我们提出了三种新的修剪技术，以提高成本和结果的推理感知可区分神经架构搜索（DNAS）。首先，我们介绍了Prunode，一个随机的双路径构建块的DNAS，它可以搜索内部隐藏的维度与O（1）的内存和计算复杂度。其次，我们提出了一种算法，在搜索过程中修剪块的随机层的超网。第三，我们描述了一种新的技术，修剪不必要的随机层在搜索过程中。通过搜索得到的优化模型称为PruNet，它为NVIDIA V100在ImageNet Top-1图像分类准确度的推理延迟方面建立了一个新的最先进的Pareto边界。PruNet作为主干，在COCO目标检测任务中，相对于平均精度（mAP）的推理延迟也优于GPUNet和EfficientNet。
2023-01-05 cs.LG
FNAS: Uncertainty-Aware Fast Neural Architecture Search
SenseTime（商汤科技）；The Chinese University of Hong Kong（香港中文大学）；Xidian University（西安电子科技大学）
基于强化学习（RL）的神经架构搜索（NAS）通常保证更好的收敛性，但与基于梯度的方法相比，由于推出瓶颈-对代理任务的每个采样生成进行穷举训练，因此需要大量计算资源。在本文中，我们提出了一个通用的流水线，以加速收敛的推出过程，以及在NAS的RL过程。它的动机是有趣的观察，结构和参数的知识可以在不同的实验，甚至不同的任务之间转移。我们首先在近端策略优化（PPO）中引入了一个不确定性感知的评价器（价值函数），以利用以前实验中的体系结构知识，稳定了训练过程，并将搜索时间减少了4倍。此外，一个架构知识池连同块相似性函数，提出了利用参数知识，并减少了2倍的搜索时间。它是第一个在基于RL的NAS中引入块级权重共享的方法。块相似度函数保证了100%的命中率和严格的公平性。此外，我们还表明，在强化学习优化的“回放缓冲区”中使用简单设计的偏离政策修正因子可以进一步减少一半的搜索时间。在移动神经架构搜索（MNAS）搜索空间上的实验表明，所提出的快速神经架构搜索（FNAS）将标准的基于RL的NAS过程加速约10倍（例如，对于MNAS，约256 2x2 TPUv 2 x天/20，000 GPU x小时-> 2，000 GPU x小时），并保证在各种视觉任务上具有更好的性能。
2021-05-27 cs.AI cs.CV cs.LG
SONATA: Self-adaptive Evolutionary Framework for Hardware-aware Neural Architecture Search
LAMIH/UMR CNRS；Université Polytechnique Hauts-de-France（上法兰西理工大学）；University of Lille（里尔大学）；Centre de Recherche en Informatique Signal et Automatique de Lille (CRIStAL)（里尔信息、信号与自动化研究中心（CRIStAL））
SONATA提出一种硬件感知神经架构搜索的自适应进化框架，利用代理模型和强化学习智能体学习神经网络设计参数的重要性，以引导进化算子，在ImageNet-1k上相比NSGA-II显著提升准确率、延迟和能耗表现。
2024-02-20 cs.LG cs.NE
What is Fair? Exploring Pareto-Efficiency for Fairness Constrained Classifiers
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Google AI（谷歌人工智能）
学习模型放大现有社会偏见的潜力已得到广泛认可。公平感知分类器约束，它适用于在敏感属性（如种族和性别）上定义的子组之间的性能的平等度量，试图纠正不公平，但可能会产生不均匀的性能下降偏斜的数据集。在某些领域，不平衡的性能下降可能会产生另一种形式的无意偏见。本着构建公平意识算法作为社会当务之急的精神，我们探索了一种替代方案：帕累托有效公平（PEF）。从理论上讲，我们证明了PEF确定的帕累托曲线上的分组性能最接近的公平超平面，最大限度地提高多个子群的准确性的操作点。从经验上讲，我们证明，PEF优于实现帕累托水平的准确性相比，严格的公平性约束，在几个UCI数据集的所有子组。
2019-10-30 cs.LG stat.ML
Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras
University of Genoa（热那亚大学）；DITEN（DITEN（热那亚大学电子、电信和工程系））
针对嵌入式设备RGB-D相机的affordance分割，提出硬件感知神经架构搜索与专用微调方法，生成平衡泛化性能和硬件需求的帕累托最优解，原型在Jetson Nano上实现实时性能。
2026-07-31 cs.CV cs.LG cs.RO
Pareto Merging: Multi-Objective Optimization for Preference-Aware Model Merging
The Hong Kong University of Science and Technology（香港科技大学）
本文提出偏好感知的模型合并方法，将其建模为多目标优化问题，并在单次合并中生成一组 Pareto 最优合并模型，使用户可按偏好选择，实验显示其准确率优于现有合并基线。
2025-02-08 cs.LG
How to Find the Exact Pareto Front for Multi-Objective MDPs?
The Ohio State University（俄亥俄州立大学）；University of Kentucky（肯塔基大学）
针对多目标马尔可夫决策过程（MO-MDPs）难以找到精确帕累托前沿的问题，本文揭示其几何结构性质，提出仅需一次单目标MDP求解并遍历边的高效算法，大幅降低复杂度。
2025-02-10 cs.LG stat.ML
Profiling Neural Blocks and Design Spaces for Mobile Neural Architecture Search
University of Alberta（阿尔伯塔大学）；Huawei Technologies（华为技术有限公司）；Huawei Kirin Solution（华为麒麟解决方案）
神经架构搜索使神经网络设计自动化，并在许多深度学习应用中取得了最先进的成果。虽然最近的文献都集中在设计网络，以最大限度地提高精度，很少有工作已经进行了了解不同的硬件架构设计空间的兼容性。在本文中，我们分析了用于构建One-for-All（MobileNetV 3），ProxylessNAS和ResNet系列的神经块，以了解它们在各种设备上的预测能力和推理延迟，包括华为麒麟9000 NPU，RTX 2080 Ti，AMD Threadripper 2990 WX和三星Note 10。我们引入了一种方法来量化神经块对硬件的友好性，以及它们在宏网络中的位置对整体网络性能的影响，仅通过端到端测量。基于广泛的分析结果，我们得出的设计见解，并将其应用到硬件特定的搜索空间减少。我们发现，在减少搜索空间搜索产生更好的准确性，延迟帕累托边界比搜索在原来的搜索空间，定制架构搜索根据硬件。此外，从测量中获得的见解导致所有研究的搜索空间的ImageNet top-1得分明显更高。
2021-09-25 cs.CV cs.LG
AdvRush: Searching for Adversarially Robust Neural Architectures
Seoul National University（首尔大学）
深度神经网络继续以其卓越的性能让世界敬畏。然而，他们的预测很容易被人类无法察觉的对抗性例子所破坏。目前提高神经网络对对抗性示例的鲁棒性的努力集中在开发鲁棒训练方法上，该方法在更鲁棒的方向上更新神经网络的权重。在这项工作中，我们采取了一个步骤超越训练的权重参数，并考虑设计一个具有高内在鲁棒性的对抗鲁棒神经架构的问题。我们提出了AdvRush，一种新的对抗鲁棒性感知神经结构搜索算法，基于一个发现，即独立的训练方法，神经网络的内在鲁棒性可以表示其输入损失景观的平滑度。通过一个正则化器，有利于候选架构具有更平滑的输入损失景观，AdvRush成功地发现了一个对抗强大的神经架构。除了对AdvRush的全面理论动机外，我们还进行了大量的实验来证明AdvRush在各种基准数据集上的有效性。值得注意的是，在CIFAR-10上，AdvRush在标准训练后的FGSM攻击下达到了55.91%的鲁棒准确率，在7步PGD对抗训练后的AutoAttack下达到了50.04%的鲁棒准确率。
2021-08-10 cs.AI cs.LG
A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities
Intel Corporation（英特尔公司）；Intel Labs（英特尔研究院）
神经架构搜索（NAS）的最新进展，如one-shot NAS，提供了从特定于任务的超级网络中提取专用硬件感知子网络配置的能力。虽然已经为改进第一阶段（即超级网络的训练）做出了相当大的努力，但对衍生的高性能子网络的搜索仍处于探索阶段。流行的方法将超级网络训练与子网络搜索解耦，并使用性能预测器来减少在不同硬件平台上搜索的计算负担。我们提出了一个灵活的搜索框架，自动和有效地找到最佳的子网络，优化不同的性能指标和硬件配置。具体来说，我们展示了进化算法如何在迭代周期中与经过轻度训练的客观预测器配对，以加速多目标环境中的架构搜索，包括机器翻译和图像分类。
2022-05-19 cs.LG cs.NE
FAQS: Communication-efficient Federate DNN Architecture and Quantization Co-Search for personalized Hardware-aware Preferences
Tsinghua University（清华大学）
由于用户隐私和监管限制，联邦学习（FL）被提出作为一种分布式学习框架，用于在分散的数据客户端上训练深度神经网络（DNN）。FL的最新进展已经应用了神经架构搜索（NAS）来取代预定义的通用DNN模型，该模型对于各种数据分布的所有任务都不是最佳的，而是可搜索的DNN架构。然而，以前的方法遭受昂贵的通信成本增加频繁的大型模型参数之间的服务器和客户端传输。当结合NAS算法时，这种困难被进一步放大，NAS算法通常需要禁止计算和巨大的模型存储。为此，我们提出了FAQS，一个有效的个性化FL-NAS量化框架，以减少通信成本与三个功能：权重共享超级内核，比特共享量化和掩码传输。FAQS有一个负担得起的搜索时间，并要求在每一轮传输的消息非常有限的大小。通过在本地客户端设置不同的个性化帕累托函数损失，FAQS可以产生异构的硬件感知模型，以满足不同的用户偏好。实验结果表明，FAQS每轮通信带宽比普通FL框架平均减少1.58倍，比FL+NAS框架平均减少4.51倍。
2022-10-16 cs.AI cs.LG
Convergence-Aware Pareto Selection of Covariate Scaling Transformations for Markov Deterioration Hazard Models: Evidence from Bridge Inspection Data
Yachiyo Engineering Co., Ltd.（八千代工程有限公司）
针对马尔可夫劣化风险模型对协变量缩放敏感的问题，本文系统比较四种缩放变换，在桥梁检测数据上通过L-BFGS-B估计EHM模型，并基于收敛感知的Pareto选择提出最优缩放方案。
2026-09-29 cs.LG stat.ME
Cost-Aware Multi-Objective Bandits: Theory and Application to Budgeted LLM Configuration Evaluation
City University of Hong Kong（香港城市大学）；South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）
本文将LLM配置评估建模为成本感知多目标老虎机问题，提出基于超体积的UCB算法与成本感知经验差距消除算法，在有限预算下实现高效在线决策和准确的帕累托识别。
2026-08-06 cs.LG
QADAM: Quantization-Aware DNN Accelerator Modeling for Pareto-Optimality
Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着机器学习和系统社区努力通过定制深度神经网络（DNN）加速器、不同的位精度或量化级别来实现更高的能效，需要将量化感知处理元件（PE）并入加速器设计空间同时具有准确且快速的功率、性能和面积模型的设计空间探索框架。在这项工作中，我们提出了QADAM，一个高度参数化的量化感知的DNN加速器的功率，性能和区域建模框架。我们的框架可以促进未来的研究设计空间探索和Pareto效率的DNN加速器的各种设计选择，如位精度，PE类型，暂存器大小的PE，全局缓冲区大小，总PE的数量，和DNN配置。我们的研究结果表明，不同的位精度和PE类型导致显着差异的性能，单位面积和能量。具体来说，我们的框架确定了广泛的设计点，其中单位面积性能和能量分别变化超过5倍和35倍。我们还表明，所提出的轻量级处理元素（LightPE）始终实现帕累托最优的结果，在准确性和硬件效率。通过所提出的框架，我们表明，与最好的基于INT 16的设计相比，LightPE实现了同等精度的结果，并且每面积性能和能源改进高达5.7倍。
2022-05-20 cs.AR cs.LG
Sample-Efficient Pareto Front Modeling for Energy-Aware Reinforcement Learning Using Bayesian Optimization
Josef Ressel Centre for Intelligent and Secure Industrial Automation, Salzburg University of Applied Sciences（萨尔茨堡应用科学大学智能与安全工业自动化约瑟夫·雷塞尔中心）；Department of Artificial Intelligence and Human Interfaces, Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德龙大学人工智能与人类交互系）
解决能源感知强化学习中多目标问题，将权重选择过程转化为多目标贝叶斯优化问题，对比标准均匀网格搜索基线评估样本效率，结果表明该方法性能更优，能高效发现帕累托前沿。
2026-07-07 cs.LG cs.RO
Balancing Competing Objectives with Noisy Data: Score-Based Classifiers for Welfare-Aware Machine Learning
UC Berkeley（加州大学伯克利分校）；Brown University（布朗大学）
虽然现实世界的决策涉及许多相互竞争的目标，但算法决策通常使用单个目标函数进行评估。在本文中，我们研究的算法政策，明确权衡私人目标（如利润）和公共目标（如社会福利）。我们分析了一个自然类的政策，跟踪经验帕累托边界的基础上学习的分数，并专注于如何在嘈杂或数据有限的制度，这样的决定。我们的理论结果在这一类的最优策略的特点，约束的帕累托误差，由于分数的不准确性，并显示最优策略和公平约束的利润最大化政策的丰富的类之间的等价性。然后，我们在两个不同的背景下-在线内容推荐和可持续鲍鱼渔业-提出实证结果，以强调我们的方法的适用性，以广泛的实际决策。总之，这些结果揭示了使用机器学习进行影响社会福利的决策时的内在权衡。
2020-07-16 cs.LG stat.ML
PRO-Bid: Pareto-Prioritized Regret Optimization for Constraint-Aware Generative Auto-Bidding
Dalian University of Technology Dalian China；Dalian University of Technology \& City University of Hong Kong Dalian China；Alibaba International Digital Commerce Group Hangzhou China；Dalian University of Technology；Dalian University of Technology \& City University of Hong Kong；Alibaba International Digital Commerce Group
PRO-Bid通过约束解耦帕累托表示和反事实遗憾优化机制，提升自动出价在约束下的性能和价值获取能力。
2026-08-18 cs.GT cs.LG
A Human-in-the-Loop Bayesian Optimization Framework for Constraint-Aware Bioprocess Development
DataHow AG（DataHow公司）
提出一种扩展的帕累托前沿引导采样框架，通过将高斯过程代理的约束满足概率和鲁棒性作为多目标优化目标，结合交互式仪表盘实现人机协同的约束感知生物过程优化。
2026-08-25 cs.HC cs.LG stat.ML
FlexiBO: A Decoupled Cost-Aware Multi-Objective Optimization Approach for Deep Neural Networks
University of South Carolina（南卡罗来纳大学）；University of Wyoming（怀俄明大学）
机器学习系统的设计通常需要权衡不同的目标，例如，深度神经网络（DNN）的预测误差和能耗。通常，没有一个设计在所有目标上都表现良好;因此，寻找帕累托最优设计很有意义。搜索帕累托最优设计涉及在迭代过程中评估设计，测量值用于评估指导搜索过程的获取函数。然而，衡量不同的目标会产生不同的成本。例如，测量DNN的预测误差的成本比测量预训练DNN的能耗高出几个数量级，因为它需要重新训练DNN。目前的最先进的方法不考虑这种差异的目标评估成本，潜在地招致昂贵的目标函数的评估在优化过程中。在本文中，我们开发了一种新的解耦和成本意识的多目标优化算法，我们称之为灵活的多目标贝叶斯优化（Flexible Multi-ObjectiveBayesian Optimization，简称MEBO）来解决这个问题。RIBO通过每个目标的测量成本对帕累托区域的超体积的改进进行加权，以平衡收集新信息的费用与通过客观评估获得的知识，防止我们执行昂贵的测量而几乎没有增益。我们在七个最先进的DNN上评估了MIBO，用于图像识别，自然语言处理（NLP）和语音到文本翻译。我们的研究结果表明，在相同的总实验预算下，RMBO发现了4.8 $\%$到12.4 $\%$的设计比最先进的多目标优化中的最佳方法更低的超容量误差。
2022-08-21 cs.LG math.OC stat.ML
Provably Efficient Multi-Objective Bandit Algorithms under Preference-Centric Customization
针对传统多目标多臂老虎机忽视用户偏好的问题，本文提出偏好感知框架，探索未知与隐藏偏好场景，通过偏好估计与感知优化机制实现帕累托前沿内的定制化优化，理论与实证均验证其近最优遗憾与有效性。
2025-11-15 cs.LG
Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
条件生成对抗网络（cGAN）被设计为基于所提供的条件\eg、类级分布来生成图像。然而，现有的方法对所有类使用相同的生成架构。本文提出了一种新的思想，采用NAS为每个类找到一个不同的体系结构。搜索空间包含规则卷积和类调制卷积，其中后者被设计为引入类特定信息，同时避免减少每个类生成器的训练数据。搜索算法遵循混合架构优化的权重共享流水线，使得搜索成本不会随着类的数量而增长。为了学习采样策略，将马尔可夫决策过程嵌入到搜索算法中，并应用移动平均以获得更好的稳定性。我们在CIFAR10和CIFAR100上评估我们的方法。除了在FID分数方面实现更好的图像生成质量外，我们还发现了一些有助于设计cGAN模型的见解。代码可在https://github.com/PeterouZh/NAS_cGAN上获得。
2021-04-06 cs.CV cs.LG
Preference-Aware Constrained Multi-Objective Bayesian Optimization
Washington State University（华盛顿州立大学）
本文讨论了当输入空间的大部分是不可行的（即，违反约束）。这一问题在包括模拟电路和电力系统设计在内的许多工程设计问题中都存在。我们的总体目标是在一小部分可行的输入设计上近似最优Pareto集。关键的挑战包括设计空间的巨大规模，多个目标和大量的约束条件，以及一小部分可行的输入设计，只能在执行昂贵的模拟后才能确定。我们提出了一种新的和有效的偏好感知约束多目标贝叶斯优化方法称为PAC-MOO来解决这些挑战。其关键思想是学习输出目标和约束的代理模型，并在每次迭代中选择候选输入进行评估，以最大限度地提高所获得的关于最优约束Pareto前沿的信息，同时考虑对目标的偏好。我们对两个真实世界的模拟电路设计优化问题的实验证明了PAC-MOO的有效性。
2023-03-23 cs.AI cs.LG math.OC
MAdam: Metric-Aware Multi-Objective Adam
Cornell Tech（康奈尔科技）；Weill Cornell Medicine（韦尔医学院）；Delft University of Technology（代尔夫特理工大学）
提出MAdam，通过偏好条件曲率预处理多目标优化中的协调方向，解决Adam与求解器之间的权重失配和几何失配问题，在多任务学习、帕累托前沿恢复等任务中一致提升性能。
2026-10-08 cs.CV cs.LG
Context-aware Diversity Enhancement for Neural Multi-Objective Combinatorial Optimization
East China Normal University（华东师范大学）；Southern University of Science and Technology（南方科技大学）
多目标组合优化（MOCO）问题在实际应用中非常普遍。大多数现有的神经MOCO方法依赖于问题分解，将MOCO问题转换为一系列单目标组合优化（SOCO）问题，并基于单步和确定性贪婪推出的训练注意力模型。然而，不适当的分解和不可取的短视行为，以前的方法往往会导致多样性下降。为了解决上述限制，我们设计了一个上下文感知的多样性增强算法CDE，它通过自回归（节点级上下文感知）将神经MOCO问题转换为条件序列建模，并基于超容量期望最大化（解决方案级上下文感知）在偏好映射和奖励多样性指标之间建立直接关系。基于解级上下文感知，我们进一步提出了一种超卷残差更新策略，使Pareto注意力模型能够捕获Pareto集合/前沿的局部和非局部信息.提出的CDE可以有效地和高效地掌握上下文信息，从而提高多样性。三个经典的MOCO问题的实验结果表明，我们的CDE优于几个国家的最先进的基线。
2025-01-26 cs.AI cs.LG
SURF: Steering the Scalarization Weight to Uniformly Traverse the Pareto Front
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出SURF方法，通过调整标量化权重以实现帕累托前沿的均匀覆盖，解决了传统标量化方法在多目标优化中导致非均匀覆盖的问题。
2026-10-12 cs.LG math.OC stat.ML
Uncertainty aware Search Framework for Multi-Objective Bayesian Optimization with Constraints
Washington State University（华盛顿州立大学）
我们考虑约束多目标（MO）黑盒优化问题，使用昂贵的功能评估，其目标是近似的真正的Pareto集的解决方案，满足一组约束，同时最小化的功能评估的数量。我们提出了一个新的框架命名为不确定性感知搜索框架多目标优化约束（USeMOC），有效地选择输入序列进行评估，以解决这个问题。USeMOC的选择方法包括通过真函数的代理模型来确定最有希望的候选者并基于不确定性度量来挑选最佳候选者，从而解决廉价的约束MO优化问题。我们应用这个框架来优化设计的多输出开关电容电压调节器，通过昂贵的模拟。我们的实验结果表明，USeMOC是能够实现超过90%的数量减少所需的模拟发现优化的电路。
2020-09-01 cs.LG stat.ML
Learning with Impartiality to Walk on the Pareto Frontier of Fairness, Privacy, and Utility
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
部署机器学习（ML）模型通常需要公平性和隐私保证。这两个目标都提出了独特的权衡与效用（例如，模型的准确性。然而，公平、隐私和效用之间的相互作用还不太清楚。因此，通常只有一个目标被优化，而其他目标则被调整为超参数。因为它们隐含地优先考虑某些目标，这样的设计以有害的、不可检测的方式使模型产生偏差。为了解决这个问题，我们采用公正性作为原则：ML管道的设计不应该偏向于一个目标。我们提出了公平指定的模型，它为我们提供了准确的帕累托边界，显示目标之间的内在权衡。扩展了两个用于隐私保护学习的规范ML框架，我们提供了两种方法（FairDP-SGD和FairPATE）来训练公平指定的模型并恢复Pareto边界。通过理论隐私分析和全面的实证研究，我们提供了一个答案的问题，公平缓解应该集成在一个隐私感知ML管道。
2023-02-17 cs.AI cs.CY cs.LG
Pareto-Guided Teacher Alignment for Fair Personalized Text Generation
Purdue University（普渡大学）
提出帕累托引导的教师对齐框架，通过修订候选生成、对感知可行性门控、帕累托候选选择和偏好优化，在减少人口统计差异的同时保持个性化保真度，实验表明公平缓解效果依赖于目标且跨域迁移不一致。
2026-06-08 cs.AI cs.CL cs.CY
Uncertainty quantification and exploration-exploitation trade-off in humans
University of Milano-Bicocca（米兰比可卡大学）
本文的主要目的是勾勒出一个理论框架，分析人类的决策策略下的不确定性管理信息收集（探索）和奖励寻求（剥削）之间的权衡。一个关键的观察，激励这一系列的研究，是认识到人类学习者是惊人的快速和有效地适应陌生的环境，并纳入即将到来的知识：这是一个有趣的行为认知科学以及机器学习的一个重要挑战。所考虑的目标问题是黑盒优化任务中的主动学习，更具体地说，如何在基于高斯过程的贝叶斯优化框架内对探索/开发困境进行建模，该框架又基于不确定性量化。主要贡献是分析人类的决策帕累托理性的两个目标是改善预期和不确定性量化。根据这个帕累托理性模型，如果一个决策集包含一个帕累托有效（主导）策略，理性的决策者应该总是选择主导策略。离帕累托边界的距离决定了一个选择是否是（帕累托）理性的（即，位于边境）或与“令人恼火”的探索有关。然而，由于不确定性是定义帕累托前沿的两个目标之一，我们已经研究了三种不同的不确定性量化措施，并选择了一个更符合帕累托理性模型的建议。关键的结果是一个分析框架来描述偏离“理性”如何依赖于不确定性量化和寻求奖励过程的演变。
2021-02-05 cs.AI cs.LG
Preference-Guided Diffusion for Multi-Objective Offline Optimization
TU Munich（慕尼黑技术大学）；Stanford University（斯坦福大学）；Helmholtz AI（海德堡人工智能研究所）；Gladstone Institutes（加利福尼亚大学旧金山分校格拉德石研究所）
本文提出基于偏好的扩散模型，用于生成多目标离线优化中的帕累托最优解，通过引入多样性感知的偏好引导，提升生成解的质量与分布性。
2025-12-17 cs.AI cs.LG
MOAE: Multi-Objective Agent Evolution with Pareto-Preserving Search
Southern University of Science and Technology（南方科技大学）；Guangdong Provincial Key Laboratory of Brain-inspired Intelligent Computation（广东省类脑智能计算重点实验室）
针对多目标智能体优化中固定标量化导致候选丢失的问题，提出MOAE方法，通过帕累托保持的进化搜索维护非支配候选，在实验中提升任务性能与轨迹质量并保持安全性。
2026-09-09 cs.AI cs.LG
HAPEns: Hardware-Aware Post-Hoc Ensembling for Tabular Data
HAPEns通过多目标优化方法，在表格数据集成中平衡预测性能与硬件效率，实验表明其在性能和成本权衡上优于现有方法。
2026-08-05 cs.LG
Accel-NASBench: Sustainable Benchmarking for Accelerator-Aware NAS
The Hong Kong University of Science and Technology（香港科技大学）
本文提出可搜索训练代理的基准构建技术，降低真实 NAS 基准成本，并发布结合 ImageNet2012 与 GPU、TPU、FPGA 性能的开源双目标 Accel-NASBench。
2024-06-18 cs.LG eess.IV
A Unified Information-Theoretic Approach to Constrained Multi-Fidelity Multi-Objective Bayesian Optimization
Nagoya Institute of Technology（名古屋工业大学）
提出统一信息论框架，通过变分下界衡量信息增益，联合优化多保真多目标贝叶斯优化中的位置与保真度选择，无需启发式处理约束，实验验证其有效性。
2026-10-08 cs.LG
Pareto-Optimal Quantized ResNet Is Mostly 4-bit
University of California Riverside（加州大学河滨分校）；Google Research（谷歌研究院）
本文以ResNet为案例研究量化对推理计算成本与质量权衡的影响，发现4-bit量化模型能产生最佳Pareto曲线，并在ImageNet上通过量化感知训练达到77.09%的top-1准确率，同时开源了JAX量化库。
2021-05-07 cs.CV cs.LG
Uncertainty-Aware End-to-End Co-Design of Neural Network Processors: From Training and Mapping to Fabrication
提出一个基于单调协同设计理论的统一框架，通过四个可互操作的设计模块（网络训练、芯片映射、晶圆级制造和计算资源分配）实现神经网络处理器的端到端协同设计，并引入置信度（成功概率的倒数）作为显式可优化资源来处理不确定性。
2026-06-03 cs.AI cs.AR cs.LG
DISTREAL: Distributed Resource-Aware Learning in Heterogeneous Systems
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Huawei Research Center（华为研究中心）
我们研究的问题，分布式训练的神经网络（NN）的设备与异构的，有限的，随时间变化的计算资源的可用性。我们提出了一种自适应的，资源感知的，在设备上的学习机制，DISTREAL，它能够充分和有效地利用设备上的可用资源，以分布式的方式，提高收敛速度。这是通过丢弃机制来实现的，该机制通过随机丢弃模型的卷积层的滤波器来动态调整训练NN的计算复杂性。我们的主要贡献是引入了设计空间探索（DSE）技术，该技术发现了帕累托最优的每层丢弃向量的资源需求和收敛速度的训练。应用该技术，每个设备能够动态地选择适合其可用资源的丢弃向量，而不需要来自服务器的任何帮助。我们在一个联邦学习（FL）系统中实现了我们的解决方案，其中计算资源的可用性在设备之间和时间上都不同，并通过广泛的评估表明，我们能够显着提高收敛速度，而不会影响最终的准确性。
2022-04-04 cs.LG
Uncertainty-Aware Search Framework for Multi-Objective Bayesian Optimization
Washington State University（华盛顿州立大学）
我们考虑使用昂贵的函数评估的多目标（MO）黑盒优化的问题，其中的目标是近似真正的帕累托集的解决方案，同时最小化函数评估的数量。例如，在硬件设计优化中，我们需要使用昂贵的模拟来找到权衡性能、能量和面积开销的设计。我们提出了一种新的不确定性感知搜索框架，称为USeMO有效地选择输入序列进行评估，以解决这个问题。USeMO的选择方法包括通过真实函数的代理模型来解决廉价MO优化问题，以识别最有希望的候选者，并基于不确定性的度量来挑选最佳候选者。我们还提供了理论分析，以表征我们的方法的有效性。我们在几个合成和六个不同的现实世界的基准问题上的实验表明，USeMO始终优于最先进的算法。
2022-04-12 cs.AI cs.LG
Fairness-Aware Insurance Pricing: A Multi-Objective Optimization Approach
本文提出一种多目标优化方法，通过NSGA-II算法同时优化保险定价中的准确性、群体公平性、个体公平性和反事实公平性，实现公平性与盈利性的平衡。
2025-12-31 cs.LG q-fin.RM
$μ$DARTS: Model Uncertainty-Aware Differentiable Architecture Search
Georgia Institute of Technology（佐治亚理工学院）；National Institute of Standards and Technology（美国国家标准与技术研究院）；Colorado State University（科罗拉多州立大学）
我们提出了一个模型不确定性感知微分ARCHITECTURE搜索（$μ$ DARTS），优化神经网络，同时实现高精度和低不确定性。我们在DARTS单元中引入具体的dropout，并在训练损失中包含Monte-Carlo正则化器以优化具体的dropout概率。在验证损失中引入了预测方差项，以使搜索具有最小模型不确定性的架构成为可能。在CIFAR 10、CIFAR 100、SVHN和ImageNet上的实验验证了$μ$ DARTS方法在提高精度和降低不确定性方面的有效性。此外，从$μ$ DARTS获得的最终架构与从现有DARTS方法获得的架构相比，在输入图像和模型参数处显示出对噪声的更高鲁棒性。
2022-09-11 cs.AI cs.LG
EVTradeMatch: A Mobility-Aware Multi-Objective Matching Framework for EV--EV Energy Trading
Queensland University of Technology（昆士兰科技大学）
EVTradeMatch提出一种预测引导的多目标优化框架，通过NSGA-II算法在移动性约束下优化电动汽车间能量交易的匹配覆盖率、转移能量和充电节点适宜性，显著提升交易效率。
2026-09-11 cs.LG cs.SY eess.SY
Dodgersort: Uncertainty-Aware VLM-Guided Human-in-the-Loop Pairwise Ranking
Hanyang University（翰阳大学）；Hankuk University of Foreign Studies（韩国民法大学）
Dodgersort通过CLIP基于的分层预排序、神经排名头和概率集成方法，减少人工比较并提升排序可靠性，在医学影像、历史 dating 和美学任务中实现11-16%的标注减少。
2026-03-21 cs.AI cs.CV cs.HC
