An Empirical Study on Learning and Improving the Search Objective for Unsupervised Paraphrasing
University of Alberta（阿尔伯塔大学）
近年来，无监督文本生成的研究越来越受到关注。最近的一种方法是局部搜索到一个明确定义的目标，指定语言流畅性，语义含义，和其他特定任务的属性。在句子空间中的搜索是通过词级的编辑操作，包括插入，替换和删除。然而，这样的目标函数是用多个分量手动设计的。虽然之前的工作已经表明，最大化这个目标在真正的成功衡量标准（即BLEU和iBLEU）方面会产生良好的性能，但目标景观被认为是不平滑的，具有显著的噪声，对优化提出了挑战。在这篇论文中，我们通过学习对搜索动力学建模来解决启发式搜索目标中的噪声平滑的研究问题。然后，将学习的模型与原始目标函数相结合，以引导方式进行搜索。实验结果表明，学习的模型与原始搜索目标相结合，确实可以提供一个平滑的效果，提高搜索性能的一个小幅度。
2022-03-23 cs.AI cs.CL cs.LG
Improving LLM-based Global Optimization with Search Space Partitioning
University of Freiburg（弗赖堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Prior Labs（Prior实验室）
HOLLM通过搜索空间划分提升LLM在高维优化中的性能，有效平衡探索与利用，优于现有全局优化方法。
2026-01-27 cs.AI cs.LG
Improving GFlowNets with Monte Carlo Tree Search
HSE University（高等经济大学）；Skoltech（斯科尔科沃科技学院）；CMAP – CNRS – École polytechnique – Institut Polytechnique de Paris（CMAP – 法国国家科学研究中心 – 巴黎综合理工学院 – 巴黎理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院斯捷克洛夫数学研究所）；Constructor University（康斯特鲁克大学）
该研究基于GFlowNets与熵正则化强化学习的关联，提出适配MENTS算法的蒙特卡洛树搜索方法以增强其规划能力，在训练和推理阶段应用后提升了训练样本效率与预训练模型生成保真度。
2024-06-19 cs.AI cs.LG
Search-Based Adversarial Estimates for Improving Sample Efficiency in Off-Policy Reinforcement Learning
针对深度强化学习样本效率低、稀疏/延迟奖励场景下学习困难的问题，提出基于少量人类轨迹潜在相似性搜索的对抗估计方法，仅需5分钟人类经验即可加速基于反馈的DRL算法收敛，并有望支持极稀疏奖励场景下的学习。
2025-06-13 cs.AI cs.LG
Improving Energy Efficiency of Oil Platforms Through Optimal Loading of Diesel Generators Using Machine Learning and Search Algorithms
本研究针对海上石油平台能源低效问题，采用机器学习构建柴油消耗预测模型，结合搜索算法优化发电机负载，实现日均27%的柴油消耗降低，为平台能效提升提供可行方案。
2026-09-14 cs.AI cs.LG
Query Attribute Modeling: Improving search relevance with Semantic Search and Meta Data Filtering
提出查询属性建模（QAM）混合框架，通过将文本查询分解为元数据标签和语义元素提升搜索精度，在亚马逊玩具数据集上mAP@5达52.99%，优于传统搜索方法。
2025-08-06 cs.AI cs.CL cs.IR
ICDARTS: Improving the Stability and Performance of Cyclic DARTS
University of Tennessee（田纳西大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出ICDARTS，通过消除评估网络对搜索网络的依赖并改进zero操作离散化，提升循环DARTS的稳定性与泛化性能，并探索了动态搜索空间扩展方法。
2023-09-01 cs.AI cs.LG
Shopping Queries Dataset: A Large-Scale ESCI Benchmark for Improving Product Search
Amazon（亚马逊）
提高搜索结果的质量可以显著增强用户体验和与搜索引擎的互动。尽管最近在机器学习和数据采掘领域中取得了一些进展，但是正确地对特定用户搜索查询的项目进行分类一直是一个长期存在的挑战，这仍然具有很大的改进空间。本文介绍了“购物搜索数据集”，这是一个大型的亚马逊搜索查询和结果数据集，公开发布，旨在促进提高搜索结果质量的研究。该数据集包含大约13万个独特的查询和260万个手动标记的（查询，产品）相关性判断。该数据集是多语言的，可使用英语、日语和西班牙语进行查询。KDDCup'22挑战赛之一正在使用购物体验数据集。在本文中，我们描述了数据集，并提出了三个评估任务以及基线结果：（i）排名的结果列表，（ii）分类产品结果到相关类别，以及（iii）确定替代产品为给定的查询。我们预计，这些数据将成为未来产品搜索研究的黄金标准。
2022-06-14 cs.IR cs.LG
Meta-Gradient Search Control: A Method for Improving the Efficiency of Dyna-style Planning
University of Alberta（阿尔伯塔大学）；Amii（Amii（阿尔伯塔机器学习研究所））；Intel Labs（英特尔实验室）
本文提出一种在线元梯度算法来调节Dyna式规划中的状态查询概率，以解决不完美模型和持续学习场景下的样本效率问题，实验表明该方法能提高规划效率并避免传统采样策略的多种病态问题。
2024-06-27 cs.AI cs.LG
SelfSearch: Reward-Free Search for Self-Improving Agents
Graduate School of Data Science, Seoul National University（首尔大学数据科学研究生院）
SelfSearch是一种无奖励搜索方法，利用智能体自我修改的历史记录来改进自身，在多个基准上提升成功率并降低成本，且搜索成本极低。
2026-10-01 cs.AI cs.CL cs.LG
Creative Beam Search: LLM-as-a-Judge For Improving Response Generation
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
针对大语言模型生成缺乏意向性与创作过程的问题，提出结合多样性束搜索与大模型评判的Creative Beam Search方法，经定性实验验证其输出优于标准采样，且验证步骤是生成步骤的必要补充。
2024-10-07 cs.AI cs.CL cs.HC
Improving Deep Learning For Airbnb Search
Airbnb Inc.（爱彼迎公司）
将深度学习应用于搜索排名是Airbnb最具影响力的产品改进之一。但是在你启动了一个深度学习模型之后，接下来会发生什么呢？在本文中，我们描述了超越的旅程，讨论了我们所说的改进搜索的ABC：A为架构，B为偏见，C为冷启动。对于架构，我们描述了一个新的排名神经网络，专注于我们现有的DNN超越完全连接的两层网络的过程。在处理排名中的位置偏差时，我们描述了一种新方法，该方法在处理DNN历史上发现具有挑战性的库存方面取得了最重大的改进之一。为了解决冷启动，我们描述了我们对问题的看法以及我们为改善平台上新物品的处理所做的更改。我们希望过渡到深度学习的排名团队会发现这是一个如何在DNN上学习的实际案例研究。
2020-02-10 cs.LG stat.ML
AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling
Facebook；University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经结构搜索（NAS）在设计准确高效的最新（SOTA）模型方面表现出了巨大的潜力。近年来，两阶段NAS，如BigNAS，简化了模型训练和搜索过程，并取得了显着的搜索效率和准确性。两阶段NAS需要在训练期间从搜索空间中采样，这直接影响最终搜索模型的准确性。虽然均匀采样因其简单性而被广泛使用，但它不知道模型性能Pareto前沿，这是搜索过程中的主要焦点，因此错过了进一步提高模型精度的机会。在这项工作中，我们提出了AttentiveNAS，重点是改善采样策略，以实现更好的性能帕累托。我们还提出了算法，以有效地识别网络的帕累托在训练过程中。无需额外的重新训练或后处理，我们可以同时获得大量网络，跨越各种各样的FLOP。我们发现的模型家族AttentiveNAS模型在ImageNet上达到了77.3%到80.7%的顶级准确率，并且优于SOTA模型，包括BigNAS和Once-for-All网络。我们还实现了ImageNet的准确率为80.1%，只有491个MFLOP。我们的训练代码和预训练模型可以在www.example.com上找到。
2021-04-13 cs.CV cs.LG
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Importance mixing: Improving sample reuse in evolutionary policy search methods
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
深度神经进化，即基于深度神经网络的进化策略搜索方法，由于其更好的并行化能力，最近已经成为深度强化学习算法的竞争对手。然而，这些方法仍然遭受差得多的样本效率。在本文中，我们调查是否被称为“重要性混合”的机制，可以显着提高他们的样本效率。我们提供了一个教学演示的重要性混合，我们解释如何可以扩展到重用更多的样本。然后，通过基于简单基准的实证比较，我们表明，尽管它实际上提供了更好的样本效率，但它仍然远远低于深度强化学习的样本效率，尽管它更稳定。
2018-08-17 cs.LG stat.ML
Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space
stanford（斯坦福大学）；zju（浙江大学）
本研究通过联合搜索生成顺序和令牌空间，改进扩散语言模型的解码性能，在多个基准测试中取得显著优势。
2026-02-05 cs.CL cs.LG
PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents
Google（谷歌）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Google DeepMind（谷歌DeepMind）
PACEvolve++通过强化学习框架提升进化搜索代理的测试时策略适应能力，采用可训练顾问生成并评估假设，结合前沿模型生成可执行候选，实现更快收敛和更稳定的测试时训练。
2026-10-14 cs.LG
Improving Similarity Search with High-dimensional Locality-sensitive Hashing
Salk Institute for Biological Studies（索尔克生物研究所）
提出了一类新的基于果蝇嗅觉回路的数据无关局部敏感哈希算法。这种方法的根本区别在于，不是将哈希分配为低维空间中的密集点，而是将哈希分配在高维空间中，这增强了它们的可分离性。我们从理论上和经验表明，这个新的家庭的哈希函数是局部敏感的，并保留在任何`p空间的输入的秩相似性。然后，我们分析了这种策略的不同变化，并实证表明，它们优于现有的LSH方法的最近邻居搜索六个基准数据集。最后，我们提出了一个多探针版本的算法，实现更高的性能相同的查询时间，或相反，保持性能的先前的方法，同时采取显着更少的索引时间和内存。总的来说，我们的方法利用了高维空间提供的可分性的优势，同时仍然保持计算效率
2018-12-05 cs.AI cs.DS cs.LG
Improving exploration in policy gradient search: Application to symbolic optimization
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
许多设计用于自动化数学任务的机器学习策略利用神经网络来搜索数学符号的大型组合空间。与传统的进化方法相比，在搜索的核心使用神经网络允许学习更高级别的符号模式，提供明智的方向来指导搜索。当没有标记数据可用时，仍然可以使用强化学习来训练这样的网络。然而，我们证明，这种方法可以从早期的承诺现象和初始化偏差，这两个限制探索。我们提出了两种探索方法来解决这些问题，建立在熵正则化和分布初始化的想法。我们表明，这些技术可以提高性能，增加样本效率，并降低符号回归任务的解决方案的复杂性。
2021-07-19 cs.LG stat.ML
Improving Monte Carlo Tree Search for Symbolic Regression
Center for Machine Learning Research, Peking University, Beijing, China（北京大学机器学习研究中心）；Beijing International Center for Mathematical Research, Center for Machine Learning Research, Peking University, Beijing, China（北京国际数学研究中心）；Huawei Technologies Ltd., Beijing, China（华为技术有限公司）；Department of Mathematical Sciences, Tsinghua University, Beijing, China（清华大学数学科学系）
本文提出改进的蒙特卡洛树搜索框架用于符号回归，通过极端赌博机分配策略和进化启发的状态跳跃动作，提升搜索效率与鲁棒性，在恢复率和帕累托前沿上达到先进水平。
2025-09-24 cs.LG
Breadth Beats Depth: Improving GCG-Based Jailbreak Optimization with Breadth-Oriented Suffix Search
School of Information Science and Technology（信息科学与技术学院）；Guangdong University of Foreign Studies（广东外语外贸大学）
该研究针对GCG越狱优化易忽视后缀空间具前景区域的问题，提出即插即用框架BOSS，采用广度导向后缀搜索，提升攻击成功率并缩短优化时间。
2026-09-03 cs.CL cs.LG
Improving Differentiable Architecture Search via Self-Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对DARTS中超网络收敛至尖锐最小值导致性能差距的问题，提出SD-DARTS，利用自蒸馏和投票教师机制降低损失尖锐度，弥合离散化差距，实验验证优于现有方法。
2023-09-01 cs.AI cs.CV cs.LG
Improving the K-means algorithm using improved downhill simplex search
Ferdowsi University（菲尔多西大学）；University of East London（东伦敦大学）
k-means算法是一种著名的和最流行的聚类算法。K-means通过迭代优化过程最小化平方误差之和来寻求数据的最佳分区，这属于爬山算法的范畴。众所周知，爬山搜索以收敛到局部最优而闻名。由于k-means可以收敛到局部最优，不同的初始点通常会导致不同的收敛cancroids，这使得从合理的初始划分开始以获得高质量的聚类解决方案变得非常重要。然而，在理论上，不存在用于确定这样的初始划分的有效且通用的方法。在本文中，我们试图找到一个最佳的初始划分的k-means算法。为了实现这一目标，我们提出了一个新的改进版本的下坡单纯形搜索，然后我们使用它，以找到一个最佳的结果，聚类方法，然后比较该算法与遗传算法基地（GA），遗传K-means（GKM），改进的遗传K-means（IGKM）和k-means算法。
2012-09-05 cs.LG
Self-Improving Language Models for Evolutionary Program Synthesis: A Case Study on ARC-AGI
本文提出SOAR方法，通过将语言模型融入自改进进化循环中，提升编程合成性能，在ARC-AGI基准上实现显著改进。
2026-03-16 cs.AI cs.LG cs.NE
Improving Differentiable Architecture Search with a Generative Model
UC San Diego（加州大学圣地亚哥分校）
在DARTS等可微神经架构搜索（NAS）算法中，用于更新模型权重的训练集和用于更新模型架构的验证集是从相同的数据分布中采样的。因此，数据集中不常见的特征在训练过程中没有得到足够的关注。在本文中，我们没有引入更复杂的NAS算法，而是探索了将高质量的合成数据集添加到训练中可以帮助分类模型识别其弱点并提高识别精度的想法。我们引入了一种训练策略，称为“具有生成模型的可区分体系结构搜索（DASGM）”。在DASGM中，训练集用于更新分类模型权重，而合成数据集用于训练其架构。生成的图像具有与训练集不同的分布，这可以帮助分类模型学习更好的特征以识别其弱点。本文将DASGM构造成一个多层次的优化框架，并设计了一个有效的算法来求解，在CIFAR-10、CIFAR-100和ImageNet上的实验证明了DASGM的有效性。代码将提供。
2021-11-30 cs.CV cs.LG
Improving the performance of weak supervision searches using transfer and meta-learning
National Center for Theoretical Sciences（国家理论科学中心）；National Taiwan University（台湾大学）
针对弱监督搜索训练需大量信号的问题，本文提出先在模拟数据上进行迁移学习或元学习、再在实验数据上训练的方法，显著减少了所需信号并提升搜索性能。
2024-03-01 cs.LG hep-ex hep-ph
Improving Stability Estimates in Adversarial Explainable AI through Alternate Search Methods
University of Mississippi（密西西比大学）
针对局部替代类可解释AI方法易受对抗攻击且现有研究未量化其脆弱程度的问题，提出用替代搜索方法找最小可行扰动，以更优地比较可解释性方法的稳定性。
2025-01-15 cs.LG
FDNAS: Improving Data Privacy and Model Diversity in AutoML
Northeastern University（东北大学）；Sun Yat-sen University（中山大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
为了在实现自动化机器智能的同时防止私人信息泄露，集成联邦学习和神经架构搜索（NAS）是一种新兴趋势。虽然看起来很有希望，但两个原则的困难耦合使得算法开发具有相当大的挑战性。特别是，如何以联邦的方式直接从客户端的海量非iid数据中高效地搜索最优神经架构仍然是一个难题。为了应对这一挑战，在本文中，通过利用无代理NAS的进步，我们提出了一个联邦直接神经架构搜索（FDNAS）框架，允许从分散的非iid数据的客户端硬件感知NAS。为了进一步适应客户端的各种数据分布，受元学习的启发，提出了集群联合直接神经架构搜索（CFDNAS）框架以实现客户端感知的NAS，在这个意义上，每个客户端可以为其特定的数据分布学习定制的深度学习模型。在真实世界的非iid数据集上进行的大量实验表明，对于客户端的各种硬件和数据分布，最先进的精度-效率权衡。我们的代码将在书面接受后公开发布。
2020-11-06 cs.AI cs.LG eess.SP
Improving Decision Trees through the Lens of Parameterized Local Search
University of Helsinki（赫尔辛基大学）；TU Wien（维也纳工业大学）
本文通过参数化局部搜索分析决策树学习中的阈值调整和特征交换操作，证明其一般NP完全性，但特征数与域大小结合可实现固定参数可处理算法，并给出实证验证。
2025-10-14 cs.LG
Improving traffic sign recognition by active search
University Of Technology of Compiegne（贡比涅技术大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Zenseact
我们描述了一种迭代主动学习算法来识别罕见的交通标志。一个标准的ResNet是在一个只包含一个稀有类样本的训练集上训练的。我们证明，通过分类的一个大的，未标记的集合的样本属于稀有类的估计概率，我们可以有效地识别样本的稀有类。尽管这种估计的概率通常很低，但这仍然有效。通过标记这些候选样本，将它们包括在训练集中，并迭代该过程，可以获得可靠的主动学习循环。此外，我们表明，我们得到类似的结果从一个单一的合成样品。我们的研究结果很重要，因为它们为自动驾驶系统提供了一种改进交通标志识别的简单方法。此外，它们表明我们可以利用隐藏在低置信度输出中的信息，这些信息通常被忽略。
2021-11-29 cs.CV cs.LG
Context-Aware Query Rewriting for Improving Users' Search Experience on E-commerce Websites
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
电子商业查询通常简短而模糊。因此，查询理解通常使用查询重写来消除用户输入查询的歧义。在使用电子商业搜索工具时，用户倾向于在购买之前输入多个搜索，我们称之为上下文。这些历史搜索包含关于用户真实购物意图的上下文洞察。因此，建模这样的上下文信息是一个更好的查询重写模型的关键。然而，现有的查询重写模型忽略了用户的历史行为，只考虑即时搜索查询，这往往是一个简短的字符串提供有限的信息，真正的购物意图。我们提出了一个端到端的上下文感知查询重写模型来弥补这一差距，它考虑到搜索上下文。具体来说，我们的模型使用历史搜索查询及其包含的单词构建会话图。然后，我们采用一个图形注意力机制，模型的交叉查询关系和计算上下文信息的会话。该模型随后通过使用聚合网络将上下文信息与即时搜索查询组合来计算会话表示。会话表示然后被解码以生成重写的查询。从经验上讲，我们证明了我们的方法的优越性，以国家的最先进的方法在各种指标。在来自在线购物平台的内部数据上，通过引入上下文信息，与最佳基线方法（基于transformer的模型）相比，我们的模型在MRR（平均倒数排名）指标下实现了11.6%的改进，在HIT@16指标（命中率指标）下实现了20.1%的改进。
2022-09-24 cs.IR cs.LG
Don't Throw Away Your Beams: Improving Consistency-based Uncertainties in LLMs via Beam Search
ETH Zurich（苏黎世联邦理工学院）；MBZUAI（穆萨伊人工智能研究院）
本文提出通过光束搜索改进大语言模型中的基于一致性的不确定性量化方法，减少方差并提升性能，实验证明其在六个问答数据集上达到最先进的性能。
2026-05-07 cs.CL cs.LG stat.ML
Neural Architecture Transfer 2: A Paradigm for Improving Efficiency in Multi-Objective Neural Architecture Search
Politecnico di Milano（米兰理工大学）
本文提出NATv2，通过利用OFAv2改进的超网络并结合初始化、预处理、网络档案更新新策略及微调后处理流水线，改进多目标搜索算法，成功提升了动态超网络中可提取子网络的性能，适用于研究最少参数的高性能架构。
2023-07-03 cs.AI cs.CV cs.LG
Improving the performance of weak supervision searches using data augmentation
National Taiwan University（台湾大学）；National Center for Theoretical Sciences（国家理论科学中心）
针对弱监督训练神经网络需过量信号数据的问题，提出使用受物理启发的数据增强方法（如$p_{\ ext{T}}$涂抹和jet旋转）增加数据规模与多样性，显著提升了弱监督性能并减少数据需求。
2024-11-29 cs.LG hep-ex hep-ph
AutoDispNet: Improving Disparity Estimation With AutoML
University of Freiburg（弗莱堡大学）
计算机视觉的许多研究工作都花在优化现有的网络架构上，以在基准测试中获得更多的百分点。最近的AutoML方法有望减轻我们的负担。然而，它们主要是为相对小规模的分类任务而设计的。在这项工作中，我们展示了如何使用和扩展现有的AutoML技术，以有效地优化大规模的U-Net类编码器-解码器架构。特别是，我们利用基于梯度的神经架构搜索和贝叶斯优化进行超参数搜索。由此产生的优化不需要大规模的计算集群。我们展示了视差估计的结果，这些结果明显优于手动优化的基线，并达到了最先进的性能。
2019-10-06 cs.AI cs.CV cs.LG
Norm-Explicit Quantization: Improving Vector Quantization for Maximum Inner Product Search
The Chinese University of Hong Kong（香港中文大学）
矢量量化（VQ）技术被广泛用于数据压缩的相似性搜索、快速度量计算等。PQ，AQ）显式或隐式地最小化量化误差。本文提出了一种新的角度来分析量化误差，将量化误差分解为范数误差和方向误差。我们发现，量化误差的范数有更大的影响，内积比方向上的量化误差，小的量化误差并不一定会导致良好的性能在最大内积搜索（MIPS）。基于这一观察，我们提出了规范显式量化（NEQ）-一个通用的范例，改善现有的VQ技术MIPS。NEQ明确量化数据集中项目的范数，以减少范数误差，这对MIPS至关重要。对于方向向量，NEQ可以简单地重用现有的VQ技术来对它们进行重构而无需修改。我们在各种数据集和参数配置上进行了广泛的实验。实验结果表明，NEQ提高了各种VQ技术的性能MIPS，包括PQ，OPQ，RQ和AQ。
2019-11-20 cs.IR cs.LG
Policy Manifold Search for Improving Diversity-based Neuroevolution
Imperial College London（帝国理工学院）
多样性为基础的方法最近获得了流行的替代范式，以性能为基础的政策搜索。质量多样性（QD）是这个家族中的一种流行方法，它维护了一组在多样性度量空间中分离的高性能策略，这些策略是根据策略的推出行为定义的。当策略被参数化为神经网络，即神经进化时，QD往往不能很好地与参数空间维度进行缩放。我们的假设是，存在一个低维流形嵌入在政策参数空间，包含高密度的多样性和可行的政策。我们提出了一种新的方法，通过神经进化的多样性为基础的政策搜索，利用学习的潜在表示的政策参数，捕捉本地结构的数据。我们的方法根据QD框架迭代地收集策略，以便（i）构建不同策略的集合，（ii）使用它来学习策略参数的潜在表示，（iii）在学习的潜在空间中执行策略搜索。我们使用逆变换的雅可比矩阵（即重构函数）来指导潜在空间中的搜索。这确保了在重构之后，所生成的样本保持在原始空间的高密度区域中。我们评估我们的贡献在模拟环境中的三个连续控制任务，并比较基于多样性的基线。研究结果表明，我们的方法产生了一个更有效和强大的政策搜索过程。
2020-12-15 cs.LG cs.NE
TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科技大学）
神经结构搜索（NAS）的最新突破将该领域的研究范围扩展到更广泛的视觉任务和更多样化的搜索空间。虽然现有的NAS方法主要针对单个任务设计架构，但超越单任务搜索的算法正在寻求跨各种任务的更高效和通用的解决方案。他们中的许多人利用迁移学习，并寻求保存，重用和完善网络设计知识，以实现未来任务的更高效率。然而，跨任务NAS的巨大计算成本和实验复杂性给这一方向的有价值的研究带来了障碍。现有的NAS基准测试都集中在一种类型的视觉任务上，即，分类.在这项工作中，我们提出了TransNAS-Bench-101，这是一个基准数据集，包含七个任务的网络性能，包括分类，回归，像素级预测和自我监督任务。这种多样性提供了在任务之间转移NAS方法的机会，并允许发展更复杂的转移方案。我们探索两种根本不同类型的搜索空间：单元级搜索空间和宏观级搜索空间。通过对7个任务的7，352个骨干进行评估，提供了51，464个具有详细训练信息的训练模型。通过TransNAS-Bench-101，我们希望鼓励出现特殊的NAS算法，将跨任务搜索效率和通用性提高到一个新的水平。我们的数据集文件将在VEGA的Mindspore提供。
2021-05-25 cs.CV cs.LG
Neural Architecture Search for Improving Latency-Accuracy Trade-off in Split Computing
Yokohama National University（横滨国立大学）；Tokyo Institute of Technology（东京工业大学）；SkillUp AI, Co., Ltd.（SkillUp AI株式会社）
提出了一种用于分裂计算的神经结构搜索方法。拆分计算是一种新兴的机器学习推理技术，可解决在物联网系统中部署深度学习所面临的隐私和延迟挑战。在分离计算中，神经网络模型被分离，并通过网络使用边缘服务器和物联网设备进行协同处理。因此，神经网络模型的架构显着影响通信有效负载大小、模型准确性和计算负载。在本文中，我们解决的挑战，优化神经网络架构的分裂计算。为此，我们提出了NASC，它共同探索最佳模型架构和分裂点，以实现更高的准确性，同时满足延迟要求（即，计算和通信的总延迟小于某个阈值）。NASC采用一次性NAS，不需要重复的模型训练来进行计算高效的架构搜索。我们的性能评估使用硬件（HW）-NAS-Bench的基准数据表明，建议的NASC可以改善"通信延迟和模型准确性”的权衡，即，将延迟从基线减少约40-60%，精度略有下降。
2022-08-30 cs.DC cs.LG
AutoGeTS: Knowledge-based Automated Generation of Text Synthetics for Improving Text Classification
FabLab, Inetum（FabLab，Inetum）
针对文本分类数据不足的问题，提出自动化工作流AutoGeTS，利用LLM生成合成数据提升模型性能，并构建集成算法根据类别特征选择最优搜索策略，实验证明其优于单一策略。
2025-08-04 cs.CL cs.LG
Improving Neural Architecture Search Image Classifiers via Ensemble Learning
Google Research（谷歌研究院）
寻找最佳的神经网络架构需要大量的时间、资源和专业知识。这些挑战部分通过神经架构搜索（NAS）来解决，NAS能够找到最佳的卷积层或单元，然后将其用作网络的构建块。然而，一旦找到好的构建块，仍然需要手动设计来组装最终架构，作为预定义参数预算约束下的多个块的组合。一个常见的解决方案是将这些块堆叠成单个塔，并调整宽度和深度以满足参数预算。然而，这些单塔架构可能不是最佳的。相反，在本文中，我们提出的AdaNAS算法，使用集成技术组成一个神经网络作为一个较小的网络集成自动。此外，我们引入了一种新的技术，基于知识蒸馏迭代训练较小的网络使用以前的合奏作为老师。我们的实验表明，在保持相同数量的参数的同时，网络集成提高了单个神经网络的准确性。我们的模型在CIFAR-10上实现了与最先进技术相当的结果，并在CIFAR-100上建立了新的最先进技术。
2019-03-14 cs.LG stat.ML
Understanding and Improving Proximity Graph based Maximum Inner Product Search
The Chinese University of Hong Kong（香港中文大学）
内积可导航小世界图（ip-NSW）代表了最先进的近似最大内积搜索（MIPS）方法，它可以在最快的基线上实现一个数量级的加速。然而，迄今为止，仍不清楚其卓越的性能来自何处。在本文中，我们表明，有一个强大的范数偏置的MIPS问题，这意味着大范数项目很可能成为MIPS的结果。然后，我们解释了ip-NSW的良好性能匹配的标准偏差的MIPS问题-大的范数项目有很大的在ip-NSW接近图的度和图上的行走花费大部分的计算在这些项目上，从而有效地避免了不必要的计算小范数项目。此外，我们提出了ip-NSW+算法，它通过引入一个额外的角邻近图来改进ip-NSW。首先在角度图上搜索查询的角度邻居，然后利用这些角度邻居的MIPS邻居初始化候选池，在内积邻近图上进行搜索.实验结果表明，ip-NSW+在不同数据分布下的性能均显著优于ip-NSW，并具有更好的鲁棒性。
2019-12-09 cs.DS cs.IR cs.LG
Improving Text-based Person Search via Part-level Cross-modal Correspondence
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
本文针对基于文本的行人搜索提出部件级跨模态对应方法，通过无监督的粗细粒度嵌入对齐和基于共同性的边际排序损失，在三个公开基准上取得最佳性能。
2024-12-31 cs.CV cs.LG
Predicting and improving test-time scaling laws via reward tail-guided search
Department of Statistical Sciences, University of Toronto（多伦多大学统计科学系）；Department of AI and Data Science, University of Hong Kong（香港大学人工智能与数据科学系）
本文提出通过奖励尾部引导搜索预测并改进LLM测试时间扩展规律，通过动态分配计算资源提升推理能力。
2026-02-01 cs.LG stat.ML
Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift
Sun Yat-sen University（中山大学）；DarkMatter AI Research（DarkMatter AI 研究院）；Monash University（莫纳什大学）；University of Oxford（牛津大学）
最近提出的神经架构搜索（NAS）方法在超网中共同训练数十亿个架构，并使用从超网分离的网络权重来估计它们的潜在准确性。然而，网络体系结构的预测精度和实际性能之间的排序关系是不正确的，这导致了现有的NAS方法的困境。我们将这种排名相关性问题归因于超网训练的一致性偏移，包括特征偏移和参数偏移。特征移位被识别为由于随机路径采样而引起的隐藏层的动态输入分布。输入分布动态影响损失下降，并最终影响架构排名。参数偏移被识别为在不同训练步骤中针对不同路径中的共享层铺设的矛盾参数更新。快速变化的参数不能保持体系结构的排名。我们同时使用一个非平凡的超网Pi模型，称为Pi-NAS来解决这两个转变。具体来说，我们采用了一个包含交叉路径学习的超网Pi模型，以减少不同路径之间的特征一致性变化。同时，我们采用了一种新的非平凡的平均教师包含负样本，以克服参数移动和模型碰撞。此外，我们的Pi-NAS以无监督的方式运行，可以搜索更多可转移的架构。在ImageNet和广泛的下游任务（例如，COCO 2017、ADE 20 K和Cityscapes）证明了我们的Pi-NAS与监督式NAS相比的有效性和通用性。参见代码：https://github.com/Ernie1/Pi-NAS。
2021-08-22 cs.CV cs.LG
Improving Search Agent with One Line of Code
Nanjing University（南京大学）；Tencent YoutuLab（腾讯优图实验室）
通过一行代码改进搜索代理，提出SAPO算法以稳定训练并提升性能
2026-03-10 cs.CL cs.LG
Improving new physics searches with diffusion models for event observables and jet constituents
Université de Genève（日内瓦大学）
本研究提出Drapes扩散模型技术，通过侧带数据训练生成LHC信号区本底模板，在LHCO双喷注数据集上取得最优性能，结合喷注组分可提升信号灵敏度但在低显著性场景下性能下降。
2023-12-19 cs.LG hep-ex hep-ph
Improving the Capabilities of Large Language Model Based Marketing Analytics Copilots With Semantic Search And Fine-Tuning
University of Southern California（南加州大学）；Adobe Inc.（Adobe公司）
本文针对大语言模型在营销分析中的应用挑战，提出结合语义搜索、提示工程和微调方法，显著提升了LLM在特定领域问答、SQL生成和表格分析任务上的准确性，并在营销组合建模和归因用例上验证了GPT-4与Llama-2-70b等模型的效果。
2024-04-16 cs.CL cs.LG
VertexCBF: Improving Neural Control Barrier Functions via Vertex-Restricted Control Search
Technical University of Berlin（柏林工业大学）；AUMOVIO；Technical University of Applied Sciences Augsburg（奥格斯堡应用技术大学）；Robotics Institute Germany (RIG)（德国机器人研究所）
本文提出VertexCBF框架，通过顶点受限树搜索和残差架构学习神经控制障碍函数，在15个系统及硬件实验中可靠恢复大安全集，优于保守或失败的基线方法。
2026-09-24 cs.LG cs.RO cs.SY
