Coresets for Near-Convex Functions
University of Haifa（海法大学）
Coreset通常是$\mathbb{R}^d$中$n$输入点的一个小的加权子集，它可证明地近似于给定查询集（模型、分类器等）的损失函数。核心集在机器学习中变得越来越普遍，因为现有的算法或低效的算法可以通过在可以被维护用于流式传输分布式数据的小核心集上运行它们可能多次来改进。核心集可以通过敏感性（重要性）抽样获得，其大小与敏感性的总和成比例。不幸的是，计算每个点的灵敏度取决于问题，并且可能比手头的原始优化问题更难计算。我们提出了一个通用的框架计算灵敏度（因此coresets）的广泛的家庭损失函数，我们称之为近凸函数。这是通过建议将矩阵的SVD分解推广到函数的$f$ -SVD分解。示例应用包括新的或显著改进先前结果的核心集，例如SVM、Logistic回归、M估计量和$\ell_z$回归。实验结果和开放源代码也提供。
2020-06-18 cs.LG stat.ML
New Coresets for Projective Clustering and Applications
University of Haifa（海法大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
$(j,k)$ -投影聚类是$k$ -聚类和$j$ -子空间聚类问题族的自然推广。给定$\mathbb{R}^d$中的一组点$P$，目标是找到尺寸为$j$的$k$平面，即，仿射子空间，在给定的距离测度下最适合$P$。在本文中，我们提出了第一个算法，返回一个$L_\infty$ coreset的大小多项式在$d$。此外，我们给出了一般$M$ -估计回归的第一个强核心集构造。具体来说，我们表明，我们的建设提供了有效的coreset建设柯西，Welsch，胡贝尔，Geman-McClure，Tukey，$L_1-L_2$，公平回归，以及一般的凹和功率有界的损失函数。最后，我们提供了基于真实世界数据集的实验结果，显示了我们的方法的有效性。
2022-03-08 cs.LG
Coresets for Classification -- Simplified and Strengthened
Adobe Research（奥多比研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们给出了训练线性分类器的相对误差核心集，这些线性分类器具有广泛的损失函数，包括逻辑损失和铰链损失。我们的构造实现了具有$\tilde O(d \cdot μ_y(X)^2/ε^2)$点的$(1\pm ε)$相对误差，其中$μ_y(X)$是数据矩阵$X \in \mathbb{R}^{n \times d}$和标签向量$y \in \{-1,1\}^n$的自然复杂度度量，由Munteanu等人在2018年引入。我们的结果是基于子采样数据点的概率成比例的$\ell_1$ $Lewis$ $weights$。它显着提高了现有的理论界限，并在实践中表现良好，优于均匀子采样以及其他重要性采样方法。我们的采样分布不依赖于标签，因此可以用于主动学习。它也不依赖于特定的损失函数，因此单个coreset可以用于多个训练场景。
2021-06-18 cs.DS cs.LG
On Coresets for Regularized Loss Minimization
RelationalAI（RelationalAI公司）；UC Merced（加州大学默塞德分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
我们设计和数学分析基于采样的正则化损失最小化问题的算法，这些算法可以在流行的大数据计算模型中实现，其中对数据的访问以某种方式受到限制。我们的主要结果是，如果正则化的效果不成为可以忽略不计的规范的假设规模，并作为数据规模，那么一个均匀的样本适度的大小是具有高概率的coreset。在损失函数是逻辑回归或软边缘支持向量机的情况下，并且正则化器是常见的推荐选择之一，该结果意味着大小为$O(d \sqrt{n})$的均匀样本很有可能是$\Re^d$中$n$点的核心集。我们将这个上界与两个下界进行对比。第一个下界表明我们对均匀抽样的分析是严格的;也就是说，较小的均匀样本可能不是核心集。第二个下限表明，在某种意义上，均匀采样接近最佳，因为通常不存在明显较小的核心集。
2019-05-31 cs.LG stat.ML
Coresets for Gaussian Mixture Models of Any Shape
University of Haifa（海法大学）
对于给定的$n$点集合$D$，$\varepsilon$ -核心集通常是一个小的加权集合，这样对于给定的查询族，查询核心集\emph{provably}产生原始（完整）数据集的$(1+\varepsilon)$ -因子近似.使用现有技术，可以在例如网络、GPU或云上并行地为流式传输、动态（插入/删除）和分布式数据维护核心集。我们建议的第一coresets近似的负对数似然$k$ -高斯混合模型（GMM）的任意形状（其协方差矩阵的特征值之间的比率）。例如，对于其坐标在$[-n^{100},n^{100}]$中为整数的任何输入集$D$和任何固定的$k,d\geq 1$，核心集大小为$(\log n)^{O(1)}/\varepsilon^2$，并且可以以高概率在$n$中在时间上接近线性地计算。然后，通过学习小的核心集，可以快速近似最优GMM。以前的结果[NIPS'11，JMLR'18]表明，对于半特殊单位高斯的情况，其中它们的对应特征值是在$\frac{1}{2π}$到$2π$之间的常数。我们的主要技术是一个减少之间的核心$k$ -甘精胰岛素和投影聚类问题。我们实现了我们的算法，并提供了开放的代码，和实验结果。由于我们的核心集是通用的，对GARCH没有特殊的依赖，我们希望它们对许多其他函数有用。
2019-06-12 cs.LG stat.ML
Finding the Muses: Identifying Coresets through Loss Trajectories
Purdue University（普渡大学）
本文提出损失轨迹相关性 LTC，利用训练样本与验证集损失轨迹的一致性选择核心集，在 CIFAR-100 和 ImageNet-1k 上以低计算成本达到或超过现有方法，并具备良好架构迁移性。
2025-03-12 cs.AI cs.LG
Small coresets via negative dependence: DPPs, linear statistics, and concentration
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；National University of Singapore（新加坡国立大学）；Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）
本文针对DPP基核心集基数是否优于独立采样核心集的开放问题，将核心集损失视为线性统计量，推导了涵盖非对称核的更优集中不等式，证明DPP核心集效果更优，还拓展了向量值目标的核心集研究。
2024-11-01 cs.LG math.PR stat.ML
No Dimensional Sampling Coresets for Classification
Kahlert School of Computing, University of Utah（犹他大学卡勒特计算机学院）；ScaDS.AI, University of Leipzig（莱比锡大学ScaDS.AI）；MPI for Math in the Sciences（马克斯·普朗克数学科学研究所）
本文通过敏感度采样框架提出无维度核心集，其大小不依赖维度，适用于分布式输入和多种损失函数，并开发了 Radamacher 复杂度版本的关键工具。
2024-07-22 cs.CG cs.LG
Towards Sustainable Learning: Coresets for Data-efficient Deep Learning
University of California Los Angeles（加州大学洛杉矶分校）；Georgia Institute of Technology（佐治亚理工学院）
本文提出可扩展且有理论保证的 CREST 框架，通过二次子区域核心集与小批量选择加速深度网络训练，并在多类视觉和 NLP 数据集上实现 1.7–2.5 倍加速。
2023-06-02 cs.LG
Introduction to Coresets: Approximated Mean
University of Haifa（海法大学）
对于${\mathbb{R}}^d$中的集合$P$的平均查询，\emph{strong coreset}是小的加权子集$C\subseteq P$，其可证明地近似于其到任何中心（点）$x\in {\mathbb{R}}^d$的平方距离之和。\emph{weak coreset}（也）是$P$的小加权子集$C$，其均值近似于$P$的均值。虽然计算$P$的平均值可以很容易地在线性时间内计算，但其核心集可以用于解决更严格的约束版本，并且是推广的核心，例如$k$ -均值聚类的核心集。在本文中，我们调查大多数的平均coreset建设技术，并提出了一个统一的分析方法，提供和解释古典和现代的结果，包括一步一步的证明。特别是，我们收集了民间传说和分散的相关结果，其中一些在其他地方没有正式说明。在整个调查中，我们提出，解释，并证明了一套技术，减少和算法非常广泛和至关重要的在这一领域。然而，当应用于（相对简单的）均值问题时，这些技巧就更容易掌握了。该调查可能有助于指导不熟悉该领域的新研究人员，并通过一个简单但根本的问题向他们介绍核心集的最基本基础。这一领域的专家可能会喜欢统一的分析流程和现有结果的比较表。最后，为了鼓励和帮助从业者和软件工程师，我们为所有提出的算法提供完整的开源代码。
2021-11-04 cs.DS cs.LG
Explore and Establish Synergistic Effects Between Weight Pruning and Coreset Selection in Neural Network Training
针对深度神经网络训练中计算成本高的问题，本文分析冗余权重与样本的相互作用，提出同步权重与样本裁剪机制SWaST，缓解关键双重损失问题，实现剪枝与核心集选择的协同，在减少10%-90%FLOPs的同时准确率提升达17.83%。
2025-11-17 cs.LG
Provable Data Subset Selection For Efficient Neural Network Training
DataHeroes（DataHeroes公司）；Rice University（莱斯大学）；University of Haifa（海法大学）
径向基函数神经网络（\emph{RBFNN}）是众所周知的，因为它们能够在给定足够的隐藏神经元的情况下以任意精度逼近封闭有界集上的任何连续函数。在本文中，我们介绍了构造\emph{RBFNNs}核心集的第一个算法，即，小的加权子集，其近似任何径向基函数网络上的输入数据的损失，并且因此近似由较大输入数据上的\emph{RBFNN}定义的任何函数。特别地，我们构造了径向基和拉普拉斯损失函数的核心集。然后，我们使用我们的核心集来获得用于训练深度神经网络的可证明数据子集选择算法。由于我们的核心集近似于每个函数，它们也近似于神经网络中每个权重的梯度，这是输入上的一个特定函数。然后，我们在流行的网络架构和数据集上对函数逼近和数据集子集选择进行了实证评估，证明了我们的核心集构造的有效性和准确性。
2023-03-09 cs.AI cs.LG
Discrepancy, Coresets, and Sketches in Machine Learning
Amazon（亚马逊）
本文定义了函数族的类差异概念。它表明，低差异类承认小的离线和流coresets。我们提供了一般的技术来界定类差异的机器学习问题。作为一般技术的推论，我们绑定了逻辑回归的差异（以及因此的核心复杂性），sigmoid激活损失，矩阵协方差，核密度和点积或平方距离的任何解析函数。我们的结果证明了上述问题的ε-近似O（sqrt{d}/sqrt）大小的核心集的存在性.这解决了长期存在的开放问题的核心复杂性高斯核密度估计。我们提供了两个相关但独立的结果。首先，广泛使用的合并和减少技巧的指数改进，为任何低差异问题提供改进的流草图。第二，一个非常简单的确定性算法，用于找到任何半正定核的低差异序列（因此coresets）。本文建立了类差异，核心复杂性，可学习性和流算法之间的一些明确的联系。
2019-06-11 cs.DS cs.LG stat.ML
Introduction to Coresets: Accurate Coresets
University of Haifa（海法大学）
输入集的核心集（coreset或core-set）是它的小总和，这样对于给定的问题族（模型，分类器，损失函数），在核心集上解决一个问题作为其输入，可证明产生与在原始（完整）集上解决相同问题相同的结果。在过去的十年中，核心集构造算法已经被提出用于机器/深度学习、计算机视觉、图形学、数据库和理论计算机科学中的许多基本问题。这篇介绍性的论文是根据（通常是非专家，但也是同事）的要求写的，这些要求涉及许多不一致的coreset定义，缺乏可用的源代码，需要来自不同领域的深入理论背景，以及使初学者难以应用coreset并开发新的论文的密集论文。本文提供了民间传说，经典和简单的结果，包括一步一步的证明和数字，为最简单的（准确的）coreset非常基本的问题，如：向量和，最小封闭球，SVD/ PCA和线性回归。然而，我们没有发现他们的大部分建设在文献中。此外，我们希望将它们放在一起回顾的背景下，将有助于读者掌握现代的结果，通常扩展和推广这些基本的观察。专家们可能会喜欢将现有结果联系起来的统一符号和比较表。所有提出的算法都提供了带有示例脚本的开放源代码，以演示其实际用途，并支持比数学更熟悉编程的读者。
2019-10-19 cs.CG cs.LG stat.ML
The Space Complexity of Approximating Logistic Loss
LinkedIn Corporation（领英公司）；Purdue University（普渡大学）
本文研究 logistic 损失近似的数据结构空间下界，证明与 μ_y(X) 相关的两项下界并给出高效线性规划算法，说明现有 coreset 接近最优。
2024-12-03 cs.DS cs.LG
Linear time small coresets for k-mean clustering of segments with applications
University of Haifa（海法大学）；Ben-Gurion University of the Negev（内盖夫本·古里安大学）
本文提出了一种线性时间算法，用于构造小核心集，以高效解决段的k均值聚类问题，并在实时视频跟踪中验证了其有效性。
2025-11-20 cs.CG cs.CV cs.LG
Introduction to Core-sets: an Updated Survey
University of Haifa（海法大学）
在优化或机器学习问题中，我们被赋予一组项目，通常是一些度量空间中的点，目标是在一些候选解空间上最小化或最大化目标函数。例如，在聚类问题中，输入是某个度量空间中的一组点，而一个共同的目标是计算另一个空间（点、线）中的一组中心，以最小化到这些点的距离之和。在数据库查询中，我们可能需要为$k$中心的特定查询集计算这样的some。然而，传统算法无法处理现代系统，这些系统需要对来自传感器（如GPS）的无限分布式流进行并行实时计算，音频或视频到达云端，或智能手机或机器人等较弱设备的网络。核心集是输入“大数据”的“小数据”摘要，其中每个可能的查询在两个数据集上都具有大致相同的答案。通用技术使得能够对流式、分布式和动态数据进行有效的核心重置\changed{maintenance}。传统的算法，然后可以应用于这些coreset保持近似的最优解。挑战是设计coresets与可证明的权衡之间的大小和近似误差。本文以回顾的方式对此类结构进行了总结，旨在统一和简化现有的结构。
2020-11-18 cs.AI cs.CG cs.DS
Deep-ICE: the first globally optimal algorithm for minimizing 0-1 loss in two-layer ReLU and maxout networks
本文提出首个全局最优算法，用于最小化两层ReLU和maxout网络的经验风险，其最坏时间复杂度为O(N^{DK+1})，并引入新方法处理大规模数据，显著减少误分类。
2026-05-10 cs.LG
On the Complexity of Learning Sparse Functions with Statistical and Gradient Queries
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出可微学习查询DLQ以建模梯度查询，紧刻画了稀疏函数支撑学习的查询复杂度，并揭示其随损失函数变化及与SGD学习的对应关系。
2024-07-08 cs.DS cs.LG
Loss-Curvature Matching for Dataset Selection and Condensation
KAIST（韩国科学技术院）；Ewha Womans University（梨花女子大学）
在大型数据集上训练神经网络需要大量的计算成本。数据集缩减基于大型数据集选择或合成数据实例，同时最大限度地降低完整数据集的泛化性能下降。现有的方法在数据集约简过程中使用神经网络，因此模型参数成为保持约简后性能的重要因素。根据参数的重要性，本文提出了一种新的约简目标LCMat，它在模型参数空间上匹配原始数据集和约简数据集的损失曲率，而不是参数点。这个新的目标诱导一个更好的适应减少的数据集上的扰动参数区域比精确的点匹配。特别地，我们从局部参数区域中识别出损耗曲率间隙的最坏情况，并通过理论分析推导出这种最坏情况的可实现上界。我们在核心集选择和凝聚基准上的实验表明，LCMat比现有的基准具有更好的泛化性能。
2023-03-08 cs.AI cs.CV cs.LG
Robust Regression of General ReLUs with Queries
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对高斯分布下一般ReLU的平方损失鲁棒回归，提出首个高效查询算法，使用d polylog(1/ε)+Õ(min{1/p,1/ε})个标签查询达到O(opt)+ε误差，并证明查询复杂度近最优。
2026-06-09 cs.LG
Distribution Learning with Valid Outputs Beyond the Worst-Case
University of California - San Diego（加利福尼亚大学圣迭戈分校）
本文研究受有效性约束的分布学习，证明当数据分布位于模型类中且最小化对数损失时，确保有效性所需样本数对有效性要求依赖较弱；当有效性区域属于 VC 类时，有限数量的有效性查询通常足够，从而刻画了比最坏情况更容易的制度。
2024-10-21 cs.LG
Distributionally Robust Optimization via Ball Oracle Acceleration
我们开发和分析算法的凸损失的分布鲁棒优化（DRO）。特别是，我们考虑组结构和有界$f$ -发散不确定集。我们的方法依赖于一个加速的方法，查询一个球优化预言，即，一个子程序，最小化目标在一个小球周围的查询点。我们的主要贡献是有效地实现这个预言的DRO目标。对于具有$N$非光滑损失函数的DRO，所得到的算法使用对各个损失函数的$\widetilde{O}\left(Nε^{-2/3} + ε^{-2}\right)$一阶Oracle查询找到$ε$精确解。与现有的算法相比，这个问题，我们提高了复杂性的一个因素高达$ε^{-4/3}$。
2022-03-24 cs.DS cs.LG math.OC
Answering Private Linear Queries Adaptively using the Common Mechanism
Penn State（宾夕法尼亚州立大学）；University of Maryland, College Park（马里兰大学帕克分校）
当通过隐私过滤器分析机密数据时，数据科学家通常需要决定哪些查询最能支持他们的预期分析。例如，分析师可能希望研究由机制M1产生的数据集中的噪声双向边际。但是，如果数据相对稀疏，分析师可能会选择检查由机制M2产生的噪声单向边际。由于使用M1还是M2的选择是依赖于数据的，因此典型的差异隐私工作流程是首先将隐私损失预算rho分为两部分：rho 1和rho 2，然后使用第一部分rho 1来确定使用哪种机制，剩余部分rho 2从所选机制中获得噪声答案。从某种意义上说，第一步似乎是浪费的，因为它拿走了一部分隐私损失预算，而这些预算本来可以用来使查询答案更准确。在本文中，我们考虑的问题是，M1和M2之间的选择是否可以在不浪费任何隐私损失预算的情况下进行。对于线性查询，我们提出了一种将M1和M2分解为三个部分的方法：（1）捕获它们共享信息的机制M*，（2）捕获特定于M1的信息的机制M1'，（3）捕获特定于M2的信息的机制M2'。一起运行M* 和M1'完全等同于运行M1（在查询答案准确性和总隐私成本rho方面）。类似地，一起运行M* 和M2'完全等同于运行M2。由于无论如何都将使用M*，因此分析员可以使用其输出来决定随后是运行M1 '（因此重新创建由M1支持的分析）还是M2'（重新创建由M2支持的分析），而不会浪费隐私损失预算。
2022-11-30 cs.CR cs.DB cs.LG
Thinking Inside the Ball: Near-Optimal Minimization of the Maximal Loss
我们的特点的复杂性最小化$\max_{i\in[N]} f_i(x)$凸，Lipschitz功能$f_1,\ldots, f_N$。对于非光滑函数，现有方法需要对一阶预言机进行$O(Nε^{-2})$查询以计算$ε$ -次优点，如果$f_i$是$O(1/ε)$ -光滑的，则需要进行$\tilde{O}(Nε^{-1})$查询.我们开发的方法与改进的复杂性界限的$\tilde{O}(Nε^{-2/3} + ε^{-8/3})$在非光滑的情况下，$\tilde{O}(Nε^{-2/3} + \sqrt{N}ε^{-1})$在$O(1/ε)$ -光滑的情况下。我们的方法包括最近提出的球优化预言加速算法（我们改进）和softmax函数的仔细实现。我们还证明了一个甲骨文的复杂性下限缩放为$Ω(Nε^{-2/3})$，表明我们对$N$的依赖是最佳的多对数因子。
2021-05-04 cs.DS cs.LG math.OC
RadGrad: Active learning with loss gradients
University of Toronto（多伦多大学）
解决顺序决策预测问题，包括那些在模仿学习设置，需要减轻的问题，协变量偏移。标准的方法Dagger依赖于在智能体到达的所有状态下捕获专家行为。在现实世界中，咨询专家的成本很高。我们提出了一种新的主动学习算法，有选择地查询专家，基于代理错误和代理风险的预测，保持无约束的专家查询系统的性能，同时大大减少了专家查询的数量。我们表明，我们的方法，RadGrad，有可能改善现有的安全意识算法，并匹配或超过Dagger和变体的性能（即，SafeDagger）在一个模拟环境中。然而，我们也发现，更复杂的环境不仅对我们提出的方法提出了挑战，而且对现有的安全感知算法提出了挑战，这些算法在我们的实验中与Dagger的性能不匹配。
2019-06-18 cs.AI cs.LG cs.RO
Active Linear Regression for $\ell_p$ Norms and Beyond
UMass Amherst（马萨诸塞大学阿默斯特分校）；NYU（纽约大学）；CMU（卡内基梅隆大学）
我们研究了线性回归的主动抽样算法，其目的是只查询一个目标向量$b\in\mathbb R^n$的几个条目，并输出一个接近极小值的$\min_{x\in\mathbb R^d} \|Ax-b\|$，设计矩阵$A\in\mathbb R^{n \times d}$和损失$\|\cdot\|$。对于任何$0<p<\infty$的$p$范数回归，我们给出了一个基于Lewis权重采样的算法，该算法仅使用$\tilde O(d/ε^2)$查询来输出$(1+ε)$近似解，$b$用于$p\in(0,1)$，$\tilde{O}(d/ε)$查询用于$1<p<2$，以及$\tilde{O}(d^{p/2}/ε^p)$查询用于$2<p<\infty$。对于$0<p<2$，我们的边界是最佳的对数因子，解决了这个范围内的查询复杂性。对于$2<p<\infty$，我们对$d$的依赖性是最优的，而我们对$ε$的依赖性最多偏离$ε$，达到对数因子。我们的结果解决了[CD 21]的一个悬而未决的问题，他给出了$1$范数的接近最优的界限，但需要$d^2/ε^2$样本进行$\ell_p$回归与$1<p<2$，并且没有给出$2<p<\infty$或$0<p<1$的界限。我们还给出了$O(d^{\max\{1,p/2\}}\log^2n)$对$p$次多项式增长损失函数的第一全灵敏度界，改进了[TMF 20]的一个结果.通过…
2022-09-26 cs.DS cs.LG stat.ML
Margin-Independent Online Multiclass Learning via Convex Geometry
Google Research（谷歌研究院）；MIT（麻省理工学院）
我们考虑多类分类的问题，其中一个流的adversarily选择查询到达，必须被分配一个标签在线。与传统的边界，寻求最大限度地减少误分类率，我们最大限度地减少从每个查询到其正确的标签对应的区域的总距离。当真正的标签是通过一个最近的邻居分区确定-即一个点的标签是由$k$中心，它是最接近的欧几里得距离-我们可以实现的损失，是独立的查询总数。我们补充这一结果表明，学习一般凸集需要几乎线性损失每个查询。我们的结果建立了上下文搜索的几何问题的遗憾保证。此外，我们开发了一种新的减少技术，从多类分类到二进制分类，这可能是独立的利益。
2021-11-15 cs.DS cs.LG
Efficiently Learning Any One Hidden Layer ReLU Network From Queries
MIT（麻省理工学院）；UT Austin（德克萨斯大学奥斯汀分校）；UCLA（加利福尼亚大学洛杉矶分校）
模型窃取攻击重新引起了人们对从查询中学习神经网络这一经典问题的兴趣。在这项工作中，我们给出了第一个多项式时间算法学习任意一个隐藏层神经网络激活提供黑盒访问网络。形式上，我们表明，如果$F$是一个具有ReLU激活的任意一个隐藏层神经网络，则存在一个查询复杂度和运行时间在所有参数中均为多项式的算法，该算法输出的网络$F'$相对于高斯测度而言，相对于$F$，平方损失较低。虽然在安全文献中的一些作品已经提出并实证证明了某些算法对这个问题的有效性，我们是第一个完全多项式时间保证效率，即使是最坏情况下的网络（特别是我们的算法成功地在overparameterized设置）。
2021-11-08 cs.CR cs.DS cs.LG
Deep Pairwise Learning To Rank For Search Autocomplete
Amazon Search（亚马逊搜索）
自动完成（又名“查询自动完成”，“AC”）建议根据客户键入的前缀进行完整查询。自动补全已经成为商业搜索引擎的核心功能。在本文中，我们提出了一种新的上下文感知的神经网络为基础的成对排序器（DeepPLTR），以提高AC排名，DeepPLTR利用上下文和行为特征，排名查询，通过最小化成对损失，基于一个完全连接的神经网络结构。与LambdaMART排名器相比，DeepPLTR在离线评估中显示出+3.90%的平均倒数排名（MRR）提升，并在亚马逊的在线A/B实验中产生了+0.06%（p < 0.1）的总销售价值（GMV）提升。
2021-12-22 cs.IR cs.LG
Spelunking the Deep: Guaranteed Queries on General Neural Implicit Surfaces via Range Analysis
University of Toronto（多伦多大学）；Adobe Research（奥多比研究院）
神经隐式表示将表面编码为应用于空间坐标的神经网络的水平集，已被证明对于优化、压缩和生成3D几何形状非常有效。虽然这些表示很容易拟合，但如何最好地评估形状上的几何查询（例如与射线相交或查找最近点）尚不清楚。主要的方法是鼓励网络具有符号距离属性。然而，该属性通常仅近似地保持，从而导致鲁棒性问题，并且仅在训练结束时保持，从而抑制了在损失函数中使用查询。相反，这项工作提出了一种新的方法来执行查询，直接对一般的神经隐式功能的广泛的现有架构。我们的关键工具是应用范围分析神经网络，使用自动算术规则约束一个区域的网络的输出，我们进行了研究范围分析神经网络，并确定变种的仿射算法是非常有效的。我们使用由此产生的边界来开发几何查询，包括光线投射，相交测试，构建空间层次结构，快速网格提取，最近点评估，评估批量属性，等等。我们的查询可以在GPU上有效地进行评估，即使在随机初始化的网络上也能提供具体的准确性保证，使其能够用于训练目标及其他领域。我们还展示了一个初步的应用程序，逆渲染。
2022-06-24 cs.CV cs.GR cs.LG
MSF3DDETR: Multi-Sensor Fusion 3D Detection Transformer for Autonomous Driving
Institute of System and Robotics（系统与机器人研究所）；University of Coimbra（科英布拉大学）
3D目标检测是自动驾驶的重要任务。近年来随着视觉Transformer的发展，2D目标检测问题正以集合到集合的损失来处理。受这些二维目标检测方法和多视角三维目标检测方法DETR 3D的启发，我们提出了MSF 3DDETR：Multi-Sensor Fusion 3D Detection Transformer架构，融合图像和LiDAR特征，提高检测精度。我们的端到端单级、无锚点和无NMS网络可以接收多视图图像和LiDAR点云，并预测3D边界框。首先，我们使用一种新的MSF 3DDETR交叉注意块将从数据中学习到的对象查询与图像和LiDAR特征联系起来。其次，对象查询在多头自注意块中相互交互。最后，将MSF 3DDETR块重复$L$多次以细化对象查询。MSF 3DDETR网络使用基于匈牙利算法的二分匹配和受DETR启发的集到集损失在nuScenes数据集上进行端到端训练。我们提出了定量和定性的结果，这是有竞争力的国家的最先进的方法。
2022-10-27 cs.CV cs.LG cs.RO
DeepCAT: Deep Category Representation for Query Understanding in E-commerce Search
Emory University（埃默里大学）；The Home Depot（家得宝）
将搜索查询映射到产品分类中的一组相关类别在电子商业搜索中是一个重大挑战，原因有两个：1）由于有偏见的点击行为，训练数据表现出严重的类不平衡问题，以及2）具有很少客户反馈的查询（例如，尾查询）在训练集中没有很好地表示，并且导致查询理解的困难。为了解决这些问题，我们提出了一个深度学习模型DeepCAT，它学习联合词-类别表示以增强查询理解过程。我们相信，学习类别的相互作用，有助于提高少数类，尾部和躯干查询的类别映射的性能。DeepCAT包含一个新的词-类别表示模型，该模型基于训练集中的词-类别共现来训练类别表示。然后利用类别表示引入一个新的损失函数来估计类别-类别共现，以改进联合词-类别嵌入。为了证明我们的模型对少数类别和尾查询的有效性，我们进行了两组实验。结果表明，DeepCAT在少数类上实现了10%的改进，在最先进的标签嵌入模型上实现了7.1%的尾查询改进。我们的研究结果提出了一个有前途的方向，以改善电子商业搜索的语义建模的分类层次结构。
2021-05-10 cs.CL cs.IR cs.LG
DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
Massachusetts Institute of Technology（麻省理工学院）；Toyota Research Institute（丰田研究所）；Carnegie Mellon University（卡内基梅隆大学）；Li Auto（理想汽车）；Tsinghua University（清华大学）
我们介绍了一个多摄像机三维目标检测的框架。与现有的直接从单目图像估计3D边界框或使用深度预测网络从2D信息生成3D目标检测的输入的工作相比，我们的方法直接在3D空间中操纵预测。我们的架构从多个相机图像中提取2D特征，然后使用稀疏的3D对象查询集来索引这些2D特征，使用相机变换矩阵将3D位置链接到多视图图像。最后，我们的模型对每个对象查询进行限界框预测，使用集到集损失来测量地面实况和预测之间的差异。这种自上而下的方法优于其自下而上的对应方法，其中对象限界框预测遵循每像素深度估计，因为它不受深度预测模型引入的复合误差的影响。此外，我们的方法不需要后处理，如非最大值抑制，大大提高了推理速度。我们在nuScenes自动驾驶基准测试中实现了最先进的性能。
2021-10-13 cs.AI cs.CV cs.LG
Functional Aggregate Queries with Additive Inequalities
relational AI（关系人工智能公司）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；University of Zurich（苏黎世大学）；University of Washington（华盛顿大学）
受数据库和关系机器学习中的基本应用的启发，我们制定和研究回答功能性聚集查询（FAQ）的问题，其中一些输入因素定义的变量之间的加法不等式的集合。我们将这些查询简称为FAQ-AI。为了在布尔半环中回答FAQ-AI问题，我们定义了松弛树分解和松弛子模超树宽度参数以及分数超树宽度参数。我们表明，扩展的InsideOut算法使用Chazelle的几何数据结构解决半群范围搜索问题，可以回答布尔FAQ-AI在这些新的宽度参数的时间。这种新算法比FAQ-AI的已知解决方案实现了更低的复杂度。它还恢复了一些已知的数据库查询回答的结果。我们的第二个贡献是一个放松的集合的polymatroids，从而产生了计数版本的子模的宽度，表示为#subw。这个新的宽度夹在子模超树宽度和分数超树宽度之间。一个半环上的任何FAQ和FAQ-AI都可以在与#subw和分别与#subw的松弛版本成比例的时间内回答。我们提出了FAQ-AI框架在关系机器学习中的三个应用：k均值聚类，训练线性支持向量机，以及使用非多项式损失训练模型。这些优化问题可以在数据库上渐近地比计算数据库关系的连接更快地解决。
2020-09-15 cs.DB cs.DS cs.IT
