CAVEN: An Embodied Conversational Agent for Efficient Audio-Visual Navigation in Noisy Environments
MERL（三菱电机研究实验室）；UC Riverside（加州大学河滨分校）
本文提出CAVEN框架，通过对话式交互和预算感知决策，在嘈杂环境中实现高效视听导航，显著提升成功率。
2023-12-27 cs.AI cs.CL cs.CV
Error-Tolerant Exact Query Learning of Finite Set Partitions with Same-Cluster Oracle
University of Chicago（芝加哥大学）
本文通过同簇预言机在对抗性错误下研究划分的精确恢复，建立与相关聚类的联系，构建Rényi-Ulam框架并证明查询复杂度上下界，同时分析随机算法性能及自适应性与复杂度的关系。
2023-06-16 cs.DS cs.LG stat.ML
Towards a Query-Optimal and Time-Efficient Algorithm for Clustering with a Faulty Oracle
University of Sheffield（谢菲尔德大学）；University of Southern California（南加州大学）
受数据库中众包实体解析、社交网络中的符号边预测和相关聚类等应用的启发，Mazumdar和Saha [NIPS 2017]提出了一个优雅的理论模型，用于研究具有错误预言的聚类。在这个模型中，给定一组属于$k$未知组（或簇）的$n$项，我们的目标是通过向oracle请求成对查询来恢复簇。此oracle可以回答查询“项目$u$和$v$是否属于同一个集群？”''.然而，对于某些$\varepsilon\in(0,\frac12)$，每个成对查询的答案以概率$\varepsilon$出错。Mazumdar和Saha在该模型下提供了两种算法：一种算法是查询最优的，但时间效率低（即，以准多项式时间运行），另一种是时间有效的（即，在多项式时间内），而查询是次优的。Larsen，Mitzenmacher和Tsourakakis [WWW 2020]然后针对$2$集群的特殊情况给出了一种新的时间有效算法，如果模型的偏差$δ:=1-2\varepsilon$很大，则该算法是查询最优的。这是一个悬而未决的问题，是否可以获得一个查询最佳的，时间效率高的算法的一般情况下，$k$集群和其他制度的$δ$。在本文中，我们取得了进展，对上述问题，并提供了一个时间效率的算法与接近最佳的查询复杂度（高达$O(\log^2 n)$的一个因素）的所有常数$k$和任何$δ$的制度时，信息理论的恢复是可能的。我们的算法是建立在连…
2021-06-18 cs.DS cs.LG stat.ML
Query complexity of heavy hitter estimation
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们考虑的问题，确定的元素的子集$\mathcal{S}^γ_{\mathcal{P}}$的支持下的底层分布$\mathcal{P}$的概率值大于一个给定的阈值$γ$，通过主动查询一个oracle，以获得有关序列$X_1, X_2, \ldots$的$i.i.d.$样本从$\mathcal{P}$。我们考虑两种查询模型：$(a)$每个查询是索引$i$并且oracle返回值$X_i$和$(b)$每个查询是一对$(i,j)$并且oracle给出确认是否为$X_i = X_j$的二进制答案。对于这些查询模型中的每一个，我们设计了顺序估计算法，在每一轮，要么决定什么查询发送到Oracle的整个历史的响应，或决定停止并输出估计的$\mathcal{S}^γ_{\mathcal{P}}$，这是需要正确的一些预先指定的大概率。我们提供的查询复杂度的算法的任何分布$\mathcal{P}$的上限，也得到了最佳的查询复杂度的下限下的两个查询模型。我们还考虑了两个查询模型的噪声版本，并提出了鲁棒的估计，可以有效地对抗噪音的预言机响应。
2021-02-10 cs.DS cs.IT cs.LG
Relaxed Oracles for Semi-Supervised Clustering
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
成对“同簇”查询是半监督聚类中最广泛使用的监督形式之一。然而，要求人类神谕正确回答每个查询是不切实际的。在本文中，我们研究的影响，允许“不确定”的答案从一个弱的预言，并提出了一个有效的算法来处理这种不确定性的查询响应。两个现实的弱预言模型被认为是在回答的歧义取决于两点之间的距离。我们表明，一个小的查询复杂度是足够的有效聚类的概率高，提供更好的对弱预言。合成和真实数据的实验结果表明，我们的方法在克服监督的不确定性，产生高质量的集群的有效性。
2017-11-20 cs.LG stat.ML
(Bandit) Convex Optimization with Biased Noisy Gradient Oracles
University of Alberta（阿尔伯塔大学）；Indian Institute of Technology Madras（马德拉斯印度理工学院）；Imperial College London（伦敦帝国理工学院）
用于凸优化和在线学习的算法通常依赖于构造噪声梯度估计，然后在适当调整的一阶算法中使用该噪声梯度估计，以代替实际梯度。依赖于要优化的函数的性质和在强盗反馈中的“噪声”的性质，梯度估计的偏差和方差表现出各种折衷。在本文中，我们提出了一个新的框架，取代了具体的梯度估计方法与抽象的预言。在新框架的帮助下，我们统一了以前的作品，再现他们的结果在一个干净和简洁的方式，同时，也许更重要的是，该框架还允许我们正式表明，要实现最佳的根$n$率的算法，使用现有的梯度估计，或证明技术来分析他们必须超越今天存在的。
2020-07-04 cs.LG stat.ML
Comparison Based Learning from Weak Oracles
Yale University（耶鲁大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
人们对涉及人机交互的学习算法越来越感兴趣。基于比较的查询是从人类那里获得反馈的最自然的方式之一。设计基于比较的交互式学习算法的一个挑战是处理噪声答案。最常见的解决方法是多次提交查询，但由于其高昂的成本以及在同一查询的不同重复中独立噪声的不切实际的假设，这在许多情况下并不适用。在本文中，我们引入了一个新的弱预言机模型，其中一个非恶意用户响应成对比较查询时，她是相当肯定的答案。该模型能够模拟人类在易受噪声影响的区域中的行为。通过比较，我们还考虑了这个弱预言模型在内容搜索问题（最近邻搜索问题的一个变体）中的应用。更具体地说，我们的目标是设计有效的算法来定位一个目标对象在数据库中配备了一个相异性度量通过调用弱比较预言。我们提出了两个算法，称为WORCS-I和WORCS-II（弱Oracle比较为基础的搜索），可证明定位目标对象在一些比较接近的熵的目标分布。虽然WORCS-I提供了更好的理论保证，WORCS-II适用于更具技术挑战性的场景，其中算法对对象之间的排名不相似性的访问有限。一系列的实验验证了我们提出的算法的性能。
2018-02-20 cs.DS cs.LG stat.ML
Semi-Supervised Active Clustering with Weak Oracles
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
半监督主动聚类（SSAC）利用领域专家的知识，通过交互式地进行成对的“同类”查询来聚类数据点。然而，要求人类预言机回答每个成对查询是不切实际的。在本文中，我们研究的影响，允许“不确定”的答案从一个弱的预言，并提出算法，以有效地处理不确定性。不同类型的模型假设进行了分析，以涵盖现实的情况下，甲骨文抽象。在第一个模型中，随机弱预言机，预言机以一定的概率随机弃权。我们还提出了两个距离弱预言机模型，模拟了两点之间的距离在成对查询混淆的情况。对于每个弱预言模型，我们表明，一个小的查询复杂度是足够的有效的$k$手段聚类的概率高。用于保证的充分条件包括数据的$γ$ -余量属性，以及存在接近每个聚类中心的点。此外，我们提供了一个样本的复杂性，降低了集群的利润率的影响，只有对数依赖于数据维度。我们的研究结果允许显着减少相同的集群查询的数量，如果集群的边缘是紧的，即$γ\approx 1$。合成数据的实验结果表明，我们的方法在克服不确定性的有效性能。
2017-09-11 cs.LG stat.ML
Anisotropic oracle inequalities in noisy quantization
量化变量中的误差的影响进行了研究。证明了基于噪声样本$Z_i=X_i+ε_i,i=1,\ldots,n$的经验极小化问题的一般快速精确和非精确预言不等式，其中$X_i$是独立同分布的. $f$和$ε_i$的密度为i.i.d.。密度为$η$。这些速率依赖于密度$f$的几何形状和$η$的特征函数的渐近行为。这个一般性的研究可以应用到问题的$k$ -均值聚类与噪声数据。为此，我们引入了一个反卷积$k$ -平均随机最小化，达到快速的标准波拉德的正则性假设下的收敛速度。
2013-05-03 math.ST stat.ML stat.TH
Clustering with Noisy Queries
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在本文中，我们发起了一个严格的理论研究聚类与嘈杂的查询（或一个错误的预言）。给定一组$n$元素，我们的目标是通过向Oracle请求最少数量的成对查询来恢复真正的聚类。Oracle可以回答以下形式的查询："元素$u$和$v$属于同一个簇吗？"--可以交互式地（自适应查询）或非自适应地预先询问查询，但是其答案可能是错误的，概率为$p$。在本文中，我们提供了第一个信息理论的查询数量的下限聚类与嘈杂的甲骨文在这两种情况下。我们设计了新的算法，密切配合这个查询的复杂性下限，即使当集群的数量是未知的。此外，我们设计的计算效率的算法，自适应和非自适应设置。该问题捕获/概括了多个应用场景。它的直接动机是越来越多的工作使用众包{\em实体解析}，一个基本的和具有挑战性的数据挖掘任务，旨在识别数据库中引用同一实体的所有记录。在这里，crowd代表嘈杂的预言机，查询的数量直接关系到众包的成本。另一个应用来自社交网络中的{\em符号边缘预测}问题，其中社交交互可以是正面的和负面的，并且必须通过查询几对来识别所有成对交互的符号。此外，聚类与嘈杂的预言是密切相关的聚类，导致其中的改进。最后，介绍了一个新的研究方向，在流行的{\em随机块模型}，其中有一个不完整的随机块模型矩阵来恢复集群。
2017-06-22 cs.DS cs.IT cs.LG
Noise-Tolerant Interactive Learning from Pairwise Comparisons
我们研究的问题，交互式学习的二元分类器使用嘈杂的标签和成对比较预言，其中比较预言回答哪一个在给定的两个实例更有可能是积极的。从这样的预言机中学习有多种应用，其中获得直接标签更难，但成对比较更容易，并且算法可以利用这两种类型的预言机。在本文中，我们试图描述如何访问一个更容易的比较甲骨文有助于提高标签和总的查询复杂性。我们表明，比较甲骨文减少了学习问题，学习阈值函数。然后，我们提出了一个算法，交互式查询的标签和比较的预言机，我们的查询复杂性下Tsybakov和对抗性噪声条件下的比较和标签预言机的特征。我们的下界表明，我们的标签和总的查询复杂度几乎是最优的。
2017-05-19 stat.ML
Modularity in Query-Based Concept Learning
University of California, Berkeley（加州大学伯克利分校）
我们定义并研究了模块化概念学习问题，即学习一个概念是一个组件概念的交叉产品。如果一个元素在概念中的成员资格仅仅取决于它在组件中的成员资格，那么学习整个概念就可以简化为学习组件。我们分析这个问题，相对于不同类型的Oracle接口，定义不同的查询集。如果一个给定的oracle接口不能回答关于组件的问题，学习可能会很困难，即使组件很容易通过相同类型的oracle查询学习。虽然从超集查询中学习很容易，但从成员关系、等价关系或子集查询中学习却很难。然而，我们表明，这些问题变得容易处理时，甲骨文给出了一个积极的例子，并允许要求成员查询。
2019-11-07 cs.AI cs.LG stat.ML
How to Design Robust Algorithms using Noisy Comparison Oracle
基于度量的比较操作，如寻找最大值，最近和最远邻居是研究各种聚类技术，如$k$ -中心聚类和凝聚层次聚类的基础。这些技术关键依赖于记录之间的成对距离的准确估计。然而，计算记录的确切特征及其成对距离通常具有挑战性，有时甚至不可能。我们通过以比较预言的形式利用弱监督来规避这一挑战，该比较预言比较查询点之间的相对距离，例如"点u更接近v还是w更接近x？“'.但是，使用比较Oracle可能会发现某些查询比其他查询更容易回答。我们通过引入两种不同的噪声模型来捕捉这一点，称为对抗性噪声和概率噪声。在本文中，我们研究了各种问题，包括寻找最大值，最近/最远邻居搜索这些噪声模型。建立在我们开发的这些比较操作的技术，我们给强大的算法k-中心聚类和凝聚层次聚类。我们证明了我们的算法实现了很好的近似保证的概率很高，并分析其查询复杂度。我们在各种真实世界的数据集上凭经验评估我们的技术的有效性和效率。
2021-05-12 cs.DB cs.DS stat.ML
Query Complexity of k-NN based Mode Estimation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
受未知多元概率密度函数的模式估计问题的启发，本文研究了在给定的n个点的数据集上，如何确定具有最小k次近邻距离的点.我们研究的情况下，成对的距离是先验未知的，但我们可以访问一个预言，我们可以查询，以获得噪音的信息之间的任何一对点的距离。针对两种自然预言机模型，设计了一种基于置信区间思想的序贯学习算法，该算法自适应地决定向预言机发送哪些查询，能够以较高的概率正确求解问题。我们推导出依赖于实例的上界的查询复杂性，我们提出的计划，并通过广泛的数值评估，也证明了显着改善其他基线的性能。
2020-10-26 cs.IT cs.LG math.IT
QActor: On-line Active Learning for Noisy Labeled Stream Data
TU Delft（代尔夫特理工大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；ABB Future Labs（ABB未来实验室）
对于不断发布在网络和社交媒体上的自我生成内容来说，嘈杂的标记数据更像是一种常态，而不是罕见的。由于隐私问题和政府法规，这样的数据流只能在有限的时间内存储和用于学习目的。为了克服这种在线情况下的噪声，我们提出了QActor，它结合了：通过质量模型选择理应干净的样本，并积极查询最翔实的真实标签的预言。虽然前者可能受到在线场景数据量低的影响，但后者受到人类专家可用性和成本的限制。QActor迅速结合了数据过滤质量模型和Oracle查询的优点，以清理信息量最大的数据。QActor的目标是利用严格的Oracle预算来最大限度地提高学习精度。QActor探索了结合不同查询分配和不确定性度量的各种策略。QActor的一个核心特性是根据每个数据批次的学习损失动态调整查询限制。我们广泛评估了输入分类器的不同图像数据集，这些数据集可以是标准的机器学习（ML）模型或深度神经网络（DNN），噪声标签比率在30%到80%之间。我们的研究结果表明，QActor几乎可以匹配仅使用干净数据实现的最佳准确度，其代价是最多额外增加6%的oracle地面真实数据。
2020-01-28 cs.LG stat.ML
Active Classification with Uncertainty Comparison Queries
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心）
噪声成对比较反馈已被纳入，以提高交互式学习的二进制分类器的整体查询复杂度。\textit{positivity comparison oracle}用于提供关于给定一对数据点哪个更可能为正的反馈。因为不可能单独使用该预言机\textit{without knowing the classification threshold}来推断准确的标签，所以现有方法仍然依赖于传统的\textit{explicit labeling oracle}，其直接回答给定数据点的标签。现有方法对所有数据点进行排序，并使用显式标记oracle来找到分类阈值。然而，目前的方法有两个缺点：（1）它们需要不必要的排序来进行标签推理;（2）快速排序天真地适应噪声反馈，并对实际性能产生负面影响。为了避免这种低效率和获取信息的分类阈值，我们提出了一种新的两两比较预言机的不确定性。该预言机接收两个数据点作为输入，并回答哪个具有更高的不确定性。然后，我们提出了一个有效的自适应标记算法，使用建议的预言和积极性比较预言。此外，我们还解决了与数据集大小相比标记预算不足的情况，这可以通过将所提出的算法插入主动学习算法来处理。此外，我们证实了所提出的预言机的可行性和所提出的算法的性能理论和经验。
2020-10-28 cs.LG stat.ML
Query-Limited Community Recovery in Stochastic Block Models
Microsoft Research（微软研究院）；Indraprastha Institute of Information Technology（英德拉普拉斯塔信息技术学院）；University of Liverpool（利物浦大学）；Aalto University（阿尔托大学）
研究在有限且带噪的网络数据访问下，通过自适应查询策略实现两社区随机块模型的精确社区恢复，并证明自适应查询可突破非自适应基准的信息论极限。
2026-06-01 cs.IT cs.LG cs.SI
Procrastinated Tree Search: Black-box Optimization with Delayed, Noisy, and Multi-Fidelity Feedback
Cornell University（康奈尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）
在黑盒优化问题中，我们的目标是最大化一个未知的目标函数，其中该函数只能通过评估或模拟预言的反馈来访问。在现实生活中，这种预言机的反馈通常是嘈杂的，并且在一些未知的延迟之后可用，这可能取决于预言机的计算时间。此外，如果精确的评估是昂贵的，但粗略的近似是可用的，在一个较低的成本，反馈可以有多保真度。为了解决这个问题，我们提出了一个通用的扩展分层乐观树搜索（HOO），称为ProCrustinated树搜索（PCTS），灵活地适应延迟和噪声容忍的强盗算法。我们提供了一个通用的证明技术，以量化延迟，噪声和多保真度反馈下的PCTS的遗憾。具体来说，我们得到的PCTS启用延迟UCB 1（DUCB 1）和延迟UCB-V（DUCBV）算法的遗憾界限。给定时域$T$，PCTS对于$O(\log T)$的预期延迟保持无延迟HOO的遗憾界，并且对于$α\in (0,1]$的$O(T^{1-α})$的预期延迟保持$O(T^{\frac{1-α}{d+2}})$的遗憾界。我们通过实验验证了多个合成函数和超参数调整问题，PCTS优于最先进的黑箱优化方法，用于不同噪声水平，延迟和保真度的反馈。
2022-04-14 cs.LG math.OC stat.ML
