A Comparison between Deep Neural Nets and Kernel Acoustic Models for Speech Recognition
Google Inc.(谷歌公司)
我们研究了用于声学建模的大规模核方法,并在与声学建模和识别相关的性能指标上与DNN进行了比较。衡量困惑和帧级分类准确性,基于内核的声学模型与DNN模型一样有效。然而,在令牌错误率方面,DNN模型可以明显更好。我们已经发现,这可能归因于DNN在减少预测后验概率的困惑和熵方面的独特优势。基于我们的发现,我们提出了一种新的技术,熵正则化困惑,模型选择。该技术可以显著提高两种模型的识别性能,并缩小它们之间的差距。虽然对广播新闻有效,但这种技术也适用于其他任务。
2016-03-18 cs.LG stat.ML
Directional Kernel Mean Difference: A Fast Signed Statistic for Univariate Distribution Comparison
Northwestern Polytechnical University(西北工业大学)
研究提出方向核均值差异(DKMD)用于单变量分布比较,通过积分核均值嵌入差异与奇权重函数保留分布变化方向,推导数据驱动估计器,开发高效算法,实验证明其能准确分离方向变化、抗重尾异常值且计算高效。
2026-07-23 cs.LG stat.ML
The Weighted Kendall and High-order Kernels for Permutations
Wellcome Centre for Human Genetics, University of Oxford(牛津大学惠康人类遗传学中心);University of Oxford(牛津大学);MINES ParisTech, PSL Research University(巴黎高等矿业学院,巴黎文理研究大学);Institut Curie, PSL Research University(居里研究所,巴黎文理研究大学);INSERM(法国国家健康与医学研究院);CNRS(法国国家科学研究中心)
我们提出了新的正定核置换。首先,我们引入一个加权版本的肯德尔内核,它允许不平等的权重不同的项目对的排列,根据其排名的贡献。像肯德尔内核,我们表明,加权版本是不变的重新标记的项目,可以有效地计算在$O(n \ln(n))$操作,其中$n$是在排列中的项目数。其次,我们提出了一种有监督的方法来学习的权重,通过联合优化它们与内核机器估计的功能。第三,虽然Kendall核考虑项目之间的成对比较,但我们通过考虑项目元组之间的高阶比较来扩展它,并表明学习权重的监督方法可以系统地推广到高阶置换核。
2018-06-12 cs.LG stat.ML
Efficient Data Analytics on Augmented Similarity Triplets
Georgia State University(佐治亚州立大学);Lahore University of Management Science(拉合尔管理科学大学);University of Galway(戈尔韦大学);Hazara University(哈扎拉大学);Massey University(梅西大学)
数据分析需要对对象进行成对的邻近度量。最近的工作已经将其扩展到对象之间的距离信息作为三个对象(三元组)之间的距离的比较结果给出的情况。人类发现比较任务比精确的距离计算要容易得多,这些数据可以通过众包轻松获得。在这项工作中,我们提出了三元组增广,一个有效的方法来扩展三元组数据推断隐藏的隐式信息从现有的数据。三元组增强提高了基于内核和无内核数据分析的质量。我们还提出了一套新的算法,常见的数据分析任务的基础上三元组。这些方法直接使用三元组,避免了内核计算,因此可以扩展到大数据。我们证明,我们的方法优于目前最知名的技术,是强大的噪声数据。
2023-02-18 cs.LG stat.ML
Large Scale Kernel Learning using Block Coordinate Descent
UC Berkeley(加州大学伯克利分校)
我们证明了分布式块坐标下降可以快速解决数百万数据点的核回归和分类问题。有了这种能力,我们进行了全面的内核,Nyström方法,并从不同领域的三个大型分类任务的随机特征之间的彻底比较。我们的研究结果表明,Nyström方法通常比随机特征实现更好的统计准确性,但可能需要更多的优化迭代。最后,我们推导出新的速率块坐标下降,支持我们的实验结果时,专门的内核方法。
2016-02-17 cs.LG math.OC stat.ML
Boosting for Comparison-Based Learning
Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
我们考虑在基于比较的设置中的分类问题:给定一组对象,我们只能访问形式为“对象$x_i$与对象$x_j$的距离比与对象$x_k$的距离更近”的三元组比较。“在本文中,我们介绍了TripletBoost,这是一种新方法,可以从这种三元组比较中学习分类器。其主要思想是将三元组信息聚合到弱分类器中,然后将其提升为强分类器。我们的方法有两个主要优点:(i)它适用于任何度量空间的数据,(ii)它可以处理大规模的问题,只使用被动获得的和嘈杂的三元组。我们推导出理论推广的保证和必要的三胞胎的数量的下限,我们的经验表明,我们的方法是既有竞争力的最先进的方法和抗噪声。
2019-05-29 cs.LG stat.ML
Comparison-Based Framework for Psychophysics: Lab versus Crowdsourcing
Department of Computer Science, University of Tübingen, Germany(德国蒂宾根大学计算机科学系);Neural Information Processing Group, University of Tübingen, Germany(德国蒂宾根大学神经信息处理组)
传统上,心理物理学实验是在严格控制的条件下对少数训练有素的参与者进行重复测量,如果操作得当,通常会产生高质量的数据。然而,近年来,众包平台正成为越来越受欢迎的数据汇集手段,以获得质量更差的数据的潜在成本来衡量许多参与者。在本文中,我们研究是否使用基于比较的(有序)数据,结合机器学习算法,可以提高心理物理学众包研究的可靠性,使他们可以实现接近实验室实验的性能。为此,我们比较了三种设置:模拟,心理物理学实验室实验,以及亚马逊机械土耳其人上的相同实验。所有这些实验都是在基于比较的设置中进行的,参与者必须回答三个问题,即“物体x更接近y还是z?".然后,我们使用机器学习来解决三元组预测问题:给定一个具有相应答案的三元组问题的子集,我们预测剩余问题的答案。考虑到MTurk的局限性和噪音,我们发现三重预测的准确性与我们的实验室研究非常接近,但不相等。
2019-07-26 cs.LG stat.ML
TristouNet: Triplet Loss for Speaker Turn Embedding
LIMSI(法国计算机科学与自动化研究所);CNRS(法国国家科学研究中心)
TristouNet是一种基于长短期记忆递归网络的神经网络架构,旨在将语音序列投影到固定维的欧几里得空间中。由于用于训练的三重丢失范例,因此可以将所得的序列嵌入直接与欧几里得距离进行比较,以用于说话者比较目的。短(500 ms和5 s之间)的语音回合比较和说话人变化检测的实验表明,TristouNet带来了显着的改进,目前国家的最先进的技术,这两个任务。
2017-04-11 cs.SD stat.ML
Uncertainty Estimates for Ordinal Embeddings
University of Tübingen(图宾根大学);Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
为了研究没有可描述的距离概念的对象,可以通过询问以下形式的三元组比较来收集序数信息:“对象$x$更接近$y$还是$x$更接近$z$?为了从这些数据中学习,对象通常嵌入在欧几里得空间中,同时满足尽可能多的三元组比较。在本文中,我们介绍了经验的不确定性估计标准的嵌入算法时,几个嘈杂的三胞胎是可用的,使用自举和贝叶斯方法。特别是,模拟表明,这些估计是很好的校准,可以用来选择嵌入参数或量化科学应用中的不确定性。
2019-06-27 cs.LG stat.ML
PerceptNet: Learning Perceptual Similarity of Haptic Textures in Presence of Unorderable Triplets
IIT Bombay(印度理工学院孟买分校);Adobe Research(奥多比研究院)
为了设计触觉图标或建立触觉词汇表,我们需要一组易于区分的触觉信号,以避免感知模糊,这反过来又需要一种方法来准确地估计感知(不)类似的信号。在这项工作中,我们提出了一种新的方法来学习这样的感知度量的基础上,从人类研究的数据。我们的方法基于一个深度神经网络,该网络将信号投影到一个嵌入空间,在该空间中,自然的欧几里得距离准确地模拟了两个信号之间的相异性程度。该网络仅在信号三元组的非数值比较上进行训练,使用一种新的三元组损失,该损失考虑了易于排序的三元组(不等式约束)以及不可排序/模糊的三元组(等式约束)。与先前基于MDS的非参数方法不同,我们的方法可以在部分比较集上进行训练,并且可以嵌入新的触觉信号,而无需从头开始重新训练模型。广泛的实验评估表明,我们的方法是更有效的建模感知相异性比替代品。
2020-10-10 cs.HC cs.LG stat.ML
A Comparison Study of Nonlinear Kernels
Rutgers University(罗格斯大学)
在本文中,我们在广泛的公开数据集上比较了5种不同的非线性内核:min-max,RBF,fRBF(折叠RBF),acos和acos- $χ^2$。所提出的fRBF核的性能与RBF核非常相似。RBF和fRBF内核都需要一个重要的调整参数($γ$)。有趣的是,对于很大一部分数据集,min-max内核的性能优于最佳调整的RBF/fRBF内核。acos内核和acos- $χ^2$内核通常也表现良好,在某些数据集中达到了最佳精度。使用非线性核的一个关键问题是过多的计算和内存成本。如今,一种越来越流行的策略是通过各种随机化算法来线性化内核。在我们的研究中,与其他类型的非线性内核的随机化方法相比,最小-最大内核的随机化方法表现出优异的性能,以转换数据集中非零项的数量来衡量。我们的研究为支持使用最小-最大核和相应的随机线性化方法(即,所谓的“0位CWS”)。此外,结果激励未来的研究至少有两个方向:(i)开发新的(和线性化)非线性内核更好的精度;和(ii)开发更好的线性化算法,以改善当前的线性化方法的RBF内核,acos内核,和acos- $χ^2$内核。一种尝试是将min-max内核与acos内核或acos- $χ^2$内核结合起来。这两个新的和调谐自由的非线性内核的优点,通过我们广泛的实验证明。
2016-03-21 cs.LG stat.ML
Active Perceptual Similarity Modeling with Auxiliary Information
University of Pittsburgh(匹兹堡大学);Air Force Research Laboratory(美国空军研究实验室)
从对象集合中学习感知相似性的模型是作为众多应用基础的机器学习中的基本任务。学习这种模型的一种常见方法是以三元组的形式进行相对比较:对以下形式的查询的响应:“对象a与b的相似性是否大于对象c?".如果在确定询问哪些查询时没有考虑,则现有的相似性学习方法可能需要大量的响应。在这项工作中,我们考虑的问题,积极学习三元组-查找查询是最有用的学习。不同于以往的主动三元组学习方法,我们将辅助信息到我们的相似性模型,并引入一个主动学习计划,以找到查询,快速学习的相关方面的辅助数据和直接学习的相似性组件。与以前的方法相比,我们证明了我们可以用更少的查询来有效地学习。为了进行评估,我们引入了一个新的数据集,从人类获得的详尽的三重比较,并证明了不同类型的辅助信息的性能提高。
2015-11-06 cs.LG stat.ML
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research(百度研究院)
在这项工作中,我们证明了pGMM(“动力广义最小-最大”)内核的(岭)回归的背景下的优势。在最近的先前研究中,pGMM内核已被广泛评估用于分类任务,用于逻辑斯谛回归,支持向量机以及深度神经网络。本文对岭回归进行了实验研究,将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是,即使没有调谐参数(即,$p=1$用于pGMM内核的功率参数),pGMM内核已经表现良好。此外,通过调优参数$p$,这个(看似简单的)pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务,通常,从业者使用$L_2$ boost,即,用于最小化$L_2$损失。有时出于鲁棒性的目的,可能会选择$L_1$增强。在本研究中,我们为$p\geq 1$实现了$L_p$ boost,并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是,最好的性能(在$L_2$回归损失方面)通常在$p>2$,在某些情况下在$p\gg 2$获得。Li等人(UAI 2010)已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之,$L_p$ boost的实现为从业者提供了额外的灵活性,可以调整boosting算法,从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
Kernel Stein Tests for Multiple Model Comparison
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Kyoto University(京都大学);RIKEN AIP(理化学研究所AIP)
我们解决了非参数多模型比较的问题:给定$l$候选模型,决定每个候选模型是否与最佳模型一样好或更差。我们提出了两个统计检验,每个检验控制不同的决策错误概念。第一个测试,建立在后选择推理框架上,可证明控制了被错误地宣布为更差的最佳模型的数量(假阳性率)。第二个测试是基于多重校正,并控制被宣布为较差但实际上与最佳模型一样好的模型的比例(错误发现率)。我们证明,在适当的条件下,第一次测试可以产生更高的真阳性率比第二。玩具和真正的(CelebA,芝加哥犯罪数据)问题的实验结果表明,这两个测试有很高的真阳性率与良好的控制出错率。相比之下,选择得分最低的模型而不进行校正的天真方法会导致更多的误报。
2019-10-27 cs.LG stat.ML
A Comparison Study on Nonlinear Dimension Reduction Methods with Kernel Variations: Visualization, Optimization and Classification
University of Florida(佛罗里达大学);University of North Carolina Wilmington(北卡罗来纳大学威尔明顿分校);University of Waterloo(滑铁卢大学)
由于数据的高维性、协变量间的相关性以及数据中含有噪声等特点,降维技术常被应用于机器学习算法的应用中。主成分分析(PCA)、线性判别分析(LDA)及其核变体(KPCA、KLDA)是最流行的DR方法之一。最近,监督核主成分分析(SKPCA)已被证明是另一个成功的替代方案。在本文中,这些流行的技术的简要回顾。然后,我们进行了比较性能研究的基础上,三个模拟数据集,之后的技术性能进行评估,通过应用到模式识别问题中的人脸图像分析。性别分类问题被认为是在MORPH-II和FG-NET,两个流行的纵向人脸老化数据库。使用了几种特征提取方法,包括生物启发特征(BIF),局部二进制模式(LBP),方向梯度直方图(HOG)和主动外观模型(AAM)。DR方法的应用程序后,部署了一个线性支持向量机(SVM)的性别分类准确率超过95%的MORPH-II,具有竞争力的基准结果。一个并行计算的方法也被提出,获得更快的处理速度和相似的识别率MORPH-II。我们的计算方法可以应用于实际的性别分类系统,并推广到其他人脸分析任务,如种族分类和年龄预测。
2019-10-04 cs.LG stat.AP stat.ML
Kernel-Based Testing for Single-Cell Differential Analysis
Nantes Université(南特大学);Centrale Nantes(南特中央理工学院);Laboratoire de Mathématiques Jean Leray(让·勒雷数学实验室);CNRS(法国国家科学研究中心);Université de Lyon(里昂大学);Ecole Normale Supérieure de Lyon(里昂高等师范学校);Université Claude Bernard Lyon 1(里昂第一大学);Institut Curie(居里研究所);PSL University(巴黎文理研究大学)
针对单细胞分子特征分布比较的难题,提出基于核方法的检验框架,结合嵌入变异性分类器识别细胞状态转变,可发现传统分析遗漏的细胞群体细微变异,在乳腺癌单细胞ChIP-Seq数据中验证了有效性。
2024-04-12 cs.LG stat.ML
IKA: Independent Kernel Approximator
本文提出IKA方法,通过线性组合任意选择的函数进行低秩核近似,优于Nyström方法,在STL-10数据集上表现更优。
2018-09-05 cs.LG cs.NA math.NA
Kernel Mean Embedding Based Hypothesis Tests for Comparing Spatial Point Patterns
本文介绍了一种检测空间点模式一阶结构差异的方法。所提出的方法通过引入针对空间点过程定制的近似版本,以一种新颖的方式利用核均值嵌入。虽然原始嵌入是无限维和隐式的,但我们的近似嵌入是有限维的,并且带有显式的封闭形式公式。在它的帮助下,我们把模式比较问题简化为欧氏空间中均值的比较。假设检验基于对嵌入的每个维度进行t检验,并使用最近引入的p值组合技术之一组合所得p值。如果需要,可以计算相应的贝叶斯因子,并对所有测试进行平均,以量化针对空值的证据。所提出的方法的主要优点是,它可以适用于单一和重复模式比较,既不需要引导,也不需要排列程序来获得或校准的p值。我们的实验表明,由此产生的测试是强大的,p值是校准良好的,两个应用到现实世界的数据。
2020-06-12 stat.ME stat.ML