AlphaExploitem: Going Beyond the Nash Equilibrium in Poker by Learning to Exploit Suboptimal Play
Delft University of Technology(代尔夫特理工大学);Department of Intelligent Systems(智能系统系)
AlphaExploitem通过引入层次变压器编码器和多样化对手池,提升了扑克博弈中对非最优策略的利用能力,同时保持对纳什均衡对手的性能稳定。
2026-05-09 cs.LG
Going Beyond T-SNE: Exposing \texttt{whatlies} in Text Embeddings
Rasa
我们介绍whatlies,一个开源的工具包,用于视觉检查单词和句子嵌入。该项目提供了一个统一和可扩展的API,目前支持一系列流行的嵌入式后端,包括spaCy,tfhub,huggingface Transformers,gensim,fastText和BytePair嵌入。该软件包结合了一个特定于领域的语言矢量运算与可视化工具,使探索词嵌入更直观和简洁。它支持许多流行的降维技术,以及许多交互式可视化,可以静态导出或通过Quixyter笔记本共享。项目文档可从https://rasahq.github.io/whatlies/获得。
2020-09-04 cs.CL cs.LG
Fast Slate Policy Optimization: Going Beyond Plackett-Luce
CREST-ENSAE;Criteo AI Lab
本文提出一种基于决策函数松弛的新策略类及高效学习算法,用于大规模板条决策系统优化,在数百万动作空间上优于Plackett-Luce方法。
2023-12-29 cs.IR cs.LG stat.ML
Going Beyond State-Reaching: Learning Abstractions for Intrinsically Motivated Option Discovery
Amazon(亚马逊);Brown University(布朗大学)
提出一种为每个子目标识别相关特征子集的选项发现算法,学习抽象可迁移选项,在稀疏奖励图像领域加速探索。
2026-09-30 cs.AI cs.LG
Going beyond p-convolutions to learn grayscale morphological operators
EPITA Research and Development Laboratory (LRDE)(EPITA研究与开发实验室(LRDE));Centre for Mathematical Morphology, Mines ParisTech, PSL Research University(巴黎高等矿业学院数学形态学中心,PSL研究大学)
最近,在深度神经网络中集成数学形态学运算受到越来越多的关注。然而,用侵蚀或膨胀来替换标准卷积层特别具有挑战性,因为最小和最大运算是不可微的。依赖于反调和平均值的渐近行为,p-卷积层被提出作为这个问题的可能解决方案,因为它们可以执行伪膨胀或伪腐蚀操作(取决于其内部参数p的值),并且报告了非常有希望的结果。在这项工作中,我们提出了两个新的形态层,它们基于与p-卷积层相同的原理,同时规避了其主要缺点,并展示了它们在深度卷积神经网络架构中进一步实现的潜在兴趣。
2021-02-19 cs.LG eess.IV
Learning large logic programs by going beyond entailment
University of Oxford(牛津大学);KU Leuven(鲁汶大学)
归纳逻辑程序设计(ILP)的一个主要挑战是学习大型程序。我们认为,现有系统的一个关键限制是,他们使用蕴涵来指导假设搜索。这种方法是有限的,因为蕴涵是一个二元决策:一个假设要么需要一个例子,要么不需要,没有中间位置。为了解决这个问题,我们超越了蕴涵,并使用\emph{example-dependent}损失函数来指导搜索,其中假设可以部分覆盖一个例子。我们实现了我们的想法在Brute,一个新的ILP系统,它使用最好的优先搜索,由一个例子相关的损失函数的指导下,逐步建立程序。我们在三个不同的程序合成领域(机器人规划,字符串转换和ASCII艺术)的实验表明,Brute可以大大优于现有的ILP系统,无论是在预测精度和学习时间,可以学习的程序比最先进的系统大20倍。
2020-04-22 cs.AI cs.LG
Inductive Pairwise Ranking: Going Beyond the n log(n) Barrier
University of California Irvine(加州大学欧文分校);Xerox Research Centre India(施乐印度研究中心)
我们研究了从非主动选择的成对偏好中对一组项目进行排序的问题,其中每个项目都有特征信息,我们提出并描述了一类非常广泛的偏好矩阵,从而产生了特征低秩(FLR)模型,它包含了从经典的布拉德利-特里-卢斯(BTL)(Bradley和Terry 1952)和Thurstone(Thurstone 1927)模型到最近提出的叶片胸部(Chen和Joachims 2016)和通用低等级偏好(Rajkumar和Agarwal 2016)模型。我们使用的技术矩阵完成边信息的存在下开发的归纳成对排名(IPR)算法,可证明学习一个良好的排名下的FLR模型,在一个样本有效的方式。在实践中,通过系统的合成模拟,我们证实了我们的理论研究结果,由于使用的特征信息的样本复杂性的改善。此外,在流行的现实世界偏好学习数据集上,只需对成对比较进行10%的采样,我们的方法就可以恢复良好的排名。
2017-02-09 cs.IT cs.LG math.IT
Learning and Generalization in Overparameterized Neural Networks, Going Beyond Two Layers
Microsoft Research AI(微软研究院人工智能部门);Stanford University(斯坦福大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
神经网络背后的基本学习理论在很大程度上仍然是开放的。神经网络实际上可以学习哪类函数?为什么经过训练的网络在过参数化时不会过拟合?在这项工作中,我们证明了过参数化神经网络可以学习一些显着的概念类,包括两层和三层网络,具有较少的参数和光滑的激活。此外,学习可以简单地通过SGD(随机梯度下降)或其变体在多项式时间内使用多项式多个样本来完成。样本复杂度也几乎与网络中参数的数量无关。在技术方面,我们的分析超越了以前的工作中所谓的NTK(神经切线核)线性化的神经网络。我们建立了神经网络的二次逼近的新概念(可以看作是NTK的二阶变体),并将其与逃逸鞍点的SGD理论相联系。
2020-06-01 cs.DS cs.LG cs.NE
Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond
ICMC – Universidade de São Paulo (USP)(圣保罗大学ICMC学院)
训练深度神经网络在现实世界的数据中可能具有挑战性。即使使用迁移学习,将模型作为黑盒使用,在涉及小数据集或特定应用时,也可能导致泛化能力差或不确定的结果。本教程涵盖了改进模型的基本步骤以及更新的选项,特别是但不限于监督学习。它在没有像挑战中那样准备充分的数据集以及在稀缺的注释和/或小数据下特别有用。我们描述基本程序:作为数据准备、优化和迁移学习,还有最近的架构选择,例如使用Transformer模块、替代卷积层、激活函数、宽和深网络,以及包括课程、对比和自监督学习的训练过程。
2021-10-13 cs.CV cs.LG
Going Beyond One-Hot Encoding in Classification: Can Human Uncertainty Improve Model Performance?
German Aerospace Center(德国航空航天中心);Technical University of Munich(慕尼黑工业大学);LMU Munich(慕尼黑大学)
技术和计算的进步不断推动着深度学习这一广阔领域的发展。近年来,描述预测中不确定性的量的推导--这自然伴随着建模过程--引发了深度学习社区的普遍兴趣。在机器学习环境中经常被忽视的是影响众多标签过程的人类不确定性。作为这项工作的核心,标签的不确定性是明确地嵌入到训练过程中通过分布标签。我们证明了我们的方法的有效性图像分类与遥感数据集,包含多个标签投票的领域专家为每个图像:标签的不确定性的纳入有助于模型更好地概括看不见的数据,并提高模型的性能。与现有的校准方法类似,分布标签导致更好的校准概率,从而产生更确定和更可信的预测。
2022-05-30 cs.CV cs.LG
TreeFlow: Going beyond Tree-based Gaussian Probabilistic Regression
Wrocław University of Science and Technology(沃拉夫大学科学与技术学院)
TreeFlow结合树集成与归一化流,实现对回归输出复杂分布的建模,取得多模态数据集上的SOTA结果。
2023-07-26 cs.LG
Going beyond research datasets: Novel intent discovery in the industry setting
Allegro(Allegro 公司)
本文针对工业场景中真实数据集,提出利用领域内预训练及对话结构(Conv)微调方法,提升新意图发现性能,较CDAC模型提升高达33个百分点。
2023-05-09 cs.CL cs.LG
Memorization With Neural Nets: Going Beyond the Worst Case
Mathematical Institute(数学研究所);Utrecht University(乌得勒支大学);Merantix Momentum GmbH
本文从实例特定视角研究神经网络插值,提出可在多项式时间内构造三层插值网络的随机算法,其参数需求取决于两类数据的几何结构,给出独立于样本数的保证,并在 MNIST 和 CIFAR-10 上验证。
2024-12-06 cs.LG math.ST stat.ML
GDformer: Going Beyond Subsequence Isolation for Multivariate Time Series Anomaly Detection
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));China Mobile (Jiangxi) Virtual Reality Technology Co., Ltd.(中国移动(江西)虚拟现实技术有限公司);Salesforce AI Research(Salesforce AI研究);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
提出全局字典增强Transformer(GDformer),通过基于字典的交叉注意力机制学习整个序列中所有正常点的全局表示,并利用原型捕获正常点-全局相关权重分布,实现基于表示相似性的统一检测准则,在五个基准数据集上达到最先进性能。
2026-05-24 cs.LG
Extraction of Product Specifications from the Web -- Going Beyond Tables and Lists
Clustr(Clustr 公司)
网络上的电子商务产品页面通常以结构化表格块的形式呈现产品规格数据。这些产品属性值规范的提取有益于产品目录管理、搜索、问答等应用。然而,在不同的网站中,有各种各样的HTML元素(如<table><ul>,<div><span><dl>等)。通常用于渲染这些块,这使得它们的自动提取成为一个挑战。目前的研究主要集中在从表格和列表中提取产品规格,因此,当应用于大规模提取设置时,会出现召回问题。在本文中,我们提出了一种产品规格提取方法,超越表格或列表,并概括了用于渲染规格块的各种HTML元素。使用手工编码的特征和深度学习的空间和令牌特征的组合,我们首先识别产品页面上的规格块。然后,我们提取产品的属性值对从这些块以下的方法启发包装归纳。我们创建了一个产品规格的标记数据集,这些数据集是从一系列不同产品网站的14,111个不同规格块中提取的。我们的实验表明,我们的方法相比,目前的规格提取模型的有效性,并支持我们的要求,其应用于大规模的产品规格提取。
2022-01-08 cs.IR cs.LG
Surrogate NAS Benchmarks: Going Beyond the Limited Search Spaces of Tabular NAS Benchmarks
University of Freiburg(弗赖堡大学);University of Mannheim(曼海姆大学);Bosch Center for AI(博世人工智能中心)
神经结构搜索(NAS)发展的最大障碍是其对大量计算资源的需求,这阻碍了对NAS方法的科学合理的经验评估。表格式NAS基准测试大大缓解了这一问题,使得在商用机器上几秒钟内正确评估NAS方法成为可能。然而,表格式NAS基准测试的一个意想不到的结果是关注于极小的架构搜索空间,因为它们的构造依赖于对空间的穷举评估。这会导致不切实际的结果,不会转移到更大的空间。为了克服这个根本的限制,我们提出了一种方法来创建廉价的NAS代理基准任意搜索空间。我们通过在现有的表格式NAS Bench-101和两个广泛使用的NAS搜索空间上创建代理NAS基准来验证这种方法,其中NAS $10^{21}$架构(比以前的任何表格式NAS基准大$10^{13}$倍)。我们表明,代理NAS基准可以模拟的真实性能的架构比表格基准(在一小部分的成本),他们导致忠实的估计以及不同的NAS方法的工作原理,在原来的非代理基准,他们可以产生新的科学见解。我们开源了所有的代码,并相信替代NAS基准是一个不可或缺的工具,可以将NAS上科学合理的工作扩展到大型和令人兴奋的搜索空间。
2022-04-14 cs.LG
Going beyond persistent homology using persistent homology
University of Helsinki(赫尔辛基大学);Aalto University(阿尔托大学);Federal Institute of Ceará(塞阿拉联邦学院);YaiYai Ltd(YaiYai有限公司)
本文提出颜色分离集概念,完整刻画了持久同调区分属性图的条件,并设计RePHINE融合顶点与边级PH,增强图神经网络表达能力,在多个基准上超越标准PH。
2023-11-10 cs.AI cs.LG
Going Beyond the Edge: Distributed Inference of Transformer Models on Ultra-Low-Power Wireless Devices
RWTH Aachen University(亚琛工业大学);TU Darmstadt(德累斯顿技术大学)
本文提出CATS框架,通过在超低功耗无线设备上实现分布式变压器推断,使多个设备协同执行远大于单个设备能处理的模型。核心方法结合了变压器划分、无线通信和训练,采用SomeGather通信原语减少带宽和内存使用,同时设计高效的模型并行方法,并通过消息丢弃提高通信可靠性。
2026-05-18 cs.LG
Leaving the Nest: Going Beyond Local Loss Functions for Predict-Then-Optimize
Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);Ohio State University(俄亥俄州立大学)
针对Predict-then-Optimize框架中损失函数假设的限制性问题,提出利用ML模型特征提升样本效率的新方法,在四个领域达到SOTA且在局部性假设失效时性能提升近200%。
2024-02-18 cs.AI cs.LG
Going Beyond Saliency Maps: Training Deep Models to Interpret Deep Models
Stanford University(斯坦福大学);SRI International(斯坦福国际研究院)
可解释性是应用复杂的深度学习模型来促进对神经成像研究中大脑疾病的理解的关键因素。为了解释经训练的分类器的决策过程,现有技术通常依赖于显著性图来通过偏导数量化用于分类的体素级或特征级重要性。尽管提供了一定程度的定位,但从神经科学的角度来看,这些地图并不是人类可以理解的,因为它们没有告知与大脑疾病相关的改变的具体含义。受图像到图像转换方案的启发,我们提出了训练模拟器网络,该网络可以扭曲给定的图像以注入或去除疾病的模式。这些网络经过训练,使得分类器为模拟图像产生一致增加或减少的预测对数。此外,我们建议耦合到一个统一的模型的基础上的条件卷积的所有模拟器。我们应用我们的方法来解释在合成数据集和两个神经成像数据集上训练的分类器,以可视化阿尔茨海默病和酒精使用障碍的影响。与基线方法生成的显着性图相比,我们基于扭曲场的雅可比行列式的模拟和可视化揭示了与疾病相关的有意义和可理解的模式。
2021-06-26 cs.CV cs.LG eess.IV
Have Faith in Faithfulness: Going Beyond Circuit Overlap When Finding Model Mechanisms
University of Amsterdam(阿姆斯特丹大学)
针对现有语言模型电路寻找方法EAP忠实性不足的问题,提出集成梯度边归因修补方法EAP-IG,实验证明其找到的电路忠实性更高,指出比较模型机制时应衡量忠实性而非重叠度。
2024-07-15 cs.CL cs.LG
Going Beyond Linear Mode Connectivity: The Layerwise Linear Feature Connectivity
Shanghai Jiao Tong University(上海交通大学);University of Michigan(密歇根大学)
本文提出逐层线性特征连通性(LLFC),证明满足线性模式连通性的网络在几乎所有层中特征图也线性连通,并从特征学习视角深化了对LMC的理解。
2023-11-13 cs.AI cs.CV cs.LG
Roll the dice & look before you leap: Going beyond the creative limits of next-token prediction
Google Research, US(谷歌研究);Carnegie Mellon University, Pittsburgh, US(卡内基梅隆大学)
该研究构建极简开放式算法任务,证明 next-token learning 在创造性随机规划上短视,而 teacherless training、diffusion models 及 seed-conditioning 更具优势。
2025-08-28 cs.AI cs.CL cs.LG
A Cordial Sync: Going Beyond Marginal Policies for Multi-Agent Embodied Tasks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Allen Institute for AI(艾伦人工智能研究院);University of Washington(华盛顿大学)
自主智能体必须学会合作。每次任务的难度超过单个代理的能力时,开发新的集中式代理是不可扩展的。虽然多智能体协作的研究已经蓬勃发展,在网格世界的环境,相对较少的工作,认为视觉丰富的领域。为了解决这个问题,我们引入了一个新的任务“移动”,在这个任务中,智能体一起工作,将一件家具通过客厅移动到一个目标。与现有的任务不同,CIMOMove需要代理在每个时间步进行协调。我们确定了两个挑战时,训练代理完成CIMOMove:现有的分散行动抽样程序不允许表达联合行动的政策,在需要密切协调的任务,失败的行动的数量占主导地位的成功的行动。为了应对这些挑战,我们引入了同步策略(连贯地同步您的行动)和协调损失(CORDIAL)。通过使用SYNC策略和CORDIAL,我们的代理商实现了58%的移动支付完成率,比竞争对手的分散基线提高了25个百分点。我们的数据集,代码和预训练模型可在https://unnat.github.io/cordial-sync上获得。
2020-07-09 cs.AI cs.CV cs.LG
Going Beyond Classification Accuracy Metrics in Model Compression
NVIDIA(英伟达);TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);University of Utah(犹他大学)
随着边缘计算设备的兴起,部署节能和资源高效模型的需求越来越大。大量的研究致力于开发方法,可以大大减少模型的大小,而不影响标准指标,如top-1的准确性。然而,这些修剪方法往往会导致其他指标(如跨类公平性和可解释性)的显著不匹配。为了克服这种偏差,我们提出了一种新的多部分损失函数的启发知识蒸馏文献。通过大量的实验,我们证明了我们的方法在不同的压缩算法,架构,任务以及数据集的有效性。特别是,我们获得了压缩模型和参考模型之间的预测不匹配数量的最多$4.1\times$减少,以及在参考模型做出正确预测的情况下最多$5.7\times$减少;所有这些都不改变压缩算法,并且对损失函数进行微小修改。此外,我们还展示了如何在模型的预测之间引入简单的对齐,从而自然地提高了其他指标的对齐,包括公平性和属性。因此,我们的框架可以作为一个简单的即插即用组件的压缩算法在未来。
2021-06-14 cs.AI cs.CV cs.LG
Going beyond accuracy: estimating homophily in social networks using predictions
Department of Sociology, Cornell University(康奈尔大学社会学系);Department of Sociology, Dartmouth College(达特茅斯学院社会学系);Qatar Computing Research Institute(卡塔尔计算研究所)
在在线社交网络中,通常使用节点类别的预测来估计同质性和其他关系属性的度量。然而,在线社交网络数据往往缺乏关于节点的基本人口统计信息。研究人员必须依靠预测的节点属性来估计同质性的措施,但很少有人知道这些措施的有效性。我们发现,估计同伦在网络中可以被看作是一个二元预测问题,和同伦估计是无偏的二元水平的残差总和为零的网络。节点级的预测模型,例如使用名称来分类种族或性别,通常不具有此属性,并且可能会在同质性估计中引入较大的偏差。由于沿二进制的误差自相关,会出现偏倚。重要的是,节点级别的分类性能不是同质性估计精度的可靠指标。我们比较的估计策略,使预测在节点和二分体水平,在不同的设置中的性能评估。我们提出了一种新的“自我改变”建模方法,优于标准的节点和二元分类策略。虽然本文的重点是同质性,结果推广到其他关系的措施,聚合预测沿二元网络。最后,我们建议研究设计,研究同质性在线网络。这篇论文的代码可以在https://github.com/georgeberry/autocorr上找到。
2020-01-30 cs.LG cs.SI
Going Beyond XAI: A Systematic Survey for Explanation-Guided Learning
Emory University(埃默里大学);George Mason University(乔治梅森大学)
随着深度神经网络(DNN)的社会影响力不断增长,推进DNN的目标变得更加复杂和多样化,从提高传统模型的准确性指标到注入先进的人类美德,如公平,问责制,透明度(FaccT)和无偏见。最近,可解释人工智能(XAI)的技术引起了相当大的关注,并极大地帮助了机器学习(ML)工程师理解AI模型。然而,与此同时,我们开始看到AI社区对XAI之外的新兴需求;基于从XAI学到的见解,我们如何更好地授权ML工程师指导他们的DNN,以便模型的合理性和性能可以按照预期得到改善?这篇文章提供了一个及时和广泛的文献综述领域的解释引导学习(EGL),一个技术领域,引导DNN的推理过程,通过添加正则化,监督或干预模型解释。在这样做的时候,我们首先提供了一个正式的定义EGL和它的一般学习范式。其次,概述了EGL评估的关键因素,以及现有的EGL评估程序和指标的总结和分类。最后,当前和潜在的未来应用领域和方向的EGL进行了讨论,并提出了广泛的实验研究,旨在提供全面的比较研究现有EGL模型在各种流行的应用领域,如计算机视觉(CV)和自然语言处理(NLP)领域。
2022-12-07 cs.AI cs.CV cs.HC
Topic Modelling: Going Beyond Token Outputs
Cardiff University(卡迪夫大学);School of Social Science(社会科学学院)
本文提出一种利用文本数据本身提取高分关键词并映射到主题模型词元输出的新方法,消除了对外部源的依赖,实验表明该方法在质量、有用性和标注效率上均优于传统主题建模,提升了可解释性。
2024-01-16 cs.CL cs.LG
What Can ResNet Learn Efficiently, Going Beyond Kernels?
Microsoft Research AI(微软研究院人工智能部门);Stanford University(斯坦福大学)
ResNet等神经网络如何有效地学习CIFAR-10,测试准确率超过96%,而其他方法,特别是内核方法相对落后?我们能否为这一差距提供更多的理论依据?最近,有一个有影响力的工作线将神经网络与过参数化机制中的内核联系起来,证明它们可以学习某些概念类,这些概念类也可以由具有类似测试错误的内核学习。然而,神经网络能证明比内核更好地学习某些概念类吗?我们在免费分发的环境中对此做出了积极的回答。我们证明了神经网络可以有效地学习一类著名的函数,包括那些由三层残差网络定义的光滑激活,没有任何分布假设。同时,我们证明了这类函数中存在简单函数,使得在相同数量的训练样本下,神经网络获得的测试误差可以比任何核方法小得多,包括神经切线核(NTK)。主要的直觉是,多层神经网络可以使用不同的层隐式地执行分层学习,这与“一次性”学习算法(例如核方法)相比降低了样本复杂度。在后续工作[2]中,这种分层学习理论得到了进一步加强,以便在训练深度网络时纳入“向后特征校正”过程。最后,我们还证明了ResNet相对于其他学习方法(包括线性回归)在任意特征映射上的计算复杂度优势。
2020-06-01 cs.DS cs.LG cs.NE
What causes the test error? Going beyond bias-variance via ANOVA
Peking University(北京大学);University of Pennsylvania(宾夕法尼亚大学)
现代机器学习方法往往过于参数化,允许在精细的水平上适应数据。这似乎令人费解;在最坏的情况下,这样的模型不需要推广。这个难题激发了大量的工作,争论过度参数化何时会减少测试错误,这种现象称为“双下降”。最近的工作旨在更深入地理解为什么过度参数化有助于泛化。这导致发现作为参数化水平的函数的方差的单峰性,并将方差分解为训练数据中的标签噪声、初始化和随机性所产生的方差,以理解误差的来源。在这项工作中,我们对这一领域有了更深入的了解。具体来说,我们提出使用方差分析(ANOVA),以对称的方式分解的方差的测试误差,研究某些两层线性和非线性网络的泛化性能。方差方差分析的优点是它比以前的方法更清楚地揭示了初始化、标签噪声和训练数据的影响。此外,我们还研究了方差分量的单调性和单峰性。虽然以前的工作研究了整体方差的单峰性,我们研究了方差分解中每个项的性质。一个关键的见解是,在典型的设置中,训练样本和初始化之间的相互作用可以主导方差;令人惊讶的是,它大于它们的边际效应。此外,我们表征“相变”的方差从单峰单调变化。在技术层面上,我们利用Haar随机矩阵的先进确定性等效技术,据我们所知,该技术尚未在该领域中使用。我们还验证了我们的结果在数值模拟和经验数据的例子。
2021-06-09 cs.LG math.ST stat.ML
Optimistic mirror descent in saddle-point problems: Going the extra (gradient) mile
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
由于它们与生成对抗网络(GANs)的联系,鞍点问题最近在机器学习及其他领域引起了相当大的兴趣。由于必要性,大多数理论保证都围绕着凸-凹(甚至线性)问题;然而,在理论上实现有效的GAN训练关键取决于超越这个经典框架。为了沿着这些路线逐步取得进展,我们分析了镜像下降(MD)在一类非单调问题中的行为,这些问题的解决方案与自然相关的变分不等式的解决方案相吻合-我们称之为一致性的属性。我们首先表明,普通的,“香草”MD收敛在这个条件下的严格版本,但不是否则,特别是,它可能无法收敛,甚至在双线性模型与一个独特的解决方案。然后,我们表明,这一不足是缓解乐观:通过采取“额外的梯度”的步骤,乐观镜像下降(OMD)收敛在所有相干的问题。我们的分析推广和扩展了Daskalakis等人的结果。(2018)在双线性问题中的乐观梯度下降(OGD),并在建立超越凹凸游戏的收敛性方面取得了具体进展。我们还提供了这些结果的随机模拟,我们验证了我们的分析,在广泛的GAN模型(包括高斯混合模型,以及CelebA和CIFAR-10数据集)的数值实验。
2018-10-01 cs.GT cs.LG math.OC
Factorized Contrastive Learning: Going Beyond Multi-view Redundancy
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出FactorCL方法,通过因子化共享与特有表示、最大化互信息下界并最小化上界,以及无标签多模态数据增强,超越多视图冗余假设,在六个基准上取得最优结果。
2023-10-30 cs.AI cs.CL cs.CV
Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory
Shanghai Jiao Tong University(上海交通大学)
本文针对神经网络特征相似性描述模糊的问题,提出功能等价特征概念,定义特征复杂度,并基于范畴论进行形式化解释,同时设计 Iterative Feature Merging 算法量化特征复杂度,证明其可作为有效的数据无关模型剪枝方法。
2023-11-26 cs.AI cs.LG
DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents
Idiap Research Institute(Idiap研究所);Telefónica Innovación Digital(西班牙电信创新数字公司);Logitech(罗技公司);Brno University of Technology(布尔诺理工大学)
该研究推出首个衡量对话智能体过程性幻觉的基准DialFork,定义三项评估任务并提出FlowKL、FlowScore指标,实验显示FlowScore优于基线,以MIT许可发布该基准供学界使用。
2026-11-02 cs.AI cs.CL cs.LG
Topological Deep Learning: Going Beyond Graph Data
IBM(国际商业机器公司)
本文提出基于组合复形的统一深度学习框架,开发消息传递组合复形神经网络,并在网格形状分析与图学习任务中验证其竞争力,证明引入高阶关系的优势。
2023-05-19 cs.CV cs.LG cs.SI
Learning Topic Models - Going beyond SVD
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院)
主题建模是一种用于在各种环境中自动理解和分类数据的方法,也许规范的应用是在文档语料库中发现主题结构。在机器学习和理论上的许多基础工作都提出了一种文档的概率模型,其中文档作为少量主题向量的凸组合(即,分布)出现,每个主题向量是单词上的分布(即,单词频率的向量)。类似的模型已经被用于各种应用领域; Blei等人的潜在狄利克雷分配或LDA模型特别受欢迎。主题建模的理论研究主要集中在假设数据实际上是从模型中生成的模型参数的学习上,现有的方法大多依赖于奇异值分解(SVD),因此存在以下两个局限性之一:这些工作要么需要假设每个文档只包含一个主题,要么只能恢复主题向量的跨度而不是主题向量本身。本文正式证明了非负矩阵分解(NMF)作为这方面的主要工具,这是一个类似的SVD,其中所有的向量都是非负的。使用这个工具,我们给出了第一个多项式时间学习主题模型的算法,而没有上述两个限制。该算法对底层主题矩阵使用了一个相当温和的假设,称为可分性,这通常在现实生活中的数据中成立。我们的算法的一个引人注目的特点是,它概括为模型,将主题主题的相关性,如相关主题模型和弹球盘分配模型。我们希望这篇论文能激发进一步的理论结果,使用NMF作为SVD的替代品-就像NMF在许多应用中取代SVD一样。
2012-04-10 cs.DS cs.IR cs.LG
Acoustic characterization of speech rhythm: going beyond metrics with recurrent neural networks
Purdue University(普渡大学);Ghent University(根特大学);Integrative Neuroscience and Cognition Center, CNRS & Université Paris Cité(整合神经科学与认知中心,法国国家科学研究中心与巴黎西岱大学);University of Padua(帕多瓦大学)
本研究针对传统语音节奏度量无法捕捉时间规律复杂性的问题,采用循环神经网络基于振幅包络和浊音段特征进行21种语言识别,验证了深度学习在语音节奏声学表征研究中的潜力。
2024-01-22 cs.LG cs.SD eess.AS