Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏,如雅达利游戏,或简单的任务,如在迷宫中导航。这仍然是一个悬而未决的问题,如何解决更复杂的环境中,奖励是稀疏的,状态空间是巨大的。在本文中,我们提出了一种分而治之的深度强化学习解决方案,并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比,最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML
Weak Supervision for Label Efficient Visual Bug Detection
Xbox Studios QuAIL
本文提出利用未标注游戏数据和领域增强构建自监督目标的弱监督方法,在极低标注数据条件下显著提升第一人称穿模/碰撞缺陷检测性能,并展示了向更广泛游戏图像与视频任务扩展的潜力。
2023-09-20 cs.AI cs.CV cs.LG
Redundancy-aware unsupervised ranking based on game theory -- application to gene enrichment analysis
TU Dortmund(多特蒙德工业大学);University Hospital of Bonn(波恩大学医院);University Hospital of Marburg(马尔堡大学医院)
基因集合是研究特定表型性状基因富集的共同基础。基因集富集分析的目的是鉴定在基因集集合中过度表达的基因,并且可能与特定的表型性状相关。然而,由于这涉及大量的假设检验,因此减少基因集集合的大小的预处理步骤是否有帮助通常是有疑问的。此外,经常高度重叠的基因集和随之而来的基因集集合的低可解释性要求减少所包括的基因集。受此生物信息学背景的启发,我们提出了一种方法,根据单例分布及其大小对一个集合家族中的集合进行排名。我们通过计算Shapley值来获得集合的重要性分数,而不会导致通常的指数值函数的评估。此外,我们解决的挑战,包括冗余意识的排名,在我们的情况下,集是冗余的,如果他们表现出突出的交叉点。最后,我们评估我们的基因集集合的方法,获得的排名显示低冗余和高覆盖率的基因。建议的排名的无监督性质不允许显着增加的数量显着的基因集的特定表型性状时,减少收集的大小。然而,我们认为,所提出的排名在生物信息学中是有用的,以增加基因集集合的可解释性,并向前迈出了一步,将冗余纳入Shapley值计算。
2022-07-22 cs.GT cs.LG q-bio.GN
Unsupervised Hebbian Learning on Point Sets in StarCraft II
Georgia Institute of Technology(佐治亚理工学院)
实时策略游戏的进化学习是人工智能系统中一个具有挑战性的问题。本文提出了一种新的Hebbian学习方法来提取星际争霸II游戏单元中点集的全局特征,并将其应用于预测点的运动。我们的模型包括编码器,LSTM和解码器,我们用无监督学习方法训练编码器。我们引入了神经元活动感知学习与k-Winner-Takes-All相结合的概念。神经元活动的最佳值是数学推导出来的,实验支持下游任务的概念的有效性。与自监督学习相比,我们的Hebbian学习规则以更低的损失有利于预测。此外,与基于帧的方法相比,我们的模型显着节省了计算成本,例如激活和FLOP。
2022-07-13 cs.AI cs.LG cs.NE
Emergent Natural Language with Communication Games for Improving Image Captioning Capabilities without Additional Data
Department of Computer Science and Automation(计算机科学与自动化系);Indian Institute of Science(印度科学院)
针对无监督图像描述性能不足的问题,提出多智能体强化学习博弈LoGIC,通过GRPO算法训练说话者与倾听者协作交流,在无额外标签下显著提升了图像描述性能。
2025-07-11 cs.CV cs.LG
CGRclust: Chaos Game Representation for Twin Contrastive Clustering of Unlabelled DNA Sequences
School of Computer Science, University of Waterloo(滑铁卢大学计算机科学学院);University of Western Ontario(西安大略大学)
CGRclust结合DNA序列的混沌博弈表示与CNN,通过无监督双对比学习对无标签序列进行聚类,在25个多源数据集上展现出高准确率与鲁棒性。
2024-11-13 cs.LG q-bio.GN
Jigsaw Game: Federated Clustering
Rutgers University(罗格斯大学);The Ohio State University(俄亥俄州立大学)
本文针对联邦k-means聚类问题,提出单轮算法FeCA,通过自适应优化并聚合客户端局部解恢复全局解,并扩展至DeepFeCA用于无监督特征学习,实验验证了其鲁棒性。
2024-07-17 cs.LG
Analysing Soccer Games with Clustering and Conceptors
Centre for Research in Mathematics, Western Sydney University(西悉尼大学数学研究中心);Harz University of Applied Sciences(哈尔茨应用技术大学)
我们提出了一种新的方法来识别的情况和行为,我们称之为“移动”,从足球比赛中的2D模拟联赛。能够识别关键情况和行为是分析足球比赛、预测对手行为以帮助选择适当战术的有用能力,也是自动学习行为和策略的先决条件。为了支持广泛的策略,我们的目标是以无监督的方式从数据中识别情况,而不使用预定义的足球特定概念,如“传球”或“运球”。我们在方法中使用的递归神经网络充当了现场情况最近历史的高维投影。类似的情况,即,具有相似的历史,通过网络状态的聚类发现。同样的网络也被用来学习所谓的概念器,概念器是低维流形,它描述了通过高维状态空间的轨迹,从而能够从同一个神经网络进行特定情况的预测。使用所提出的方法,我们可以将游戏分割成以无监督方式学习的情况序列,并学习对预测各自情况的近期未来有用的概念。
2017-08-19 cs.LG
ELA: Exploited Level Augmentation for Offline Learning in Zero-Sum Games
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);KAIST(韩国科学技术院);University of California, Riverside(加州大学河滨分校)
针对零和博弈中对手策略导致结果差异显著的问题,提出ELA方法,用无监督学习估计轨迹被利用水平并增强离线学习,以识别优势策略并提升模仿学习与离线强化学习效果。
2024-02-28 cs.AI cs.GT cs.LG
A Mean Curvature Approach to Boundary Detection: Geometric Insights for Unsupervised Learning
Federal University of São Carlos(圣卡洛斯联邦大学)
本文提出均曲率边界点(MCBP)方法,通过建模数据流形的内在曲率来检测高维数据中的边界,提升无监督学习的聚类性能。
2026-05-09 cs.AI cs.LG stat.ML
Data-Driven Games in Computational Mechanics
Universität Siegen(锡根大学);Nantes Université(南特大学);Ecole Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);Universität Bonn(波恩大学);Hausdorff Center for Mathematics(豪斯多夫数学中心);California Institute of Technology(加州理工学院)
本文提出非合作型数据驱动博弈方法,通过应力和应变参与者分别优化数据偏差与力学可容许性,直接从数据中学习有效材料定律,无需参数化回归,且可退化为传统位移边值问题。
2023-05-26 cond-mat.mtrl-sci cs.CE cs.LG
Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification
Northwestern Polytechnical University(西北工业大学)
由于在智能视频监控中的广泛应用,人员身份重识别技术得到了越来越多的关注。不幸的是,主流的深度学习方法仍然需要大量的标记数据来训练模型,并且在现实世界的场景中注释数据是一项昂贵的工作。此外,由于不同数据集之间的域间隙,当在标签丰富的数据集(源域)上预训练的re-ID模型直接应用于其他未标记的数据集(目标域)时,性能会急剧下降。本文试图从数据和方法两个方面来弥补这些问题。首先,我们开发了一个数据收集器来自动生成计算机游戏中的合成re-ID样本,并构建了一个数据标注器来同时注释它们,这将人类从繁重的数据汇集和注释中解放出来。在此基础上,我们建立了两个不同尺度的合成人身份数据集,“GSPR”和“mini-GSPR”数据集。其次,我们提出了一个基于合成的多领域协作精化(SMCR)网络,该网络包含一个合成预训练模块和两个协作精化模块,以实现对来自多个领域的有价值知识的充分学习。大量的实验表明,我们提出的框架获得了显着的性能改善,超过国家的最先进的方法上的多个无监督领域自适应任务的人重新识别。
2021-10-26 cs.AI cs.CV cs.LG
APF+: Boosting adaptive-potential function reinforcement learning methods with a W-shaped network for high-dimensional games
Bernoulli Institute, University of Groningen(格罗宁根大学伯努利研究所);Data61 of CSIRO(澳大利亚联邦科学与工业研究组织Data61)
本文提出APF+,通过W形网络W-Net将像素帧编码为低维表示并结合APF训练DDQN,在20款Atari游戏中显著优于DDQN与ST-DIM变体,并达到接近使用内部真值状态ARI方法的性能。
2025-03-17 cs.AI cs.LG
Generative Adversarial Active Learning for Unsupervised Outlier Detection
Hefei University of Technology(合肥工业大学);Worcester Polytechnic Institute(伍斯特理工学院);University of Science and Technology of China(中国科学技术大学)
离群点检测是机器学习中的一个重要课题,并有着广泛的应用。在本文中,我们将离群点检测作为一个二进制分类问题,通过从均匀参考分布中采样潜在的离群点。然而,由于高维空间中数据的稀疏性,有限数量的潜在异常值可能无法提供足够的信息来帮助分类器描述可以有效地将异常值与正常数据分离的边界。为了解决这个问题,我们提出了一种新的单目标生成式对抗主动学习(SO-GAAL)离群点检测方法,它可以直接生成信息的潜在离群点之间的最小-最大博弈的基础上的发电机和发电机。此外,为了防止发生器陷入模式崩溃问题,应该在SO-GAAL能够提供足够信息的情况下确定训练的停止节点。但在没有任何先验信息的情况下,这对SO-GAAL来说是极其困难的。因此,我们扩展了SO-GAAL的网络结构,从一个单一的发电机到多个发电机与不同的目标(MO-GAAL),它可以产生一个合理的参考分布的整个数据集。我们经验比较所提出的方法与几个国家的最先进的离群值检测方法在合成和真实世界的数据集。结果表明,MO-GAAL在大多数情况下优于其竞争对手,特别是对于具有各种聚类类型或高不相关变量比率的数据集。
2019-03-18 cs.LG stat.ML
Generating Human Action Videos by Coupling 3D Game Engines and Probabilistic Graphical Models
Toyota Research Institute(丰田研究院);Centre de Visió per Computador(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);NAVER LABS Europe(NAVER实验室欧洲)
近年来,深度视频动作识别模型非常成功,但需要大量手动注释的数据,这些数据既昂贵又费力。在这项工作中,我们研究了视频动作识别的合成训练数据的生成,因为合成数据已成功地用于监督各种其他计算机视觉任务的模型。我们提出了一个可解释的参数生成模型的人类动作视频,依赖于程序生成,物理模型和现代游戏引擎的其他组件。有了这个模型,我们生成了一个多样化的,现实的,物理上合理的人类动作视频数据集,称为PHAV的“程序人类动作视频”。PHAV总共包含39,982个视频,35个动作类别中的每个类别都有1,000多个示例。我们的视频生成方法不仅限于现有的运动捕捉序列:这35个类别中有14个是程序定义的合成动作。此外,每个视频都用6种不同的数据形式表示,包括RGB,光流和像素级语义标签。这些模态几乎同时使用现代GPU的多渲染目标功能生成。为了利用PHAV,我们引入了一个深度多任务(即考虑来自多个数据集的动作类)表示学习架构,该架构能够同时从合成和真实视频数据集学习,即使它们的动作类别不同。我们在UCF-101和HMDB-51基准测试上的实验表明,将我们的大型合成视频集与小型真实世界数据集相结合可以提高识别性能。我们的方法也显著优于通过微调最先进的无监督视频生成模型产生的视频表示。
2019-10-12 cs.CV cs.LG cs.MM
On a Scale-Invariant Approach to Bundle Recommendations in Candy Crush Saga
King(King公司)
针对移动游戏内容推荐需求,提出结合监督无监督方法的尺度不变捆绑包推荐方案,在《Candy Crush Saga》验证中实现点击率提升30%、领取率提升超40%,并量化了推荐精度对参与度的递减效应。
2024-08-14 cs.LG