DEAL: Difficulty-aware Active Learning for Semantic Segmentation
Zhejiang University（浙江大学）
主动学习的目标是通过寻找信息量最大的样本来解决标记数据的缺乏问题。然而，现有方法在应用于语义分割时，忽略了不同语义区域的分割难度，导致对细小、细长等硬语义区域的分割效果不佳。为了解决这个问题，我们提出了一个语义难度-awarE主动学习（DEAL）网络由两个分支组成：共同分割分支和语义难度分支。对于后一个分支，与分割结果和GT之间的分割误差的监督，逐像素的概率注意模块被引入到学习不同的语义区域的语义难度分数。最后，设计了两个获取函数来选择语义困难的最有价值的样本。在语义分割基准测试上的竞争结果表明，DEAL实现了最先进的主动学习性能，特别是提高了硬语义区域的性能。
2020-10-17 cs.CV
Few-shot Unsupervised Domain Adaptation for Multi-modal Cardiac Image Segmentation
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
无监督域自适应（UDA）方法旨在通过使用未标记的目标域和标记的源域数据来减少源域和目标域之间的差距，然而，在医学领域中，目标域数据可能并不总是容易获得，并且获取新的样本通常是耗时的。这限制了UDA方法在新领域的发展。在本文中，我们探讨了UDA的潜力，在一个更具挑战性的，而现实的情况下，只有一个未标记的目标患者样本是可用的。我们称之为Few-Shot无监督域自适应（FUDA）。我们首先从源图像生成目标样式图像，并使用随机自适应实例归一化（RAIN）从单个目标患者中探索不同的目标样式。然后，用生成的目标图像以监督的方式训练分割网络。我们的实验表明，与基线相比，FUDA在目标域上的分割性能提高了0.33的Dice得分，并且在更严格的单次设置下，它也给出了0.28的Dice得分提高。我们的代码可在\url{https://github.com/MingxuanGu/Few-shot-UDA}上获得。
2022-01-28 cs.CV eess.IV
Deep Spectral Methods: A Surprisingly Strong Baseline for Unsupervised Semantic Segmentation and Localization
University of Oxford（牛津大学）
无监督定位和分割是长期存在的计算机视觉挑战，涉及将图像分解为没有任何标记数据的语义有意义的片段。由于获得密集图像注释的难度和成本，这些任务在无监督设置中特别有趣，但现有的无监督方法难以处理包含多个对象的复杂场景。与纯粹基于深度学习的现有方法不同，我们通过将图像分解重新构造为图分割问题，从传统的光谱分割方法中获得灵感。具体来说，我们研究了自监督网络的特征亲和矩阵的拉普拉斯算子的特征向量。我们发现，这些特征向量已经分解成有意义的片段的图像，并可以很容易地用来定位场景中的对象。此外，通过在数据集上聚类与这些片段相关联的特征，我们可以获得良好描绘的可命名区域，即语义分割。在复杂数据集（Pascal VOC，MS-COCO）上的实验表明，我们的简单谱方法在无监督定位和分割方面的性能明显优于最先进的方法。此外，我们的方法可以很容易地用于各种复杂的图像编辑任务，如背景去除和合成。
2022-05-16 cs.AI cs.CV
Confidence Score for Source-Free Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；AIRS Company, Hyundai Motor Group（现代汽车集团AIRS公司）
无源无监督领域自适应（SFUDA）的目的是使用预先训练的源模型而不是源数据在未标记的目标域中获得高性能。现有的SFUDA方法对所有目标样本分配相同的重要性，这容易受到不正确的伪标签的影响。为了区分样本的重要性，在这项研究中，我们提出了一种新的样本的信心分数，联合模型数据结构（JMDS）SFUDA得分。与仅使用源或目标领域知识之一的现有置信度得分不同，JMDS得分使用两种知识。然后，我们提出了一个置信度得分加权自适应使用JMDS（CoWA-JMDS）框架SFUDA。CoWA-JMDS由JMDS分数作为样本权重和权重Mixup组成，Mixup是我们提出的Mixup变体。权重混淆算法使模型能够更好地利用目标领域知识。实验结果表明，JMDS得分优于现有的置信度得分。此外，CoWA-JMDS在各种SFUDA场景中实现了最先进的性能：封闭，开放和部分集合场景。
2022-06-14 cs.CV cs.LG
Understanding out-of-distribution accuracies through quantifying difficulty of test samples
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Meta AI Research（Meta人工智能研究院）
现有的研究表明，虽然现代神经网络在分布内（ID）数据集上具有显著的泛化性能，但在分布外（OOD）数据集\cite{recht2018cifar, recht2019imagenet}上的泛化精度却显著下降。为了理解为什么各种模型在OOD数据集中总是犯更多的错误，我们提出了一个新的度量标准来量化测试图像（ID或OOD）的难度，这取决于训练数据集和模型的相互作用。特别是，我们引入了\textit{confusion score}作为图像难度的无标签测量，其基于由训练模型的集合估计的类条件概率来量化给定测试图像上的不一致量。使用混淆评分，我们调查CIFAR-10和它的OOD衍生物。接下来，通过划分测试和OOD数据集，通过他们的混淆分数，我们预测ID和OOD精度之间的关系，为各种架构。这允许我们仅使用ID测试标签来获得给定模型的OOD精度的估计。我们的观察表明，准确性下降的最大贡献来自具有高混淆分数的图像。在进一步检查后，我们报告了按混淆分数分组的错误分类图像的性质：具有高混淆分数的\textit{(i)}图像包含在训练数据中出现在多个类别中的\textit{weak spurious correlations}，并且缺乏明确的\textit{class-specific features}，而具有低混淆分数的\textit{(ii)}图像表现出属于另一类的虚假相关性，即\textit{c…
2022-03-28 cs.CV cs.LG
Generative Modelling for Unsupervised Score Calibration
AGNITIO Research（AGNITIO研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
分数校准使自动说话人识别器能够做出具有成本效益的接受/拒绝决定。传统的校准需要监督数据，这是一种昂贵的资源。我们提出了一个2分量GMM无监督校准，并表现出良好的性能相对于NIST SRE'10和SRE'12的监督基线。贝叶斯分析表明，与无监督校准参数估计值相关的不确定性是令人惊讶的小。
2014-02-14 cs.LG stat.ML
Unsupervised Submodular Rank Aggregation on Score-based Permutations
University of Washington（华盛顿大学）；The University of Tokyo（东京大学）；University San Pablo CEU（圣巴布罗CEU大学）
无监督的基于得分的排序聚合算法在许多应用中得到了广泛的应用，但尚未得到深入的研究。本文研究了在无监督的情况下，使用子模优化算法对基于分数的排列进行秩聚合。具体来说，我们提出了一个无监督的方法的基础上的Lovasz Bregman分歧建立线性结构的凸和嵌套结构的凹目标函数。此外，在训练过程中应用随机优化方法，可以保证有效的推理算法。信息检索、组合分布式神经网络、社交网络中的影响者和分布式自动语音识别任务的实验结果证明了所提方法的有效性。
2017-09-06 cs.AI cs.LG
Unsupervised Fusion Weight Learning in Multiple Classifier Systems
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种无监督的方法来学习的权重，多个分类器的分数必须结合在分类器融合设置。我们还介绍了一种新的度量排名的基础上的索引，它取决于训练点的加权分数之间的加权分数的测试点的排名的实例。我们表明，优化后的索引可以用于计算的措施，如平均精度。与大多数分类器融合方法不同的是，我们的方法学习了特定于实例的权重。该问题被公式化为学习使清晰度指数最大化的权重;随后，指数本身和学习到的权重都被分别用于对所有测试点进行排名。我们的方法给出了一种在实际测试数据上优化性能的无监督方法，不像众所周知的基于堆栈的方法，其中优化是在标记的训练集上完成的。此外，我们表明，我们的方法是宽容的噪声分类器，可用于选择N-最好的分类。
2015-02-06 cs.CV cs.LG
On the difficulty of a distributional semantics of spoken language
Tilburg University（蒂尔堡大学）
在无监督学习领域，大多数关于语音的工作都集中在发现低层次的结构，如音素库存或单词样单位。相比之下，对于书面语言，有大量的工作是关于单词、整句和较长文本的语义表示的无监督归纳。在这项研究中，我们研究的挑战，适应这些方法从书面到口头语言。我们推测，如果我们从表面的变化抽象，口语语义的无监督学习是可行的。我们用一个真实但统一的合成声音所讲的话语数据集来模拟这种设置。我们评估两个简单的无监督模型，在不同程度的成功，学习语音片段的语义表示。最后，我们对人类语音提出了不确定的结果，并讨论了在不受限制的自然口语中学习分布式语义表示所面临的挑战。
2018-10-26 cs.CL cs.LG cs.SD
Ensemble- and Distance-Based Feature Ranking for Unsupervised Learning
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）
在这项工作中，我们提出了两种新的（组）方法，无监督的功能排名和选择。第一组包括从预测聚类树的集合计算的特征排名分数（Genie3分数，RandomForest分数）。第二种方法是URelief，它是Relief系列特征排序算法的无监督扩展。使用26个基准数据集和5个基线，我们表明Genie3得分（从额外树的集合计算）和URelief方法都优于现有方法，并且Genie3在排名靠前的特征的预测能力方面整体表现最好。此外，我们分析了所提出的方法的超参数对其性能的影响，并表明，对于Genie3分数，最有效的参数配置可以实现最高的质量。最后，我们提出了一种方法来发现排名中的功能，这是最相关的现实。
2020-11-23 cs.LG
BiRating -- Iterative averaging on a bipartite graph of Beat Saber scores, player skills, and map difficulties
提出一种基于二分图迭代平均的简单算法，仅用得分同时估计Beat Saber玩家技能与地图难度，在多数情况下准确且与玩家感知一致，但对部分地图存在局限。
2025-02-27 cs.LG
OT Score: An OT based Confidence Score for Prototype-Assisted Source Free Unsupervised Domain Adaptation
University of California, San Diego（加州大学圣地亚哥分校）；University of Washington（华盛顿大学）
本文提出OT分数，用于评估原型辅助无监督域适应中的分类性能和置信度，通过最优传输理论分析改进现有方法，实验表明其在域适应任务中表现更优。
2026-04-29 cs.AI cs.LG
Distance Rank Score: Unsupervised filter method for feature selection on imbalanced dataset
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Univ. Savoie Mont Blanc（萨瓦大学）；CNRS（法国国家科学研究中心）；Optimistik
本文提出一种基于斯皮尔曼秩相关的无监督过滤特征选择方法，通过观测距离与特征距离的秩相关性避免方差法在不平衡多类数据上的缺陷，并在多个聚类任务中验证其有效性。
2023-05-31 cs.LG stat.ML
Dataset Difficulty and the Role of Inductive Bias
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Amazon, Alexa AI（亚马逊Alexa AI）；MosaicML；Google DeepMind（谷歌DeepMind）
本研究系统比较了不同评分方法在多运行和模型架构间的一致性，发现评分存在噪声且与单一难度概念强相关，并基于统计遗传学开发了一种模型架构指纹识别方法，为数据集评分实践提供了指导与基线。
2024-01-03 cs.LG
Continuous Reinforcement Learning-based Dynamic Difficulty Adjustment in a Visual Working Memory Game
University of Tehran（德黑兰大学）
本研究针对视觉工作记忆游戏提出基于连续强化学习的动态难度调整方法，以连续难度度量和状态-动作设计适配复杂搜索空间，实验证明其较规则方法更能提升玩家体验、得分与胜率，减少得分下滑。
2023-08-24 cs.AI cs.HC cs.LG
Score $\times$ Decoder: A Unified View of Unsupervised Inference-Time Scaling for Hallucination Mitigation
CyCraft AI Lab, Taiwan（CyCraft人工智能实验室，台湾）
本文提出Score×Decoder框架，通过配对四种内在分数（困惑度、对比度、幂分布似然、自验证）与三种解码族（优化、采样、共识），在无监督条件下选择最佳组合以缓解大语言模型幻觉。
2026-05-30 cs.LG
Enhancing Unsupervised Anomaly Detection with Score-Guided Network
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；Industrial and Commercial Bank of China（中国工商银行）
针对无监督异常检测中过渡区域难区分、假设空间度量难定义的挑战，提出带分数引导正则化的评分网络及SG-AE等模型，在多数据集上取得SOTA性能。
2023-10-09 cs.AI cs.LG
eGAN: Unsupervised approach to class imbalance using transfer learning
Kansas State University（堪萨斯州立大学）
类不平衡是许多机器学习分类任务中的固有问题。这通常会导致训练的模型无法用于任何实际目的。在这项研究中，我们探索了一种无监督的方法来解决这些不平衡，利用迁移学习从预先训练的图像分类模型到基于编码器的生成对抗网络（eGAN）。据我们所知，这是第一个使用GAN解决这个问题的工作，而不需要使用合成的假图像进行增强。在所提出的方法中，我们使用了一个负的或正的分数输出网络。我们将阴性分数的测试样本归类为少数，将阳性分数的测试样本归类为多数。我们的方法消除了模型预测中的认知不确定性，因为P（少数）+ P（多数）不需要总和为1。还探讨了迁移学习和不同预训练图像分类模型在生成器和存储器处的组合的影响。在不平衡比为1：2500的CIFAR-10分类任务上获得了0.69的F1分数的最佳结果。我们的方法还提供了一种对我们的机器学习系统的特异性或灵敏度进行阈值化的机制。关键词：班级不平衡，迁移学习，GAN，纳什均衡
2021-08-18 cs.AI cs.CV cs.LG
On Orderings of Probability Vectors and Unsupervised Performance Estimation
Amazon Science（亚马逊科学）；University of Toronto（多伦多大学）
本文研究无监督性能估计中评分函数的选择，证明在二分类下常见评分函数诱导相同序，并通过实验推荐$L^\infty$范数。
2023-06-16 cs.LG
Unsupervised Anomaly Detection Using Flow Matching on Tabular Data
University of Mannheim（曼海姆大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
本研究针对受污染训练数据下的表格异常检测，对比TCCM与Forest-Flow，发现轨迹类异常评分更稳定，Forest-Flow表现可与TCCM媲美甚至更优，凸显异常评分的重要性。
2026-08-21 cs.LG
Unsupervised Representation Learning in Partially Observable Atari Games
University of Oslo（奥斯陆大学）；University of Agder（阿格德大学）；Oslo Metropolitan University（奥斯陆城市大学）
状态表示学习旨在捕捉环境中潜在的因素。在以前的状态表示学习研究中，对比方法比生成模型表现得更好。尽管一些研究者已经意识到了掩码图像建模和对比表示学习之间的联系，但他们的努力主要集中在使用掩模作为增强技术来更好地表示潜在的生成因素。强化学习中的部分可观察环境尚未使用无监督状态表示学习方法进行仔细研究。在这篇文章中，我们创建了一个无监督的状态表示学习计划的部分可观察的状态。我们在以前的Atari 2600框架上进行了实验，该框架旨在评估表示学习模型。一种名为Spatiotemporal DeepInfomax（ST-DIM）的对比方法在这个基准测试中表现出了最先进的性能，但仍然不如其监督的对应方法。我们的方法在环境不完全可观察时改进了ST-DIM，并获得了比监督学习更高的F1分数和准确性分数。我们的方法在类别上的平均准确率得分为~ 66%，而监督学习为~38%。平均F1评分为~64%至~ 33%。
2023-03-13 cs.AI cs.LG
Contextual Networks and Unsupervised Ranking of Sentences
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
我们构建了一个上下文网络来表示一个文档的语法和语义之间的关系的单词-句子对，在此基础上，我们设计了一个无监督的算法称为CNATAR（上下文网络和文本分析排名）的句子评分，并通过一个双目标0-1背包最大化问题的主题分析和句子分数的排名。我们表明，CNATAR优于在ROUGE和BLEU指标下SummBank数据集上提供的三位人类法官的综合排名，这在术语上显著优于每个法官的排名。此外，CNATAR产生了迄今为止最高的ROUGE分数超过DUC-02，并优于以前的监督算法上的CNN/DailyMail和纽约时报数据集。我们还比较了CNATAR和最新的监督神经网络摘要模型的性能，并计算了预言结果。
2022-03-09 cs.CL cs.LG
Unsupervised Prostate Cancer Detection on H&E using Convolutional Adversarial Autoencoders
Radboud University Medical Center（拉德堡德大学医学中心）
我们提出了一种无监督的方法，使用自聚类卷积对抗自编码器来将前列腺组织分类为肿瘤或非肿瘤，而无需任何标记的训练数据。聚类方法被集成到自动编码器的训练中，只需要很少的后处理。我们的网络在苏木精和伊红（H&E）输入补丁上进行训练，并测试了两种不同的重建目标，H&E和免疫组织化学（IHC）。我们表明，使用IHC的抗体驱动的特征学习有助于网络学习聚类任务的相关特征。我们的网络仅使用一小部分验证标签来将类分配给集群，从而获得了0.62的F1分数。
2018-04-19 cs.CV cs.LG
An Unsupervised Semantic Sentence Ranking Scheme for Text Documents
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
本文提出了语义句子排名（SSR），一个无监督的计划自动排名句子在一个单一的文件，根据其相对重要性。特别地，SSR从文本文档中提取关键词和短语，并使用语义度量来分别构建短语和词的语义短语图和句子的语义句子图。它应用了两种偏向文章结构的PageRank变体，对第一个图上的短语和单词以及第二个图上的句子进行评分。然后，它将这些分数结合起来，生成每个句子的最终分数。最后，SSR解决了一个多目标优化问题，排名句子的基础上，他们的最终得分和主题的多样性，通过语义子主题聚类。在二次时间内运行的SSR的实现，它优于，在SummBank基准，每个单独的法官的排名，并与所有法官的综合排名相比。
2020-04-28 cs.CL cs.IR cs.LG
Quorum: Zero-Training Unsupervised Anomaly Detection using Quantum Autoencoders
Rice University（莱斯大学）；Stanford University（斯坦福大学）
针对量子机器学习模型训练困难及异常检测需无监督方法的问题，提出首个无需训练的无监督量子异常检测框架Quorum，利用量子计算解决多行业关键异常检测挑战。
2025-04-17 cs.ET cs.LG
Posterior Transition Modeling for Unsupervised Diffusion-Based Speech Enhancement
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用研究所）
本文提出两种直接建模条件反向转移分布的无监督扩散语音增强算法，分别消除超参数调优并实现精确似然得分，在WSJ0-QUT和VoiceBank-DEMAND上优于现有基线。
2025-07-03 cs.LG cs.SD eess.AS
Martingale Score: An Unsupervised Metric for Bayesian Rationality in LLM Reasoning
University of Cambridge（剑桥大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出马尔可夫得分，用于评估大语言模型推理中的贝叶斯理性性，通过检测信念更新的违反情况来衡量求真能力。
2025-12-02 cs.AI cs.CL cs.LG
D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning
University of North Carolina Chapel Hill（北卡罗来纳大学教堂山分校）
D2剪枝通过图上的消息传递联合优化数据多样性与难度，实现高效核心集选择，在高达70%剪枝率下超越现有方法，并提升多模态数据过滤效果。
2023-10-11 cs.AI cs.CL cs.CV
Sliced Score Matching: A Scalable Approach to Density and Score Estimation
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
分数匹配是一种用于估计非归一化统计模型的流行方法。然而，到目前为止，它一直局限于简单的，浅的模型或低维数据，由于难以计算的对数密度函数的海森。我们表明，这种困难可以通过将分数投影到随机向量上进行比较来减轻。这个目标，称为切片分数匹配，只涉及海森矢量产品，这可以很容易地实现使用反向模式自动微分。因此，与分数匹配相比，切片分数匹配适用于更复杂的模型和更高维的数据。在理论上，我们证明了切片得分匹配估计的相合性和渐近正态性。此外，我们证明了切片分数匹配可以用于学习隐式分布的深度分数估计。在我们的实验中，我们证明了切片分数匹配可以有效地学习基于能量的深度模型，并且可以为应用程序（如隐式分布的变分推理和训练Wasserstein自动编码器）生成准确的分数估计。
2019-06-27 cs.LG stat.ML
Compactness Score: A Fast Filter Method for Unsupervised Feature Selection
本文提出了一种名为Compactness Score（CSUFS）的快速无监督特征选择方法，利用局部紧凑性评估特征，在多个数据集上的实验表明其在聚类任务中比现有算法更准确高效。
2023-04-03 cs.LG
A Novel Evaluation Metric for Unsupervised Learning in AIS-Based Maritime Anomaly Detection: MADQI
Southampton Solent University School of Technology and Maritime Industries（索尔森大学技术与海运学院）
提出一种无需标签数据的海事异常检测质量指标MADQI，通过结合四个子指标来评估无监督学习模型的异常检测性能。
2026-05-28 cs.LG
Unsupervised Parameter-free Outlier Detection using HDBSCAN* Outlier Profiles
University of Alberta（阿尔伯塔大学）；Federal University of São Carlos（圣卡洛斯联邦大学）
本文提出一种无监督策略，通过分析不同 minpts 下 GLOSH 分数的变化自动寻找最佳参数，并估计阈值将数据点分类为内点和异常值，无需预定义参数即可实现最佳或接近最佳的异常检测效果。
2024-11-13 cs.LG
Unsupervised Anomaly Detection From Semantic Similarity Scores
将样本分类为分布内或分布外（OOD）是异常检测的一个具有挑战性的问题，也是对分布内模型泛化能力的一个强有力的测试。在本文中，我们提出了一个简单而通用的框架，{ \it SemSAD}，它利用语义相似性得分进行异常检测。其思想是首先为任何测试示例找到训练集中语义上最接近的示例，其中示例之间的语义关系通过特征向量之间的余弦相似度来量化，这些特征向量在变换下保持语义不变，例如几何变换（图像），时移（音频信号）和同义词替换（文本）。然后，如果测试示例与其最近邻居的语义相似度显著低于来自内分布的测试示例的对应相似度，则训练的SVM用于将测试示例分类为OOD。我们能够优于以前的方法异常，新奇，或分布外检测在视觉领域的大幅度。特别是，我们获得了接近1的AUROC值，用于在不使用标签信息的情况下，将CIFAR-100检测为分布外的CIFAR-10样本的挑战性任务。
2021-03-26 cs.AI cs.LG
Image Difficulty Curriculum for Generative Adversarial Networks (CuGAN)
University of Bucharest（布加勒斯特大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；University “Politehnica” of Bucharest（布加勒斯特理工大学）
尽管近年来取得了重大进展，但生成对抗网络（GANs）仍然非常难以训练。在本文中，我们提出了三种新的课程学习策略来训练GANs。所有的策略都是首先根据训练图像的难度分数对训练图像进行排名，这些难度分数是由最先进的图像难度预测器估计的。我们的第一个策略是将图像分成逐渐更难的批次。我们的第二个策略引入了一个新的课程损失函数，考虑到真实图像的难度分数的训练。我们的第三个策略是基于从一个不断发展的分布中进行采样，在初始训练阶段有利于更容易的图像，并逐渐收敛到一个均匀的分布，在这个分布中，样本的可能性是相等的，无论难度如何。我们比较了我们的课程学习策略与经典的培训过程中的两个任务：图像生成和图像翻译。我们的实验表明，所有的策略提供更快的收敛速度和优越的结果。例如，我们在频谱归一化GANs（SNGANs）上应用的最佳课程学习策略在25.0%的案例中欺骗了人类注释者，认为生成的CIFAR类图像是真实的，而使用经典过程训练的SNGANs仅在18.4%的案例中欺骗了注释者。同样，在图像翻译中，人类注释者在40.5%的情况下更喜欢使用课程学习训练的Cycle-consistent GAN（CycleGAN）生成的图像，而在19.8%的情况下，CycleGAN基于经典训练生成的图像，39.7%的情况下被标记为领带。
2019-10-22 cs.CV cs.LG stat.ML
Reinforcement Learning for Unsupervised Video Summarization with Reward Generator Training
本文提出基于强化学习的无监督视频摘要方法，通过奖励生成器训练提升摘要质量与稳定性。
2025-12-22 cs.AI cs.CV cs.LG
Unsupervised Features Ranking via Coalitional Game Theory for Categorical Data
TU Dortmund（多特蒙德工业大学）；University of Bonn（波恩大学）；University Hospital of Bonn（波恩大学医院）
并非所有真实世界的数据都被标记，当标签不可用时，获取它们通常是昂贵的。此外，由于许多算法都受到维数灾难的影响，因此将数据中的特征减少到更小的集合通常具有很大的实用性。无监督特征选择旨在减少特征的数量，通常使用特征重要性分数来量化单个特征与手头任务的相关性。这些分数只能基于变量的分布及其相互作用的量化。以往的文献，主要研究异常检测和集群，未能解决冗余消除问题。我们提出了一个评估功能之间的相关性计算功能的重要性分数表示的贡献，单个功能在解释数据集的结构。基于联盟博弈论，我们的特征重要性分数包括冗余意识的概念，使它们成为实现无冗余特征选择的工具。我们表明，派生功能的选择优于竞争的方法，在降低冗余率，同时最大限度地提高数据中包含的信息。我们还介绍了一个近似版本的算法，以减少Shapley值的计算的复杂性。
2022-05-17 cs.GT cs.LG
Unsupervised Lead Sheet Generation via Semantic Compression
University of California San Diego（加州大学圣地亚哥分校）
针对主旋律谱生成质量不佳的问题，提出条件主旋律谱生成任务，将其建模为无监督音乐压缩，并引入Lead-AE模型，利用可微top-k算子实现离散子选择，在自动和人工评估中优于确定性基线。
2023-10-16 cs.LG cs.MM cs.SD
Differentiable Unsupervised Feature Selection based on a Gated Laplacian
Yale University（耶鲁大学）；Technion（以色列理工学院）；Hebrew University（希伯来大学）
科学观测可能由大量的变量（特征）组成。在无监督学习中，识别有意义特征的子集通常被忽略，尽管它有可能解开隐藏在周围空间中的清晰模式。在本文中，我们提出了一种无监督的特征选择的方法，我们证明了它的使用任务的聚类。我们提出了一个可微的损失函数，结合拉普拉斯得分，有利于低频功能，与门控机制的特征选择。我们改进了拉普拉斯得分，将其替换为在特征子集上计算的门控变量。该子集是使用伯努利变量的连续近似来获得的，伯努利变量的参数被训练以门控整个特征空间。我们从数学上激发了所提出的方法，并证明了在高噪声状态下，计算门控输入上的拉普拉斯算子而不是完整的特征集是至关重要的。使用几个现实世界的例子，所提出的方法的有效性和它的优势，目前的基线的实验演示。
2020-11-09 cs.LG stat.ML
Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding
Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对现有课程学习方法依赖人工难度指标的问题，提出基于预训练语言模型自身预测难度分数的自适应课程学习范式，通过不同样本排序策略在四个NLU数据集上实现更快收敛与更优性能。
2025-07-13 cs.CL cs.LG
Learning Interpretable and Discrete Representations with Adversarial Training for Unsupervised Text Classification
National Taiwan University（台湾大学）
从未标记的文本数据中学习连续表示已被越来越多地研究，以利于半监督学习。虽然解释离散表示相对容易，但由于训练的困难，学习未标记文本数据的离散表示尚未得到广泛探索。这项工作提出了TIGAN，它学习将文本编码成两个分离的表示，包括离散代码和连续噪声，其中离散代码表示可解释的主题，而噪声控制主题内的方差。TIGAN学习的离散代码可用于无监督文本分类。与其他无监督基线相比，建议的TIGAN在六个不同的语料库上取得了优异的性能。此外，性能与最近提出的弱监督文本分类方法相当。提取的代表潜在主题的主题词表明，TIGAN学习连贯和高度可解释的主题。
2020-04-28 cs.CL cs.IR cs.LG
Treating Crowdsourcing as Examination: How to Score Tasks and Online Workers?
Southwest University（西南大学）
众包是一种在线外包模式，可以解决当前机器学习算法对海量标注数据的迫切需求。任务发布者在众包平台上发布任务，众包平台通过互联网雇佣在线工作人员来完成任务，然后将结果汇总并返回给请求者。如何对不同类型的工人和任务之间的交互进行建模是一个热点。本文根据工作者的能力将其分为专家型、普通型、马虎型和垃圾型四种类型，并根据任务的难度将其分为难、中、易任务。我们相信，即使是专家也会在困难的任务中苦苦挣扎，而马虎的工人也能把简单的任务做对，垃圾邮件发送者总是故意给出错误的答案。因此，好的考试任务应该具有适度的难度和区分度，以便更客观地对工人进行评分。因此，我们首先主要在中等难度的任务上对工作人员的能力进行评分，然后在推断任务的基本事实时降低草率工作人员的答案的权重并修改垃圾邮件发送者的答案。采用概率图模型模拟任务执行过程，采用迭代法依次计算和更新地面实况、工人能力和任务难度。在模拟和真实的众包场景中验证了算法的正确性和有效性。
2022-04-26 cs.DB cs.HC cs.LG
SUSTain: Scalable Unsupervised Scoring for Tensors and its Application to Phenotyping
Georgia Tech（佐治亚理工学院）；UC Riverside（加州大学河滨分校）；Sutter Health（萨特健康）；Inova Heart Vascular Institute（伊诺瓦心脏血管研究所）
本文提出了一种新的方法，我们称之为SUSTain，它扩展了实值矩阵和张量因子分解的值是整数的数据。当值对应于事件计数或顺序度量时，此类数据是常见的。传统的方法是将整数数据视为实数，然后应用实值因子分解。然而，这样做无法保留原始数据的重要特征，从而难以解释结果。相反，我们的方法从整数数据集中提取因子值作为限制为从小整数集中取值的分数。这些分数很容易解释：零分表示没有特征贡献，较高的分数表示特征重要性的不同级别。在其核心，SUSTain依赖于：a）将问题划分为整数约束的子问题，以便以有效的方式最佳地解决它们;以及b）组织子问题解决方案的顺序，以促进共享中间结果的重用。我们提出了两个变体，SUSTain_M和SUSTain_T，分别处理矩阵和张量输入。我们根据合成和真实电子健康记录（EHR）数据集上的几个最先进的基线来评估SUSTain。与这些基线相比，SUSTain显示出明显更好的拟合或数量级的加速，实现了相当的拟合（高达425倍的速度）。我们将SUSTain应用于EHR数据集以提取患者表型（即，临床上有意义的患者群）。此外，其中87%被心脏病专家验证为与心力衰竭相关的有临床意义的表型。
2018-03-14 cs.LG
Motif Mining and Unsupervised Representation Learning for BirdCLEF 2022
Georgia Institute of Technology（佐治亚理工学院）
本研究面向BirdCLEF 2022挑战赛，通过对音频模体频谱图施加三元组损失实现训练数据的无监督表示，构建分类模型，最佳模型在公开排行榜取得0.48分的成绩。
2022-06-08 cs.LG cs.SD eess.AS
Unsupervised Learning for Identifying High Eigenvector Centrality Nodes: A Graph Neural Network Approach
NTU Singapore（新加坡南洋理工大学）
现有的计算特征向量中心性（EC）的方法往往不足以鲁棒地以低时间复杂度确定EC或者对于大型网络来说不具有良好的可扩展性，因此使得它们实际上不可靠/计算昂贵。因此，开发一种在低计算时间内可扩展的方法是至关重要的。因此，我们提出了一个深度学习模型，用于识别具有高特征向量中心性的节点。在用监督学习方法识别高排名节点方面已经有一些先前的工作，但是在现实世界的情况下，图没有被标记，因此部署监督学习方法变得危险并且其使用变得不切实际。因此，我们设计了CUL（Centrality with无监督学习）方法，以无监督的方式学习网络中的相对EC分数。为了实现这一点，我们开发了一个基于编码器-解码器的框架，该框架将节点映射到各自的估计EC分数。在不同的合成和真实世界的网络上进行了广泛的实验。我们比较了CUL对EC估计类似的一些过去的作品的基线监督方法。据观察，即使在极少量的训练数据集上进行训练，CUL在识别排名较高的节点时也比其监督的对应节点提供了相对更好的准确性得分。我们还表明，CUL是更快，有一个更小的运行时间比传统的基线方法EC计算。该代码可在https://github.com/codexhammer/CUL上获得。
2021-11-08 cs.AI cs.LG cs.SI
MulBot: Unsupervised Bot Detection Based on Multivariate Time Series
Institute for Informatics and Telematics, National Research Council (IIT-CNR)（国家研究委员会信息与电信研究所（IIT-CNR））；University of Pisa（比萨大学）；Aristotle University of Thessaloniki（亚里士多德大学）
在线社交网络积极参与删除恶意社交机器人，因为它们在传播低质量信息方面发挥了作用。然而，大多数现有的机器人检测器是监督分类器，无法捕捉复杂机器人的演变行为。在这里，我们提出了MulBot，一个基于多变量时间序列（MTS）的无监督机器人检测器。这是第一次，我们利用从用户时间轴提取的多维时间特征。我们使用LSTM自动编码器管理多维性，该编码器将MTS投影到合适的潜在空间中。然后，我们对这个编码表示执行聚类步骤，以识别非常相似的用户的密集组-这是自动化的一个已知标志。最后，我们执行一个二进制分类任务，实现f1分数$= 0.99$，优于最先进的方法（f1分数$\le 0.97$）。MulBot不仅在二进制分类任务中取得了优异的成绩，而且我们还在一个新的和实际相关的任务中展示了它的优势：检测和分离不同的僵尸网络。在这个多类分类任务中，我们实现了f1-score $= 0.96$。最后，我们估计模型中使用的不同特征的重要性，并评估MulBot推广到新的看不见的机器人的能力，从而提出了一个解决监督机器人检测器的推广缺陷的方法。
2022-09-21 cs.AI cs.LG cs.SI
Estimating the Contamination Factor's Distribution in Unsupervised Anomaly Detection
KU Leuven（鲁汶大学）；University of Stuttgart（斯图加特大学）；University of Helsinki（赫尔辛基大学）
本文从贝叶斯视角提出一种估计无监督异常检测中污染因子后验分布的方法，利用多个检测器输出和混合公式，在22个数据集上验证了其校准性和性能提升。
2023-10-17 cs.LG stat.ML
Softmax is not Enough (for Adaptive Conformal Classification)
School of Computing and Information Systems, Faculty of Engineering and IT（计算与信息系统学院，工程与信息学院）
本文提出基于赫尔姆霍茨自由能的改进方法，提升深度置信分类器预测集的适应性和效率。
2026-02-23 cs.AI cs.LG
Theory of Curriculum Learning, with Convex Loss Functions
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本研究为课程学习提供理论分析，证明在凸损失下收敛率随难度分数单调变化，并调和了课程学习与困难数据挖掘的矛盾。
2018-12-09 cs.LG stat.ML
VQVAE Unsupervised Unit Discovery and Multi-scale Code2Spec Inverter for Zerospeech Challenge 2019
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN, Center for Advanced Intelligence Project AIP（理化学研究所先进智能项目中心）；National University of Singapore（新加坡国立大学）
我们描述了我们为2019年零语音挑战赛提交的系统。当前的挑战主题解决了在没有任何文本或语音标签的情况下构建语音合成器的困难，并且需要能够（1）以无监督的方式发现子字单元，以及（2）将语音与目标说话者的声音合成的系统。此外，该系统还应该平衡区分分数ABX，比特率压缩率，以及所构建的语音的自然度和可懂度。为了解决这些问题，并实现最佳的权衡，我们利用矢量量化的变分自编码器（VQ-VAE）和多尺度码本频谱（Code 2Spec）逆变器训练的均方误差和对抗损失。VQ-VAE将语音提取到一个潜在空间，强迫自己将其映射到最近的码本中，并产生压缩表示。接下来，给定来自VQ-VAE的码本向量，反相器生成目标语音的幅度谱图。在我们的实验中，我们还研究了其他几种聚类算法，包括K-Means和GMM，并将它们与ABX分数和比特率的VQ-VAE结果进行了比较。与官方ZeroSpeech 2019基线甚至背线相比，我们提出的方法显着提高了可懂度（CER），MOS和辨别力ABX分数。
2019-05-29 cs.CL cs.LG cs.SD
Anomaly Detection with Inexact Labels
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Software Innovation Center（NTT软件创新中心）
我们提出了一种监督异常检测方法的数据与不准确的异常标签，其中每个标签，这是分配给一组实例，表明至少有一个实例中的集合是异常的。虽然已经提出了许多异常检测方法，但它们不能处理不精确的异常标记。为了测量不精确异常标签的性能，我们定义了不精确AUC，这是我们对不精确标签的ROC曲线下面积（AUC）的扩展。所提出的方法训练异常得分函数，使得不精确AUC的平滑近似增加，而非异常实例的异常分数变低。我们通过基于神经网络的无监督异常检测方法对异常得分函数进行建模，例如，自动编码器。所提出的方法执行良好，即使只有少量的不精确的标签是通过将一个无监督的异常检测机制与不精确的AUC最大化。使用各种数据集，我们的实验证明，我们提出的方法提高了异常检测性能与不准确的异常标签，并优于现有的无监督和监督异常检测和多实例学习方法。
2019-09-11 cs.LG stat.ML
Active Learning to Guide Labeling Efforts for Question Difficulty Estimation
Ghent University（根特大学）；Dedalus Healthcare（戴达勒斯医疗保健公司）；Flanders Make（佛兰德制造机构）
本文提出用于问题难度估计的主动学习方法，结合人在回路机制与新颖的PowerVariance采集函数，仅标注10%训练数据即可接近全监督模型性能，降低了标注成本并促进教育资源合理利用。
2024-10-10 cs.CY cs.LG stat.ML
