A Unit Selection Methodology for Music Generation Using Deep Neural Networks
Georgia Tech(佐治亚理工学院);Google Research(谷歌研究院)
计算机基于数据生成音乐的方法有几种,包括马尔可夫链、递归神经网络、重组和语法。我们探索使用单位选择和串联作为一种手段,使用基于排名的程序生成音乐,其中,我们认为一个单位是一个可变长度的音乐措施。我们首先研究是否是一个单位的选择方法,这是限制在一个有限大小的单元库,可以足以涵盖广泛的音乐。我们通过开发一个深度自动编码器来实现这一点,该编码器对音乐输入进行编码,并通过从库中选择来重建输入。然后,我们描述了一个生成模型,该模型将深度结构化语义模型(DSSM)与LSTM相结合,以预测下一个单元,其中单元由四个,两个和一个音乐措施组成。我们评估生成模型使用客观指标,包括平均排名和准确性,并与主观的听力测试中,专家音乐家被要求完成一个被迫选择的排名任务。我们将我们的模型与音符级生成基线进行比较,该基线由经过训练的堆叠LSTM组成,以向前预测一个音符。
2016-12-12 cs.AI cs.LG cs.SD
AdaptSSR: Pre-training User Model with Augmentation-Adaptive Self-Supervised Ranking
University of Science and Technology of China(中国科学技术大学);OPPO Research Institute(OPPO研究院);Hefei University of Technology(合肥工业大学)
针对用户建模中数据增强导致的特征丢失与噪声引入问题,提出增强自适应自监督排序方法AdaptSSR,通过多重成对排序损失和自适应融合机制预训练判别性用户模型,有效提升了下游任务表现。
2023-10-24 cs.AI cs.IR
Individually Fair Ranking
University of Michigan(密歇根大学);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
我们开发了一个算法来训练个别公平的学习排名(LTR)模型。拟议的方法确保少数群体的项目与多数群体的类似项目一起出现。这种公平排名的概念是基于监督学习对个体公平性的定义,比之前的公平LTR方法更细致入微,后者只是确保排名模型为代表性不足的项目提供基本的曝光水平。我们的方法的关键是一个最佳的基于运输的正则化,强制执行个人的公平性和一个有效的算法优化正则化。我们表明,我们的方法导致可证明的个别公平的LTR模型,并证明我们的方法对受人口统计偏见的任务排名的有效性。
2021-03-19 cs.LG stat.ML
RankMerging: A supervised learning-to-rank framework to predict links in large social network
L2TI, Université Paris-Nord(L2TI,巴黎第十三大学);naXys, University of Namur(纳克西斯研究所,那慕尔大学);Mathematical Institute, University of Oxford(牛津大学数学研究所)
本文提出监督学习排序框架RankMerging,融合多种无监督排名信息,在三种社交网络上显著提升链接预测性能,并探讨特征选择与参数估计,适用于大型网络的可调数量链接预测。
2025-03-29 cs.IR cs.LG cs.SI
Risk Bounds for Low Cost Bipartite Ranking
二分排序是一个重要的监督学习问题;然而,与回归或分类不同,它对样本数量有二次依赖性。为了避免过高的样本成本,许多最近的工作集中在随机梯度为基础的方法。在本文中,我们考虑一种替代方法,它利用广泛采用的成对平方损失的结构,以获得一个随机和低成本的算法,不需要随机梯度或学习率。使用一种新的统一的风险界-基于矩阵和向量浓度不等式-我们表明,对所有对批处理算法的竞争性能所需的样本量不具有二次依赖。批量和低成本随机算法的推广界。实验结果表明,显着的速度增益对批处理算法,以及竞争力的性能对国家的最先进的二分排名算法在真实的数据集。
2019-12-02 cs.LG stat.ML
SESA: Supervised Explicit Semantic Analysis
LinkedIn Corporation(领英公司)
近年来,监督式表示学习已经在包括排序和信息检索的语义分析任务中提供了最新技术水平或接近最新技术水平的结果。其核心思想是学习如何将项目嵌入到潜在空间中,以便它们优化该潜在空间中的监督目标。潜在空间的维度没有明确的语义,这降低了系统的可解释性。例如,在个性化模型中,很难解释为什么特定项目对于给定的用户简档排名很高。我们提出了一种新的表示学习模型,称为监督显式语义分析(SESA),它以监督的方式进行训练,以将项目嵌入到一组具有显式语义的维度中。该模型通过在这个显式空间中表示两个对象来学习比较它们,其中每个维度对应于知识库中的一个概念。这项工作扩展了显式语义分析(ESA)与监督模型的排名问题。我们将此模型应用于LinkedIn中的工作简介相关性任务,其中一组技能定义了我们的空间的明确维度。每个配置文件和工作都被编码到这组技能中,它们的相似性在这个空间中计算。我们使用RNN将文本输入嵌入到这个空间中。除了可解释性之外,我们的模型还利用了用户为每个LinkedIn个人资料提供的网络规模的协作技能数据。我们的模型提供了最先进的结果,同时它仍然是可解释的。
2017-08-10 cs.AI cs.CL
Semi-supervised Ranking Pursuit
The Netherlands Organization for Applied Scientific Research(荷兰应用科学研究组织);Radboud University Nijmegen(奈梅亨拉德堡德大学)
我们提出了一种新的稀疏偏好学习/排序算法。我们的算法近似的真实效用函数的加权和的基函数使用的平方损失对数据点,是一个推广的核匹配追踪方法。它可以在监督和半监督设置中运行,并允许有效搜索多个接近最优的解决方案。此外,我们描述了该算法的扩展,适用于组合排名和回归任务。在我们的实验中,我们证明了所提出的算法在考虑未标记数据时优于几种最先进的学习方法,并在监督学习场景中执行重复,同时提供更稀疏的解决方案。
2013-07-02 cs.IR cs.LG stat.ML
To Detect Irregular Trade Behaviors In Stock Market By Using Graph Based Ranking Methods
John von Neumann Institute(约翰·冯·诺依曼研究所);VNU-HCM(胡志明市国家大学);Thu Dau Mot University(守德大学)
检测股票市场中的不规则交易行为是机器学习领域的重要课题。这些不规范的交易行为显然是违法的。为了检测股票市场中的这些不规则交易行为,数据科学家通常采用监督学习技术。在本文中,我们采用三个基于图拉普拉斯的半监督排名方法来解决不规则的交易行为检测问题。实验结果表明,基于非规范化和对称规范化图拉普拉斯算子的半监督排序方法优于基于随机游走拉普拉斯算子的半监督排序方法.
2019-09-04 cs.LG q-fin.ST stat.ML
An efficient domain-independent approach for supervised keyphrase extraction and ranking
本研究提出一种领域无关的有监督关键短语提取排序方法,采用候选短语统计和位置特征与轻量集成模型,不依赖外部知识和预训练模型,在基准测试中准确率优于多数现有模型,兼具无监督方法优势。
2024-03-24 cs.CL cs.IR cs.LG
Feature Ranking for Semi-supervised Learning
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院)
可用于分析的数据在几个方向上变得越来越复杂:高维数,示例数量和每个示例的标签数量。这对现有的机器学习方法提出了各种挑战:处理具有大量在高维空间中描述的示例的数据集,并且不是所有示例都提供了标签。例如,当研究化学化合物的毒性时,有很多可用的化合物,其可以用信息丰富的高维表示来描述,但并非所有化合物都具有关于其毒性的信息。为了解决这些挑战,我们提出了半监督学习的功能排名。在分类和回归的背景下以及在结构化输出预测(多标签分类、分层多标签分类和多目标回归)的背景下学习特征排名。据我们所知,这是在半监督结构化输出预测上下文中处理特征排名任务的第一项工作。更具体地说,我们提出了两种方法,是基于树集成和救济家庭的算法。对38个基准数据集的广泛评估揭示了以下内容:随机森林对于分类类任务表现最好,而对于回归类任务,Extra-PCT表现最好,考虑到所有任务的诱导时间,随机森林是最有效的方法,并且半监督特征排名在来自不同任务的大多数数据集上优于其监督对应物。
2020-08-10 cs.LG stat.ML
Semi-supervised Collaborative Ranking with Push at Top
Michigan State University(密歇根州立大学)
现有的基于协作排名的推荐系统往往表现最好时,有足够的观察到的评级为每个用户和观察是完全随机的。在此设置下,推荐系统可以根据用户的兴趣适当地建议推荐列表。然而,当观察到的评级是非常稀疏的(例如,在没有评级数据可用的冷启动用户的情况下),并且不是随机均匀采样的,现有的排名方法无法有效地利用边信息来将知识从现有的评级转换为未观察到的评级。我们提出了一个半监督的协作排名模型,称为\texttt{S$^2$COR},以提高冷启动推荐的质量。\texttt{S$^2$COR}通过协作学习排名模型,利用关于观察到的和缺失的评级的边信息,减轻稀疏性问题。这使得它能够处理丢失数据的情况下,不是随机的,但也有效地将可用的边信息纳入转导。我们在一些具有挑战性的现实世界数据集上对我们提出的算法进行了实验评估,并与最先进的冷启动推荐模型进行了比较。与最先进的算法相比,我们报告了更高质量的推荐。
2015-11-17 cs.IR cs.LG
Bradley-Terry Rankings for Recommender Systems Across Dataset Taxonomies
HSE University(俄罗斯莫斯科国立高等经济学院)
针对推荐算法排名对数据集特性敏感的问题,提出基于Bradley-Terry模型的数据驱动排名方法,并引入排名一致性指标和针对未见数据集的算法排名方法。
2026-06-05 cs.IR cs.LG stat.ML
RankUp: Boosting Semi-Supervised Regression with an Auxiliary Ranking Classifier
Academia Sinica(中央研究院);NVIDIA(英伟达公司)
针对现有半监督分类技术无法直接用于回归任务的问题,提出RankUp方法将回归转排序任务结合分类技术,辅以RDA优化伪标签,在多领域回归基准上取得SOTA性能并开源代码。
2024-10-29 cs.CL cs.CV cs.LG
Multipartite Ranking-Selection of Low-Dimensional Instances by Supervised Projection to High-Dimensional Space
Australian National University(澳大利亚国立大学);Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织)
删除冗余或不相关的数据实例是模式识别每个成功解决方案的关键。在本文中,我们提出了一种新的排序选择框架的长度短,但高度相关的情况下。我们不是在低维实例空间中工作,而是学习到由所研究的数据集中的类数量所跨越的高维空间的监督投影。通过将标签的概念暴露给实例来施加更高的区别,让我们为每个单独的类部署一个与所有的排名,并通过对整体分数的自适应阈值来选择质量实例。为了证明我们的范例的效率,我们采用它的纹理理解的目的,这是一个很难识别的挑战,由于纹理像素的高相似性和低维度的颜色特征。我们的实验表明,在几个公开的数据集上,识别性能比其他本地描述符有相当大的提高。
2016-06-24 cs.CV cs.LG stat.ML
Contrastive Learning for Semi-Supervised Deep Regression with Generalized Ordinal Rankings from Spectral Seriation
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology(香港科学与技术大学电子与计算机工程系);School of Science, Sun Yat-sen University(中山大学科学学院);Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University(复旦大学脑启发式智能科学与技术研究院)
本文提出一种基于谱序列化通用序排名的半监督深度回归对比学习方法,通过引入标记样本和未标记样本构建特征相似性矩阵,提升模型鲁棒性。
2025-12-10 cs.LG
Supervised Off-Policy Ranking
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
策略外评估(OPE)是利用其他策略生成的数据对目标策略进行评估。大多数以前的OPE方法专注于精确估计政策的真实表现。我们观察到,在许多应用中,(1)OPE的最终目标是比较两个或多个候选策略并选择一个好的策略,这比精确评估它们的真实性能要简单得多;(2)通常有多个策略已经部署在现实世界的系统中为用户提供服务,因此可以知道这些策略的真实性能。受这两个观察的启发,在这项工作中,我们研究了一个新的问题,监督的政策外排名(SOPR),其目的是排名一组目标政策的基础上监督学习,利用政策外的数据和政策与已知的性能。我们提出了一种解决SOPR的方法,该方法通过最小化训练策略的排名损失来学习策略评分模型,而不是估计精确的策略性能。我们的方法中的评分模型是一个基于分层Transformer的模型,它将一组状态-动作对映射到一个分数,其中每对的状态来自离线策略数据,并且目标策略以离线方式对状态采取动作。在公开数据集上的大量实验表明,该方法在秩相关性、后悔值和稳定性方面优于基线方法。我们的代码在GitHub上公开。
2022-06-20 cs.LG
A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems
Meta
针对工业广告排序系统依赖带标签数据导致的过拟合、模型扩展收益慢等问题,提出知识蒸馏与半监督学习统一框架UKDSL,通过利用更大规模多样数据提升性能并缓解偏差,已在工业场景成功部署且效果显著。
2025-02-05 cs.AI cs.LG
Contextual Networks and Unsupervised Ranking of Sentences
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
我们构建了一个上下文网络来表示一个文档的语法和语义之间的关系的单词-句子对,在此基础上,我们设计了一个无监督的算法称为CNATAR(上下文网络和文本分析排名)的句子评分,并通过一个双目标0-1背包最大化问题的主题分析和句子分数的排名。我们表明,CNATAR优于在ROUGE和BLEU指标下SummBank数据集上提供的三位人类法官的综合排名,这在术语上显著优于每个法官的排名。此外,CNATAR产生了迄今为止最高的ROUGE分数超过DUC-02,并优于以前的监督算法上的CNN/DailyMail和纽约时报数据集。我们还比较了CNATAR和最新的监督神经网络摘要模型的性能,并计算了预言结果。
2022-03-09 cs.CL cs.LG
Consequential Ranking Algorithms and Long-term Welfare
MPI-IS(马克斯·普朗克智能系统研究所);MPI-SWS(马克斯·普朗克软件系统研究所);Universitat Pompeu Fabra(庞培法布拉大学)
排名模型通常被设计为提供排名,以优化对用户的直接效用的一些度量。因此,他们无法预料到他们提出的排名会带来越来越多的不良长期后果,从助长错误信息的传播和加剧两极分化到贬低社会话语。我们能否设计出能够理解其建议排名的后果的排名模型,更重要的是,能够避免不受欢迎的排名?在本文中,我们首先介绍了一个联合表示的排名和用户动态使用马尔可夫决策过程。然后,我们表明,这种表示大大简化了建设的后果排名模型,权衡的即时效用和长期福利。特别是,我们可以通过对模型提供的排名应用加权抽样来获得最佳的结果排名,这些模型可以最大化即时效用的度量。然而,在实践中,这样的策略可能是低效和不切实际的,特别是在高维场景中。为了克服这一点,我们引入了一个有效的基于梯度的算法来学习参数化的结果排序模型,有效地近似最优的。我们使用从Reddit收集的合成和真实数据展示了我们的方法,并表明使用我们的方法得出的排名模型提供了可以减轻错误信息传播并提高在线讨论文明程度的排名。
2019-05-13 cs.IR cs.LG cs.SI
MidRank: Learning to rank based on subsequences
The Australian National University(澳大利亚国立大学);University of Amsterdam(阿姆斯特丹大学);Jean Monnet University(让·莫内大学);KU Leuven(鲁汶大学)
我们提出了一个有监督学习排序算法,有效地利用图像序列中的结构排序图像。在监督学习排序文献中,最常见的是通过分析图像对或通过优化全序列上的列表式代理损失函数来进行排序。在这项工作中,我们提出了MidRank,它从中等大小的子序列中学习。这些子序列包含有用的结构排序信息,这些信息在训练过程中具有更好的可学习性,在测试过程中具有更好的泛化能力。通过利用子序列,所提出的MidRank在广泛的图像排名应用程序和数据集上大大提高了排名精度。
2015-11-29 cs.CV cs.LG
Neural Ranking Models with Weak Supervision
University of Amsterdam(阿姆斯特丹大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google Research(谷歌研究院)
尽管无监督深度神经网络在计算机视觉和NLP任务中取得了令人印象深刻的改进,但在信息检索的排名中尚未观察到这种改进。原因可能是排序问题的复杂性,因为当没有监督信号可用时,如何从查询和文档中学习并不明显。因此,在本文中,我们提出使用弱监督来训练神经排名模型,其中自动获得标签而无需人工注释器或任何外部资源(例如,点击数据)。为此,我们使用无监督排名模型(如BM 25)的输出作为弱监督信号。我们进一步训练一组简单而有效的排名模型的基础上前馈神经网络。我们研究了它们在各种学习场景(逐点和成对模型)下的有效性,并使用不同的输入表示(即,从将查询-文档对编码成密集/稀疏向量到使用词嵌入表示)。我们使用数以千万计的训练实例来训练我们的网络,并在两个标准集合上对其进行评估:同质新闻集合(Robust)和异构大规模Web集合(Cocktail Web)。我们的实验表明,采用适当的目标函数,让网络学习基于弱监督数据的输入表示,可以带来令人印象深刻的性能,在Robust和Cocktail Web集合上,与BM 25模型相比,MAP提高了13%和35%以上。我们的研究结果还表明,监督神经排名模型可以从大量弱标记数据的预训练中受益匪浅,这些数据可以很容易地从无监督IR模型中获得。
2017-05-29 cs.CL cs.IR cs.LG
Beyond Suspension: A Two-phase Methodology for Concluding Sports Leagues
Alliance Manchester Business School, The University of Manchester(曼彻斯特大学联盟曼彻斯特商学院);Tippie College of Business, University of Iowa(爱荷华大学蒂皮商学院);The Paul Merage School of Business, University of California, Irvine(加州大学尔湾分校保罗·梅拉吉商学院)
本文针对因疫情等原因中断的体育联赛,提出一种两阶段数据驱动方法,通过预测模型与基于排名的随机优化,从剩余赛程中选取子集以缩短赛季,并保持与完整赛季相似的最终排名。
2024-03-29 cs.AI cs.LG math.OC
Spectral Ranking using Seriation
École Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);Microsoft Research(微软研究院)
我们描述了一个序列化算法,用于对一组项目进行排序,这些项目之间进行成对比较。直观地说,该算法将类似的排名分配给与所有其他项目进行类似比较的项目。它通过从成对比较中构建相似性矩阵,使用序列化方法对该矩阵进行重新排序并构建排名来实现。我们首先表明,这种光谱序列化算法恢复真实的排名时,所有成对的比较观察和一致的总顺序。然后,我们表明,排名重建仍然是准确的,当一些成对的比较损坏或丢失,序列化的频谱排名是更强大的噪声比经典的评分方法。最后,当只观察到比较的随机子集时,我们限制了排名误差。序列化公式的另一个好处是它允许我们解决半监督排名问题。在合成数据集和真实数据集上的实验表明,与经典的排序方法相比,基于序列化的光谱排序具有竞争力,在某些情况下具有优越的性能。
2016-03-10 cs.AI cs.LG stat.ML
Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model
University of Glasgow(格拉斯哥大学);IIT Kharagpur(印度理工学院卡拉格普尔分校)
本研究针对零样本排序模型性能弱于有监督模型的问题,提出成对少样本排序方法,通过补充相似查询偏好示例提升效果,在多基准上优于零样本基线,性能接近有监督模型且无需复杂训练流程。
2024-10-04 cs.CL cs.IR cs.LG
Distance-based Positive and Unlabeled Learning for Ranking
Johns Hopkins University(约翰斯·霍普金斯大学);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
学习排序--产生特定于查询并且关于一组监督项的项的排序列表--是一个普遍感兴趣的问题。我们考虑的设置是一个没有分析描述什么是一个好的排名。相反,我们有一个由(目标项,感兴趣项集)对组成的表示和监督信息的集合。我们证明了分析,在模拟和真实数据的例子,学习排序通过组合表示使用整数线性规划是有效的,当监督是轻的“这几个项目是类似于你的项目的兴趣。“虽然这个提名任务是相当普遍的,但为了具体起见,我们从图中顶点提名的角度提出了我们的方法。本文描述的方法是模型不可知的。
2022-09-28 cs.IR cs.LG stat.ML
Why Global LLM Leaderboards Are Misleading: Small Portfolios for Heterogeneous Supervised ML
Carnegie Mellon University(卡内基梅隆大学);MIT Sloan School of Management(麻省理工学院斯隆管理学院)
本文分析了全球大语言模型排行榜的误导性,指出语言异质性导致传统排名方法失效,并提出(λ,ν)投资组合框架以解决异质性问题。
2026-05-07 cs.DM cs.ET cs.LG
Metalearners for Ranking Treatment Effects
KU Leuven(鲁汶大学);University of Antwerp(安特卫普大学)
本文提出基于学习排序的元学习器方法,通过按增量利润优先级直接学习预算约束下的处理分配策略,并设计高效采样程序以扩展至大规模数据,在合成与真实数据上验证了其有效性。
2024-05-03 cs.LG stat.ML
A Structured Prediction Approach for Label Ranking
LTCI(电信与信息处理实验室);Télécom ParisTech(巴黎高等电信学院);Université Paris-Saclay(巴黎萨克雷大学)
我们建议将标签排序问题作为结构化输出回归任务来解决。我们采用了最小二乘代理损失的方法,解决了监督学习问题的两个步骤:在一个精心选择的特征空间和前图像步骤的回归步骤。我们使用特定的特征映射/嵌入对数据进行排名,将任何排名/排列转换为矢量表示。这些嵌入都是为我们的方法量身定制的,无论是通过产生相合估计量,还是通过解决通常是结构化预测中的瓶颈的前像问题。我们还提出了部分排名的情况下,他们的自然扩展,并证明了他们的效率在现实世界的数据集。
2018-07-06 cs.LG stat.ML
The asymptotics of ranking algorithms
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
我们考虑的预测问题的监督排名,其中的任务是排名集的候选项返回响应查询。虽然存在统计程序,保证在这种情况下的一致性,这些程序要求个人提供所有项目的完整排名,这在实践中很少可行。相反,个人经常提供部分偏好信息,如项目的成对比较,更实用的排名方法旨在直接建模这种部分偏好数据。然而,正如我们所展示的,这种方法提出了严重的理论挑战。事实上,我们证明,许多常用的替代损失成对比较数据不产生一致性,令人惊讶的是,我们显示不一致,即使在低噪声设置。这些负面的结果作为动机,我们提出了一种新的方法,监督排名的基础上聚集的部分偏好,我们开发了$U$ -基于经验的风险最小化程序。我们提出了一个渐近分析,这些新的程序,表明它们产生的一致性结果,平行的分类。我们补充我们的理论结果与实验研究的新程序在一个大规模的网络排名任务。
2013-11-26 cs.LG math.ST stat.ML
OpinionRank: Extracting Ground Truth Labels from Unreliable Expert Opinions with Graph-Based Spectral Ranking
Rowan University(罗文大学)
随着更大、更全面的数据集成为当代机器学习的标准,获得可靠、可信的标签信息来训练复杂模型变得越来越困难。为了解决这个问题,众包已经成为一种流行的,廉价的,高效的数据采掘解决方案,用于执行分布式标签收集。然而,众包注释本质上是不可信的,因为标签是由匿名志愿者提供的,他们可能具有不同的、不可靠的专业知识。更糟糕的是,亚马逊Mechanical Turk等常用平台上的一些参与者可能是敌对的,并在最终用户不知情的情况下故意提供不正确的标签信息。我们讨论了三个传统的模型的标签生成过程中,描述其参数化和基于模型的方法来解决它们。然后,我们提出了OpinionRank,一个无模型的,可解释的,基于图形的光谱算法,用于将众包注释集成到可靠的标签中,以执行监督或半监督学习。我们的实验表明,OpinionRank表现良好,与更高度参数化的算法相比。我们还表明,OpinionRank可扩展到非常大的数据集和标签源的数量,并且需要比以前的方法少得多的计算资源。
2021-05-15 cs.AI cs.LG stat.ML
Developing patient-driven artificial intelligence based on personal rankings of care decision making steps
Aalto University School of Science(阿尔托大学理学院)
我们提出并实验激励一种新的方法,以支持决策过程中的医疗保健与人工智能的基础上个人排名的护理决策步骤,可以确定与我们的方法,问卷调查数据及其统计模式。我们的纵向定量横断面三阶段研究收集了437个关于医疗保健情况的表达陈述的自我评级,这些陈述涉及李克特量表的“需要帮助”,“健康的进步”,“幸福感”,“同情的迹象”和“健康状况”,以及45个关于人的人口统计学,健康和福祉的答案,以及给出答案的持续时间。2020年6月1日至2021年6月29日期间,从芬兰患者和残疾人组织、其他健康相关组织和专业人员以及教育机构招募了在线受访者(n=1075)。采用Kruskal-Wallis检验、Wilcoxon秩和检验(即,Mann-Whitney U检验)、Wilcoxon秩和配对检验、Welch t检验和组间单因素方差分析(ANOVA)检验,我们基于每个背景问题的答案值确定了关于应答者分组的每个表达陈述的评分及其持续时间的统计学显著差异。后来重新排序的评级排名的频率显示出依赖性与评级早些时候就各种口译任务实体,口译层面和答复分组。我们的方法,问卷调查数据及其统计模式,使分析与自我评价的表达陈述的决策步骤在医疗保健的情况下,他们的链接,聚集和分支的知识实体的个性化护理路径的表示。我们的研究结果支持构建人工智能解决方案,以满足患者的护理需求。
2022-05-15 cs.HC cs.LG
Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
针对变分对抗主动学习未利用任务信息和未标记数据训练的局限,提出基于排序的损失预测模块和半监督伪标签算法,在分类与分割基准上取得更优性能。
2024-08-23 cs.CV cs.LG
Extended Missing Data Imputation via GANs for Ranking Applications
Cornell University(康奈尔大学);Amazon(亚马逊)
我们提出了条件填补GAN,一种基于生成对抗网络(GANs)的扩展缺失数据填补方法。激励用例是学习排名,现代搜索,推荐系统和信息检索应用程序的基石。经验排序数据集并不总是遵循标准高斯分布或完全随机缺失(MCAR)机制,这是经典缺失数据插补方法的标准假设。我们的方法提供了一个简单的解决方案,提供兼容的插补保证,同时放松假设缺失的机制和回避近似棘手的分布,以提高插补质量。我们证明了最佳的GAN填补实现扩展随机缺失(EMAR)和扩展总是随机缺失(EAMAR)机制,超越了天真的MCAR。我们的方法在开源Microsoft Research Ranking(MSR)数据集和合成排名数据集上展示了最高的插补质量,与最先进的基准和各种特征分布相比。使用专有的Amazon Search排名数据集,我们还展示了与地面实况数据相比,在GAN估算数据上训练的排名模型的可比排名质量指标。
2021-11-10 cs.LG stat.AP stat.ML
Establishing Deep InfoMax as an effective self-supervised learning methodology in materials informatics
Leverhulme Research Centre for Functional Materials Design(Leverhulme功能材料设计研究中心);University of Liverpool(利物浦大学);Department of Computer Science(计算机科学系);Department of Chemistry(化学系)
本文提出将 Deep InfoMax 作为材料信息学的自监督学习框架,通过最大化晶体点集表示与向量表示间的互信息,在无性质标签的大规模晶体数据上预训练 Site-Net 模型,从而提升小数据量下带隙和形成能预测的性能。
2024-06-30 cond-mat.mtrl-sci cs.LG
THOR: Threshold-Based Ranking Loss for Ordinal Regression
Bar-Ilan University(巴伊兰大学)
在这项工作中,我们提出了一个基于回归的有序回归算法的监督分类的顺序类别的实例。与之前的方法相比,在这项工作中,类别之间的决策边界是预定义的,并且算法学会根据这些预定义的边界将输入示例投影到其适当的分数上。这是通过增加一个新的基于阈值的成对损失函数,旨在最大限度地减少回归误差,这反过来又最大限度地减少平均绝对误差(MAE)的措施。我们实现了我们提出的架构不可知的方法,使用CNN框架的特征提取。五个真实世界的基准测试结果表明,该算法实现了最好的MAE结果相比,最先进的有序回归算法。
2022-05-10 cs.LG
Supervised low-rank semi-nonnegative matrix factorization with frequency regularization for forecasting spatio-temporal data
POSTECH(浦项科技大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本研究提出带频域软/硬正则化的监督半非负矩阵分解方法用于时空数据预测,可提升时间模式清晰度与频域可解释性,在GRACE数据上效果与现有研究相当且解释性更强。
2024-06-19 cs.LG stat.ML
Supervised Dimensionality Reduction and Image Classification Utilizing Convolutional Autoencoders
University of Thessaly(塞萨利大学)
重建和分类误差的联合优化是一个非凸的硬问题,特别是当使用非线性映射时。为了克服这一障碍,提出了一种新的优化策略,其中用于降维的卷积自动编码器和由全连接网络组成的分类器相结合,以同时产生监督降维和预测。事实证明,这种方法在加强深度学习架构的可解释性方面也非常有益。此外,所得到的潜在空间,优化的分类任务,可以用来改善传统的,可解释的分类算法。实验结果表明,所提出的方法与最先进的深度学习方法相比取得了有竞争力的结果,同时在参数计数方面更加有效。最后,它是经验证明,所提出的方法引入了先进的可解释性,不仅通过所产生的潜在空间的数据结构,而且关于分类行为。
2022-11-03 cs.LG cs.NE
How Many Validation Labels Do You Need? Exploring the Design Space of Label-Efficient Model Ranking
HKUST (GZ)(香港科技大学(广州));University of Washington(华盛顿大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出LEMR框架和MoraBench基准,通过策略性标注未标记验证集实例实现标签高效的模型选择,在23个NLP任务上显著降低标注成本,为资源受限环境提供经济准确的解决方案。
2024-02-17 cs.LG
A semi-supervised methodology for fishing activity detection using the geometry behind the trajectory of multiple vessels
Dalhousie University(达尔豪斯大学);Memorial University of Newfoundland(纽芬兰纪念大学);Polish Academy of Sciences(波兰科学院)
自动识别系统(AIS)信息可用于使用无线电链路和卫星收发器跟踪全球海洋上的船舶活动。这些数据在跟踪船只活动和绘制捕鱼等活动模式图方面发挥着重要作用。因此,本文提出了一种几何驱动的半监督方法,从AIS数据的捕捞活动检测。通过所提出的方法,我们展示了如何探索信息中包含的信息,以提取描述船舶路线的几何形状的功能。为此,我们利用聚类分析的无监督性质来标记轨迹几何形状,突出显示船只移动模式的变化,这往往表明捕鱼活动。建议的无监督的方法获得的标签被用来检测捕捞活动,我们的做法作为一个时间序列分类任务。在这种情况下,我们提出了一个解决方案,使用递归神经网络的AIS数据流与大约87%的整体$F$分数的整个轨迹上的50个不同的看不见的渔船。这些结果伴随着广泛的基准研究,评估不同递归神经网络(RNN)架构的性能。总之,这项工作的贡献,提出了一个全面的过程,包括数据准备,标签,数据建模和模型验证。因此,我们提出了一种新的解决方案,移动模式检测依赖于展开的轨迹的时间和观察其固有的几何形状。
2022-08-22 cs.LG
Supervised Policy Update for Deep Reinforcement Learning
University of California, San Diego(加州大学圣地亚哥分校);New York University(纽约大学)
本文提出了一种新的样本效率高的方法,称为监督策略更新(SPU),用于深度强化学习。该方法通过当前策略生成的数据,在非参数化的近端策略空间中构建并求解一个约束优化问题,然后利用监督回归将最优的非参数化策略转换为参数化策略,从而生成新的样本。该方法适用于离散和连续动作空间,并能处理多种接近约束。本文展示了如何通过该方法解决自然策略梯度和信任区域策略优化(NPG/TRPO)以及近端策略优化(PPO)问题。SPU的实现比TRPO更简单,在样本效率方面,实验表明SPU在Mujoco模拟机器人任务中优于TRPO,在Atari视频游戏任务中优于PPO。
2018-12-24 cs.AI cs.LG cs.RO
Strategizing University Rank Improvement using Interpretable Machine Learning and Data Visualization
DA-IICT(印度达艾-信息与通信技术学院)
高等教育机构年度排名是一个全球性的现象,对高等教育格局有着重要的影响。大多数高校都密切关注排名结果,并期待着提高自己的排名。然而,保持良好的排名和排名上升是一项艰巨的任务,因为它需要相当多的资源,努力和绩效改进计划。在这项工作中,首先,我们展示了使用相关热图和箱形图的探索性数据分析(EDA)如何帮助理解排名数据的广泛趋势。随后,我们提出了一个新的想法,使用决策树(DT)为基础的算法进行分类的排名数据和检索决策路径的排名提高使用数据可视化技术。使用拉普拉斯校正的概率估计,我们量化的确定性与不同的决策路径从可解释的DT模型。建议的方法可以帮助大学和高等院校定量评估改进的范围,勾勒出一个细粒度的长期行动计划,并准备一个合适的路线图。
2021-12-14 cs.LG
Listwise Learning to Rank with Deep Q-Networks
University of California, Berkeley(加州大学伯克利分校)
学习排序是根据文档与给定查询的相关性对文档序列进行排序的问题。深度Q学习已被证明是训练智能体进行顺序决策的有用方法。在本文中,我们展示了DeepQRank,我们的深度q-学习排序代理,展示了可以被认为是最先进的性能。虽然计算效率低于线性回归等监督学习方法,但我们的代理在用于训练和评估的数据格式方面的限制较少。我们对微软的LETOR列表数据集运行我们的算法,并实现了NDCG@1(范围[0,1]内的排名精度)为0.5075,勉强击败了领先的监督学习模型SVMRank(0.4958)。
2020-02-13 cs.IR cs.LG
Ranking-based Deep Cross-modal Hashing
Southwest University(西南大学);China University of Geosciences(中国地质大学);George Mason University(乔治梅森大学);University of Electronic Science and Technology of China(电子科技大学);Beijing University of Civil Engineering and Architecture(北京建筑大学)
跨模式哈希算法以其存储开销小、查询速度快等优点在多模式数据检索中受到越来越多的关注。然而,大多数现有的散列方法是基于手工制作或原始级别的对象的功能,这可能不是最佳的编码过程兼容。此外,这些散列方法主要被设计用于处理简单的成对相似性。与多个标签相关联的实例的复杂多级排序语义结构尚未得到很好的探索。在本文中,我们提出了一种基于排名的深度跨模态哈希方法(RDCMH)。RDCMH首先使用数据的特征和标签信息来获得半监督语义排序列表。接下来,为了扩展手工特征的语义表示能力,RDCMH将语义排名信息集成到深度跨模态哈希中,并联合优化深度特征表示和哈希函数的兼容参数。在真实多模态数据集上的实验表明,RDCMH算法在跨模态检索应用中的性能优于其他同类算法。
2019-05-11 cs.LG stat.ML
RED-CT: A Systems Design Methodology for Using LLM-labeled Data to Train and Deploy Edge Classifiers for Computational Social Science
University of Washington(华盛顿大学);Army Cyber Technology and Innovation Center(陆军网络技术与创新中心);Carnegie Mellon University(卡内基梅隆大学)
针对大语言模型落地的成本、网络与安全问题,提出RED-CT系统设计方法,将LLM作为不完美标注器并加入新型系统干预来训练边缘分类器,8项测试中7项优于纯LLM标注效果,为行业专用监督模型的设计部署提供有效路径。
2024-11-01 cs.LG cs.SI
Mixed Semi-Supervised Generalized-Linear-Regression with Applications to Deep-Learning and Interpolators
Department of Statistics(统计系);Operation Research, Tel-Aviv university(运算研究,特拉维夫大学)
本文提出带混合参数的半监督学习框架,针对广义线性模型等证明非零无标签数据权重可提升回归预测性能,给出最优混合比例估计方法,通过仿真验证效果,并可拓展至深度神经网络等复杂模型。
2025-11-10 cs.LG stat.ME stat.ML