Rank Aggregation via Heterogeneous Thurstone Preference Models
University of Virginia(弗吉尼亚大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提出了异构Thurstone模型(HTM)聚合排名数据,它可以考虑到不同用户的准确性水平。通过允许不同的噪声分布,建议的HTM模型保持了瑟斯顿的原始框架的一般性,因此,也扩展了布拉德利-特里-卢斯(BTL)模型进行成对比较,异质人群的用户。在此框架下,我们还提出了一个排名聚合算法的基础上交替梯度下降,估计潜在的项目得分和准确性水平的不同用户同时从嘈杂的成对比较。我们从理论上证明,该算法线性收敛到一个统计误差相匹配的国家的最先进的方法的单用户BTL模型。我们评估所提出的HTM模型和算法的合成和真实数据,证明它优于现有的方法。
2019-12-03 cs.LG stat.ML
Improved theoretical guarantee for rank aggregation via spectral method
Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning(上海人工智能与深度学习前沿科学中心);New York University Shanghai(上海纽约大学);Center for Data Science, New York University(纽约大学数据科学中心);New York University(纽约大学)
针对排序聚合问题,本文基于留一法技术改进了谱排序算法的特征向量扰动误差界限,仅需 $Ω(n\log n)$ 样本即可提升样本复杂度的理论保证并经实验验证。
2023-09-10 cs.LG math.OC stat.ML
Gradient Descent for Sparse Rank-One Matrix Completion for Crowd-Sourced Aggregation of Sparsely Interacting Workers
Boston University(波士顿大学);Google DeepMind(谷歌DeepMind)
我们考虑了单个硬币Dawid-Skene众包模型的工人技能估计。在实践中,技能估计是具有挑战性的,因为工人的分配是稀疏和不规则的,由于工人的任意和不受控制的可用性。我们制定技能估计作为一个秩一相关矩阵完成问题,其中观察到的组件对应于观察到的工人之间的标签相关性。我们表明,相关矩阵可以成功地恢复和技能是可识别的,当且仅当采样矩阵(观察到的组件)没有一个二分连接组件。然后,我们提出了一个预计的梯度下降计划,并表明技能估计收敛到所需的全局最优值,这样的采样矩阵。我们的证明是原创的,而且考虑到即使是加权一阶矩阵分解问题通常也是NP难的这一事实,结果也令人惊讶。接下来,我们推导出采样矩阵的无符号拉普拉斯算子的谱特性方面的样本复杂度界。我们提出的方案在许多现实世界的数据集上实现了最先进的性能。
2020-07-23 cs.HC cs.LG stat.ML
Spectral MLE: Top-$K$ Rank Aggregation from Pairwise Comparisons
Stanford University(斯坦福大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文探讨了基于偏好的顶$K$秩聚合问题。假设一个项目集合被成对地重复比较,并且人们希望基于部分显示的偏好恢复强调排名最高的$K$项目的一致排序。我们专注于布拉德利-特里-卢斯(BTL)模型,假设一组潜在的偏好分数的基础上的所有项目,配对比较的几率只取决于所涉及的项目的相对分数。在随机和非自适应抽样的情况下,我们描述了最大极小值限制的可识别性的顶部$K$排名项目。我们的研究结果突出了一个分离的措施,量化的$K^{\text{th}}$和$(K+1)^{\text{th}}$排名项目之间的偏好得分的差距。可靠的顶级$K$排名所需的最小样本复杂性与分离度量成反比,而与其他偏好分布度量无关。为了接近这个极大极小的限制,我们提出了一个近线性时间的排名计划,称为\emph{Spectral MLE},返回的指数的顶部$K$项目按照一个仔细的分数估计。简而言之,谱MLE从具有最小平方损失的初始得分估计(通过谱方法获得)开始,然后在坐标方向MLE的帮助下连续地细化每个分量。令人鼓舞的是,光谱MLE允许在最小的样本复杂性下完美地识别顶部$K$项目。数值实验进一步证实了谱极大似然估计的实用性。
2015-05-28 cs.DS cs.IT cs.LG
Unsupervised Submodular Rank Aggregation on Score-based Permutations
University of Washington(华盛顿大学);The University of Tokyo(东京大学);University San Pablo CEU(圣巴布罗CEU大学)
无监督的基于得分的排序聚合算法在许多应用中得到了广泛的应用,但尚未得到深入的研究。本文研究了在无监督的情况下,使用子模优化算法对基于分数的排列进行秩聚合。具体来说,我们提出了一个无监督的方法的基础上的Lovasz Bregman分歧建立线性结构的凸和嵌套结构的凹目标函数。此外,在训练过程中应用随机优化方法,可以保证有效的推理算法。信息检索、组合分布式神经网络、社交网络中的影响者和分布式自动语音识别任务的实验结果证明了所提方法的有效性。
2017-09-06 cs.AI cs.LG
Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA
School of Software Engineering(软件工程学院)
GLoRA通过估计共识更新子空间和共享参考坐标,实现语义化的低秩更新聚合,优于联邦LoRA基线,在数据、资源和任务异质性下表现更优。
2026-05-07 cs.AI cs.LG
FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA
DGIST(大邱庆北科学技术院);Samsung(三星)
FedPA-LoRA是缓解异构联邦LoRA聚合与初始化误差的产品对齐框架,在多任务实验中较基线方法平均GLUE准确率最高提升6.82个百分点。
2026-11-02 cs.AI cs.LG
Towards Foundation Models for Consensus Rank Aggregation
TU Dortmund University, Dortmund, Germany(图卢兹大学(德累斯顿));Research Center Trustworthy Data Science and Security, University Alliance Ruhr, Dortmund, Germany(可信数据科学与安全研究中心,鲁尔大学联盟,德累斯顿,德国)
本文提出Kemeny Transformer,一种基于Transformer的算法,通过强化学习高效近似Kemeny最优排名,优于传统方法并在实际排名聚合任务中具有可扩展性。
2026-03-16 cs.AI cs.LG cs.NE
Monotone Retargeting for Unsupervised Rank Aggregation with Object Features
University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过聚合一组专家意见排序列表来学习对象之间的真实排序是从社会选择理论到自然语言处理和搜索聚合的许多应用中的重要且普遍存在的问题。我们研究了无监督等级聚合的问题,其中没有地面真理订购信息可用,无论是关于任何一组对象之间的真实偏好排序,也没有关于个人排名列表的质量。以这种无监督的方式聚合经常不一致和质量差的排名列表是一个极具挑战性的问题,并且标准的基于共识的方法通常定义不清,难以解决。在这篇手稿中,我们提出了一个新的框架来绕过这些问题,使用对象属性来增强标准的排名聚合框架。我们设计的算法,学习联合模型的排名列表和对象的功能,以获得一个聚合的排名排序,是更准确和强大的,也有助于淘汰排名列表的可疑的有效性。我们验证我们的技术在合成数据集,我们的算法是能够估计真正的排名排序,即使当排名列表被损坏。在MQ2008、MQ2008和OHSUMED三个真实数据集上的实验表明,与现有的不使用对象信息的秩聚合方法相比,使用对象特征可以显著提高性能。此外,当至少有一些排名列表是高质量的,我们的方法能够有效地利用他们的高专业知识,输出一个聚合的排名排序的高精度。
2016-05-14 cs.AI cs.LG stat.ML
Multiclass MinMax Rank Aggregation
University of Illinois at Urbana-Champaign(伊利诺伊大学香槟分校)
在两种距离测度Kendall τ和Spearman footrule下,引入了一类新的极大极小秩集结问题.由于这些问题是NP-困难的,我们继续描述一些常数-近似算法来解决它们。我们的结论与说明性的应用程序的聚集方法的Mallow模型和基因组数据。
2017-01-28 cs.AI cs.LG q-bio.QM
FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation
Institute of Artificial Intelligence and Future Networks, Beijing Normal University, Zhuhai(人工智能与未来网络研究院,北京师范大学,珠海);School of Computer Science and Artificial Intelligence, Zhengzhou University(计算机科学与人工智能学院,郑州大学);School of Software, Nanchang University(软件学院,南昌大学)
针对异构LoRA联邦学习中参数截断导致的梯度偏差问题,提出FedHL框架,利用全秩全局模型校准聚合并推导最优权重,实现O(1/√T)收敛,性能提升1-3%。
2025-05-24 cs.AI cs.LG
Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks
TU Dortmund University(多特蒙德工业大学)
本研究揭示图神经网络中秩坍缩是过平滑与过相关的根源,并提出克罗内克积之和性质以同时防止三类问题,实验验证了现有模型的拟合缺陷。
2024-09-17 cs.AI cs.LG
Weight Set Decomposition for Weighted Rank Aggregation: An interpretable and visual decision support tool
Rice University(莱斯大学);College of Charleston(查尔斯顿学院);xCures, Inc.(xCures公司)
解释或聚合多个排名的问题在许多现实世界的应用程序中很常见。也许最简单和最常见的方法是加权排名聚合,其中(凸)权重被应用于每个输入排名,然后进行排序。本文介绍了一种新的工具,用于可视化和显示加权排名聚合方法的排名信息。传统上,排名聚合的目的是总结来自输入排名的信息,并提供一个最终排名,希望代表比任何一个输入排名更准确或更真实的结果。虽然这种综合排名对许多应用程序是有用的,而且显然一直是有用的,但它也掩盖了信息。在本文中,我们展示了丰富的信息,可用于加权秩聚合问题,由于其结构。我们将权集分解应用到凸乘子集,研究有助于理解这种分解的性质,并可视化无差异区域。这种方法揭示了信息-否则被聚合排名折叠-成为一个有用的,可解释的和直观的决策支持工具。包括多个说明性的例子,以及启发式和精确算法计算的权重集分解。
2022-05-31 cs.AI cs.IR cs.LG
Rank Aggregation for Course Sequence Discovery
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Westmont College(韦斯特蒙特学院)
在这项工作中,我们适应的排名聚合框架,在大学水平的最佳课程序列的发现。每个学生都提供了他或她在本科生涯中所修课程的部分排名。我们根据学生通常参加课程的顺序计算课程之间的成对排名比较,汇总整个学生群体的结果,然后获得课程对之间的排名偏移的代理。我们提取一个全球排名的课程,通过几个国家的最先进的算法与成对的噪声信息,包括SerialRank,排名中心,和最近的SyncRank组同步问题的基础上的排名。我们测试这种应用程序的排名聚合15年的学生数据,从数学系在加州大学洛杉矶分校(UCLA)。此外,我们用上述方法对以最终GPA为条件的学生群体的不同子集进行实验,并突出显示了所获得的排名中的几个差异,这些差异揭示了数学课程中隐藏的预测试。
2016-03-03 cs.LG
Aggregating Low Rank Adapters in Federated Fine-tuning
Apheris AI(Apheris AI公司)
针对大模型联邦微调的高成本与通信开销问题,本文提出一种新型低秩适配器聚合方法,在GLUE基准上与现有方法对比评估性能。
2025-01-10 cs.AI cs.LG
Rank Aggregation in Crowdsourcing for Listwise Annotations
Nanjing University of Science and Technology(南京理工大学);Fuxi AI Lab, NetEase Games(网易游戏伏羲人工智能实验室)
提出LAC方法,首个无监督解决众包列表式全排名聚合问题,同时推断问题难度、标注者能力和真实排名,在合成和真实数据集上验证有效。
2024-10-10 cs.LG
Stochastic Rank Aggregation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文讨论了排名聚合问题,其目的是在多个排名输入之间找到一个共识排名。传统的秩聚集方法是确定性的,并且根据秩信息是显式地还是隐式地被利用而被分为显式方法和隐式方法。令人惊讶的是,在真实数据集上的实验结果表明,显式秩聚合方法的效果不如隐式方法,尽管秩信息对任务至关重要。我们的分析表明,主要原因可能是不完整的排名输入的不可靠的排名信息。为了解决这个问题,我们建议将不确定性纳入秩聚合,并在无监督和监督的情况下解决这个问题。我们称这种新的框架为{随机秩聚合}(简称St.Agg)。具体来说,我们引入了一个先验分布的排名,并将传统的显式方法的排名功能或目标,他们的期望在这个分布。我们在基准数据集上的实验表明,所提出的St.Agg在无监督和有监督的情况下都优于基线。
2013-09-26 cs.IR cs.LG stat.ML
ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation
College of Intelligence and Computing, Tianjin University(智能与计算学院,天津大学);School of Computer Science and Technology, Tianjin University(计算机科学与技术学院,天津大学)
ILoRA通过正交初始化、拼接分解聚合和秩感知优化,解决异构客户端聚合中的初始化不稳定性、秩不兼容和客户端漂移问题,提升联邦学习的准确率和收敛稳定性。
2025-11-20 cs.LG
Rank aggregation for non-stationary data streams
BCAM(巴斯克应用数学中心);Telecom Paris(巴黎高等电信学院);Tecnalia(特克纳利亚研究院)
我们考虑了非平稳排名流的学习问题。排名可以解释为人口的偏好,非平稳性意味着偏好的分布随时间而变化。我们的目标是以在线方式了解当前排名的分布情况。这个过程的瓶颈是一个秩聚合问题。我们提出了一个推广的Borda算法的非平稳排名流。此外,我们给出了以高概率输出地面真值所需的最小样本数的界限。此外,我们展示了如何设置最佳参数。然后,我们概括了整个家庭的加权投票规则(家庭Borda属于)的情况下,在某些排名比其他人更多的\textit{reliable},并表明这种推广可以解决问题的排名聚集在非平稳数据流。
2020-10-27 cs.LG stat.ML
Multi-criteria Rank-based Aggregation for Explainable AI
SR University(SR大学);Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学)
本文提出一种多准则基于排序的加权聚合方法,通过同时平衡多个质量指标生成解释模型集成,并引入现有XAI指标的排序版本,实验证明其鲁棒性且发现TOPSIS和WSUM为最佳候选算法。
2025-05-30 cs.LG
Data-driven Rank Breaking for Efficient Rank Aggregation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
排名聚合系统收集来自个人的顺序偏好,以产生代表社会偏好的全局排名。为了降低学习全局排序的计算复杂性,打破秩是一种常见的做法。个人偏好被分解成成对比较,并应用于为独立配对比较量身定制的高效算法。然而,由于忽略了数据中的依赖性,朴素的破秩方法可能导致不一致的估计。产生准确和一致的估计值的关键思想是根据所收集数据的拓扑结构不平等地对待成对比较。在本文中,我们提供了最优的破秩估计,它不仅达到了一致性,而且达到了最佳的误差界。这使我们能够描述准确性和复杂性之间的基本权衡。此外,该分析确定了准确度如何取决于相应比较图的频谱间隙。
2016-10-07 cs.LG stat.ML
The Lovasz-Bregman Divergence and connections to rank aggregation, clustering, and web ranking
University of Washington(华盛顿大学)
我们以几种方式扩展了最近引入的Lovasz-Bregman(LB)分歧理论(Iyer & Bilmes 2012)。我们表明,它们代表了一个“分数”和“排序”之间的失真,从而提供了一个新的观点排名聚合和基于顺序的聚类与有趣的连接到网络排名。我们展示了如何LB分歧有一些属性类似于许多置换为基础的度量,实际上有特殊情况下的形式非常相似的肯德尔-τ度量。我们还展示了如何LB分歧subsidians一些常用的排名措施,在信息检索,如NDCG和AUC。然而,与传统的基于置换的度量不同,LB发散自然地捕获排序中的“置信度”的概念,从而为涉及聚合分数而不仅仅是排序的应用提供新的表示。我们展示了一些最近使用的网络排名模型是如何Lovasz-Bregman排名聚合的形式,并观察到Mallow模型使用LB发散的自然形式已被用作“学习排序“问题的条件排名模型。
2014-08-09 cs.LG stat.ML
A comparative analysis of rank aggregation methods for the partial label ranking problem
Laboratorio de Sistemas Inteligentes y Minería de Datos, Universidad de Castilla-La Mancha, Albacete, Spain(智能系统与数据挖掘实验室,卡斯蒂利亚-拉曼查大学,阿尔巴塞特,西班牙);German Research Center for Artificial Intelligence, Kaiserslautern, Germany(德国人工智能研究中心,凯泽斯劳滕,德国)
本文针对部分标签排序问题,比较了多种排序聚合方法,扩展了基于评分和非参数概率的方法以支持并列,实验表明基于评分的方法优于现有最先进方法。
2025-09-08 cs.LG stat.ML
A novel active learning framework for classification: using weighted rank aggregation to achieve multiple query criteria
Shanghai Jiao Tong University(上海交通大学)
多查询准则主动学习(MQCAL)方法比传统的主动学习方法具有更高的潜在性能,其中只有一个标准被部署用于样本选择。与MQCAL方法相关的一个中心问题涉及充分利用所有标准的集成标准策略(ICS)的开发。传统的ICS在相关研究中均能达到预期的效果,但仍存在一些局限性。例如,一些策略在设计过程中没有足够的可扩展性,并且所涉及的标准的数量和类型是规定的。因此,除非对算法进行修改,否则用户很难将其他标准整合到原始过程中。其他策略过于依赖经验参数,这些参数只能通过经验或交叉验证获得,因此缺乏通用性;此外,这些策略与主动学习的意图相反,因为在主动学习过程可以开始之前,样本需要在验证集中被标记。为了解决这些局限性,我们提出了一种新的MQCAL方法的分类任务,采用第三种策略,通过加权排名聚合。该方法是一种启发式的方法来选择高价值的样本,具有很强的可扩展性和通用性,并通过三个步骤来实现:(1)样本选择的样本排序和评分的转换,(2)计算的自适应权重的每个标准,(3)加权聚合的每个样本的排名列表。最终,位于聚合排名列表顶部的样本是最有综合价值的,必须被标记。几个实验产生257胜,194平和49输对其他国家的最先进的MQCAL进行验证,所提出的方法可以实现优越的结果。
2018-09-27 cs.AI cs.LG stat.ML
The Lovasz-Bregman Divergence and connections to rank aggregation, clustering, and web ranking
University of Washington(华盛顿大学)
我们以几种方式扩展了最近引入的Lovasz-Bregman(LB)分歧理论(Iyer & Bilmes,2012)。我们表明,它们代表了一个“分数”和“排序”之间的失真,从而提供了一个新的观点排名聚合和基于顺序的聚类与有趣的连接到网络排名。我们展示了如何LB分歧有一些属性类似于许多置换为基础的度量,实际上有特殊情况下的形式非常相似的肯德尔- $τ$度量。我们还展示了如何LB分歧subsidians一些常用的排名措施,在信息检索,如NDCG和AUC。然而,与传统的基于置换的度量不同,LB发散自然地捕获排序中的“置信度”的概念,从而为涉及聚合分数而不仅仅是排序的应用提供新的表示。我们展示了一些最近使用的网络排名模型是如何Lovasz-Bregman排名聚合的形式,并观察到Mallow模型使用LB发散的自然形式已被用作“学习排序”问题的条件排名模型。
2013-08-24 cs.IR cs.LG stat.ML
RBLA: Rank-Based-LoRA-Aggregation for Fine-tuning Heterogeneous Models in FLaaS
School of Computer Science, The University of Sydney(悉尼大学计算机学院);Department of Engineering Science, University of Oxford(牛津大学工程科学系)
本文提出RBLA方法,解决联邦学习即服务中不同秩LoRA模型聚合时因填充导致的性能下降问题,通过保留低秩与高秩特征实现异构模型的有效聚合,并经实验验证其优于现有方法。
2024-09-27 cs.DC cs.LG
Riemannian Low-Rank Model Compression for Federated Learning with Over-the-Air Aggregation
Shenzhen Research Institute of Big Data(深圳大数据研究院);Hong Kong University of Science and Technology(香港科技大学)
本文针对联邦学习中的低秩模型压缩问题,提出一种基于黎曼流形优化的不放宽低秩约束的新方法,并设计带预编码器的交替优化算法以支持高效的空中聚合,实验证明其优于现有基线。
2023-06-04 cs.LG eess.SP
SAF: Smart Aggregation Framework for Revealing Atoms Importance Rank and Improving Prediction Rates in Drug Discovery
Technion IIT(以色列理工学院)
本研究针对图神经网络常用聚合算子丢失原子信息的问题,提出基于带温度超参数玻尔兹曼分布的非线性加权聚合框架SAF,可提升抗生素活性预测性能,还能平滑揭示重要原子、提供节点级可解释性。
2023-09-12 cs.AI cs.LG physics.chem-ph
Who is the Winning Algorithm? Rank Aggregation for Comparative Studies
Tel Aviv University(特拉维夫大学)
本文提出了一种新的框架,通过利用完整排名信息来提高算法胜出概率的估计,从而更准确地识别在未见数据集上表现最佳的算法。
2026-01-04 cs.LG
LoRAP: Low-Rank Aggregation Prompting for Quantized Graph Neural Networks Training
The Hong Kong Polytechnic University(香港理工大学)
LoRAP通过低秩聚合提示提升量化图神经网络训练性能,减少计算开销并提高低比特量化效果。
2026-01-21 cs.LG cs.SI
Aggregation of pairwise comparisons with reduction of biases
Yandex(扬德克斯)
我们研究了众包成对比较的排名问题。已知成对任务的答案会受到屏幕上项目位置的影响,然而,以前的成对比较聚合模型并没有专注于对这种偏差进行建模。我们引入了一个新的聚合模型factorBT成对比较,它占某些因素的成对任务,已知是无关的比较结果,但可能会影响工人的答案,由于知觉的原因。通过对影响工人的偏见进行建模,factorBT能够减少有偏见的成对比较对结果排名的影响。我们对真实世界数据集的实证研究表明,factorBT从众包的成对比较中产生的排名比以前建立的模型更准确。
2019-06-09 cs.LG stat.ML
ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning
Department of Electrical and Computer Engineering, New York University, Brooklyn, NY, USA(电气与计算机工程系,纽约大学,布鲁克林,纽约,美国)
ADF-LoRA通过交替低秩聚合提升去中心化联邦学习的稳定性与收敛速度,实现更高准确率。
2025-11-23 cs.DC cs.LG
Robust Node Affinities via Jaccard-Biased Random Walks and Rank Aggregation
Institute for Medical Informatics, Statistics and Documentation, Medical University Graz(医学信息学、统计与文档研究所,格拉茨医学大学)
TopKGraphs通过Jaccard偏倚随机游走和排名聚合,提供一种鲁棒且可解释的节点相似性方法,适用于网络分析和机器学习。
2026-03-05 cs.LG
CFLoRA: Federated Fine-tuning of LLMs with Complementary Factors for Error-free Aggregation
CFLoRA通过每轮将LoRA通道划分为互补集合并消除双线性项,实现了无误差的联邦聚合,支持异构秩预算,并达到O(1/√T)收敛速率,在GLUE和常识推理任务上优于现有基线。
2026-09-29 cs.LG
Sync-Rank: Robust Ranking, Constrained Ranking and Rank Aggregation via Eigenvector and Semidefinite Programming Synchronization
UCLA(加州大学洛杉矶分校)
我们认为经典的问题,建立一组n个项目的统计排名给定一组不一致和不完整的成对比较等项目。该问题的实例化出现在数据分析中的许多应用中(例如,在体育数据中对球队进行排名)、计算机视觉和机器学习。我们将上述不完全噪声信息下的排序问题表述为平面旋转群SO(2)上的群同步问题的一个实例,其有用性近年来已在许多应用中得到证明。它的最小二乘解可以近似的频谱或半定规划(SDP)松弛,然后通过舍入过程。我们进行了广泛的数值模拟合成和真实世界的数据集,表明我们提出的方法相比,毫不逊色,从最近的文献中的其他算法。现有的理论保证组同步问题意味着在排名数据中允许的最大噪声量的下限,同时仍然实现精确的恢复。我们提出了一个类似的基于同步的算法的排名聚合问题,它集成在一个全球一致的排名成对比较由不同的评级系统在同一组项目。我们还讨论了半监督排名的问题时,有可用的信息对地面真理排名的一个子集的球员,并提出了一个算法的基础上SDP恢复排名的其余球员。最后,同步为基础的排名,结合频谱技术的denominator子图的问题,允许一个提取本地一致的部分排名,换句话说,以确定排名的一个小子集的球员,其成对的比较是少噪音比其余的数据,其他方法是无法识别。
2015-04-05 cs.LG cs.SI math.OC
Regression and Learning to Rank Aggregation for User Engagement Evaluation
University of Tehran(德黑兰大学)
用户参与度是指实例的交互量(例如,tweet,news,and forum论坛post帖子)achieved实现.基于用户参与的数量对社交媒体网站中的项目进行排名,可以用于不同的应用,例如推荐系统。在本文中,我们将包含电影评级的推文视为实例,并专注于基于参与度对每个用户的实例进行排名,即,它将获得的转发和收藏的总数。对于这项任务,我们定义了几个功能,可以从每个推文的元数据中提取。这些功能分为三类:基于用户的,基于电影的和基于推文的。我们表明,为了获得良好的结果,应考虑所有类别的功能。我们利用回归和学习排序的方法来排名的推文,并提出了聚合的回归和学习排序方法的结果,以实现更好的性能。我们已经在ACM RecSys Challenge 2014提供的MovieTweet数据集的扩展版本上运行了我们的实验。结果表明,学习排序方法优于大多数回归模型,组合可以显着提高性能。
2015-01-29 cs.IR cs.LG
Multivariate Spearman's rho for aggregating ranks using copulas
The Walter and Eliza Hall Institute(沃尔特和伊丽莎·霍尔研究所);The University of Melbourne(墨尔本大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);The Australian National University(澳大利亚国立大学)
我们研究排名聚合问题:给定一组排名列表,我们希望形成一个共识排名。此外,我们考虑极端列表的情况:即,仅知道最好或最差元素的等级。我们通过平均值来估算缺失的秩,并将Spearman的ρ推广到极端秩。我们的主要贡献是推导出一个非参数估计的秩聚合的基础上斯皮尔曼的ρ,它衡量一组排名列表之间的相关性的多元扩展。多元斯皮尔曼的ρ定义使用copula,我们表明,几何平均数的归一化秩最大化多元相关性。出于这一动机,我们提出了一个加权几何平均值的方法来学习排名有一个封闭的形式最小二乘解。当只知道排名列表中最好或最差的元素时,我们用平均值来估算缺失的排名,允许我们应用斯皮尔曼的ρ。最后,我们在排名聚合基准MQ2007和MQ2008上展示了良好的性能。
2016-12-02 cs.LG stat.ML
Selective Aggregation for Low-Rank Adaptation in Federated Learning
The University of Hong Kong(香港大学);Stanford University(斯坦福大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Materials Innovation Institute for Life Sciences and Energy (MILES), HKU-SIRI(香港大学-SIRI生命科学与能源材料创新研究所)
该研究通过分析联邦学习中LoRA的A、B矩阵的功能差异,提出仅聚合通用知识对应的A矩阵的FedSA-LoRA方法,并扩展到多种LoRA变体,构建通用融合范式,实验验证了其在自然语言任务上的有效性。
2025-03-21 cs.LG
RaKUn: Rank-based Keyword extraction via Unsupervised learning and Meta vertex aggregation
Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);Jožef Stefan Institute(约瑟夫·斯特凡研究所);Usher Institute, Medical School, University of Edinburgh(爱丁堡大学医学院厄舍研究所)
关键词提取用于概括文档的内容,并支持高效的文档检索,因此是现代基于文本的系统不可或缺的一部分。我们探讨如何负载中心性,适用于从给定的文本衍生的图形的图论测量可以用来有效地识别和排名的关键字。引入Meta顶点(现有顶点的聚合)和系统的冗余过滤器,所提出的方法在14个不同的数据集上执行与最先进的关键字提取任务。该方法是无监督的,可解释的,也可以用于文档可视化。
2019-11-11 cs.CL cs.IR cs.LG
SeFoRA: Sketch-Aggregated Federated Low-Rank Adaptation with Heterogeneous Client Ranks
Technical University of Munich(慕尼黑工业大学);Technische Universität Berlin(柏林工业大学);Northern Arizona University(北亚利桑那大学)
针对联邦LoRA中客户端秩异构导致的双线性不匹配问题,提出SeFoRA算法,引入SeFoRA-Ho秩齐次版本,理论保证收敛速率,在GLUE数据集上验证其性能优于现有最优方法。
2026-10-22 cs.DC cs.LG
Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
针对联邦 LoRA 中客户端秩异构导致零填充聚合稀释高秩信息的问题,提出基于复制的填充策略,以保留高质量客户端信息并提升全局模型收敛与预测性能。
2025-02-15 cs.DC cs.LG
A Tale of HodgeRank and Spectral Method: Target Attack Against Rank Aggregation Is the Fixed Point of Adversarial Game
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Jiangxi Normal University(江西师范大学);Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室)
两两比较的等级聚合在选举、体育竞赛、推荐和信息检索中显示出了良好的效果。然而,很少有人注意到这些算法的安全性问题,相反,大量的研究工作的计算和统计特性。在巨额利润的驱使下,潜在对手有很强的动机和动力去操纵排行榜。同时,秩聚合方法的内在脆弱性在文献中没有得到很好的研究。为了充分了解可能的风险,我们专注于有目的的对手谁希望指定的聚合结果,通过修改成对数据在本文中。从动力系统的角度来看,具有目标排序列表的攻击行为是属于攻击者和受害者组成的不动点。为了进行有针对性的攻击,我们制定了对手和受害者之间的相互作用作为一个博弈论框架,由两个连续的运营商,而纳什均衡建立。然后构造了两个反对HodgeRank和RankCentrality的过程来产生对原始数据的修改。此外,我们证明了受害者将产生的目标排名列表,一旦对手掌握了完整的信息。值得注意的是,所提出的方法只允许对手持有不完整的信息或不完美的反馈,并执行有目的的攻击。一系列的玩具模拟和几个真实世界的数据实验证明了建议的目标攻击策略的有效性。这些实验结果表明,所提出的方法可以实现攻击者的目标,在这个意义上,扰动排名列表的领先候选人是由对手指定的。
2022-09-13 cs.CR cs.GT cs.LG
AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption
针对联邦微调LLM时客户端资源异构、数据非独立同分布的问题,提出AFLoRA框架,通过解耦更新、秩剪枝和秩感知聚合,实现高效适配并提升模型性能与效率。
2025-08-20 cs.LG
Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor
Beijing University of Posts and Telecommunications(北京邮电大学);Agency for Science, Technology and Research(科技研究局)
本文提出SFed-LoRA,通过理论分析适配器秩与联邦聚合的相互作用,设计最优缩放因子以缓解高秩适配器在联邦学习中的梯度崩溃问题,提升稳定性和收敛速度。
2026-03-09 cs.LG
Task-agnostic Low-rank Residual Adaptation for Efficient Federated Continual Fine-Tuning
University of Exeter(埃克塞特大学)
本文提出Fed-TaLoRA,通过任务无关适应、后聚合模型校准和策略性低秩适应放置,解决联邦持续微调中的遗忘、参数增长和聚合不一致问题,提升效率。
2026-04-09 cs.LG
ORDERS: An Empirical Study of Norm-Rank Aggregation for Personalized Federated Learning
The University of the West Indies(西印度群岛大学)
本研究实证评估了ORDERS配置,该配置结合共享主干、私有适配器、范数排名加权、特征对齐和扰动,在CIFAR-10和Sent140上相比基线略有提升,但消融显示范数排名和扰动收益有限。
2026-10-08 cs.LG
Fast and Robust Rank Aggregation against Model Misspecification
Center for Frontier AI Research(前沿人工智能研究中心);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);Zhijiang College(之江学院);Zhejiang University of Technology(浙江工业大学);Center for Advanced Intelligence Project(高级智能项目中心);RIKEN(理化学研究所);Graduate School of Frontier Sciences(前沿科学研究生院);University of Tokyo(东京大学)
针对排序聚合中因用户同质性假设不成立导致的模型误设问题,提出基于邻域经验分布的CoarsenRank方法,结合多种概率排序模型实例化并给出优化策略,在四个真实数据集上验证了有效性。
2023-05-05 cs.LG stat.ML
Statistical Inference for Incomplete Ranking Data: The Case of Rank-Dependent Coarsening
Paderborn University(帕德博恩大学);University of Oviedo(奥维耶多大学)
我们考虑排名数据的统计推断问题,特别是排名聚合,假设样本是不完整的意义上,不包括所有的选择方案。与大多数现有的方法相比,我们显式地模拟了将完整排名变成不完整排名的过程,我们称之为粗化过程。为此,我们提出了排名相关粗化的概念,它假设不完整的排名是通过将完整的排名投影到随机的排名子集来产生的。对于我们的模型的一个具体实例,其中完整的排名是从Plackett-Luce分布和意见采取成对偏好的形式,我们研究了各种排名聚合方法的性能。除了在有限样本设置的预测准确性,我们解决的一致性的理论问题,我们的意思是恢复目标排名时,样本量到无穷大的能力,尽管潜在的偏见所造成的观察(未知)粗化。
2017-12-04 cs.LG math.ST stat.ML
FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations
University of Maryland(马里兰大学);Rutgers University(罗格斯大学);Sony Reasearch(索尼研究院)
针对联邦微调中 LoRA 适配器聚合数学不正确且难支持异构配置的问题,本文提出 FLORA,通过基于堆叠的无噪声聚合实现异构 LoRA 联邦微调,并在同构与异构场景中超越现有方法。
2024-09-09 cs.DC cs.LG