Missing data interpolation in integrative multi-cohort analysis with disparate covariate information
对多个队列生成的数据集进行综合分析是流行病学研究中广泛使用的一种方法,可以增加样本量、人口估计量的精确度和分析结果的可推广性。然而,通常每个单独的队列数据集并不具有作为原始研究的一部分收集的综合分析的所有感兴趣的变量。这种队列水平的缺失对综合分析提出了方法学挑战,因为缺失变量传统上:(1)从完整病例分析的数据中删除;或(2)使用其他研究中具有相同协变量分布的数据通过缺失数据插值技术完成。在大多数整合分析研究中,这两种方法都不是最佳的,因为它会导致大多数研究协变量丢失,或者在指定遵循相同分布的队列时遇到挑战。我们提出了一种新的方法来识别具有相同分布的研究,可以用于完成队列水平的缺失信息。我们的方法依赖于(1)使用队列身份随机森林预测模型识别具有相似协变量分布的队列子组,然后进行聚类;然后(2)对这些子组应用高维数据的递归成对分布检验。广泛的模拟研究表明,具有相同分布的队列在几乎所有的模拟设置中都被正确地分组在一起。我们的方法应用于两个ECHO范围内的队列研究表明,分组在一起的队列反映了研究设计的相似性。该方法在R软件包中实现。
2022-11-01 stat.ME
Classification from Pairwise Similarities/Dissimilarities and Unlabeled Data via Empirical Risk Minimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
数据点之间的成对相似性和不相似性可能比现实世界分类问题中的完全标记数据更容易获得,例如,在隐私意识的情况下。为了处理这样的成对信息,已经提出了一种经验风险最小化方法,给出了分类风险的无偏估计,该估计只能从成对相似性和未标记数据中计算。然而,这个方向到目前为止还不能处理成对的相异。半监督聚类是一种既能利用相似性又能利用相异性的聚类方法。然而,它们通常需要对数据分布进行强几何假设,例如流形假设,这可能会降低性能。在本文中,我们得到了一个无偏的风险估计,它可以处理所有的相似性/相异性和未标记的数据。我们从理论上建立估计误差的界限和实验证明我们的经验风险最小化方法的实用性。
2019-04-26 cs.LG stat.ML
MetaXT: Meta Cross-Task Transfer between Disparate Label Spaces
Microsoft(微软);Microsoft Research(微软研究院)
尽管预训练的语言模型具有普遍的代表性,但将它们适应特定的NLP任务仍然需要大量的标记数据。有效的任务微调遇到的挑战时,只有少数标记的例子是目前的任务。在本文中,我们的目标是解决问题的Few Shot任务学习的开发和转移,从不同的任务,承认一个相关的,但不同的标签空间。具体来说,我们设计了一个标签传输网络(LTN),将标签从源任务转换到目标任务进行训练。LTN和任务预测模型都是通过一个双层优化框架学习的,我们称之为MetaXT。MetaXT提供了一个原则性的解决方案,通过从源任务转移知识,使预训练的语言模型最好地适应目标任务。通过对两种不同类型的标签空间差异的四个NLP任务的跨任务迁移设置的实证评估,证明了MetaXT的有效性,特别是当目标任务中的标签数据有限时。
2021-09-09 cs.CL cs.LG
Rethinking and Reweighting the Univariate Losses for Multi-Label Ranking: Consistency and Generalization
Tsinghua University(清华大学)
(部分)排名损失是多标签分类的常用评估指标,通常使用凸代理进行优化以提高计算效率。以前的理论工作多标签排名主要集中在(Fisher)的一致性分析。然而,现有的理论和实践之间存在差距-一些成对损失可以导致有希望的性能,但缺乏一致性,而一些单变量损失是一致的,但通常在实践中没有明显的优势。本文试图从学习算法的一致性和泛化误差界两个互补的角度对这一问题进行系统的研究。我们的研究结果表明,一致的单变量损失的学习算法有一个错误界$O(c)$($c$是标签的数量),而不一致的成对损失的算法依赖于$O(\sqrt{c})$在以前的工作。这说明后者在实际应用中可以取得比前者更好的性能。此外,我们提出了一个不一致的重加权单变量损失为基础的学习算法,享有$O(\sqrt{c})$的错误界有前途的性能,以及单变量损失的计算效率。最后,实验结果验证了我们的理论分析。
2021-05-10 cs.LG stat.ML
Semi-Supervised Clustering with Neural Networks
IIIT-Delhi(德里英德拉普拉斯塔信息技术学院)
最近,使用神经网络的聚类在机器学习和计算机视觉应用中表现出有前途的性能。然而,现有方法的性能受到无监督学习或依赖于大量标记数据样本的限制。在本文中,我们提出了一种新的聚类方法,它使用来自很少的标记数据样本(<总数据的5%)的成对语义约束,并利用大量的未标记数据来驱动聚类方法。我们定义了一个新的损失函数,它使用对象之间的成对语义相似性结合约束k均值聚类,有效地利用标记和未标记的数据在同一个框架。所提出的网络使用卷积自动编码器来学习将数据分组为k个指定聚类的潜在表示,同时还学习聚类中心。我们评估和比较了几个数据集和最先进的深度聚类方法的性能。
2018-07-10 cs.CV cs.LG stat.ML
A Comparative Study of Pairwise Learning Methods based on Kernel Ridge Regression
Ghent University(根特大学);University of Turku(图尔库大学)
许多机器学习问题可以公式化为一对对象的预测标签。这类问题通常被称为成对学习、二元预测或网络推理问题。在过去的十年中,核方法在成对学习中发挥了主导作用。它们仍然获得了最先进的预测性能,但在机器学习文献中对其行为的理论分析还不够深入。在这项工作中,我们审查和统一现有的基于内核的算法,通常用于不同的成对学习设置,从矩阵过滤到zero-shot学习。为此,我们专注于克罗内克核岭回归的封闭形式的有效实例。我们发现,独立的任务内核岭回归,两步内核岭回归和线性矩阵滤波器自然出现的Kronecker内核岭回归的特殊情况下,这意味着所有这些方法隐式地最小化平方损失。此外,我们分析了普适性,一致性和光谱滤波性质。我们的理论结果提供了有价值的见解,在评估现有的成对学习方法的优点和局限性。
2018-03-05 cs.LG stat.ML
Bridging Ordinary-Label Learning and Complementary-Label Learning
Waseda University(早稻田大学)
已经提出了一种监督学习框架,用于为每个训练数据提供表示模式不属于的类的互补标签的情况。在现有的文献中,互补标签学习已经独立于普通标签学习进行了研究,普通标签学习假设每个训练数据被提供有表示模式所属的类的标签。然而,提供一个补充标签应该被视为等同于提供所有标签的其余部分作为一个真类的候选。在本文中,我们专注于这一事实,一个对所有和成对分类对应的普通标签学习和互补标签学习的损失函数满足一定的可加性和对偶性,并提供了一个框架,直接桥梁现有的监督学习框架。进一步,我们得到了任意损失函数满足可加性和对偶性时的分类风险和误差界。
2020-06-25 cs.LG stat.ML
Random Forests for Metric Learning with Implicit Pairwise Position Dependence
SUNY at Buffalo(纽约州立大学布法罗分校)
度量学习使得从标记数据中学习复杂数据分布的距离变得合理。然而,迄今为止,大多数度量学习方法都是基于单一的马氏度量,不能很好地处理异构数据。那些在整个空间中学习多个指标的人已经证明了优越的准确性,但以计算效率为代价。在这里,我们从一个新的角度来研究度量学习问题,并学习一个能够在整个特征空间中隐式地适应其距离函数的单一度量。这种度量适应是通过使用随机的基于森林的分类器来支持距离函数并将绝对成对位置和标准相对位置合并到表示中来实现的。我们已经实现并测试了我们的方法对国家的最先进的全球和多指标的方法对各种数据集。总体而言,所提出的方法在准确性方面优于两种类型的方法(始终排名第一),并且比最先进的多度量方法快一个数量级(在最坏情况下快16倍)。
2012-01-03 cs.LG stat.ML
Improving Classifier Robustness through Active Generation of Pairwise Counterfactuals
Google Research(谷歌研究院)
提出利用反事实生成模型从不确定区域主动采样生成反事实,并用成对分类器自动标注,仅需10%人工标注即可显著提升分类器鲁棒性并降低错误率。
2023-05-22 cs.CL cs.LG
Modeling Label Correlations for Ultra-Fine Entity Typing with Neural Pairwise Conditional Random Field
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
超精细实体分类(UFET)旨在预测广泛的类型短语,正确描述句子中提到的给定实体的类别。大多数最近的作品独立地推断每个实体类型,忽略类型之间的相关性,例如,当一个实体被推断为总统时,它也应该是一个政治家和领导人。为此,我们使用一个无向图模型称为成对条件随机场(PCRF)制定的UFET问题,其中的类型变量不仅是单一的影响,输入,但也成对地涉及到所有其他类型的变量。我们使用各种现代骨干实体类型计算一元潜力,并从类型短语表示,既捕获先前的语义信息,促进加速推理派生成对的潜力。我们使用平均场变分推理对非常大的类型集进行有效的类型推断,并将其展开为神经网络模块,以实现端到端的训练。UFET上的实验表明,Neural-PCRF始终优于其骨干,成本很低,并导致与基于交叉编码器的SOTA相比具有竞争力的性能,同时速度快数千倍。我们还发现Neural- PCRF在具有较小类型集的广泛使用的细粒度实体类型化数据集上有效。我们将Neural-PCRF打包为网络模块,可以轻松插入多标签类型分类器,并在https://github.com/modelscope/adaseq/tree/master/examples/NPCRF上发布。
2022-12-03 cs.CL
Some things are more CRINGE than others: Iterative Preference Optimization with the Pairwise Cringe Loss
Meta
研究提出成对Cringe Loss,通过软间隔扩展将二元反馈方法应用于成对偏好优化,在AlpacaFarm基准上优于PPO和DPO,并证明迭代训练可进一步提升效果。
2024-04-22 cs.AI cs.CL
On the Importance of Adaptive Data Collection for Extremely Imbalanced Pairwise Tasks
Stanford University(斯坦福大学)
许多成对分类任务,例如释义检测和开放域问答,自然具有极端的标签不平衡(例如,$99.99\%$的例子是否定的)。相比之下,许多最近的数据集选择示例以确保标签平衡。我们发现,这些算法导致训练的模型泛化能力差:在QQP和WikiQA上训练的最先进的模型在现实不平衡的测试数据上进行评估时,每个模型都只有$2.4\%$的平均精度。相反,我们使用主动学习来收集训练数据,使用基于BERT的嵌入模型来有效地从大量未标记的话语对中检索不确定点。通过创建具有更多信息的负样本的平衡训练数据,主动学习大大提高了QQP上的$32.5\%$和WikiQA上的$20.1\%$的平均精度。
2020-10-10 cs.CL cs.LG
Towards Label-Agnostic Emotion Embeddings
Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学)
情感分析的研究分散在不同的标签格式(例如,极性类型、基本情感类别和情感维度)、语言水平(单词对句子对话语),当然,还有(资源充足的很少但资源不足的多得多)自然语言和文本类型(例如,产品评论、推文、新闻)。由此产生的异构性使得在这些相互冲突的约束下开发的数据和软件难以比较,并且难以集成。为了解决这种令人不满意的状态,我们在这里提出了一个训练方案,学习一个共享的潜在的情感表示独立于不同的标签格式,自然语言,甚至不同的模型架构。在广泛的数据集上的实验表明,这种方法在不影响预测质量的情况下产生了所需的互操作性。代码和数据在DOI 10.5281/zenodo.5466068下存档。
2021-11-06 cs.AI cs.CL cs.LG
Aggregating Pairwise Semantic Differences for Few-Shot Claim Veracity Classification
Queen Mary University of London(伦敦玛丽女王大学)
作为自动事实核查管道的一部分,索赔真实性分类任务包括确定索赔是否有相关证据支持。收集标记的声明-证据对的复杂性导致数据集的稀缺,特别是在处理新领域时。在本文中,我们介绍了种子,一种新的基于向量的方法,以Few-Shot索赔准确性分类,聚集成对的语义差异索赔证据对。我们建立在假设,我们可以模拟类代表向量,捕捉平均语义差异索赔证据对在一个类中,然后可以用于分类的新实例。我们比较了我们的方法与竞争基线的性能,包括微调的BERT/RoBERTa模型,以及最先进的Few-Shot准确性分类方法,利用语言模型困惑。在FEVER和SCIFACT数据集上进行的实验表明,在Few-Shot设置中,与竞争性基线相比,有一致的改善。我们的代码可用。
2022-05-11 cs.AI cs.CL cs.LG