Mitigate Negative Transfer with Similarity Heuristic Lifelong Prompt Tuning
University of Science and Technology of China(中国科学技术大学)
针对终身提示调优中不相似任务易引发负迁移的问题,提出带可学习相似性度量和参数池的SHLPT框架,在基准测试中性能优于现有最优方法且抗负迁移鲁棒性强。
2024-06-18 cs.AI cs.CL cs.LG
A Unified Manifold Similarity Measure Enhancing Few-Shot, Transfer, and Reinforcement Learning in Manifold-Distributed Datasets
Western Sydney University(西悉尼大学)
本研究提出一种新的流形结构相似性度量方法,可判定数据集是否适合迁移学习,还据此构建了少样本分类器实现高准确率,并探讨了该度量在强化学习、图像识别中的应用。
2024-08-12 cs.LG
Learning from Uncertain Similarity and Unlabeled Data
本文提出USimUL框架,通过在相似对中嵌入不确定性成分以减少标签泄漏,并设计无偏风险估计器从不确相似性与无标签数据中学习,理论上证明其参数收敛速率统计最优,实验显示分类性能优于传统方法。
2025-09-15 cs.LG
Knowledge-Based Construction of Confusion Matrices for Multi-Label Classification Algorithms using Semantic Similarity Measures
University of Sfax(斯法克斯大学)
到目前为止,多标签分类算法已经使用统计方法进行了评估,这些方法不考虑所考虑的类别的语义,并且完全依赖于抽象计算,如贝叶斯推理。目前,有几种尝试开发基于本体的方法,以更好地评估监督分类算法。在这篇研究论文中,我们定义了一种新的方法,使用本体驱动的基于特征的语义相似性度量,在多标签分类中将预期标签与预测标签对齐,并使用它来开发一种方法,用于创建精确的混淆矩阵,以更有效地评估多标签分类算法。
2021-08-16 cs.CL cs.LG
Prompt Engineering for Transformer-based Chemical Similarity Search Identifies Structurally Distinct Functional Analogues
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究针对传统化学相似性搜索依赖结构比较、难发现功能相似但结构迥异分子的问题,提出采用双化学字符串表示算法的提示工程策略,结合化学语言模型实现向量式化学搜索,经多类查询分子验证可助力新功能分子发现。
2023-05-17 cs.LG physics.chem-ph
Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
New York University(纽约大学);University of California, San Diego(加州大学圣地亚哥分校)
基于知识的学习(即,提示)是一种用于利用由预训练的语言模型学习的知识的新兴范例。在本文中,我们提出了自动多标签标注(AMuLaP),一个简单而有效的方法来自动选择标签映射的Few-Shot文本分类提示。我们的方法利用一对多的标签映射和一个基于代数的算法来选择标签映射给出一个提示模板。我们的实验表明,AMuLaP达到竞争力的性能,在没有人力或外部资源的情况下,在GLUE基准。
2022-04-14 cs.AI cs.CL cs.LG
Label-similarity Curriculum Learning
Microsoft(微软);University of Copenhagen(哥本哈根大学)
课程学习可以通过引导优化到期望的最优值来改善神经网络的训练。我们提出了一种新的课程学习方法图像分类,适应损失函数通过改变标签表示。其思想是使用类的概率分布作为目标标签,其中类概率反映了与真实类的相似性。逐渐地,这种标签表示转向标准的独热编码。也就是说,在开始时,小错误比大错误纠正得少,类似于先解释广泛的概念,然后再教授细微差别的教学过程。类别相似性可以基于先验知识。对于标签是自然词的特殊情况,我们提出了一种通用的方法来自动计算相似度。使用标准词嵌入将自然词嵌入到欧几里得空间中。每个类别的概率是类别的向量表示与真实标签之间的余弦相似度的函数。使用几种流行的深度学习架构对所提出的标签相似性课程学习(LCL)方法进行了经验评估,这些深度学习架构用于图像分类任务,应用于五个数据集,包括ImageNet,CIFAR100和AWA2。在所有情况下,与标准训练相比,LCL能够提高测试数据的分类准确度。
2020-07-23 cs.CV cs.LG
Prompting in the Dark: Assessing Human Performance in Prompt Engineering for Data Labeling When Gold Labels Are Absent
The Pennsylvania State University(宾夕法尼亚州立大学);GumGum Inc.(GumGum公司)
该研究针对无金标签的大语言模型数据标注场景,开发了PromptingSheet插件开展用户实验,发现黑暗提示模式准确率提升效果差,自动优化工具也受限,为相关工具设计提供参考。
2025-02-16 cs.AI cs.CL cs.HC
Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
在现实世界的联邦学习场景中,由于使用不同的标签排列或处理完全不同的任务或域,参与者可能拥有自己的个性化标签,这些标签与其他客户端的标签不兼容。然而,大多数现有的FL方法不能有效地解决这种极端异构的情况下,因为他们经常假设(1)所有参与者使用一组同步的标签,(2)他们训练相同的任务,从同一个域。在这项工作中,为了应对这些挑战,我们引入了Factorized-FL,它可以通过将模型参数分解为一对向量来有效地解决标签和任务异构的联邦学习设置,其中一个向量捕获不同标签和任务之间的公共知识,另一个向量捕获每个本地模型处理的特定于任务的知识。此外,基于客户端特定向量空间中的距离,Factorized-FL执行选择性聚合方案,以仅利用每个客户端的相关参与者的知识。我们在标签和域异构设置上广泛验证了我们的方法,在这些设置上,它优于最先进的个性化联邦学习方法。
2022-02-01 cs.LG
Efficient Prompt Caching via Embedding Similarity
UC Berkeley(加州大学伯克利分校)
针对大语言模型推理资源消耗高的问题,提出基于蒸馏的嵌入微调方法提升提示缓存预测准确率,在困难数据集上将AUC从0.51提至0.81,缓存效率更优。
2024-02-02 cs.CL cs.LG
Classification from Pairwise Similarity and Unlabeled Data
The University of Tokyo(东京大学);RIKEN(理化学研究所)
监督学习需要大量的标记数据,在存在隐私问题或标记成本高的情况下,这可能是一个很大的瓶颈。为了克服这个问题,我们提出了一种新的弱监督学习设置,其中只需要相似的(S)数据对(两个例子属于同一类)和未标记的(U)数据点,而不是完全标记的数据,这就是所谓的SU分类。我们证明了分类风险的无偏估计只能从SU数据中得到,并且其经验风险最小化的估计误差达到了最优参数收敛速度。最后通过实验验证了该方法的有效性。
2018-08-15 cs.LG
Class-Similarity Based Label Smoothing for Confidence Calibration
University of Maryland, College Park(马里兰大学帕克分校)
生成置信度校准输出对于深度神经网络在安全关键决策系统中的应用至关重要。神经网络的输出是概率分布,其中得分是属于相应类别的输入的估计置信度,因此它们表示相对于所有类别的输出可能性的完整估计。在本文中,我们提出了一种新的形式的标签平滑,以提高置信度校准。由于不同的类具有不同的内在相似性,因此更相似的类应该在最终输出中产生更接近的概率值。这促使开发新的平滑标签,其中标签值基于与参考类的相似性。我们采用不同的相似性度量,包括那些捕获基于特征的相似性或语义相似性。我们通过在各种数据集和网络架构上进行的广泛实验证明,我们的方法始终优于最先进的校准技术,包括统一标签平滑。
2021-09-15 cs.LG stat.ML
A Similarity-based Framework for Classification Task
Jiangsu University(江苏大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
基于相似性的方法为多标签学习提供了一种新的方法,并取得了很好的性能。在本文中,我们推广这种方法,从而在一个新的框架分类任务。具体来说,我们将基于相似性的学习和广义线性模型结合起来,以实现两全其美。这使我们能够捕获类之间的相互依赖性,并防止影响噪声类的性能。模型的每个学习参数可以揭示一个类对另一个类的贡献,在一定程度上提供可解释性。实验结果表明了该方法在多类别多标签数据集上的有效性
2022-03-05 cs.LG
An Information-theoretic Approach to Prompt Engineering Without Ground Truth Labels
Brigham Young University(杨百翰大学)
预先训练的语言模型从它们所训练的大量语料库中获得大量的语言和事实知识,并且提示工程试图将这些模型与特定任务相匹配。不幸的是,现有的提示工程方法需要大量的标记数据,访问模型参数,或两者兼而有之。本文介绍了一种新的选择提示模板\textit{without labeled examples}和\textit{without direct access to the model}的方法。具体来说,在一组候选模板,我们选择的模板,最大化的互信息之间的输入和相应的模型输出。在8个数据集,代表7个不同的NLP任务,我们表明,当一个模板具有高互信息,它也有高精度的任务。在最大的模型上,使用我们的方法选择提示可以获得从平均提示准确度到最佳提示准确度的90%,并且不需要真值标签。
2022-03-21 cs.CL cs.LG
Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models
Tsinghua University(清华大学);Princeton University(普林斯顿大学);Renmin University of China(中国人民大学);Tencent Inc(腾讯公司);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);International Innovation Center of Tsinghua University(清华大学国际创新中心);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
与使用预训练模型进行标准微调相比,将下游应用程序转换为语言建模任务的调优已被证明是样本高效的。然而,提示的一个缺陷是需要手动设计的模式,其结果可能不直观,并且需要大型验证集进行调优。为了应对这一挑战,我们提出了AutoSeq,一种全自动提示方法:(1)我们在序列到序列模型上采用自然语言提示,允许自由形式的生成和更大的标签搜索空间;(2)我们提出了标签序列-具有不定长度的短语来描述标签-它消除了手动模板的需要,比单个标签词更具表达力;(3)利用束搜索自动生成大量的标签序列候选,并提出了对比重排序的方法来获得最佳组合。AutoSeq显著优于其他非手动设计方法,例如软提示微调、适配器调优和对单个标签词的自动搜索;在各种任务中,生成的标签序列甚至优于策划的手动序列。我们的方法揭示了序列到序列模型在少样本学习中的潜力,并揭示了一条通往通用和自动提示的道路。本文的源代码可以从https://github.com/thunlp/Seq2Seq-Prompt获得。
2022-09-20 cs.CL cs.LG
Pairwise Similarity Distribution Clustering for Noisy Label Learning
本文提出 PSDC 样本选择算法,通过成对相似度与 GMM 建模将训练样本划分为干净集和噪声集,以增强半监督噪声标签学习,并在多个基准上显著优于现有方法。
2024-04-02 cs.CV cs.LG
Transferring Pre-trained Multimodal Representations with Cross-modal Similarity Matching
LG AI Research(LG人工智能研究院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
尽管在zero-shot传输上有令人惊讶的性能,但预训练大规模多模态模型通常是禁止的,因为它需要大量的数据和计算资源。在本文中,我们提出了一种方法(BeamCLIP),可以有效地将大型预训练多模态模型(CLIP-ViT)的表示转换为小型目标模型(例如,ResNet-18)。对于无监督传输,我们引入了跨模态相似性匹配(CSM),使学生模型能够通过匹配跨文本提示嵌入的相对相似性分布来学习教师模型的表示。为了更好地编码文本提示,我们设计了基于上下文的提示增强(CPA),可以减轻输入文本提示的词汇歧义。我们的实验表明,预训练的视觉语言模型的无监督表示转移使小型ResNet-18能够实现比仅视觉自监督学习(SSL)方法(例如,Simplified:51.8%,SwAV:63.7%),而监督学习(69.8%)则缩小了差距。
2023-01-07 cs.CV cs.LG
Alternating Training-based Label Smoothing Enhances Prompt Generalization
Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系);Department of Computer Science and Engineering, Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系);School of Information and Control Engineering, China University of Mining and Technology(中国矿业大学信息与控制工程学院)
针对原始标签平滑削弱提示调优泛化能力的问题,提出交替训练的标签平滑方法ATLaS,结合两类离线软标签,可增强提示调优泛化性且兼容主流方法。
2025-10-01 cs.CV cs.LG
Exploiting Class Similarity for Machine Learning with Confidence Labels and Projective Loss Functions
Carnegie Mellon University(卡内基梅隆大学)
用于机器学习的类标签是相互关联的,某些类标签比其他类标签更相似(例如,猫和狗的图像比猫和汽车的图像更相似)。类之间的这种相似性通常是由于模型之间的混淆而导致模型性能差的原因。当前的标记技术不能明确地捕获这样的相似性信息。在本文中,我们而是利用类之间的相似性捕获的相似性信息与我们的新的信心标签。置信度标签是概率标签,表示类之间的相似性或易混淆性的可能性。通常,即使在训练模型以区分特征空间中的类别之后,相似类别的潜在空间仍然保持聚类。我们认为这种类型的聚类作为有价值的信息,并利用我们的新的投影损失函数。我们的投影损失函数被设计为与置信度标签一起工作,并且能够放松对混淆相似类的错误的损失惩罚。我们使用我们的方法来训练带有噪声标签的神经网络,因为我们相信噪声标签部分是由于类相似性引起的混淆。与使用标准损失函数相比,我们显示出改进的性能。我们使用CIFAR-10数据集进行了详细的分析,并展示了我们提出的方法对较大数据集的适用性,例如ImageNet和Food-101 N。
2021-03-25 cs.AI cs.CV cs.LG
A Methodological Framework for Measuring Spatial Labeling Similarity
School of Statistics and Mathematics, Zhongnan University of Economics and Law(中南财经政法大学统计与数学学院);Department of Biomedical Engineering, Southern University of Science and Technology(南方科技大学生物医学工程系);School of Information Engineering, Zhongnan University of Economics and Law(中南财经政法大学信息工程学院);School of Life Science, Hangzhou Institute for Advanced Study, University of Chinese Academy of science(中国科学院大学杭州高等研究院生命科学学院)
针对现有空间标注相似性度量方法考量维度不全的问题,提出基于图属性分布差异计算的方法学框架及其实例SLAM,可更全面准确地评估空间转录组标注质量。
2025-05-20 cs.AI cs.LG
Improving Pseudo Labels With Intra-Class Similarity for Unsupervised Domain Adaptation
Northwestern Polytechnical University(西北工业大学)
无监督领域自适应(UDA)将知识从标签丰富的源域转移到不同但相关的完全未标记的目标域。为了解决域偏移问题,越来越多的UDA方法采用目标样本的伪标签来提高对目标域的泛化能力。然而,目标样本的不准确的伪标签可能在优化过程期间产生次优性能以及误差累积。此外,一旦产生伪标签,如何补救所产生的伪标签是远远没有探索。在本文中,我们提出了一种新的方法来提高在目标域的伪标签的准确性。它首先通过传统的UDA方法生成粗糙的伪标签。然后,它迭代地利用目标样本的类内相似性来改进生成的粗糙伪标签,并将源和目标域与改进的伪标签对齐。首先删除不相似的样本,然后使用生成树消除类内样本中具有错误伪标签的样本,从而提高伪标签的准确性。我们已经将所提出的方法应用到几个传统的UDA方法作为一个额外的术语。实验结果表明,该方法可以提高伪标签的准确性,并进一步导致更多的区分和域不变的功能比传统的基线。
2022-07-25 cs.CV cs.LG
GLaPE: Gold Label-agnostic Prompt Evaluation and Optimization for Large Language Model
College of Zhiyuan, Shanghai Jiao Tong University(上海交通大学致远学院);School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);Shanghai Key Laboratory of Trusted Data Circulation and Governance in Web3(上海市Web3可信数据流通与治理重点实验室)
针对现有LLM提示词优化依赖人工金标评估的局限,提出无金标提示词评估方法GLaPE,以自一致性为初始评分并优化相同答案提示词的分数,在无金标时仍能提供可靠评估,且在六个推理任务中优化效果与基于准确率的方法相当。
2024-12-02 cs.CL cs.LG
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学)
虽然Few-Shot分类已被广泛探索与基于相似性的方法,Few-Shot序列标记构成了一个独特的挑战,因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性,我们建议利用条件随机场(CRF)在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数,并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时,不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题,我们引入了依赖转移机制,转移抽象标签转换模式。此外,相似性方法依赖于高质量的样本表示,这对于序列标记是具有挑战性的,因为当测量单词与不同句子中的单词的相似性时,单词的含义是不同的。为了弥补这一点,我们利用最近的上下文嵌入技术,并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明,我们的模型显着优于最强的少样本学习基线分别为11.76(21.2%)和12.18(97.7%)的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Learning Label Modular Prompts for Text Classification in the Wild
Nanyang Technological University(南洋理工大学);Salesforce Research(赛富时研究院)
机器学习模型通常在训练和测试过程中假设i.i.d数据,但现实世界中的数据和任务经常随时间而变化。为了模拟现实世界的瞬态性质,我们提出了一个具有挑战性但实际的任务:野外文本分类,它引入了不同的非平稳训练/测试阶段。将复杂任务分解为模块化组件可以在这种非静态环境下实现鲁棒的泛化。然而,当前NLP中的模块化方法没有利用预训练语言模型的参数有效调整的最新进展。为了缩小这一差距,我们提出了MODULARPROMPT,标签模块化的文本分类任务的提示微调框架。在MODULARPROMPT中,输入提示由一系列软标签提示组成,每个软标签提示编码与相应的类标签相关的模块知识。在两个最令人生畏的设置中,MODULARPROMPT的表现大大优于相关基线,表现出强大的泛化能力。我们还进行了全面的分析,以验证是否学到的提示满足模块化表示的属性。
2022-12-05 cs.AI cs.LG
Dynamic Prompt Adjustment for Multi-Label Class-Incremental Learning
Anhui University(安徽大学);School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院)
本文针对多标签类增量学习中的灾难性遗忘问题,提出结合改进数据回放机制与提示损失的动态提示调整方法,在多个基准数据集上显著提升MLCIL性能。
2025-01-03 cs.CV cs.LG
A Similarity-Based Oversampling Method for Multi-label Imbalanced Text Data
Middle East Technical University(中东技术大学);TED University(TED大学);Piri Reis University(皮里·雷斯大学)
本研究提出一种基于相似度的多标签文本分类过采样方法,通过迭代搜索无标签数据中与代表不足类别相似的实例并评估其对性能的贡献,有效解决了多标签不平衡数据导致的分类器性能下降问题。
2024-12-21 cs.AI cs.LG
Holistic Optimal Label Selection for Robust Prompt Learning under Partial Labels
Shandong University, Jinan, China(山东大学(济南,中国))
本文提出Holistic Optimal Label Selection方法,通过局部密度过滤和全局最优传输策略,提升部分标签下的提示学习性能,实验表明其在八个基准数据集上表现优异。
2026-07-16 cs.CV cs.LG
NLPrompt: Noise-Label Prompt Learning for Vision-Language Models
ShanghaiTech University(上海科技大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));RIKEN Center for Advanced Intelligence Project(日本RIKEN高级智能项目中心);University of Technology Sydney(悉尼科技大学);University of Melbourne(墨尔本大学)
NLPrompt通过结合PromptMAE和PromptOT,提升视觉-语言模型在噪声标签下的提示学习鲁棒性与精度。
2026-01-28 cs.CV cs.LG
K2P: Label-Free Knowledge to Prompt Distillation
University of Georgia(佐治亚大学)
K2P提出无标签知识到提示蒸馏方法,通过合成、细化及答案一致性选择提示,在无真实标签下提升冻结学生模型推理性能,并理论保证准确性。
2026-10-01 cs.CL cs.LG
Similarity-Dissimilarity Loss for Multi-label Supervised Contrastive Learning
University of Essex(埃塞克斯大学);Queen Mary University of London(伦敦大学玛丽女王学院)
本文提出相似性-差异性损失,通过动态加权样本解决多标签场景下正样本确定问题,提供理论证明并统一单标签与多标签对比学习框架,实验表明方法在图像、文本和医疗领域均优于基线。
2026-06-13 cs.CL cs.CV cs.LG
Similarity-based Label Inference Attack against Training and Inference of Split Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Pengcheng Laboratory(鹏城实验室)
本文揭示了分割学习交换的中间结果会泄漏私有标签,基于梯度与特征相似性设计三种标签推断攻击,在训练和推理阶段实现接近100%攻击准确率,并能有效抵抗多种最先进防御机制。
2024-03-22 cs.AI cs.CR cs.LG
Integrating Expert Labels into LLM-based Emission Goal Detection: Example Selection vs Automatic Prompt Design
RheinMain University of Applied Sciences(莱茵河畔应用科学大学);Sociovestix Labs Ltd.(Sociovestix实验室)
本文研究企业减排目标检测中融入专家标签的方式,在769段真实商业报告数据集上比较动态少样本示例选择与LLM自动提示优化,发现自动提示优化效果更优且能捕捉任务细微之处。
2025-07-01 cs.CL cs.LG
Domain Generalization via Optimal Transport with Metric Similarity Learning
Laval University(拉瓦尔大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of Western Ontario(西安大略大学)
将知识推广到数据和标签不可用的未知领域,对于机器学习模型至关重要。我们解决了领域泛化问题,从多个源域学习,并推广到一个目标域未知的统计数据。关键的思想是提取所有领域的基本不变特征。以往的领域泛化方法主要集中在学习不变特征和堆叠学习的特征从每个源域推广到一个新的目标域,而忽略了标签信息,这将导致不可区分的特征和模糊的分类边界。为此,一种可能的解决方案是在提取不变特征时约束标签相似性,并利用标签相似性来实现跨域特征的类特定内聚和分离。因此,我们采用Wasserstein距离的最佳传输,这可以约束类标签相似性,用于对抗训练,并进一步部署度量学习目标,以利用标签信息来实现可区分的分类边界。实证结果表明,我们提出的方法可以优于大多数的基线。此外,消融研究也证明了我们的方法的每个组成部分的有效性。
2022-04-04 cs.CV cs.LG
Adaptive Hierarchical Similarity Metric Learning with Noisy Labels
Xidian University(西安电子科技大学);JD Finance American Corporation(京东金融美国公司);University of Pittsburgh(匹兹堡大学)
深度度量学习(DML)在各种机器学习任务中起着至关重要的作用。然而,大多数现有的具有二进制相似性的深度度量学习方法对真实世界数据中广泛存在的噪声标签敏感。由于这些噪声标签往往会导致严重的性能下降,这是至关重要的,以提高DML的鲁棒性和泛化能力。在本文中,我们提出了一种自适应分层相似性度量学习方法。它考虑了两个噪声不敏感的信息,\textit{i.e.},类的分歧和样本的一致性。具体而言,类间分歧可以利用双曲度量学习在建模中有效地挖掘比二进制更丰富的相似性信息,而样本一致性可以利用对比增强进一步提高模型的泛化能力。更重要的是,我们设计了一个自适应的策略来整合这些信息在一个统一的视图。值得注意的是,新方法可以扩展到任何基于对的度量损失。在基准数据集上的大量实验结果表明,与当前的深度度量学习方法相比,我们的方法具有最先进的性能。
2021-10-29 cs.AI cs.CV cs.LG
Enhancing CLIP with CLIP: Exploring Pseudolabeling for Limited-Label Prompt Tuning
Brown University(布朗大学)
针对CLIP等视觉语言模型下游微调标注数据有限的问题,提出基于零样本伪标签的统一提示调优框架,迭代优化伪标签可在多学习范式下显著提升分类准确率,且类别准确率分布更均衡。
2024-03-08 cs.CV cs.LG
Detecting and Rectifying Noisy Labels: A Similarity-based Approach
本文提出一种基于DNN倒数第二层特征相似性的模型无关事后方法,用于检测并自动纠正数据集中的标签噪声,实验证明其在多种现实噪声场景下检测性能高且能提升数据集质量。
2025-10-27 cs.CL cs.LG
Learning from True-False Labels via Multi-modal Prompt Retrieving
China University of Mining and Technology(中国矿业大学)
本文提出真假标签(TFLs)弱监督设置及多模态提示检索(MRP)方法,通过风险一致估计器利用VLMs生成的高准确率标签,有效提升弱监督学习性能。
2025-06-03 cs.CV cs.LG
Self-similarity Student for Partial Label Histopathology Image Segmentation
Taiwan AI Labs(台湾人工智能实验室);National Taiwan University College of Medicine(台湾大学医学院);Taipei Veterans General Hospital(台北荣民总医院);Academia Sinica(中央研究院)
在数字病理学中,在千兆像素的全切片图像(WSIs)中描绘癌区域是一个重要的诊断过程。这个过程是耗时的,因为在千兆像素WSI中的大搜索空间,导致在不清楚的肿瘤病变处遗漏和误解的机会。为了解决这一问题,发展一种自动的癌区域分割方法势在必行。我们将此问题视为部分标签WSI的建模问题,其中一些癌性区域可能被错误分类为良性,反之亦然,产生带有噪声标签的补丁。为了从这些补丁中学习,我们提出了自相似性学生,将师生模型范式与相似性学习相结合。具体来说,对于每个补丁,我们首先根据空间距离对其相似和不相似的补丁进行采样。然后介绍了一个教师-学生模型,其特点是学生模型权重和教师预测集合的指数移动平均。当我们的学生模型采取补丁,教师模型采取所有相应的相似和不相似的补丁学习鲁棒表示对嘈杂的标签补丁。在这种相似性学习之后,我们的相似性集成将相似补丁的集成预测合并为给定补丁的伪标签,以抵消其噪声标签。在CAMELYON 16数据集上,我们的方法在不同程度的噪声中大大优于最先进的噪声感知学习方法5 $\%$和监督训练基线10 $\%$。此外,我们的方法优于TVGH TURP数据集的基线,具有2 $\%$改进,证明了对更多临床组织病理学分割任务的可推广性。
2020-07-19 cs.CV cs.LG eess.IV
Adapting Differential Molecular Representation with Hierarchical Prompts for Multi-label Property Prediction
College of Informatics, Huazhong Agricultural University(华中农业大学信息学院)
针对传统分子性质预测方法忽略多标签复杂关联的问题,提出分层提示分子表示学习框架HiPM,通过分层编码与任务感知提示树实现多粒度任务关联建模,在多标签数据集上达SOTA性能。
2024-08-11 cs.AI cs.LG q-bio.QM
vCache: Verified Semantic Prompt Caching
University of California, Berkeley(加州大学伯克利分校);Technical University of Munich(慕尼黑技术大学);ETH Zurich(苏黎世联邦理工学院);Stanford University(斯坦福大学)
vCache是一种具有用户定义误差率保证的验证语义缓存,通过在线学习算法动态优化阈值,实现更高的缓存命中率和更低的错误率。
2026-02-21 cs.CL cs.LG
Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels
University of Waterloo(滑铁卢大学);Stanford University(斯坦福大学);IBM Research AI(IBM研究院人工智能部门)
本文提出将LM提示词作为可自动优化的训练超参数,仅用10个黄金标签即可训练小规模IR模型,并在BIRCO上媲美使用10万余标签训练的7B模型。
2024-06-17 cs.CL cs.IR cs.LG
Deep Semantic Ranking Based Hashing for Multi-Label Image Retrieval
Center for Research on Intelligent Perception and Computing(智能感知与计算研究中心);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
随着网络图像的快速增长,哈希算法在大规模图像检索中受到越来越多的关注。研究工作一直致力于学习紧凑的二进制代码,保持基于标签的语义相似性。然而,这些哈希方法中的大多数被设计为处理简单的二进制相似性。与多个标签相关联的图像的复杂的多级语义结构尚未得到很好的探索。在这里,我们提出了一种基于深度语义排名的方法来学习哈希函数,该方法可以保持多标签图像之间的多级语义相似性。在我们的方法中,深度卷积神经网络被纳入哈希函数,以共同学习特征表示和从它们到哈希码的映射,这避免了手工特征的语义表示能力的限制。同时,采用编码多级相似性信息的排序列表来指导这种深度哈希函数的学习。一个有效的计划的基础上替代损失是用来解决棘手的优化问题的非光滑和多变量的排名措施的学习过程。实验结果表明,我们提出的方法优于几个国家的最先进的哈希方法在多标签图像数据集上测试时,在排名评价指标。
2015-04-19 cs.CV cs.LG
A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning
Salesforce Research(赛富时研究院)
对于图像查询,无监督对比学习将同一图像的裁剪标记为阳性,而将其他图像裁剪标记为阴性。虽然直观,这样的原生标签分配策略不能揭示查询与其肯定词和否定词之间的潜在语义相似性,并且损害性能,因为一些否定词在语义上与查询相似,或者甚至与查询共享相同的语义类。在这项工作中,我们首先证明了对比学习,不准确的标签分配严重损害其泛化语义实例歧视,而准确的标签有利于其泛化。受此启发,我们提出了一种新的自标记细化方法的对比学习。它通过两个互补的模块来提高标签质量:(i)自标记精炼(SLR)以生成准确的标签;(ii)动量混合(MM)以增强查询与其正面之间的相似性。SLR使用查询的肯定来估计查询与其肯定和否定之间的语义相似度,并将估计的相似度与对比学习中的香草标签分配相结合,以迭代地生成更准确和信息量更大的软标签。我们从理论上证明了我们的SLR可以准确地恢复标签损坏数据的真实语义标签,并监督网络在分类任务上实现零预测错误。MM随机组合查询和肯定,以增加生成的虚拟查询和它们的肯定之间的语义相似度,从而提高标签准确性。在CIFAR10、ImageNet、VOC和COCO上的实验结果表明了该方法的有效性。PyTorch代码和模型将在线发布。
2021-06-28 cs.AI cs.CV cs.LG
Rethinking Prompting Strategies for Multi-Label Recognition with Partial Annotations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对带部分标注的多标签识别,研究发现VLM提示学习中负向提示会降低性能,仅学正向提示结合学习型负向嵌入的PositiveCoOp优于双提示方法,且低缺失标签比例下纯视觉基线性能可比双提示法,计算和参数成本更低。
2024-09-12 cs.AI cs.CL cs.CV
RankSim: Ranking Similarity Regularization for Deep Imbalanced Regression
Simon Fraser University(西蒙弗雷泽大学);Borealis AI(Borealis人工智能研究院)
数据不平衡,其中多个数据样本来自小比例的标签,对训练深度神经网络提出了挑战。与分类不同,在回归中,标签是连续的,可能是无限的,并形成自然的排序。回归的这些独特特征需要新的技术来利用标签空间关系中编码的附加信息。本文提出了用于深度不平衡回归的RankSim(ranking similarity)正则化器,它编码了一种归纳偏差,即在标签空间中更接近的样本在特征空间中也应该更接近。与最近的基于分布平滑的方法相比,RankSim捕获了附近和远处的关系:对于给定的数据样本,RankSim鼓励其标签空间中的邻居的排序列表与其特征空间中的邻居的排序列表相匹配。RankSim是对传统不平衡学习技术的补充,包括重新加权,两阶段训练和分布平滑,并提升了三个不平衡回归基准的最新性能:IMDB-WIKI-BLOG,STS-B-BLOG。
2022-06-24 cs.AI cs.CV cs.LG
LAPT: Label-driven Automated Prompt Tuning for OOD Detection with Vision-Language Models
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
针对视觉语言模型OOD检测依赖手动提示工程的问题,提出仅需分布内类名即可自动构建提示、完成训练的LAPT框架,性能优于人工提示,还提升了分类准确率与泛化鲁棒性。
2024-07-12 cs.AI cs.CV cs.LG
Why Is Prompt Tuning for Vision-Language Models Robust to Noisy Labels?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);ByteDance Inc.(字节跳动公司)
本研究探究视觉-语言模型提示调优抗标签噪声的鲁棒性原因,发现固定类别名令牌的正则化、强预训练图文嵌入是关键,还验证了用带噪零样本预测自调优提示可提升无监督分类准确率。
2023-07-22 cs.AI cs.CV cs.LG
Labeling Case Similarity based on Co-Citation of Legal Articles in Judgment Documents with Empirical Dispute-Based Evaluation
National Chengchi University(国立政治大学)
针对法律推荐系统标注数据集有限的问题,提出利用法律条文共引建立案例相似性并实现算法标注,结合微调文本嵌入模型和BiLSTM模块评估,推动了法律文件自动标注技术发展。
2025-04-29 cs.AI cs.CL cs.DL
Hateful Meme Detection through Context-Sensitive Prompting and Fine-Grained Labeling
National University of Singapore(新加坡国立大学)
提出一个端到端概念框架,通过整合模态、上下文敏感提示、细粒度标注与微调优化多模态仇恨模因检测,实现最高准确率和AUROC。
2024-11-13 cs.AI cs.CL cs.CV
Object Aligner: A Configurable JSON Schema Similarity Score for Graphs, Applied to LLM Prompt Optimization
Artificial Intelligence Center, Faculty of Electrical Engineering, Czech Technical University in Prague(捷克理工大学电气工程学院人工智能中心)
提出Object Aligner,一种基于递归树对齐和引用对齐的JSON相似度评分方法,通过Weisfeiler-Leman颜色细化近似图同构,用于LLM输出评估和提示优化。
2026-07-03 cs.AI cs.CL cs.LG
Unified Medical Image-Text-Label Contrastive Learning With Continuous Prompt
Beijing University of Posts and Telecommunications(北京邮电大学)
针对医学图像-文本预训练的数据稀缺、假阴性样本多及手工提示敏感问题,提出基于连续提示的UMCL统一图像-文本-标签对比学习框架,扩展训练数据并提升多项下游任务性能。
2023-07-12 cs.CV cs.LG eess.IV
Semi-supervised Community Detection via Structural Similarity Metrics
Harvard University(哈佛大学)
针对度异质网络中新节点的社区标签估计问题,提出基于结构相似性度量的半监督算法,聚合有标签与无标签信息,实验优于现有方法并给出误分类误差界。
2023-06-01 cs.LG cs.SI stat.ME
KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
KnowPrompt通过将关系标签中的潜在知识注入可学习的虚拟类型词和答案词,并结合结构化约束协同优化表示,在标准和低资源场景下有效提升了关系抽取的提示调优性能。
2023-09-18 cs.AI cs.CL cs.IR