MetaXT: Meta Cross-Task Transfer between Disparate Label Spaces
Microsoft（微软）；Microsoft Research（微软研究院）
尽管预训练的语言模型具有普遍的代表性，但将它们适应特定的NLP任务仍然需要大量的标记数据。有效的任务微调遇到的挑战时，只有少数标记的例子是目前的任务。在本文中，我们的目标是解决问题的Few Shot任务学习的开发和转移，从不同的任务，承认一个相关的，但不同的标签空间。具体来说，我们设计了一个标签传输网络（LTN），将标签从源任务转换到目标任务进行训练。LTN和任务预测模型都是通过一个双层优化框架学习的，我们称之为MetaXT。MetaXT提供了一个原则性的解决方案，通过从源任务转移知识，使预训练的语言模型最好地适应目标任务。通过对两种不同类型的标签空间差异的四个NLP任务的跨任务迁移设置的实证评估，证明了MetaXT的有效性，特别是当目标任务中的标签数据有限时。
2021-09-09 cs.CL cs.LG
Assessing Disparate Impacts of Personalized Interventions: Identifiability and Bounds
Cornell University（康奈尔大学）
社会服务、教育和医疗保健中的个性化干预措施利用个人层面的因果效应预测，以便为每个人提供最佳治疗，或为最有可能受益的个人优先考虑计划干预措施。虽然这些领域的敏感性迫使我们评估这些政策的公平性，但我们表明，实际上根据标准的观察指标（如真阳性率）审计其不同的影响是不可能的，因为地面真相是未知的。无论我们的数据是实验性的还是观察性的，个人在与所接受的干预不同的干预下的实际结果永远无法知道，只能根据特征进行预测。我们证明了我们如何仍然可以点识别这些数量的单调治疗反应的额外假设下，这可能是合理的，在许多应用中。我们进一步提供了一个敏感性分析，这一假设的尖锐的部分识别界限下违反单调性的变化的强度。我们展示了如何使用我们的结果来审计个性化的干预措施，使用部分确定的ROC和xROC曲线，并证明了这一点在法国的工作培训数据集的案例研究。
2019-06-04 cs.LG econ.EM stat.ML
The Rich Get Richer: Disparate Impact of Semi-Supervised Learning
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文揭示半监督学习对不同子群体产生差异性影响：基线准确率高的“富者”获益更多，而基线低的“贫者”可能性能下降，并提出收益比指标以促进公平性评估。
2023-08-31 cs.LG stat.ML
Does mitigating ML's impact disparity require treatment disparity?
Carnegie Mellon University（卡内基梅隆大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
在法律和政策方面的相关工作之后，两个差异的概念形成了算法决策中公平性的研究。算法表现出治疗差异，如果他们正式对待不同的受保护的亚组的成员;算法表现出影响差异时，结果不同的亚组，即使无意中出现的相关性。当然，我们可以通过有目的的治疗差异来实现影响均等。在技术工作的一个线程中，论文旨在调和两种形式的平等，提出不同的学习过程（DLP）。在这里，学习算法可以在训练期间看到组成员关系，但在测试时产生组盲的分类器。在本文中，我们从理论上表明：（i）当其他特征与群体成员资格相关时，DLPs将（间接）实施待遇差异，破坏其旨在解决的政策需求;（ii）当群体成员资格部分被其他特征揭示时，DLPs会诱导类内歧视;（iii）一般来说，DLPs在准确性和影响平价之间提供了次优权衡。基于我们的技术分析，我们认为，透明的待遇差距是更可取的闭塞的方法，以实现影响平价。在几个真实世界数据集上的实验结果突出了应用DLP与每组阈值的实际后果。
2019-01-11 cs.LG stat.ML
Modeling Treatment Delays for Patients using Feature Label Pairs in a Time Series
IQVIA（艾昆纬）；University of Pennsylvania（宾夕法尼亚大学）
药品目标是制定销售和营销战略规划的关键投入之一。目标列表是建立在预测医生的销售潜力的某种类型的病人。在本文中，我们提出了一个时间敏感的靶向框架，利用时间序列模型来预测患者的疾病和治疗进展。我们通过提取一定时间段内的服务历史来创建时间特征，并记录事件是否发生在一个前瞻期内。跨所有时间段和所有患者检查这样的特征-标签对以训练模型。它保持服务的固有顺序，并评估与即将到来的未来相关的功能，这有助于提高准确性。
2018-12-03 cs.LG stat.ML
Combining Sentiment Lexica with a Multi-View Variational Autoencoder
University College London（伦敦大学学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）；University of Cambridge（剑桥大学）；University of Copenhagen（哥本哈根大学）
在为数据集分配定量标签时，不同的方法可能依赖于不同的尺度。特别地，当将极性分配给情感词典中的词时，注释者可以使用二进制、分类或连续标签。自然，它是感兴趣的统一这些标签从不同的尺度，既实现最大的覆盖范围内的话，并创建一个单一的，更强大的情感词典，同时保持规模的一致性。我们引入了一个生成模型的情感词汇结合不同的尺度到一个共同的潜在表示。我们实现了一种新的多视角变分自编码器（VAE），称为SentiVAE的模型。我们评估我们的方法通过下游文本分类任务，涉及9个英语情感分析数据集;我们的表示优于6个单独的情感词汇，以及它们的直接组合。
2019-04-05 cs.CL cs.LG
Quantifying and mitigating the impact of label errors on model disparity metrics
Prescient Design / Genentech（Prescient Design / 基因泰克）；Meta
本文研究训练与测试标签错误对模型差异指标的影响，提出估计训练标签影响的方法，并结合自动重标注与微调以可证明地改善群体校准误差。
2023-10-04 cs.LG stat.ML
Prophit: Causal inverse classification for multiple continuously valued treatment policies
University of Iowa（爱荷华大学）
反向分类使用一个诱导分类器作为一个可查询的预言机，引导测试实例朝向一个首选的后验类标签。该过程产生的结果是一组特定于实例的特征扰动或建议，它们最佳地提高了类标签的概率。在这项工作中，我们采用因果方法来逆向分类，引出治疗策略（即，特征扰动）的因果属性引起的模型。在这样做，我们解决了一个长期存在的问题，引出多个，连续值的治疗政策，使用更新的框架和相应的一组假设，我们称之为逆分类潜在结果框架（ICPOF），以及一个新的措施，被称为个人未来估计的影响（$i$ FEE）。我们还开发了近似倾向分数（APS），基于高斯过程，加权治疗，很像过去的作品中使用的逆倾向分数加权。我们证明了我们的方法对学生表现的可行性。
2018-02-14 cs.LG stat.ML
Towards Label-Agnostic Emotion Embeddings
Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
情感分析的研究分散在不同的标签格式（例如，极性类型、基本情感类别和情感维度）、语言水平（单词对句子对话语），当然，还有（资源充足的很少但资源不足的多得多）自然语言和文本类型（例如，产品评论、推文、新闻）。由此产生的异构性使得在这些相互冲突的约束下开发的数据和软件难以比较，并且难以集成。为了解决这种令人不满意的状态，我们在这里提出了一个训练方案，学习一个共享的潜在的情感表示独立于不同的标签格式，自然语言，甚至不同的模型架构。在广泛的数据集上的实验表明，这种方法在不影响预测质量的情况下产生了所需的互操作性。代码和数据在DOI 10.5281/zenodo.5466068下存档。
2021-11-06 cs.AI cs.CL cs.LG
Learning Under Treatment-Induced Label Indeterminacy with Expert Annotations of Counterfactual Outcomes: A Case Study in Neurological Prognostication
针对治疗决策导致部分患者结局不确定的临床预后问题，提出结合确定与不确定病例标签的预测模型及分类型评估框架，揭示两类病例评估的权衡关系。
2026-08-14 cs.LG
A Deep Active Survival Analysis Approach for Precision Treatment Recommendations: Application of Prostate Cancer
Wayne State University（韦恩州立大学）
生存分析已被开发并应用于许多领域，包括制造业，金融，经济和医疗保健。在医疗领域，通常临床数据是高维的，稀疏的和复杂的，有时存在少量的时间到事件（标记）的实例。因此，从电子健康记录中构建准确的生存模型是具有挑战性的。有了这个动机，我们解决了这个问题，并提供了一个新的生存分析框架，使用深度学习和主动学习与一个新的采样策略。首先，我们的方法使用标记（事件发生时间）和未标记（删失）实例从临床特征中提供更低维度的更好表示，然后通过使用Oracle标记删失数据来主动训练生存模型。作为一个临床辅助工具，我们介绍了一个简单有效的治疗推荐方法的基础上，我们的生存模型。在实验研究中，我们将我们的方法应用于非裔美国人和白人患者中与前列腺癌相关的SEER医疗保险数据。结果表明，我们的方法优于基线模型显着。
2018-04-10 cs.CY cs.LG stat.ML
Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations
University of California Santa Cruz（加州大学圣克鲁兹分校）；University of Sydney（悉尼大学）；RIKEN（理化学研究所）
现有的研究主要集中在合成标签噪声的噪声标签学习。合成噪声虽然具有清晰的结构，极大地促进了统计分析，但往往无法模拟真实世界的噪声模式。最近的文献已经观察到一些提供真实世界噪声数据集的努力，但现有的努力受到两个警告的影响：（1）缺乏地面真实验证使得难以从理论上研究真实世界标签噪声的属性和处理;（2）这些努力通常是大规模的，这可能导致在合理和可访问的计算能力内对鲁棒方法进行不公平的比较。为了更好地理解真实世界的标签噪声，构建具有真实和噪声标签的可控和中等大小的真实世界噪声数据集至关重要。这项工作提出了两个新的基准数据集CIFAR-10 N，CIFAR-100 N，为CIFAR-10，CIFAR-100的训练数据集配备了我们从Amazon Mechanical Turk收集的人类注释的真实世界噪声标签。我们定量和定性地表明，真实世界的噪声标签遵循依赖于实例的模式，而不是经典假设和采用的模式（例如，类相关标签噪声）。然后，我们开始使用CIFAR-10 N和CIFAR-100 N对现有解决方案的子集进行基准测试。我们进一步研究了正确和错误预测的记忆，这进一步说明了人类噪声和类相关合成噪声之间的差异。我们确实表明，与合成标签噪声相比，现实世界的噪声模式带来了新的和突出的挑战。这些观察结果要求我们重新考虑噪声标签的处理，我们希望这两个数据集的可用性将有助于开发和评估未来使用噪声标签解决方案的学习。…
2022-03-27 cs.LG stat.ML
Graph Neural Network with Two Uplift Estimators for Label-Scarcity Individual Uplift Modeling
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
针对个体增益建模中个体信息不足与处理组标签稀缺问题，提出含类别转换目标和部分标签两个估计器的图神经网络框架 GNUM，并在公共与工业数据集上验证其优越性能。
2024-03-11 cs.LG
Multi-Instance Multi-Label Learning for Gene Mutation Prediction in Hepatocellular Carcinoma
Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）；National Cancer Centre（新加坡国家癌症中心）；Singapore General Hospital（新加坡中央医院）
肝细胞癌（HCC）基因突变预测对于个体化治疗和精准医疗具有重要的诊断和预后价值。在本文中，我们解决这个问题，多实例多标签学习，以解决标签相关性，标签表示等困难，此外，一个有效的过采样策略适用于数据不平衡。实验结果表明了该方法的优越性。
2020-05-08 cs.LG q-bio.GN stat.ML
Priberam at MESINESP Multi-label Classification of Medical Texts Task
Priberam Labs（Priberam实验室）
医学文章为许多医疗从业者和专业人士提供最新的治疗和诊断技术。现有的公共数据库，如MEDLINE，包含超过2700万篇文章，如果不使用高效的搜索引擎，就很难提取相关内容。信息检索工具是至关重要的，以便导航和提供有意义的建议的文章和治疗。将这些文章分类为更广泛的医学主题可以提高相关文章的检索效率。为MESINESP任务考虑的医疗标签集大约有数千个标签（DeCS代码），这属于极端的多标签分类问题。医学主题的异质性和高度层次结构使得手动分类文章的任务非常费力和昂贵。因此，分类过程自动化至关重要。典型的机器学习算法对于如此大量的标签在计算上变得苛刻，并且在这样的数据集上实现更好的召回成为未解决的问题。这项工作介绍了Priberam在BioASQ任务Mesinesp的参与。我们通过使用四种不同的模型来解决大型多标签分类问题：支持向量机（SVM）、定制搜索引擎（Priberam Search）、基于BERT的分类器以及所有先前模型的SVM排名集成。结果表明，所有三个单独的模型表现良好，最好的表现是由他们的合奏，授予普里伯拉姆在目前的挑战第六位，使其成为第二个最好的团队。
2021-05-12 cs.CL cs.LG
LEARNER: Contrastive Pretraining for Learning Fine-Grained Patient Progression from Coarse Inter-Patient Labels
Carnegie Mellon University（卡内基梅隆大学）；LSUHSC Internal Medicine（LSUHSC内科）；Cosmetic Surgery Facility LLC（美容外科诊所有限公司）
LEARNER通过对比学习利用患者间粗粒度标签，学习细粒度患者内变化，提升个性化医学中的治疗响应预测性能。
2025-11-19 cs.AI cs.CV cs.LG
CAMEL: A Weakly Supervised Learning Framework for Histopathology Image Segmentation
Tsinghua University（清华大学）；The Chinese PLA General Hospital（中国人民解放军总医院）；Thorough Images；Fudan University（复旦大学）
组织学图像分析在癌症诊断和治疗中起着至关重要的作用。为了自动分割癌变区域，完全监督分割算法需要在像素级进行劳动密集型和耗时的标记。在这项研究中，我们提出了CAMEL，一个弱监督学习框架的组织病理学图像分割只使用图像级标签。使用基于多实例学习（MIL）的标签丰富，CAMEL将图像拆分为网格实例并自动生成实例级标签。在标签丰富之后，实例级标签被进一步分配给相应的像素，产生近似的像素级标签，并使分割模型的完全监督训练成为可能。CAMEL在CAMELYON 16和结直肠腺瘤数据集上的实例级分类和像素级分割方面与完全监督方法具有相当的性能。此外，自动标记方法的通用性可能有利于未来的弱监督学习研究的组织病理学图像分析。
2019-08-28 cs.CV cs.LG eess.IV
