From Prompts to Trees: Effective LLM-Guided Tree Generation for Few-Shot Tabular Classification
National University of Singapore(新加坡国立大学);Huazhong University of Science and Technology(华中科技大学)
本文提出一种三阶段框架,通过提示LLM生成规则并组织成决策树,在少样本表格分类中实现高准确率与可解释性,同时降低推理成本和提示开销。
2026-10-08 cs.AI cs.CL cs.LG
Multi-Class Zero-Shot Learning for Artistic Material Recognition
零样本学习(Zero-Shot Learning,缩写为ZRL)是迁移学习的一种极端形式,在训练阶段不提供待分类数据的标记示例。相反,CNOL使用关于域的额外信息,并依赖于迁移学习算法来推断关于缺失实例的知识。对于稀疏数据集来说,RNL方法是一种有吸引力的解决方案。在这里,我们概述了一个模型,以确定材料与艺术作品的创作,通过学习之间的关系,英语描述的主题的一块和它的复合材料。在对一系列超参数进行实验后,我们生成了一个模型,该模型能够正确识别来自完全不同的博物馆数据集的作品所使用的材料。该模型对来自泰特美术馆收藏的5,000件艺术品的分类准确率为48.42%,这与用于创建和训练我们模型的Rijksmiths网络不同。
2020-10-26 cs.CV cs.LG
Are Fewer Labels Possible for Few-shot Learning?
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
由于数据和标签非常有限,少样本学习具有挑战性。大迁移(BiT)的最新研究表明,少样本学习可以从不同领域的大规模标记数据集的预训练中受益匪浅。这篇论文提出了一个更具挑战性的问题:“我们能在预训练(没有标签)和微调(有更少的标签)中使用尽可能少的标签进行少样本学习吗?".我们的关键见解是,在特征空间中的目标样本的聚类是我们所需要的Few-Shot微调。它解释了为什么香草无监督预训练(聚类差)比监督预训练差。在本文中,我们提出了一种无监督的预训练方法,它通过涉及目标数据来实现更好的聚类,即使目标数据的数量非常有限。改进的聚类结果对于识别最具代表性的样本(“特征样本”)供用户标记具有重要价值,而反过来,对标记的特征样本的继续微调进一步改进了聚类。因此,我们提出了特征微调,使更少的镜头学习,利用聚类和特征样本的协同进化的微调。我们在10个不同的Few-Shot目标数据集上进行了实验,我们的平均Few-Shot性能大大优于香草归纳无监督传输和监督传输。例如,当每个目标类别只有10个标记样本时,在上述两个基线上的平均准确率增益分别为9.2%和3.42。
2020-12-10 cs.CV cs.LG
Layer-Wise Adaptive Updating for Few-Shot Image Classification
AIbee(爱笔);MiningLamp(明略科技)
Few-Shot图像分类(FSIC)是一种通过对少量图像的学习来识别新类别的方法,受到了广泛的关注。最近,基于元学习的方法已被证明是FSIC的一个有前途的方向。通常,他们训练元学习器(元学习模型)来学习容易微调的权重,并且当解决FSIC任务时,元学习器通过在任务的几个图像上更新自身来有效地将自身微调到特定于任务的模型。在本文中,我们提出了一种新的基于元学习的分层自适应更新(LWAU)方法FSIC。LWAU的灵感来自于一个有趣的发现,即与常见的深度模型相比,元学习器在从少量图像中学习时,更注重更新其顶层。根据这一发现,我们假设元学习器可能更喜欢更新其顶层而不是更新其底层,以获得更好的FSIC性能。因此,在LWAU中,元学习器被训练为不仅学习容易微调的模型,而且学习其喜欢的逐层自适应更新规则,以提高其学习效率。大量的实验表明,与逐层自适应更新规则,建议LWAU:1)优于现有的Few-Shot分类方法具有明确的利润率; 2)在解决FSIC时,从少数图像中学习的效率至少是现有元学习器的5倍。
2020-07-16 cs.CV cs.LG eess.IV
Efficient Automatic Meta Optimization Search for Few-Shot Learning
Lenovo Research(联想研究院)
以前的元学习要么依赖于精心设计的网络结构,要么采用特定领域的专门学习规则。我们提出了一个通用的框架,通过采用神经结构搜索技术(NAS)自动优化元学习过程。对于少样本学习问题,NAS自动生成和评估元学习器的结构,元学习器根据学习任务的分布情况,使用元学习算法优化其参数。采用参数共享和经验回放的方法加快了体系结构的搜索速度,因此只需1-2 GPU天即可找到好的体系结构。在Mini-ImageNet和Omniglot上的大量实验表明,我们的算法在少样本学习任务中表现出色。在Mini-ImageNet上找到的最佳架构在转移到Omniglot时取得了有竞争力的结果,这表明架构在不同计算机视觉问题之间具有很高的可移植性。
2019-09-06 cs.CV cs.LG cs.NE
DiCoRe: Enhancing Zero-shot Event Detection via Divergent-Convergent LLM Reasoning
Computer Science Department, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系)
本文提出DiCoRe框架,通过Dreamer发散推理提升事件覆盖率,Grounder收敛推理对齐预测与指令,LLM-Judge验证输出,在零样本事件检测任务上显著优于基线。
2025-09-18 cs.AI cs.CL cs.LG
Infinite Mixture Prototypes for Few-Shot Learning
MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校)
我们提出了无限混合原型,以适应性地表示简单和复杂的数据分布少样本学习。我们的无限混合原型通过一组集群表示每个类,这与现有的通过单个集群表示每个类的原型方法不同。通过推断簇的数量,无限混合原型在最近邻和原型表示之间插值,这提高了Few-Shot机制中的准确性和鲁棒性。我们展示了自适应能力对于捕获复杂数据分布(如字母表)的重要性,与原型网络相比,绝对准确率提高了25%,同时仍然保持或提高了标准Omniglot和mini-ImageNet基准的准确性。在通过相同的聚类规则对标记和未标记数据进行聚类时,无限混合原型实现了最先进的半监督精度。作为进一步的能力,我们表明,无限的混合物原型可以执行纯粹的无监督聚类,与现有的原型方法。
2019-02-12 cs.LG stat.ML
Automatically Identifying Words That Can Serve as Labels for Few-Shot Text Classification
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心(LMU Munich));LMU Munich(慕尼黑大学)
最近的一种用于Few-Shot文本分类的方法是将文本输入转换为包含某种形式的任务描述的完形填空题,用预先训练的语言模型处理它们,并将预测的单词映射到标签。手动定义单词和标签之间的映射需要领域专业知识和对语言模型能力的理解。为了缓解这个问题,我们设计了一种方法,自动找到这样的映射给少量的训练数据。对于许多任务,我们的方法找到的映射执行几乎手工制作的标签到单词的映射。
2020-10-26 cs.AI cs.CL cs.LG
Rb-PaStaNet: A Few-Shot Human-Object Interaction Detection Based on Rules and Part States
Shanghai Jiao Tong University(上海交通大学)
现有的人-物交互(HOI)检测方法在非稀有类上取得了很大的进展,而稀有HOI类仍然没有得到很好的检测。在本文中,我们打算将人类的先验知识应用到现有的工作中。因此,我们将人类标记的规则添加到PaStaNet中,并提出Rb-PaStaNet,旨在改进罕见HOI类别检测。我们的研究结果表明,稀有类有一定的改善,而非稀有类和整体的改善更为可观。
2020-08-14 cs.CV cs.LG eess.IV
A Foundation Model for Zero-Shot Logical Rule Induction
Institute of Science Tokyo(东京科学研究所)
提出神经规则归纳器(NRI),一种基于统计编码和并行槽解码的预训练模型,实现零样本逻辑规则归纳,无需重新训练即可泛化到新谓词。
2026-05-28 cs.AI cs.LG cs.SC
Analysis of Error Sources in LLM-based Hypothesis Search for Few-Shot Rule Induction
Department of Statistics, University of California, Los Angeles(统计学系,加州大学洛杉矶分校);Microsoft, Redmond, WA(微软公司,西雅图,华盛顿州);Department of Psychology, University of California, Los Angeles(心理学系,加州大学洛杉矶分校)
该研究针对少样本规则归纳任务,对比基于LLM的假设搜索框架与直接程序生成方法,发现前者性能接近人类,同时通过误差分析明确假设生成的关键瓶颈,指出该框架的应用潜力与系统优化方向。
2025-08-31 cs.AI cs.CL cs.LG
Using Unlabeled Data for Increasing Low-Shot Classification Accuracy of Relevant and Open-Set Irrelevant Images
University of Michigan(密歇根大学);Michigan Engineering Services(密歇根工程服务公司);US Army DEVCOM GVSC(美国陆军作战能力发展司令部地面车辆系统中心)
在自主地面车辆执行的搜索、勘探和侦察任务中,需要图像分类能力来具体识别目标对象(相关类别),同时识别候选图像何时不属于任何相关类别(不相关图像)。在本文中,我们提出了一个开集低拍摄分类器,使用,在其训练过程中,适度数量(小于40)的标记图像为每个相关的类,和未标记的不相关的图像,随机选择在每个时期的训练过程。新的分类器能够从相关类别中识别图像,确定候选图像何时不相关,并且它可以进一步识别不包括在训练中的不相关图像的类别(看不见的)。当构造卷积神经网络时,所提出的低拍摄分类器可以作为顶层附加到任何预先训练的特征提取器。
2022-06-03 cs.CV cs.LG
Identifying the Leading Factors of Significant Weight Gains Using a New Rule Discovery Method
University of Delaware(特拉华大学);University of Washington(华盛顿大学);athenahealth, Inc.(athenahealth公司)
超重和肥胖仍然是一个主要的全球公共卫生问题,确定增加未来体重增加风险的个体化模式在预防肥胖和与肥胖相关的许多亚健康疾病方面具有至关重要的作用。在这项工作中,我们使用的规则发现方法来研究这个问题,通过提出一种方法,提供真正的可解释性,同时优化的准确性(经常正确)和支持(适用于许多样本)的识别模式。具体来说,我们扩展了一个已建立的子组发现方法,以生成所需的X -> Y类型的规则,并展示了如何从X侧提取顶部特征,作为Y的最佳预测因子。在我们的肥胖问题中,X指的是从非常大的多站点EHR数据中提取的特征,Y表示体重显著增加。使用我们的方法,我们还广泛地比较了由个人的性别,年龄,种族,保险类型,邻里类型和收入水平决定的22个阶层的模式的差异和不平等。通过一系列广泛的实验,我们展示了关于未来危险体重增加预测因素的新的和补充的发现。
2021-11-04 cs.AI cs.LG
Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation
University of Maryland, College Park(马里兰大学帕克分校)
提出结合 ChatGPT、CLIP 与扩散模型的少样本框架,自动识别虚假相关性导致的失效模式并生成合成数据,使 40 个模型在困难子群体上准确率提升约 21%。
2023-12-09 cs.CV cs.LG
Identifying Electrocardiogram Abnormalities Using a Handcrafted-Rule-Enhanced Neural Network
Zhejiang University(浙江大学);RealDoctor AI Research Centre(RealDoctor人工智能研究中心);Shanghai Polytechnic University(上海第二工业大学);University of Notre Dame(圣母大学)
大量的人患有危及生命的心脏异常,心电图(ECG)分析有助于确定个体是否处于这种异常的风险中。自动ECG分类方法,特别是基于深度学习的方法,已被提出用于使用ECG记录检测心脏异常,显示出良好的潜力,以改善临床诊断并帮助早期预防心血管疾病。然而,已知的神经网络的预测仍然不能令人满意地满足临床医生的需要,并且这种现象表明,在临床诊断中使用的一些信息可能不能被这些方法很好地捕获和利用。在本文中,我们将一些规则引入到卷积神经网络中,这些规则有助于将临床知识呈现给基于深度学习的ECG分析,以提高自动ECG诊断性能。具体来说,我们提出了一个手写规则增强的神经网络(称为HRNN)的ECG分类与标准的12导联ECG输入,其中包括一个规则推理模块和一个深度学习模块。在两个大规模公共ECG数据集上的实验表明,我们的新方法大大优于现有的最先进的方法。此外,我们提出的方法不仅可以提高诊断性能,而且可以帮助检测错误标记的ECG样本。我们的代码可在https://github.com/alwaysbyx/ecg_processing上获得。
2022-06-16 cs.AI cs.LG eess.SP
One Line To Rule Them All: Generating LO-Shot Soft-Label Prototypes
University of Waterloo(滑铁卢大学)
越来越大的数据集正在迅速推高机器学习的计算成本。原型生成方法的目标是创建一个小的合成观测集,准确地表示训练数据集,但大大降低了从它学习的计算成本。将软标签添加到原型可以允许越来越小的原型集,以准确地表示原始训练数据集。虽然“少于一次”学习的基础工作已经证明了每类少于一次观察的学习的理论可行性,但开发用于生成这种原型的实用算法仍然是一个未探索的领域。我们提出了一种新颖的,模块化的方法,用于生成软标签原型线,即使原型比数据中的类的数量少,仍然保持代表性的准确性。此外,我们提出了分层软标签原型k-最近邻分类算法的基础上,这些原型线。我们表明,我们的方法保持了很高的分类精度,同时大大减少了代表数据集所需的原型数量,即使在处理严重不平衡和困难的数据时也是如此。我们的代码可在https://github.com/ilia10000/SLkNN上获得。
2021-02-15 cs.LG stat.ML
Few-Shot Upsampling for Protest Size Detection
Massachusetts Institute of Technology(麻省理工学院);UNC Charlotte(北卡罗来纳大学夏洛特分校)
我们提出了一个新的任务和数据集的社会科学研究中的一个常见问题:“上采样”粗文档标签细粒度的标签或跨度。我们以问答的形式提出问题,答案提供细粒度的标签。我们提供了一个对社会有影响力的任务的基准数据集和基线:在美国的抗议和示威活动中确定确切的人群规模,仅提供有关抗议出席率的数量级信息,非常小的细粒度示例样本和英语新闻文本。我们评估了几个基线模型,包括基于规则和问答模型的zero-shot结果,在一小部分文档上微调的Few-Shot模型,以及使用较大的粗标记文档集的弱监督模型。我们发现,我们的基于规则的模型最初优于zero-shot预训练的Transformer语言模型,但进一步微调一个非常小的子集25个例子大大提高了样本外的性能。我们还演示了一种方法,用于微调Transformer跨度上只有粗糙的标签,执行类似于我们的基于规则的方法。这项工作将有助于提高社会科学家生成数据的能力,以了解集体行动的原因和成功。
2021-05-24 cs.CL cs.LG
Disambiguation of One-Shot Visual Classification Tasks: A Simplex-Based Approach
IMT Atlantique(大西洋国立高等工业技术与矿业学校);Lab-STICC(法国国家科学研究中心6285联合研究实验室(STICC实验室));CNRS(法国国家科学研究中心)
视觉Few-Shot分类领域旨在将深度学习视觉系统的最新性能转移到只有非常有限数量的训练样本可用的任务上。主要的解决方案包括训练一个特征提取器,使用一个大的和不同的数据集被应用到所考虑的Few-Shot任务。由于特征提取器中的编码先验,即使镜头显示不代表其类别的个体特征,每个类别的分类任务也可以高精度地解决,其中每个类别只有一个示例(或“镜头”)。然而,当一些给定的镜头显示多个对象时,问题变得更加复杂。在本文中,我们提出了一种策略,旨在检测在一个给定的镜头中的多个和以前看不见的对象的存在。这种方法是基于确定的角落的一个单纯形在一个高维空间。我们介绍了一个优化例程,并展示了它成功检测原始图像中多个(以前看不见的)对象的能力。然后,我们引入了一个下游分类器,旨在利用多个对象的存在,以提高性能的Few-Shot分类,在极端设置的情况下,只有一个镜头是给它的类。使用该领域的标准基准,我们展示了所提出的方法在这些设置中略微提高准确性的能力,但在统计上显着。
2023-01-16 cs.AI cs.CV cs.LG
Identifying Learning Rules From Neural Network Observables
Stanford University(斯坦福大学)
在学习过程中,大脑会调整其突触强度,以便更好地适应环境。然而,控制学习的潜在可塑性规则是未知的。已经提出了许多建议,包括Hebbian机制,显式错误反向传播和各种替代方案。这是一个悬而未决的问题,需要进行什么样的具体实验测量来确定任何给定的学习规则是否在真实的生物系统中起作用。在这项工作中,我们采取了“虚拟实验”的方法来解决这个问题。模拟理想化的神经科学实验与人工神经网络,我们生成了一个大规模的数据集的学习轨迹的聚合统计量测量在各种神经网络架构,损失函数,学习规则超参数,参数初始化。然后,我们采取判别方法,训练线性和简单的非线性分类器,以根据这些观测值从特征中识别学习规则。我们表明,不同类别的学习规则可以单独的基础上的权重,激活,或瞬时逐层活动变化的汇总统计,这些结果推广到有限的访问轨迹和持有的架构和学习课程。我们确定了与规则识别最相关的每个可观察的统计数据,发现来自训练中的网络活动的统计数据比从突触强度获得的统计数据对单位欠采样和测量噪声更鲁棒。我们的研究结果表明,激活模式,可从电生理记录的突触后活动的数百个单位的顺序,经常测量在较宽的时间间隔在学习过程中,可以提供一个很好的基础上,以确定学习规则。
2020-12-08 cs.LG q-bio.NC stat.ML
In-Context Learning Amplifies a Latent Symbolic Circuit
本研究揭示大型语言模型中的潜在符号电路在上下文示例积累时被放大,其抽象、归纳、检索三阶段机制在低样本时已可检测,且函数向量可部分替代归纳阶段,依赖完整检索阶段,表明规则遵循能力预先存在于权重中。
2026-09-30 cs.AI cs.CL cs.LG
Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy
Pattern Recognition Center, WeChat AI(微信AI模式识别中心);South China University of Technology(华南理工大学);Pazhou Lab, Guangzhou(广州琶洲实验室);Emory University(埃默里大学)
针对摘要事实不一致检测,本文提出将错误类型任务分类法引入 LLM 的零样本与监督推理,在十数据集五领域达到 SOTA,并蒸馏出更小模型替代大型零样本 LLM。
2024-10-04 cs.CL cs.LG
Towards Zero and Few-shot Knowledge-seeking Turn Detection in Task-orientated Dialogue Systems
Amazon Alexa AI(亚马逊Alexa AI)
大多数面向任务的对话系统的工作都局限于支持领域API。但是,用户可能有超出这些API范围的请求。这项工作的重点是确定这类用户请求。用于此任务的现有方法主要依赖于在大型注释数据上微调预训练模型。我们提出了一种新的方法,REDE,基于自适应表示学习和密度估计。REDE可以应用于zero-shot情况,并且通过更新少于3K的参数来快速学习仅具有几个镜头的高性能检测器。我们证明了REDE的竞争力表现DSTC 9数据和我们新收集的测试集。
2021-09-18 cs.AI cs.CL cs.LG
Exploring the Long Short-Term Dependencies to Infer Shot Influence in Badminton Matches
National Yang Ming Chiao Tung University(阳明交通大学);National Chung Hsing University(中兴大学)
在羽毛球比赛中,识别关键球是评价运动员表现的重要手段。虽然有几项研究量化了运动员在其他运动中的表现,但羽毛球数据的分析仍然没有触及。在本文中,我们引入了一种羽毛球语言来完整地描述投篮的过程,并提出了一个由一个新的短期提取器和一个长期编码器组成的深度学习模型,用于通过将问题框架化为预测一个拉力赛结果来捕获羽毛球拉力赛中的一个接一个投篮序列。我们的模型结合了一个注意力机制,使透明的动作序列的拉力赛结果,这是必不可少的羽毛球专家获得可解释的预测。基于真实世界数据集的实验评估表明,我们提出的模型优于强基线。源代码可在https://github.com/yao0510/Shot-Influence上公开获得。
2021-09-14 cs.AI cs.LG
Improving Audio Classification by Transitioning from Zero- to Few-Shot
BabbleLabs
针对零样本音频分类中类别文本描述难以最优确定的问题,本文提出按类别聚合并处理少样本音频嵌入以替代噪声文本嵌入,实验表明其通常优于零样本基线。
2025-07-26 cs.LG cs.SD
A Hierarchical Transformation-Discriminating Generative Model for Few Shot Anomaly Detection
Tel Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
异常检测是识别数据中异常样本的任务,通常依赖于大量的训练样本。在这项工作中,我们考虑设置图像中的Few-Shot异常检测,其中在训练时仅给出少数图像。我们设计了一个分层生成模型,捕捉每个训练图像的多尺度补丁分布。我们通过使用图像变换进一步增强了模型的表示,并优化了尺度特定的补丁鉴别器,以区分图像的真实和虚假补丁,以及应用于这些补丁的不同变换。异常得分是通过聚集正确的变换跨尺度和图像区域的基于块的投票。我们证明了我们的方法的优越性,在一次拍摄和Few-Shot设置,巴黎,CIFAR10,MNIST和FashionMNIST的数据集,以及在MVTec的缺陷检测设置。在所有情况下,我们的方法优于最近的基线方法。
2021-04-29 cs.CV cs.LG
mCPT at SemEval-2023 Task 3: Multilingual Label-Aware Contrastive Pre-Training of Transformers for Few- and Zero-shot Framing Detection
Graz University of Technology(格拉茨技术大学)
本文提出基于多语言Transformers和标签感知对比损失函数的预训练系统,解决多语言少样本与零样本框架检测问题,在零样本西班牙语任务中获胜并在8种语言中表现优异。
2023-08-01 cs.AI cs.CL cs.LG
Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction
Macau University of Science and Technology(澳门科技大学)
当前的机器学习在计算机视觉和许多其他领域取得了很大的进展,这归功于大量高质量的训练样本,而它在基因组数据分析上的效果不是很好,因为它们被称为小数据。在我们的工作中,我们专注于Few-Shot疾病亚型预测问题,识别相似患者的亚组,通过对小数据的训练,可以指导特定个体的治疗决策。事实上,医生和临床医生总是通过同时研究几个相互关联的临床变量来解决这个问题。我们尝试模拟这样的临床观点,并引入元学习技术来开发一个新的模型,该模型可以从相关的临床任务中提取共同的经验或知识,并将其转移到帮助解决新的任务。我们的新模型建立在精心设计的元学习器之上,称为原型网络,它是一种简单而有效的元学习机器,用于Few-Shot图像分类。我们观察到基因表达数据与图像数据相比具有特定的高维和高噪声特性,提出了一种新的扩展,通过增加两个模块来解决这些问题。具体地说,我们增加了一个特征选择层,以自动过滤掉与疾病无关的基因,并结合了一个样本重加权策略,以自适应地去除噪声数据,同时扩展模型能够从有限数量的训练样本学习,并推广良好。仿真和真实基因表达数据实验证实了该方法在预测疾病亚型和识别潜在疾病相关基因方面的优越性。
2020-09-03 cs.LG stat.ML
Metalearning with Hebbian Fast Weights
Microsoft Research(微软研究院)
我们统一了最近的神经元方法一次性学习与旧的联想记忆模型的元学习的想法。我们的模型联合学习来表示数据,并将类标签绑定到Single Shot中的表示。它通过SGD跨任务学习的慢速权重构建表示,而通过Hebbian学习规则构建的快速权重为每个新任务实现一次性绑定。在Omniglot,Mini-ImageNet和Penn Treebank一次性学习基准测试中,我们的模型实现了最先进的结果。
2018-07-12 cs.AI cs.LG cs.NE
Compositional Program Generation for Few-Shot Systematic Generalization
IBM Research AI(IBM研究院人工智能);New York University(纽约大学);Centaur AI Institute(半人马人工智能研究院)
本文提出神经符号架构 CPG,通过语法规则、模块化语义程序与增量学习实现少样本系统性泛化,并在 SCAN 和 COGS 上以极少样本达到完美准确率。
2024-01-18 cs.LG
One Period to Rule Them All: Identifying Critical Learning Periods in Deep Networks
Escola Politécnica, Universidade de São Paulo(圣保罗大学politécnica学院)
本文提出一种系统化方法,利用泛化预测机制精确定位深度网络训练中的关键学习期,在关键期后停止资源密集型正则化策略,最多减少59.67%训练时间及约60%的CO₂排放和财务成本,且不牺牲性能。
2025-06-19 cs.LG
An Algorithm for Identifying Interpretable Subgroups With Elevated Treatment Effects
Department of Political Science, Stanford University(政治学系,斯坦福大学)
提出一种基于条件平均处理效应(CATE)估计识别可解释子群的算法,利用规则集刻画高阶交互,通过权衡子群规模与效应规模生成Pareto最优规则集前沿,辅助决策与政策实施。
2025-07-13 cs.LG econ.EM stat.ME
Learning in Multiple Spaces: Few-Shot Network Attack Detection with Metric-Fused Prototypical Networks
Fordham University(福特汉姆大学)
本文提出多空间原型学习框架MSPL,融合欧氏、余弦、切比雪夫和Wasserstein四种度量空间并通过约束加权与Polyak平均原型生成,实现少样本场景下的鲁棒零日攻击检测。
2024-12-28 cs.CR cs.LG
Screening Rules and its Complexity for Active Set Identification
Riken AIP(理化学研究所革新智能综合研究中心);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎综合理工学院)
筛选规则最近被引入作为一种技术,用于显式地识别活跃的结构,如稀疏性,在机器学习中出现的优化问题。这导致了基于大幅降维的新加速方法。我们表明,筛选规则源于次微分集和最优性条件的自然属性的组合,因此可以以一种统一的方式理解。在温和的假设下,我们分析了确定任何收敛算法的最佳活动集所需的迭代次数。我们证明了它只依赖于它的收敛速度。
2020-09-06 cs.LG math.OC stat.CO
Towards One-Shot Learning for Text Classification using Inductive Logic Programming
University of Surrey(萨里大学)
本文提出利用归纳逻辑编程中的元解释学习框架,结合ConceptNet常识知识,实现从极少量样本进行文本分类的一次性学习,并发现示例复杂度越高准确率越高。
2023-08-30 cs.CL cs.LG cs.LO
Multinational Address Parsing: A Zero-Shot Evaluation
Laval University(拉瓦尔大学)
地址解析包括标识组成地址的段,如街道名称或邮政编码。由于地址解析对于记录链接等任务的重要性,人们已经采用了许多技术来处理地址解析,最新的技术是依赖于神经网络。虽然这些模型产生了显著的结果,但以前关于神经网络的工作只集中在解析来自单个来源国家的地址。本文探讨了将通过在一些国家/地区的地址上训练深度学习模型获得的地址解析知识转移到其他国家/地区的可能性,而无需在zero-shot迁移学习设置中进行进一步训练。我们还在相同的zero-shot传输设置中使用注意力机制和域对抗训练算法来提高性能。这两种方法都为大多数受测试国家提供了最先进的性能,同时为其余国家提供了良好的结果。我们还探索了不完整地址对我们最佳模型的影响,并评估了在训练过程中使用不完整地址的影响。此外,我们还提出了一些训练模型的开源Python实现。
2021-12-07 cs.CL cs.LG