HEAR Who Said What: Unlocking Speaker-Attributed Reasoning via Counterfactual Voice Grounding
IPAI, Seoul National University (SNU)（首尔国立大学IPAI）；Yonsei University（延世大学）；University of Seoul（首尔大学）
该研究推出说话人归因推理基准HEAR，发现现有SLMs依赖语义先验而非语音线索，进而提出30B模型A2R，在CASH数据集优化后于HEAR表现优异，且可零样本泛化至多说话人下游任务。
2026-09-01 cs.AI cs.CL cs.SD
Graph Prototypical Networks for Few-shot Learning on Attributed Networks
Arizona State University（亚利桑那州立大学）；Texas A&M University（得克萨斯农工大学）；University of Virginia（弗吉尼亚大学）；Illinois Institute of Technology（伊利诺伊理工学院）；Singapore Management University（新加坡管理大学）
如今，属性网络在无数高影响力的应用中无处不在，例如社会网络分析、金融欺诈检测和药物发现。节点分类作为属性网络的一项核心分析任务，受到了研究界的广泛关注。在真实世界的属性网络中，大部分节点类只包含有限的标记实例，呈现长尾节点类分布。现有的节点分类算法不具备处理\textit{few-shot}节点类的能力。作为一种补救措施，少样本学习在研究界引起了极大的关注。然而，Few-Shot节点分类仍然是一个具有挑战性的问题，因为我们需要解决以下问题：（i）如何从属性网络中提取元知识用于Few-Shot节点分类？(ii)如何识别每个标记实例的信息量，以建立一个强大而有效的模型？为了回答这些问题，本文提出了一个图元学习框架--图原型网络（GPN）。通过构建一个半监督节点分类任务池来模拟真实的测试环境，GPN能够在属性网络上执行\textit{meta-learning}，并导出一个高度概括的模型来处理目标分类任务。大量的实验证明了GPN在Few-Shot节点分类中的优越性能。
2020-11-27 cs.LG cs.SI stat.ML
Pre-Training and Prompting for Few-Shot Node Classification on Text-Attributed Graphs
Tsinghua University（清华大学）；University of Edinburgh（爱丁堡大学）；Zhipu AI（智谱AI）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Anhui University（安徽大学）
针对文本属性图上的少样本节点分类，提出P2TAG框架，通过图预训练和混合提示方法同时利用文本与图信息，在六个真实数据集上显著优于现有方法。
2024-07-22 cs.AI cs.LG cs.SI
GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs
Zhejiang University（浙江大学）；Rutgers University（罗格斯大学）；Huazhong University of Science and Technology（华中科技大学）；Ant Group（蚂蚁集团）；Peking University（北京大学）
GraphCLIP通过自监督对比图-摘要预训练和不变学习，结合图提示调优，增强文本属性图基础模型的跨领域零样本与少样本迁移性，实验验证其优越性。
2025-02-24 cs.AI cs.LG
Training-free Source Attribution of AI-generated Images via Resynthesis
University of Siena, Department of Information Engineering and Mathematics（锡耶纳大学信息工程与数学系）；IMT School（IMT学院）
本研究提出一种无需训练的单样本AI图像来源归因方法，通过图像重合成匹配原始图像判定来源，同时构建了含多生成器人脸图像的基准数据集，实验证明该方法在少样本场景下优于现有技术，数据集可支撑相关方法开发评估。
2025-10-28 cs.AI cs.CV
SummAE: Zero-Shot Abstractive Text Summarization using Length-Agnostic Auto-Encoders
Google Brain（谷歌大脑）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们提出了一个端到端的神经模型，用于段落的zero-shot抽象文本摘要，并介绍了一个基准任务，ROCSumm，基于ROCStories，我们收集人类摘要的子集。在这项任务中，五句话的故事（段落）用一句话概括，仅使用人类总结进行评估。我们展示了提取和人类基线的结果，以证明性能上存在很大的抽象差距。我们的模型SummAE由一个去噪自动编码器组成，它将句子和段落嵌入到一个公共空间中，从中可以解码。通过从段落表示解码句子来生成段落的摘要。我们发现，传统的序列到序列自动编码器无法产生良好的摘要，并描述特定的架构选择和预训练技术如何显着提高性能，优于提取基线。数据、训练、评估代码和最佳模型权重都是开源的。
2019-10-02 cs.CL cs.LG cs.NE
Who Should Teach? Confidence-Aware Dual-Teacher Learning for Few-Shot Node Classification on Text-Attributed Graphs
Chungbuk National University（忠北国立大学）；Chungnam National University（忠南国立大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
针对文本属性图小样本节点分类中现有方法LLM信息利用不均、成本高的问题，提出置信感知双教师学习框架CoTeach，动态为节点选更可靠教师，提升性能并降低LLM成本。
2026-09-01 cs.LG cs.SI
LLM-Powered Text-Attributed Graph Anomaly Detection via Retrieval-Augmented Reasoning
University of Southern California（南加州大学）；Capital One（第一资本金融公司）；City College of New York（纽约城市学院）；Brown University（布朗大学）
本文提出基于检索增强推理的LLM驱动文本属性图异常检测框架，通过生成语义连贯但上下文不一致的异常节点，提升异常检测效果。
2025-11-16 cs.AI cs.LG
Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs
East China Normal University（华东师范大学）；Huawei Technologies（华为技术有限公司）
针对文本属性图少样本节点分类中标注数据稀缺的问题，提出即插即用的轻量级 LLM4NG，利用 LLM 生成带标签节点并由边预测器接入原图，在低样本场景显著提升性能。
2024-12-10 cs.LG
MLAS: Metric Learning on Attributed Sequences
Worcester Polytechnic Institute（伍斯特理工学院）；Amadeus（艾玛迪斯）
距离度量学习近年来引起了人们的广泛关注，其目标是基于用户反馈来学习距离度量。传统的度量学习方法主要集中在学习数据属性上的马氏距离度量。最近关于度量学习的研究已经扩展到序列数据，其中我们只有序列中的结构信息，但没有属性可用。然而，现实世界的应用通常涉及属性序列数据（例如，点击流），其中每个实例不仅包括一组属性（例如，用户会话上下文）而且是分类项的序列（例如，用户动作）。本文研究属性序列的度量学习问题。与以前的度量学习工作不同，我们现在需要在属性特征空间中超越Mahalanobis距离度量，同时还将结构信息纳入序列中。我们提出了一个深度学习框架，称为MLAS（Metric Learning on Attributed Sequences），用于学习有效测量属性序列之间差异的距离度量。真实世界数据集上的实证结果表明，所提出的MLAS框架显着提高性能的度量学习相比，国家的最先进的方法属性序列。
2020-11-08 cs.LG
Dynamic Bundling with Large Language Models for Zero-Shot Inference on Text-Attributed Graphs
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；University of Washington（华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对大语言模型在文本属性图零样本推理中存在的图结构信息不足、预测不可靠问题，提出动态文本捆绑监督方法DENSE，通过邻近节点文本组查询LLMs获取组标签来监督图神经网络优化，经理论分析和10个数据集实验验证了有效性。
2025-10-02 cs.LG
Attributed Sequence Embedding
Worcester Polytechnic Institute（伍斯特理工学院）；Amadeus IT Group（艾玛迪斯信息技术集团）
在连续数据（如点击流和基因序列）上的挖掘任务需要精心设计可用于学习算法的嵌入。最近的特征学习研究已经扩展到序列数据，其中每个实例由具有可变长度的异构项序列组成。然而，许多现实世界的应用程序通常涉及属性序列，其中每个实例都由一系列分类项和一组属性组成。在本文中，我们研究这个新的问题的属性序列嵌入，其目标是学习的表示属性序列在一个无监督的方式。这个问题是从用户行为分析到基因序列聚类等许多重要数据采掘任务的核心。这个问题是具有挑战性的，由于序列之间的依赖关系和它们的相关属性。我们提出了一个深度多模态学习框架，称为NAS，以生成属性序列的嵌入。嵌入是独立于任务的，可以用于各种挖掘任务的属性序列。我们在现实世界数据集的各种无监督学习任务中证明了属性序列嵌入的有效性。
2019-11-03 cs.CL cs.DB cs.LG
One-shot Visual Imitation via Attributed Waypoints and Demonstration Augmentation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们分析了现有技术的行为，并设计了新的解决方案，一次性的视觉模仿的问题。在这种情况下，智能体必须解决一个新任务的一个新实例，只需一个视觉演示。我们的分析表明，目前的方法由于三个错误而达不到要求：纯离线训练产生的Dagger问题，与对象交互的最后一厘米误差，以及与任务上下文而不是实际任务的不匹配。这激发了我们的模块化方法的设计，在该方法中，我们a）将任务推理（做什么）与任务执行（如何做）分开，b）开发数据增强和生成技术以减轻失配。前者允许我们利用手工制作的运动原语来执行任务，从而避免了Dagger问题和最后的厘米误差，而后者则使模型专注于任务而不是任务上下文。我们的模型在最近的两个基准测试中获得了100%和48%的成功率，分别比目前的最先进水平提高了90%和20%。
2023-02-09 cs.CV cs.LG cs.RO
GraspLLM: Towards Zero-Shot Generalization on Text-Attributed Graphs with LLMs
Peking University（北京大学）；National University of Singapore（新加坡国立大学）；University of California, Berkeley（加州大学伯克利分校）
提出GraspLLM框架，通过融合图结构理解与LLM语义能力，利用基序感知对比学习和最优上下文子图对齐，实现跨数据集和跨任务的零样本泛化。
2026-06-12 cs.CL cs.LG
One-Shot Multi-Label Causal Discovery in High-Dimensional Event Sequences
BMW Group（宝马集团）；Chair for Machine Learning and Computer Vision, Augsburg University（机器学习与计算机视觉主任，埃施魏尔大学）
针对高维事件序列因果发现现有方法无法扩展的问题，提出单样本因果自回归方法OSCAR，利用预训练Transformer推断马尔可夫边界，在真实汽车数据集上快速恢复可解释因果结构，支持生产规模诊断。
2025-11-13 cs.AI cs.LG
Towards Practical Multi-label Causal Discovery in High-Dimensional Event Sequences via One-Shot Graph Aggregation
BMW Group（宝马集团）；Chair for Machine Learning and Computer Vision, Augsburg University（机器学习与计算机视觉主任，艾尔堡大学）
CARGO通过一次图聚合方法，在高维事件序列中实现高效的多标签因果发现，适用于医疗和车辆诊断等复杂场景。
2025-12-12 cs.AI cs.LG
Re-Evaluating Continual Learning with Few-Shot Adaptation
Department of Computer Science（计算机科学系）
本文提出用少样本评估替代零样本评估来更全面衡量持续学习系统的稳定性和可塑性，并通过新指标“每样本可塑性”发现元学习未来任务序列能诱导学习到学习行为。
2026-06-02 cs.AI cs.LG
EVIL: Evolving Interpretable Algorithms for Zero-Shot Inference on Event Sequences and Time Series with LLMs
Lamarr Institute（拉马尔研究所）；Fraunhofer IAIS（弗劳恩霍夫人工智能研究所）
EVIL通过LLM引导的进化搜索发现简单可解释的算法，用于动态系统推断，无需训练神经网络，能在多个任务中实现跨数据集泛化。
2026-04-17 cs.AI cs.LG
Distilling Large Language Models for Text-Attributed Graph Learning
Emory University（埃默里大学）
本文提出将 LLM 的文本推理能力蒸馏到局部图模型的框架，以缓解 TAG 学习中标签稀缺及 LLM 成本、隐私和可扩展性问题。
2024-08-06 cs.CL cs.LG
TRACE: Transformer-based user Representations from Attributed Clickstream Event sequences
Expedia Group（亿客行集团）
提出TRACE模型，利用Transformer从多会话点击流生成用户嵌入，通过多任务学习捕获长期偏好，在旅游电商数据集上表现优于传统架构。
2024-09-02 cs.AI cs.IR cs.LG
UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs
National University of Singapore（新加坡国立大学）
本文提出UniGraph，一个基于文本属性图统一跨域基础模型，采用语言模型与图神经网络级联架构及掩码图建模预训练，实现零样本和少样本迁移，性能超越监督训练的GNNs。
2025-01-20 cs.LG
Empirical Boundaries of Reservoir Computing for Few-Shot Sequence Pattern Tasks
Universitat Politècnica de Catalunya - BarcelonaTech（加泰罗尼亚理工大学）
本文通过分析ESN的分布、架构及优化变体，明确了其性能边界，提出G-ESN机制，发现深度ESN的跨层共享读出机制在结构任务上优于拼接读出机制。
2026-10-14 cs.AI cs.LG
Few-shot Sequence Learning with Transformers
University of Michigan（密歇根大学）；Facebook AI Research（Facebook人工智能研究院）
Few-Shot算法主要针对新任务的学习，只提供少量的训练样本。在这项工作中，我们研究了在设置的数据点的令牌序列的少样本学习，并提出了一个有效的学习算法的基础上Transformers。在最简单的设置中，我们将一个令牌附加到一个输入序列中，该输入序列代表要承担的特定任务，并表明该令牌的嵌入可以在给定的几个标记示例中进行动态优化。我们的方法不需要对模型架构进行复杂的更改，如适配器层，也不需要计算二阶导数，这是目前流行的元学习和少样本学习文献。我们在各种任务上展示了我们的方法，并分析了几种模型变体和基线方法的泛化特性。特别是，我们表明，组合任务描述符可以提高性能。实验表明，我们的方法至少工作以及其他方法，而计算效率更高。
2020-12-17 cs.LG
AdaptMol: Adaptive Fusion from Sequence String to Topological Structure for Few-shot Drug Discovery
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院）；School of Biomedical Science, Hunan University（湖南大学生物医学科学学院）
提出AdaptMol原型网络，通过双层级注意力自适应融合SMILES序列与分子图特征，并以活性子结构解释融合机制，在少样本MPP基准上取得SOTA性能。
2025-05-17 cs.AI cs.LG q-bio.MN
Temporal-Viewpoint Transportation Plan for Skeletal Few-shot Action Recognition
Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
我们提出了一个少样本学习管道的联合tEmporal和cAmera的视点算法（JEANIE）的三维基于动作的动作识别。为了排除查询和支持序列之间的3D身体关节的不对齐，我们提出了一个先进的动态时间规整的变种，它联合建模查询和支持帧之间的每个平滑路径，同时实现最佳的对齐时间和模拟相机的视点空间有限的Few-Shot训练数据下的端到端学习。基于简单谱图卷积（一种轻量级线性图神经网络骨干）的时间块编码器对序列进行编码。我们还包括一个带有Transformer的设置。最后，我们提出了一个基于相似性的损失，鼓励对齐的序列相同的类，同时防止不相关的序列的对齐。我们展示了NTU-60，NTU-120，Kinetics骨架和UWA 3D Multiview Activity II的最新结果。
2022-10-30 cs.AI cs.CV cs.LG
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）
虽然Few-Shot分类已被广泛探索与基于相似性的方法，Few-Shot序列标记构成了一个独特的挑战，因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性，我们建议利用条件随机场（CRF）在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数，并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时，不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题，我们引入了依赖转移机制，转移抽象标签转换模式。此外，相似性方法依赖于高质量的样本表示，这对于序列标记是具有挑战性的，因为当测量单词与不同句子中的单词的相似性时，单词的含义是不同的。为了弥补这一点，我们利用最近的上下文嵌入技术，并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明，我们的模型显着优于最强的少样本学习基线分别为11.76（21.2%）和12.18（97.7%）的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Classical Sequence Match is a Competitive Few-Shot One-Class Learner
Nankai University（南开大学）；Tsinghua University（清华大学）
如今，基于transformer的模型逐渐成为人工智能先驱的默认选择。即使在Few-Shot场景中，模型也显示出优越性。在本文中，我们回顾了经典的方法，并提出了一个新的Few-Shot替代。具体来说，我们研究了Few-Shot一类问题，它实际上需要一个已知的样本作为参考，以检测一个未知的实例是否属于同一个类。这个问题可以从序列匹配的角度来研究。结果表明，与元学习，经典的序列匹配方法，即比较聚合，显着优于Transformer的。经典的方法需要更少的训练成本。此外，我们在简单微调和元学习下对两种序列匹配方法进行了实证比较。元学习使得Transformer模型的特征具有高相关维度。究其原因，与Transformer型号的层数和头数密切相关。实验代码和数据可在https://github.com/hmt2014/FewOne上获得
2022-10-06 cs.CL cs.LG
Zero-Shot Task Generalization with Multi-Task Deep Reinforcement Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）；Microsoft Research（微软研究院）
作为在强化学习（RL）中开发zero-shot任务泛化能力的一步，我们引入了一个新的RL问题，其中代理应该在学习解决子任务的有用技能后学习执行指令序列。在这个问题中，我们考虑两种类型的概括：以前看不见的指令和更长的指令序列。对于看不见的指令的泛化，我们提出了一个新的目标，鼓励学习相似的子任务之间的对应关系，通过类比。对于顺序指令的泛化，我们提出了一个层次结构，其中Meta控制器学习使用所获得的技能来执行指令。为了处理延迟奖励，我们在Meta控制器中提出了一种新的神经结构，它可以学习何时更新子任务，这使得学习更有效。随机3D域上的实验结果表明，所提出的想法是至关重要的推广到更长的指令，以及看不见的指令。
2017-11-07 cs.AI cs.LG
Detect by Yourself: Self-Designing Agentic Workflows for Few-Shot Graph Anomaly Detection
CSU（中国科学技术大学）；UST（香港大学）
提出SignGAD框架，通过自设计任务条件检测工作流替代固定检测器，结合图编码与检测器选择及受保护重拟合策略，提升少样本图异常检测的适应性与可靠性。
2026-05-26 cs.AI cs.LG
Feature-Aware One-Shot Federated Learning via Hierarchical Token Sequences
FALCON通过特征感知的层次化标记序列生成和知识蒸馏提升单次联邦学习在非IID图像数据中的性能。
2026-01-07 cs.LG
A Hippocampus Model for Online One-Shot Storage of Pattern Sequences
Ruhr Universität Bochum（波鸿鲁尔大学）
我们提出了一个计算模型的基础上的CRISP理论（内容表示，内在序列和模式完成）的海马，允许连续存储模式序列在线一次拍摄的方式。CA 3不是将序列存储在CA 3中，而是提供与输入序列异源关联的预训练序列，这允许系统执行一次性学习。因此，短时间尺度上的可塑性只发生在CA 3的传入和传出连接中。存储的序列可以稍后从单个提示模式中调用。我们确定子区域DG进行的模式分离是必要的存储序列，包含相关的模式。该模型的一个设计原则是，我们使用一个单一的学习规则命名为Hebbiand-escent训练系统的所有部分。赫布血统有一个固有的遗忘机制，允许系统不断记住新的模式，同时忘记早期存储的模式。该模型显示了一个合理的行为时，提出了嘈杂的和新的模式，并具有相当高的容量约40%的神经元在CA 3的数量。我们的模型的一个显着的属性是，它是能够“自举”（改善）本身没有外部输入的过程中，我们称之为“梦想”。除了人工生成的输入序列，我们还表明，该模型与编码的手写数字或自然图像序列。据我们所知，这是海马体的第一个模型，它允许以一次性方式在线存储相关的模式序列，而无需巩固过程，稍后可以立即回忆起来。
2019-05-30 cs.LG cs.NE q-bio.NC
Learning to Detect Novel and Fine-Grained Acoustic Sequences Using Pretrained Audio Representations
Apple（苹果公司）
本研究针对无可用非目标音频的新型细粒度声学序列小样本检测问题，开发了预训练音频表示的流程及迁移方法，实验验证了预训练嵌入的通用性及对小样本检测框架的支撑作用。
2023-05-03 cs.LG cs.SD eess.AS
Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations
本文发现剪枝网络性能下降的根源是信号坍缩，提出REFLOW方法在不更新权重的情况下缓解该问题，使幅度剪枝在ImageNet上以20%权重将ResNeXt101精度从4.1%提升至78.9%，超越现有方法。
2025-02-18 cs.AI cs.CV cs.LG
Lexicon Learning for Few-Shot Neural Sequence Modeling
Massachusetts Institute of Technology（麻省理工学院）
序列到序列转换是语言处理应用中的核心问题，如语义解析、机器翻译和指令遵循。为这些问题提供主要解决方案的神经网络模型是脆弱的，特别是在低资源环境中：它们无法从小数据集正确或系统地泛化。过去的研究表明，许多系统概括的失败源于神经模型无法将词汇现象与句法现象分开。为了解决这个问题，我们用词汇翻译机制来增强神经解码器，该机制概括了现有的复制机制，以纳入学习的，去语境化的，令牌级的翻译规则。我们描述了如何使用各种词典学习算法来初始化这种机制，并表明它提高了从认知科学，形式语义学和机器翻译中提取的序列建模任务的系统概括。
2021-06-07 cs.CL cs.LG
Instant One-Shot Word-Learning for Context-Specific Neural Sequence-to-Sequence Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
神经序列到序列系统为自动语音识别（ASR）提供最先进的性能。当使用适当的建模单位时，例如，字节对编码的字符，这些系统原则上是开放的词汇系统。然而，在实践中，他们经常无法识别在训练期间没有看到的单词，例如，命名实体、数字或技术术语。为了缓解这个问题，我们补充了一个端到端的ASR系统与单词/短语的内存和访问该内存的机制，以正确地识别单词和短语。在ASR系统的训练之后，并且当它已经被部署时，可以立即添加或减去相关单词，而不需要进一步的训练。在本文中，我们证明了通过这种机制，我们的系统能够识别超过85%的新添加的单词，它以前没有识别相比，一个强大的基线。
2021-07-05 cs.CL cs.LG
Cross-Gate MLP with Protein Complex Invariant Embedding is A One-Shot Antibody Designer
Zhejiang University（浙江大学）；Westlake University（西湖大学）；National University of Defense Technology（国防科技大学）
针对抗体CDR设计几何建模不足和迭代推理低效问题，提出一次性协同设计CDR序列与结构的模型，通过大分子结构不变嵌入和cross-gate MLP实现全面几何建模与序列-结构协同学习，性能优于现有方法。
2024-01-10 cs.AI cs.LG q-bio.BM
Few-Shot Action Recognition with Compromised Metric via Optimal Transport
State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
Few-Shot动作识别是计算机视觉系统的重要组成部分，尽管Few-Shot图像分类的研究已经得到了广泛的应用，但其研究还不成熟。流行的少样本学习算法从可见类中提取可转移的嵌入，并通过构建基于度量的分类器将其重用于不可见类。将这些算法应用于动作识别的一个主要障碍是视频的复杂结构。一些现有的解决方案从视频中采样帧并聚合它们的嵌入以形成视频级表示，忽略了重要的时间关系。其他人在两个视频之间执行显式的序列匹配，并将它们的距离定义为匹配成本，对序列排序施加了太强的限制。在本文中，我们提出了妥协度量通过最优传输（CMOT）结合这两种解决方案的优点。CMOT在最优传输框架下同时考虑视频中的语义和时间信息，并且对于内容敏感和顺序敏感的任务都是有区别的。详细地说，给定两个视频，我们从它们中采样片段，并将它们的距离计算作为两个片段序列之间的最优传输问题。为了保留固有的时间排序信息，我们还通过用一对段之间的位置距离对其进行惩罚来修改地面成本矩阵。在基准数据集上的实验结果证明了CMOT的优越性。
2021-04-08 cs.AI cs.CV cs.LG
Unsupervisedly Prompting AlphaFold2 for Few-Shot Learning of Accurate Folding Landscape and Protein Structure Prediction
Changping Laboratory（昌平实验室）；Huawei Hangzhou Research Institute（华为杭州研究院）；Institute of Systems and Physical Biology（系统与物理生物学研究所）；Shenzhen Bay Laboratory（深圳湾实验室）；Beijing National Laboratory for Molecular Sciences（北京分子科学国家实验室）；College of Chemistry and Molecular Engineering, Peking University（北京大学化学与分子工程学院）；Biomedical Pioneering Innovation Center, Peking University（北京大学生物医学前沿创新中心）
针对AlphaFold2在少样本MSA下性能不足的问题，提出元生成模型EvoGen，通过无监督提示校准或虚拟同源序列，提升低数据下的折叠准确率，并支持概率性结构生成与蛋白质设计。
2023-10-08 cs.AI cs.LG physics.bio-ph
Channel Relationship Prediction with Forget-Update Module for Few-shot Classification
Nanjing University（南京大学）
本文提出了一种支持集内类间关系的推理流水线，并给出了一个使用遗忘更新模块的查询示例。我们首先提出了一个新的架构模块称为“通道向量序列构造模块”，它通过收集所有支持样本和查询样本的整体信息来提高基于序列预测模型的Few-Shot分类方法的性能。该模块生成的通道向量序列以这样的方式组织，即该序列的每个时间步包含来自所有支持样本和待推断的查询样本的对应通道的信息。通过卷积神经网络和全连接网络得到信道向量序列，拼接后的信道向量序列是支持样本和查询样本对应的信道向量按原信道顺序拼接而成。此外，我们提出了一个遗忘更新模块组成的堆叠遗忘更新块。遗忘块用学习的权重修改原始信息，更新块为模型建立密集连接。该流水线由通道向量序列构造模块和遗忘更新模块组成，能够在Few-Shot分类场景下推断查询样本和支持样本之间的关系。实验结果表明，该流水线在miniImagenet、CUB数据集和跨域场景上均能取得较好的效果。
2020-06-16 cs.CV cs.LG stat.ML
GLiClass: Generalist Lightweight Model for Sequence Classification Tasks
Knowledgator Engineering（Knowledgator工程）
针对序列分类任务中生成式LLM效率低、交叉编码器处理大规模标签集慢及嵌入方法在复杂场景表现差的问题，提出适配GLiNER架构的轻量级模型GLiClass，实现高效高精度的零样本与少样本分类，并引入PPO支持数据稀疏下的多标签训练。
2025-08-11 cs.AI cs.CL cs.LG
Zero-shot Sequence Labeling: Transferring Knowledge from Sentences to Tokens
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）；United Kingdom（英国）；CoAStaL DIKU（CoAStaL DIKU（此处“DIKU”为丹麦哥本哈根大学计算机科学系缩写，按原文保留））；Department of Computer Science（计算机科学系）；University of Copenhagen（哥本哈根大学）；Denmark（丹麦）
基于注意力或梯度的可视化技术是否可以用于推断二进制序列标记问题的标记级别标签，使用仅在标记级别标签上训练的网络？我们构建了一个基于软注意力的神经网络架构，训练它作为一个二元句子分类器，并在四个不同的数据集上对标记级注释进行评估。从网络中推断令牌标签提供了一种方法，用于定量评估模型正在学习的内容，以及在辅助系统中生成有用的反馈。我们的研究结果表明，与基于梯度的方法相比，基于注意力的方法能够更准确地预测标记级别的标签，有时甚至可以与有监督的Oracle网络相媲美。
2018-05-06 cs.CL cs.LG cs.NE
ADSAGE: Anomaly Detection in Sequences of Attributed Graph Edges applied to insider threat detection at fine-grained level
Atos Information Technology（Atos信息技术公司）；University of Passau（帕绍大学）
以前的作品在CERT内部威胁检测的情况下，忽略了图形和文本功能，尽管它们的相关性来描述用户的行为。此外，现有系统严重依赖于特征工程和审计数据聚合来检测恶意活动。这是耗时的，需要专业知识，并防止追溯警报到精确的用户操作。为了解决这些问题，我们引入ADSAGE来检测异常的审计日志事件建模为图形边缘。我们的一般方法是第一个在边缘级别进行异常检测，同时支持边缘序列和属性，可以是数字，分类，甚至文本。我们描述了ADSAGE如何在CERT用例的不同审计日志中用于细粒度的事件级内部威胁检测。值得注意的是，没有标准的CERT问题的基准，我们使用以前提出的评估设置的基础上现实的召回为基础的指标。我们评估ADSAGE的身份验证，电子邮件流量和来自CERT内部威胁数据集的Web浏览日志，以及真实世界的身份验证事件。ADSAGE可以有效地检测身份验证中的异常，建模为用户与计算机的交互，以及电子邮件通信。简单的基线也会产生令人惊讶的强大结果。我们还报告了CERT数据集中存在的恶意场景的性能分裂：有趣的是，几个检测器是互补的，可以结合起来提高检测。总的来说，我们的研究结果表明，图特征是翔实的恶意内部活动的特征，并在细粒度级别的检测是可能的。
2020-07-14 cs.CR cs.LG stat.ML
3D Skeleton-based Few-shot Action Recognition with JEANIE is not so Naïve
Singapore University of Technology and Design（新加坡科技设计大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61）；The Australian National University（澳大利亚国立大学）
在本文中，我们提出了一个少样本学习管道的联合tEmporal和cAmera视点算法（JEANIE）的3D基于动作的动作识别。为了排除查询和支持序列之间的3D身体关节的不对齐，我们提出了一个先进的动态时间规整的变种，它联合建模查询和支持帧之间的每个平滑路径，同时实现最佳的对齐时间和模拟相机的视点空间有限的Few-Shot训练数据下的端到端学习。序列使用基于简单谱图卷积（Simple Spectral Graph Convolution）的时间块编码器进行编码，简单谱图卷积是一种轻量级线性图神经网络骨干（我们还包括一个带有Transformer的设置）。最后，我们提出了一个基于相似性的损失，鼓励对齐的序列相同的类，同时防止不相关的序列的对齐。我们展示了NTU-60，NTU-120，动力学骨架和UWA 3D Multiview Activity II的最新结果。
2021-12-23 cs.CV cs.HC cs.LG
Language Models Can Improve Event Prediction by Few-Shot Abductive Reasoning
Ant Group（蚂蚁集团）；TTIC（丰田工业大学芝加哥分校）；UChicago（芝加哥大学）
本文提出融合大语言模型的LAMP事件预测框架，利用大模型少样本溯因推理能力辅助事件序列模型，在多个真实数据集上性能超越现有最优事件序列模型。
2023-10-08 cs.AI cs.CL cs.LG
Augmented Natural Language for Generative Sequence Labeling
AWS AI（AWS人工智能研究院）
我们提出了一个联合序列标记和分级分类的生成框架。我们的模型执行多个序列标记任务，一次使用一个单一的，共享的自然语言输出空间。与以前的判别方法不同，我们的模型自然地结合了标签语义，并在任务之间共享知识。我们的框架是通用的，在Few-Shot、低资源和高资源任务上表现良好。我们证明了这些优势流行的命名实体识别，插槽标签，和意图分类基准。我们为Few-Shot插槽标记设置了新的最新技术水平，在之前的5次（$75.0\% \rightarrow 90.9\%$）和1次（$70.4\% \rightarrow 81.0\%$）最新技术水平结果的基础上进行了大幅改进。此外，我们的模型产生大的改进（$46.27\% \rightarrow 63.83\%$）低资源槽标签超过BERT基线，通过将标签语义。我们还在高资源任务上保持了有竞争力的结果，在所有任务上的表现都在最先进水平的两个点之内，并在SNIPS数据集上设置了新的最先进水平。
2020-09-15 cs.CL cs.LG stat.ML
A Transformer-Based Contrastive Learning Approach for Few-Shot Sign Language Recognition
Universidade Federal do Rio Grande do Norte（联邦大学-里约格朗德杜北州分校）；CESAR；Lenovo（联想）
针对单目视频或2D姿态序列的手语识别难题，提出基于对比Transformer的模型，学习身体关键点序列的丰富表示，支持训练中未见手语的单样本和少样本分类任务，在LSA64数据集上效果良好。
2026-07-07 cs.AI cs.CL cs.CV
ActAlign: Zero-Shot Fine-Grained Video Classification via Language-Guided Sequence Alignment
Department of Computer Science, Temple University（Temple大学计算机科学系）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出无需训练的 ActAlign，利用 LLM 生成子动作序列并通过 DTW 对齐视频帧，在 ActionAtlas 上以更少参数实现零样本细粒度动作识别。
2025-10-19 cs.CV cs.LG cs.MM
DNAHLM -- DNA sequence and Human Language mixed large language Model
Huazhong University of Science and Technology（华中科技大学）
针对DNA大模型无法直接使用自然语言提示等问题，本文提出融合DNA序列与英文文本的GPT-2预训练模型DNAHLM，并通过Alpaca指令微调实现零样本预测与多任务处理。
2024-10-27 cs.LG q-bio.GN
AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model
Amazon Alexa AI（亚马逊Alexa人工智能部门）
在这项工作中，我们证明了多语言大规模序列到序列（seq 2seq）模型，预训练的混合去噪和因果语言建模（CLM）的任务，是更有效的Few-Shot学习者比解码器只有模型在各种任务。特别是，我们训练了一个200亿参数的多语言seq 2seq模型，称为Alexa教师模型（AlexaTM 20 B），并表明它在单次摘要任务上实现了最先进的（SOTA）性能，优于更大的540 B PaLM解码器模型。AlexaTM 20 B还在Flores-101数据集上实现了SOTA单镜头机器翻译，特别是针对低资源语言，几乎涵盖了模型支持的所有语言对（阿拉伯语，英语，法语，德语，印地语，意大利语，日语，马拉地语，葡萄牙语，西班牙语，泰米尔语和泰卢固语）。我们还显示在zero-shot设置中，AlexaTM 20 B在SuperGLUE和SQuADv 2数据集上的性能优于GPT 3（175 B），并在XNLI，XCOPA，Paws-X和XWinograd等多语言任务上提供SOTA性能。总的来说，我们的研究结果为seq 2seq模型提供了一个令人信服的案例，作为大规模语言模型（LLM）训练的仅解码器模型的强大替代方案。
2022-08-03 cs.CL cs.LG
Shotluck Holmes: A Family of Efficient Small-Scale Large Language Vision Models For Video Captioning and Summarization
Georgia Institute of Technology（佐治亚理工学院）
本文提出高效小型 LLVM 系列 Shotluck Holmes，通过改进预训练与数据策略使其理解帧序列，并在 Shot2Story 上以更小、更高效的模型取得领先性能。
2024-10-21 cs.CL cs.CV cs.LG
AMP0: Species-Specific Prediction of Anti-microbial Peptides using Zero and Few Shot Learning
Pakistan Institute of Engineering and Applied Sciences（巴基斯坦工程与应用科学学院）；University of Warwick（华威大学）
耐药微生物物种的进化是全球健康面临的主要挑战之一。需要加速开发新的抗菌治疗方法，如抗菌肽，以应对这一威胁。然而，新的抗菌肽的发现受到低通量生化测定的阻碍。计算技术可用于在湿实验室测试之前快速筛选有前途的抗菌肽候选物。绝大多数现有的抗微生物肽预测物本质上是非靶向的，即，它们可以预测给定的肽序列是否是抗微生物的，但它们不能预测该序列是否可以靶向特定的微生物物种。在这项工作中，我们开发了一种有针对性的抗菌肽活性预测器，可以预测肽是否对给定的微生物物种有效。这是通过zero-shot和Few-Shot机器学习实现的。所提出的称为AMP 0的预测因子将肽氨基酸序列和任何N/C-末端修饰与靶微生物物种的基因组序列一起进行，以产生靶向预测。值得注意的是，所提出的方法可以为不属于其训练集的物种生成预测。通过为新测试物种提供一些示例肽，可以进一步提高该物种的预测准确性。我们的计算交叉验证结果表明，所提出的计划是特别有效的有针对性的抗菌预测相比，现有的方法，并可以用于筛选潜在的抗菌肽在有针对性的方式，特别是在训练的例子是小的情况下。该方法的网络服务器可在http://ampzero.pythonanywhere.com上获得。
2019-10-28 cs.LG q-bio.BM stat.ML
Phonological Features for 0-shot Multilingual Speech Synthesis
Papercup Technologies Ltd.（Papercup科技有限公司）
语码转换-多种语言在话语中的使用-在世界各地都很普遍。在文本到语音（TTS），多语言模型已被发现，使代码切换。通过将语言输入修改为序列到序列TTS，我们表明，即使在单语模型中，在训练过程中看不见的语言也可能发生语码转换。我们使用了一小套来自国际音标（IPA）的语音特征，如元音高度和前位，辅音的位置和方式。这允许模型拓扑对于不同的语言保持不变，并允许模型解释新的、以前看不见的特征组合。我们表明，这使我们能够在测试时用一种新的语言生成可理解的代码切换语音，包括训练中从未见过的声音的近似。
2020-08-06 cs.LG cs.SD eess.AS
Using VAEs and Normalizing Flows for One-shot Text-To-Speech Synthesis of Expressive Speech
Amazon（亚马逊）
我们提出了一个文本到语音的方法来创建一个看不见的表达风格，使用一个表达性的讲话约一秒的话语。具体而言，我们增强了一个国家的最先进的序列到序列的系统与变分自编码器（VAE）和Householder流的解纠缠能力。所提出的系统提供了一个22%的KL发散减少，同时共同提高感知指标超过国家的最先进的。在合成时，我们使用一个例子的表达风格作为参考输入的编码器生成所需的风格的任何文本。感知MUSHRA评估表明，我们可以创建一个比标准神经文本到语音相对自然度提高9%的声音，同时还提高了感知的情感强度（59与中性语音的55相比）。
2020-02-17 cs.CL cs.LG cs.SD
