Revealing the Underlying Patterns: Investigating Dataset Similarity, Performance, and Generalization
GE Research(通用电气研究)
本研究通过建立图像与数据集间的距离度量,结合模型性能选择合适架构,并仅添加少量未见图像即可提升模型泛化能力,降低训练与标注成本。
2023-12-29 cs.AI cs.CV
Robust Detection of Synthetic Tabular Data under Schema Variability
Orange Labs Lannion(奥兰治实验室拉尼永);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);IRISA(法国信息与随机系统研究所)
本文提出了一种新的数据级Transformer架构,有效提升了在模式变化下检测合成表格数据的鲁棒性和准确性。
2025-12-01 cs.AI cs.DB cs.LG
Continual Representation Learning for Biometric Identification
The University of Edinburgh(爱丁堡大学);SenseTime Group Limited(商汤科技);The University of Sydney(悉尼大学)
随着近年来数字数据的爆炸式增长,从数据流中不断学习新任务而不忘记以前获得的知识变得越来越重要。在本文中,我们提出了一个新的持续学习(CL)设置,即"连续表示学习“,其重点是学习更好的表示在一个连续的方式。我们还提供了两个大规模的多步骤生物识别基准,其中不同类别的视觉外观是高度相关的。与要求模型识别更多的学习类相反,我们的目标是学习特征表示,这些特征表示不仅可以更好地推广到以前看不见的图像,还可以推广到看不见的类/身份。对于新的设置,我们提出了一种新的方法,执行知识蒸馏在大量的身份通过应用邻域选择和一致性松弛策略,以提高可扩展性和灵活性的持续学习模型。我们证明,现有的CL方法可以提高在新的设置的代表性,我们的方法取得了更好的结果比竞争对手。
2020-06-28 cs.CV
Providing Previously Unseen Users Fair Recommendations Using Variational Autoencoders
Norwegian University of Science and Technology(挪威科技大学)
针对推荐系统因用户建模而违反公平性且无法服务新用户的问题,提出限制变分自编码器中人口信息编码的方法,实现为未见用户提供公平推荐。
2023-08-29 cs.AI cs.IR cs.LG
Domain-independent detection of known anomalies
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);preML GmbH(preML有限公司)
本文针对工业异常检测中数据稀疏和跨物体泛化问题,提出稀疏类别上的域泛化任务,并基于MVTec AD生成三个新数据集,设计SEMLP和Labeled PatchCore方法,其中SEMLP取得最佳性能。
2024-07-03 cs.CV
Adaptive Robot-Assisted Feeding: An Online Learning Framework for Acquiring Previously Unseen Food Items
University of Washington(华盛顿大学)
一个成功的机器人辅助喂养系统需要咬收购各种各样的食物。它必须在不确定的视觉和物理环境下适应不断变化的用户食物偏好。在不同的环境条件下,不同的食物项目需要不同的操作策略,以成功地咬收购。因此,一个关键的挑战是如何处理以前看不见的食物项目与非常不同的成功率分布的战略。结合低级别的控制器和规划到离散的行动轨迹,我们表明,这个问题可以表示使用一个线性的上下文强盗设置。我们构建了一个模拟的环境,使用一个双重的强大的损失估计,从以前看到的食物,我们用它来调整现成的上下文强盗算法的参数。最后,我们证明经验的机器人辅助喂食系统,即使从一个模型训练上千串尝试不同的以前看到的食物,$ε$贪婪和LinUCB算法可以快速收敛到最成功的操作策略。
2020-08-01 cs.AI cs.LG cs.RO
Random Features Hopfield Networks generalize retrieval to previously unseen examples
University of Rome ‘La Sapienza’(罗马第一大学);Harvard University(哈佛大学);Bocconi University(博科尼大学);Institute for Data Science and Analytics(数据科学与分析研究所);CNR-NANOTEC, Institute of Nanotechnology(国家研究委员会纳米技术研究所(CNR-NANOTEC))
研究发现随机特征 Hopfield 网络在越过学习转变后,可通过特征混合形成未见样本的吸引子,并用相图解释这种检索泛化。
2024-07-08 cond-mat.dis-nn cs.LG cs.NE
Exploring the ability of CNNs to generalise to previously unseen scales over wide scale ranges
KTH Royal Institute of Technology(瑞典皇家理工学院)
本研究通过理论分析和实验评估,提出新型中央凹尺度通道架构(FovMax/FovAvg),在宽尺度范围内实现卷积网络对未见尺度的有效泛化,并在小样本场景中取得改进。
2021-05-18 cs.CV cs.LG
Scale-invariant scale-channel networks: Deep networks that generalise to previously unseen scales
KTH Royal Institute of Technology(KTH皇家理工学院)
处理大规模变化的能力对于许多现实世界的视觉任务至关重要。在深度网络中处理尺度的一种简单方法是在一组尺度通道中同时处理多个尺度的图像。然后,原则上,可以通过使用缩放通道之间的权重共享以及来自缩放通道的输出上的最大或平均池化来实现缩放不变性。然而,这种尺度通道网络在显著尺度范围内概括训练集中不存在的尺度的能力以前没有被探索过。在本文中,我们提出了一个系统的研究方法,通过实施不同类型的规模的渠道网络和评估他们的能力,概括到以前看不见的规模。我们开发了一种形式主义的协方差和不变性的尺度通道网络的属性进行分析,并探讨如何不同的设计选择,独特的缩放变换,影响尺度通道网络的整体性能。我们首先表明,两个先前提出的规模通道网络设计不概括以及规模不存在于训练集。我们从理论上解释和实验证明,为什么在这些情况下泛化失败。然后,我们提出了一种新类型的中央凹尺度通道架构,其中尺度通道处理具有降低的分辨率的图像的越来越大的部分。这种新型的规模渠道网络的推广非常好,提供足够的图像分辨率和边界效应的情况下。我们提出的FovMax和FovAvg网络在8的尺度范围内表现几乎相同,在单尺度训练数据上训练时也是如此,并且在小样本制度中从具有大尺度变化的数据集学习时也能提高性能。
2022-02-22 cs.CV cs.LG
Learning to Discover: A Generalized Framework for Raga Identification without Forgetting
Indian Institute of Technology Kanpur(印度理工学院坎浦尔分校);Katholieke Universiteit Leuven(鲁文大学)
本文提出一种统一的学习框架,通过结合标记和未标记音频,实现无需遗忘的Raga识别,有效发现未见过的Raga类别并提升分类性能。
2026-01-26 cs.LG eess.AS
UOD: Unseen Object Detection in 3D Point Cloud
ASRI, ECE., Seoul National University(首尔国立大学电子与计算机工程系);RideFlux Inc.(RideFlux公司)
针对野外自动驾驶中未见三维物体检测与OOD分类的挑战,提出异常样本增强、通用物体性学习等方法,并在KITTI Misc及两个合成OOD基准上大幅提升现有方法性能。
2025-05-27 cs.CV cs.LG
StructDiffusion: Language-Guided Creation of Physically-Valid Structures using Unseen Objects
Georgia Tech(佐治亚理工学院);MIT(麻省理工学院);University of Utah(犹他大学);NVIDIA(英伟达);Meta AI
本文提出 StructDiffusion,结合扩散模型、以物体为中心的 transformer 与碰撞判别器,依据语言目标和部分点云构建未见物体的物理有效结构,显著提升泛化与成功率。
2023-04-25 cs.AI cs.CL cs.CV
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology(威迪亚西里梅迪科学技术研究所)
特设团队合作问题描述的情况下,一个代理人必须与以前看不见的代理人合作,以实现一个共同的目标。为了使代理在这些场景中取得成功,它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为,将合作技能实现到代理中。然而,在复杂的领域,领域知识可能是不可用的。因此,如何从数据中直接学习合作技能是值得探讨的。在这项工作中,我们应用Meta强化学习(元RL)制定的背景下,特设团队合作的问题。我们的实证结果表明,这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况:社会顺应性和语言解释。(This是扩展抽象版本的全文。)
2021-11-05 cs.AI cs.LG cs.MA
Leveraging Post Hoc Context for Faster Learning in Bandit Settings with Applications in Robot-Assisted Feeding
University of Washington(华盛顿大学);Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
自主机器人辅助喂养需要能够获得各种各样的食物。然而,这样的系统不可能在现有的所有类型的食物上进行训练。因此,一个关键的挑战是为以前看不见的食品选择操作策略。以前的工作表明,该问题可以表示为一个线性的强盗视觉上下文。然而,食物具有与操作相关的各种各样的多模态特性,这些特性可能难以在视觉上区分。我们的关键见解是,我们可以利用我们在操纵期间和之后收集的触觉上下文(即,“事后”)来学习其中的一些属性,并更快地使我们的视觉模型适应以前从未见过的食物。在一般情况下,我们提出了一个修改后的线性上下文强盗框架增加事后观察行动选择后,经验性地提高学习速度,减少累积的遗憾。在合成数据上的实验表明,当上下文的维度相对于事后上下文较大时,或者当事后上下文模型特别容易学习时,这种效果更加明显。最后,我们将此框架应用于咬收购问题,并证明收购8个以前看不见的类型的食物,在64次尝试中失败率降低了21%。
2021-03-25 cs.AI cs.LG cs.RO
What is Essential for Unseen Goal Generalization of Offline Goal-conditioned RL?
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学)
本文研究离线GCRL对未见目标的OOD泛化,结合实证发现与理论分析提出GOAT,并在含9个IID和17个OOD任务的新基准上显著超越现有方法。
2023-06-02 cs.AI cs.LG
Comparative Evaluation of Neural Network Architectures for Generalizable Human Spatial Preference Prediction in Unseen Built Environments
针对未见建成环境中人类空间偏好预测的泛化难题,本研究基于合成口袋公园数据,对比评估了图神经网络、卷积神经网络和前馈神经网络,利用精确率-召回all曲线下面积计算泛化性得分,为偏好感知的人类行为建模提供了架构适用性见解。
2025-10-13 cs.CE cs.CV cs.LG
A simple way to make neural networks robust against diverse image corruptions
University of Tübingen(蒂宾根大学);International Max Planck Research School for Intelligent Systems(国际马克斯·普朗克智能系统研究学院)
人类的视觉系统对各种自然发生的变化和破坏(如雨或雪)非常强大。相比之下,现代图像识别模型的性能大大降低时,以前看不见的腐败进行评估。在这里,我们证明了一个简单但经过适当调整的加性高斯和斑点噪声训练可以令人惊讶地很好地推广到看不见的腐败,很容易达到腐败基准ImageNet-C(使用ResNet 50)和MNIST-C的最新技术水平。我们建立在这些强大的基线结果之上,并表明针对不相关的最坏情况噪声分布的识别模型的对抗性训练会导致性能的额外提高。这种正则化可以与以前提出的防御方法相结合,以进一步改进。
2020-07-22 cs.CV cs.LG stat.ML
Towards Discovery and Attribution of Open-world GAN Generated Images
University of Maryland, College Park(马里兰大学帕克分校)
随着生成对抗网络(GANs)的最新进展,媒体和视觉取证必须开发能够识别图像并将其归因于生成它们的模型的检测器。现有的工作表明,属性的图像,以其相应的GAN源具有高精度。然而,这些工作仅限于闭集场景,无法推广到在训练时间内看不见的GANs,因此无法随着新GANs的稳定涌入而扩展。我们提出了一种迭代算法,通过利用所有GANs在其生成的图像上留下不同指纹的事实,来发现从以前看不见的GANs生成的图像。我们的算法包括多个组件,包括网络训练,分布外检测,聚类,合并和细化步骤。通过大量的实验,我们表明,我们的算法发现看不见的GANs具有很高的准确性,也推广到GANs训练看不见的真实数据集。我们还将我们的算法应用于在线方式的GANs的归属和发现,以及更标准的真/假检测任务。我们的实验证明了我们的方法在发现新的GANs方面的有效性,并且可以在开放世界的设置中使用。
2021-09-20 cs.CV cs.LG
Not So Robust After All: Evaluating the Robustness of Deep Neural Networks to Unseen Adversarial Attacks
Innopolis University(Innopolis 大学);University of Hull(赫尔大学)
本文通过实验证明仅用鲁棒特征训练 DNN 并不能普遍抵抗对抗攻击,并分析了 $L_2$ 与 $L_{\infty}$ 范数攻击对模型表示和决策边界的影响,揭示了 $L_{\infty}$ 攻击被低估的危险性。
2023-08-12 cs.AI cs.LG
Zero-Shot Task Generalization with Multi-Task Deep Reinforcement Learning
University of Michigan(密歇根大学);Google Brain(谷歌大脑);Microsoft Research(微软研究院)
作为在强化学习(RL)中开发zero-shot任务泛化能力的一步,我们引入了一个新的RL问题,其中代理应该在学习解决子任务的有用技能后学习执行指令序列。在这个问题中,我们考虑两种类型的概括:以前看不见的指令和更长的指令序列。对于看不见的指令的泛化,我们提出了一个新的目标,鼓励学习相似的子任务之间的对应关系,通过类比。对于顺序指令的泛化,我们提出了一个层次结构,其中Meta控制器学习使用所获得的技能来执行指令。为了处理延迟奖励,我们在Meta控制器中提出了一种新的神经结构,它可以学习何时更新子任务,这使得学习更有效。随机3D域上的实验结果表明,所提出的想法是至关重要的推广到更长的指令,以及看不见的指令。
2017-11-07 cs.AI cs.LG
Neural Chameleons: Language Models Can Learn to Hide Their Thoughts from Unseen Activation Monitors
语言模型通过微调可学习逃避未见的激活监控,展示出零样本泛化能力,揭示模型在对抗威胁下的鲁棒性问题。
2025-12-12 cs.LG
Test-time Assessment of a Model's Performance on Unseen Domains via Optimal Transport
Tulane University(杜兰大学)
本文提出一种基于最优传输的测试时性能度量方法,仅利用少量未见域无标注数据和源域统计信息即可高效估计模型在未见域上的表现,并在源数据选择、架构选择和部署模型性能预测等任务中显著优于基于预测熵的方法。
2024-05-02 cs.LG
Meta-learning autoencoders for few-shot prediction
MIT(麻省理工学院)
与人类相比,机器学习模型通常需要更多的训练样本,并且无法从经验中推断出解决以前看不见的挑战。为了帮助缩小这一性能差距,我们使用元识别模型来增强单任务神经网络,该模型通过其自动编码器结构学习简洁的模型代码,仅使用一些信息丰富的示例。然后,元生成模型采用模型代码来构造用于特定于任务的模型的参数。我们证明,对于以前看不见的任务,没有额外的训练,这个元学习自动编码器(MeLA)框架可以构建与真实的底层模型紧密匹配的模型,损失显着低于微调的基线网络,性能与最先进的元学习算法相比毫不逊色。MeLA还增加了识别有影响力的训练样本的能力,并预测哪些额外的数据将是最有价值的,以提高模型预测。
2018-07-26 cs.LG stat.ML
Graph Neural Networks for Predicting Solvability of Finite Groups
The Institute of Agricultural and Biosystems Engineering Agricultural Research Organization - Volcani Institute(农业与生物系统工程研究所农业研究组织-瓦尔康伊研究所)
提出图神经网络框架,利用Cayley图等图表示,仅通过结构信息区分可解群与不可解群,探索图神经网络学习群论代数性质的能力。
2026-07-28 cs.LG math.GR
Deep Learning for Distinguishing Normal versus Abnormal Chest Radiographs and Generalization to Unseen Diseases
Google Health, Google(谷歌健康,谷歌);Apollo Radiology International(阿波罗国际放射医学);Northwestern Medicine(西北医学)
胸部X线摄影(CXR)是最广泛使用的胸部临床成像方式,对于指导心胸疾病的管理至关重要。特定CXR发现的检测一直是几个人工智能(AI)系统的主要焦点。然而,广泛的可能CXR异常使得建立特定的系统来检测每一种可能的情况是不切实际的。在这项工作中,我们开发并评估了一个AI系统,将CXR分类为正常或异常。为了开发,我们使用了来自印度多城市医院网络的248,445名患者的去识别数据集。为了评估可推广性,我们使用来自印度,中国和美国的6个国际数据集评估了我们的系统。在这些数据集中,有4个数据集中在人工智能没有被训练来检测的疾病上:2个数据集是结核病,2个数据集是2019年的冠状病毒病。我们的研究结果表明,AI系统可以推广到新的患者群体和异常情况。在人工智能系统优先处理异常情况的模拟工作流程中,异常情况的周转时间减少了7- 28%。这些结果代表了评估AI是否可以安全地用于标记存在以前未见过异常的一般情况下的病例的重要一步。
2021-10-29 cs.CV cs.LG eess.IV
DIVA: Domain Invariant Variational Autoencoders
University of Amsterdam(阿姆斯特丹大学);TNO(荷兰应用科学研究组织)
我们考虑域泛化的问题,即,如何学习表示给定的数据从一组域,推广到数据从以前看不见的域。我们提出了域不变变分自动编码器(DIVA),一个生成模型,通过学习三个独立的潜在子空间,一个域,一个类,一个用于任何残留变化来解决这个问题。我们强调,由于我们模型的生成性质,我们还可以从已知或以前看不见的领域中合并未标记的数据。据我们所知,这在域泛化设置中还没有完成过。这种特性在标记数据稀缺的医学成像等领域非常理想。我们在旋转的MNIST基准和疟疾细胞图像数据集上对我们的模型进行了实验评估,其中我们表明:(i)学习的子空间确实是相互补充的,(ii)我们改进了这项任务的最新工作,(iii)合并未标记的数据可以进一步提高性能。
2019-10-07 cs.LG stat.ML
Back to Basics: Deep Reinforcement Learning in Traffic Signal Control
University of Amsterdam(阿姆斯特丹大学);City of Amsterdam(阿姆斯特丹市政府)
在本文中,我们重新审视了一些基本前提的强化学习(RL)的方法,自学习交通灯。我们提出了RLight,一个组合的选择,提供强大的性能和良好的泛化看不见的流量。特别是,我们的主要贡献有三个方面:我们的轻量级和集群感知状态表示导致性能提高;我们重新制定马尔可夫决策过程(MDP),使其跳过黄灯的冗余时间步,加快学习30%;我们调查了动作空间,并提供了非循环和循环相变之间的性能差异的见解。此外,我们还提供了对方法的推广的见解,以应对不可见的流量。使用真实世界杭州交通数据集进行的评估表明,RLight优于最先进的基于规则的深度强化学习算法,证明了基于RL的方法在改善城市交通流量方面的潜力。
2021-11-21 cs.LG
Expanding Semantic Knowledge for Zero-shot Graph Embedding
University of Macau(澳门大学);University of Science and Technology Beijing(北京科技大学);Kwai Inc.(快手公司);Tsinghua University(清华大学)
Zero-shot图嵌入是有监督图学习的一个主要挑战。虽然最近的一种方法RECT已经显示出很好的性能,但其工作机制尚不清楚,仍然需要大量的训练数据。在本文中,我们深入了解RECT,并解决其基本限制。我们表明,其核心部分是GNN原型模型,其中类原型由其平均特征向量描述。因此,RECT将节点从原始输入特征空间映射到中间级别的语义空间,该语义空间将原始输入特征连接到可见和不可见的类。这一机制使区域教育和培训方案对可见和不可见的类别都能很好地发挥作用,但也减少了歧视。为了实现其全部潜力,我们提出了两个标签扩展策略。具体来说,除了扩展可见类的标记节点集之外,我们还可以扩展未见过类的标记节点集。在真实数据集上的实验验证了本文方法的优越性。
2021-03-23 cs.LG
Can Graph Neural Networks Go "Online"? An Analysis of Pretraining and Inference
Kiel University(基尔大学);ZBW – Leibniz Information Centre for Economics(莱布尼茨经济信息中心);University of Essex(埃塞克斯大学)
实际应用中的大规模图数据往往不是静态的,而是动态的。例如,新的节点和边随着时间出现。当前的图卷积方法是有前途的,特别是当所有图的节点和边在训练期间可用时。当在训练后插入看不见的节点和边时,尚未评估向上训练还是从头开始重新训练是优选的。我们构建了一个实验设置,在该设置中,我们在训练后插入以前看不见的节点和边,并进行有限数量的推理时期。在这个设置中,我们比较了适应预训练的图神经网络和从头开始重新训练。我们的研究结果表明,预训练的模型在看不见的节点上产生了高准确性分数,并且预训练优于从头开始重新训练。我们的实验代表了评估和开发真正的图神经网络在线变体的第一步。
2019-05-15 cs.LG stat.ML
Leveraging Siamese Networks for One-Shot Intrusion Detection Model
使用有监督的机器学习(ML)来增强入侵检测系统一直是重要的研究主题。监督ML基于示例学习,需要大量的代表性实例进行有效的训练,并且需要为每个看不见的网络攻击类重新训练模型。然而,由于获取足够数量的数据所需的时间窗口,原位重新训练模型会使网络容易受到攻击。虽然异常检测系统提供了一个粗粒度的防御看不见的攻击,这些方法是显着不太准确,并遭受高误报率。在这里,一个补充的方法被称为“一次学习”,其中一个有限数量的新的攻击类的例子被用来识别一个新的攻击类(出许多)的详细说明。该模型无需重新训练即可授予新的网络攻击分类。暹罗网络经过训练,可以根据对的相似性而不是特征来区分类别,从而识别新的和以前看不见的攻击。使用三个数据集评估了仅基于一个示例对攻击类进行分类的预训练模型的性能。结果证实了该模型的适应性分类看不见的攻击和性能之间的权衡和需要独特的类表示。
2022-11-05 cs.CR cs.LG
DebiasedDTA: A Framework for Improving the Generalizability of Drug-Target Affinity Prediction Models
F. Hoffmann-La Roche AG(霍夫曼-拉罗氏公司)
准确预测输入蛋白质-化学对的结合亲和力的计算模型可以加速药物发现研究。这些模型是在可用的蛋白质-化学相互作用数据集上训练的,这些数据集可能包含数据集偏差,这些偏差可能导致模型学习特定于蛋白质的模式,而不是可概括的关系。因此,模型的预测性能对于先前看不见的生物分子下降,$\textit{i.e.}$预测模型不能推广到数据集之外的生物分子。旨在提高模型泛化能力的最新方法要么适用性有限,要么引入降低预测性能的风险。在这里,我们提出了DebiasedDTA,这是一种新型的药物-靶标亲和力(DTA)预测模型训练框架,它解决了数据集偏差,以提高亲和力预测模型的泛化能力。DebiasedDTA对训练样本进行重新加权,以减轻数据集偏差的影响,适用于大多数DTA预测模型。结果表明,在DebiasedDTA框架中训练的模型可以在预测以前看不见的生物分子的相互作用方面实现更好的泛化能力,以及对以前看到的生物分子的性能改进。使用不同的生物分子表示,模型架构和数据集进行的广泛实验表明,DebiasedDTA可以升级DTA预测模型,而不管生物分子表示,模型架构和训练数据集如何。最后但并非最不重要的是,我们将DebiasedDTA作为开源Python库发布,以使其他研究人员能够消除他们自己的预测器和/或开发他们自己的消除方法。我们相信这个Python库将证实和促进研究,以开发更通用的DTA预测模型。
2023-01-08 cs.LG q-bio.QM
Learning Transferable Graph Exploration
DeepMind(深度思维);Georgia Institute of Technology(佐治亚理工学院);Google Brain(谷歌大脑);University of Washington(华盛顿大学)
本文考虑了有效探索未知环境的问题,这是人工智能的一个关键挑战。我们提出了一个“学习探索”的框架,我们从环境的分布中学习政策。在测试时,呈现来自相同分布的看不见的环境,该策略旨在将探索策略概括为在有限数量的步骤中访问最大数量的唯一状态。我们特别关注的环境中遇到的许多重要的现实世界中的应用程序,如软件测试和地图建设的图形结构的状态空间。我们制定这个任务作为一个强化学习的问题,“探索”代理的奖励过渡到以前看不见的环境状态,并采用图形结构的内存编码代理的过去轨迹。实验结果表明,我们的方法是非常有效的空间地图的探索,并应用于具有挑战性的问题,覆盖率引导的软件测试领域特定的程序和现实世界的移动应用程序,它优于人工设计的方法,由人类专家。
2019-10-28 cs.LG stat.ML