Fast, Effective, and Self-Supervised: Transforming Masked Language Models into Universal Lexical and Sentence Encoders
University of Cambridge(剑桥大学)
近年来,预训练的掩蔽语言模型(MLMs)已经彻底改变了NLP。然而,以前的工作表明,现成的MLMs是不是有效的通用词汇或句子编码器,没有进一步的任务特定的微调NLI,句子相似性,或释义任务,使用注释的任务数据。在这项工作中,我们证明,它是可以把MLMs有效的通用词汇和句子编码器,即使没有任何额外的数据,没有任何监督。我们提出了一种非常简单,快速和有效的对比学习技术,称为BPERT,它转换MLMs(例如,BERT和RoBERTa)在20-30秒内转换成这样的编码器,而无需任何额外的外部知识。BERT-BERT依赖于完全相同或稍微修改的字符串对作为正(即,同义)微调的例子,并旨在最大限度地提高他们的相似性,在身份微调。我们报告了在不同领域和不同语言的词汇级和词汇级任务中,与使用E-BERT的现成MLMs相比的巨大收益。值得注意的是,在标准句子语义相似性(STS)任务中,我们的自监督Sentence-BERT模型甚至与先前工作中任务调整的Sentence-BERT模型的性能相匹配。最后,我们深入研究了MLMs的内部工作原理,并提出了一些证据,说明为什么这种简单的方法可以产生有效的通用词汇和句子编码器。
2021-09-09 cs.AI cs.CL cs.LG
Beyond Distribution Estimation: Simplex Anchored Structural Inference Towards Universal Semi-Supervised Learning
Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, Nanjing, China(新一代人工智能技术及其交叉应用重点实验室(东南大学),教育部,南京,中国);School of Computer Science and Engineering, Southeast University, Nanjing, China(计算机科学与工程学院,东南大学,南京,中国);School of Electrical Engineering, Southeast University, Nanjing, China(电气工程学院,东南大学,南京,中国)
本文提出SAGE方法,通过在表示层面进行结构推断,避免分布估计,利用简单集锚定框架提升半监督学习性能,实验表明其在五个基准数据集上平均准确率提升8.52%。
2026-05-15 cs.LG
Exploiting Behavioral Consistence for Universal User Representation
Alibaba Group(阿里巴巴集团)
用户建模对于开发行业中的个性化服务至关重要。用户建模的一种常见方法是学习用户表示,可以通过他们的兴趣或偏好来区分。在这项工作中,我们专注于开发通用的用户表示模型。期望所获得的通用表示包含丰富的信息,并且可以应用于各种下游应用而无需进一步修改(例如,用户偏好预测和用户简档)。因此,我们可以从繁重的工作中解放出来,为每个下游任务训练特定于任务的模型。具体而言,我们提出了自监督用户建模网络(SUMN)编码的行为数据到通用的表示。它包括两个关键组成部分。第一个是新的学习目标,它引导模型在自监督学习框架下充分识别和保存有价值的用户信息。另一个是多跳聚合层,它有利于模型聚合不同行为的能力。在基准数据集上的大量实验表明,我们的方法可以优于最先进的无监督表示方法,甚至可以与有监督的方法竞争。
2020-12-11 cs.AI cs.IR cs.LG
Universal Spectral Tokenization via Self-Supervised Panchromatic Representation Learning
本文提出一种自监督通用光谱分词器,直接在原生波长网格上统一处理跨分辨率、跨域的天文光谱,生成对齐且物理上有意义的表示,首次实现单一模型统一光谱数据,并有望推广到气候与医疗等领域。
2025-11-10 astro-ph.IM cs.AI cs.LG
Prediction-Powered Semi-Supervised Learning with Online Power Tuning
Department of Electrical and Computer Engineering, Technion IIT(电气与计算机工程系,技术离子研究所);Department of Computer Science, Technion IIT(计算机科学系,技术离子研究所)
本文提出一种预测驱动的半监督学习方法,利用在线调优的插值参数平衡标记与伪标记数据,以无偏梯度估计提升模型性能,并在合成及真实数据上优于现有基线。
2025-10-26 cs.LG
Blockwise Self-Supervised Learning at Scale
University of Cambridge(剑桥大学);Meta-FAIR(Meta FAIR);New York University(纽约大学);Aalto University(阿尔托大学)
本文提出用 Barlow Twins 损失独立训练 ResNet-50 的四个层块,证明分块自监督预训练在 ImageNet 上仅落后端到端反向传播 1.1%。
2024-08-11 cs.AI cs.CV cs.LG
Masked Autoencoders as Universal Speech Enhancer
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);AWS AI Labs(亚马逊人工智能实验室)
本文提出了一种基于掩码自动编码器的通用语音增强器,通过自监督学习处理多种失真,实现去噪和去回声的高性能表现。
2026-02-02 cs.LG cs.SD
SPOTR: Spatio-temporal Pooling One-Token Reconstruction for Universal Physiological Signal Self-supervised Learning
New Cornerstone Science Laboratory, Guangdong Provincial Key Laboratory of In-Memory Computing Chips, Shenzhen Graduate School, Peking University(新基石科学实验室,广东省存算一体芯片重点实验室,北京大学深圳研究生院);Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Shenzhen Graduate School, Peking University(广东省超高清沉浸式媒体技术重点实验室,北京大学深圳研究生院)
提出SPOTR框架,通过单令牌全局瓶颈压缩-重建预训练,解决生理信号自监督学习在异构数据集上的性能瓶颈,在线性探测下显著提升AUC并降低计算开销。
2026-06-23 cs.AI cs.LG
SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning
Henery M.Rowan College of Engineering(亨利·M·罗恩工程学院);Rowan University(罗恩大学);MLNomads
本研究提出一种基于SimO损失的无锚点对比学习方法,通过半度量损失同时优化相似/不相似样本的嵌入距离与正交性,在CIFAR-10上验证其能形成结构良好的类别邻域,为表征几何特性的应用提供新思路。
2024-10-07 cs.AI cs.CV cs.LG
Semi-Supervised Risk Control via Prediction-Powered Inference
Department of Electrical and Computer Engineering, Technion IIT, Haifa, Israel(电气与计算机工程系,技术离子研究所,海法,以色列);Department of Computer Science, Technion IIT, Haifa, Israel(计算机科学系,技术离子研究所,海法,以色列)
针对RCPS校准依赖有限有标注留出数据导致超参数噪声和错误率保守的问题,提出基于prediction-powered inference的半监督校准方法,并在少样本图像与早期时间序列分类中验证其有效性。
2025-07-27 cs.LG stat.ML
SSDL: Self-Supervised Dictionary Learning
China University of Petroleum (East China)(中国石油大学(华东));Harbin Institute of Technology(哈尔滨工业大学)
标签嵌入式词典学习(DL)算法通过引入判别信息来生成有影响力的词典。然而,存在一个局限性:所有的标签嵌入DL方法依赖于标签,因为这种方式只能达到理想的性能在监督学习。而在半监督和无监督学习中,它不再足以有效。受自监督学习概念的启发(例如,设置借口任务以生成下游任务的通用模型),我们提出了一个自监督字典学习(SSDL)框架来解决这一挑战。具体来说,我们首先设计了一个$p$ -Laplacian注意超图学习(pAHL)块作为借口任务来生成DL的伪软标签。然后,我们采用伪标签训练一个字典从一个主要的标签嵌入DL方法。我们在两个人类活动识别数据集上评估我们的SSDL。与其他国家的最先进的方法的比较结果表明,SSDL的效率。
2021-12-03 cs.CV cs.LG
Self-Supervised Learning from Contrastive Mixtures for Personalized Speech Enhancement
这项工作探讨了如何自我监督学习可以普遍用于发现扬声器的特定功能,使个性化的语音增强模型。我们专门解决了Few-Shot学习场景,其中对测试时间扬声器的清洁录音的访问限于几秒钟,但扬声器的嘈杂录音是丰富的。我们开发了一个简单的对比学习过程,将丰富的噪声数据作为临时的训练目标,通过成对的噪声注入:该模型进行预训练,以最大限度地提高对不同变形的相同的话语之间的协议,并尽量减少对类似变形的不相同的话语之间的协议。我们的实验比较了所提出的预训练方法与两个基线替代方案:说话者不可知的全监督预训练,和说话者特定的自我监督预训练没有对比损失条款。在所有三种方法中,使用对比混合物的方法被发现对模型压缩(使用少85%的参数)和减少干净语音(仅需要3秒)是最鲁棒的。
2022-08-09 cs.LG cs.SD eess.AS
DIA-CLIP: a universal representation learning framework for zero-shot DIA proteomics
Peking University(北京大学);AI for Science Institute(科学智能研究院);State Key Laboratory of Medical Proteomics(医学蛋白质组学国家重点实验室)
DIA-CLIP通过预训练模型实现跨模态表示学习,提升零样本PSM推断精度,适用于多领域蛋白质组学研究。
2026-02-02 cs.AI cs.LG q-bio.QM
PPI-SVRG: Unifying Prediction-Powered Inference and Variance Reduction for Semi-Supervised Optimization
Institute for Data, Systems, and Society(数据、系统与社会研究所);Massachusetts Institute of Technology(麻省理工学院);Department of Mathematics(数学系);Washington University in Saint Louis(圣路易斯华盛顿大学);Daniels School of Business(丹尼尔斯商学院)
PPI-SVRG通过结合预测驱动推理与方差减少技术,提升半监督优化在标签稀缺情况下的性能。
2026-01-29 cs.LG econ.EM math.OC
Prediction-Powered Causal Inference by Automatic Debiased Machine Learning and Semi-Supervised Riesz Regression
University of Tokyo(东京大学)
研究半监督设置下因果参数的半参数有效估计,通过结合去偏机器学习和半监督Riesz回归,提出DML-PPCI和TMLE-PPCI方法,实现比仅用标注数据更小的渐近方差。
2026-06-12 cs.LG econ.EM math.ST
Boost Picking: A Universal Method on Converting Supervised Classification to Semi-supervised Classification
提出了一种基于未标记数据的监督分类模型的通用训练方法Boost Picking。Boost Picking只采用两个弱分类器来估计和校正误差。从理论上证明了Boost Picking算法在两个弱分类器的召回率均大于零且精度之和大于1的条件下,可以训练主要使用未标记数据的监督模型,其效果与使用100%标记数据的监督模型一样好。在Boost Picking的基础上,我们提出了“测试与训练(TawT)”,以提高监督模型的泛化能力。Boost Picking和TawT都在不同的小数据集上成功地进行了测试。
2016-11-12 cs.CV cs.LG
Prediction-Powered Risk Monitoring of Deployed Models for Detecting Harmful Distribution Shifts
University of California, Berkeley(加州大学伯克利分校)
提出预测驱动风险监控(PPRM),一种基于预测驱动推断的半监督方法,通过结合合成标签与少量真实标签构建运行风险的随时有效下界,实现对有害漂移的检测,并在图像分类、大语言模型和电信监控任务中验证有效性。
2026-06-11 cs.LG eess.SP
Supervised Neural Discrete Universal Denoiser for Adaptive Denoising
Seoul National University(首尔大学)
我们改进了最近开发的神经DUDE,一个基于神经网络的自适应离散去噪器,将其与监督学习框架相结合。也就是说,我们使神经DUDE的监督预训练与基于给定的噪声数据进行去噪的参数自适应微调兼容。因此,与香草神经DUDE相比,我们实现了显着的去噪性能提升,后者仅使用随机初始化的参数执行自适应微调步骤。此外,我们表明自适应微调使算法的鲁棒性,使噪声失配或盲目训练的监督模型仍然可以实现匹配模型的性能。此外,我们做了一些算法改进,使神经DUDE更具可扩展性,并处理多维数据或具有更大字母表大小的数据。我们系统地展示了我们对两个非常不同的数据集,二进制图像和DNA序列的改进。
2021-11-24 cs.LG
ABC-Align: Prediction-Powered Alignment with Adaptive Bias Control
University of Washington(华盛顿大学)
ABC-Align利用丰富的伪标签信号降低方差,并通过基于人工标注子集的自适应偏差校正,在人类反馈稀缺时提升LLM对齐性能。
2026-09-29 cs.AI cs.LG stat.ML
Universal Supervised Learning for Individual Data
School of Electrical Engineering, Tel Aviv University(特拉维夫大学电气工程学院)
通用监督学习是从信息理论的角度考虑的,遵循通用预测方法,参见Merhav和Feder(1998)。我们考虑标准的监督“批”学习,其中一旦观察到整个训练数据,就对测试样本进行预测,以及单独设置,其中训练和测试中的特征和标签都是特定的个体量。信息论方法自然使用自信息损失或对数损失。我们的研究结果提供了通用的学习方案,与“精灵”(或参考),知道真正的测试标签竞争。特别是,它表明,主要提出的计划,称为预测归一化最大似然(pNML),是一个强大的学习解决方案,优于目前领先的方法的基础上经验风险最小化(ERM)。此外,pNML构造提供了针对特定测试挑战的可学习性的逐点指示,该特定测试挑战具有给定的训练样本
2018-12-22 cs.IT cs.LG math.IT
Universal Semi-Supervised Semantic Segmentation
Center for Visual Information Technology, IIIT Hyderabad(海得拉巴国际信息技术学院视觉信息技术中心);University of California, San Diego(加州大学圣地亚哥分校)
近年来,对语义分割的需求在几个不同的应用和环境中出现。然而,注释的费用和冗余通常限制了任何领域中可用于训练的标签的数量,而如果单个模型在各个领域都能很好地工作,则部署更容易。在本文中,我们提出了通用的半监督语义分割的新问题,并提出了一个解决方案框架,以满足更低的注释和部署成本的双重需求。与诸如微调、联合训练或无监督领域自适应等对应点相比,通用半监督分割确保跨所有领域:(i)部署单个模型,(ii)使用未标记的数据,(iii)提高性能,(iv)仅需要少数标记,以及(v)标记空间可以不同。为了解决这个问题,我们最大限度地减少监督以及内部和跨域无监督损失,引入了一种新的特征对齐目标的基础上像素感知熵正则化后者。我们在不同地理位置(德国,英国,印度)和环境(室外,室内)的分割数据集的几种组合上展示了与其他方法相比的定量优势,以及对对齐表示的定性见解。
2019-09-24 cs.CV cs.LG
Universal Paralinguistic Speech Representations Using Self-Supervised Conformers
Verily Life Sciences(Verily生命科学公司)
许多语音应用需要理解所讲单词以外的方面,例如识别情感,检测说话者是否戴着面具,或区分真实语音和合成语音。在这项工作中,我们引入了一种新的最先进的语言表示,它来自于600 M+参数Conformer架构的大规模、完全自我监督的训练。我们对一组不同的语音任务进行了基准测试,并证明了在我们的时间平均表示之上训练的简单线性分类器的性能几乎优于所有以前的结果,在某些情况下,性能会大幅提高。我们对上下文窗口大小的分析表明,令人惊讶的是,2秒上下文窗口在9个任务中的7个任务上实现了使用完整长期上下文的Conformer的96%的性能。此外,虽然最佳的每任务表示是在网络内部提取的,但跨多个层的稳定性能允许单个通用表示在所有任务上达到接近最佳的性能。
2022-12-13 cs.LG cs.SD eess.AS
Neural Universal Discrete Denoiser
DGIST(大邱庆北科学技术院);Seoul National University(首尔大学)
我们提出了一个新的框架,应用深度神经网络(DNN)设计一个通用的离散去噪。与其他利用监督学习进行去噪的方法不同,我们不需要任何额外的训练数据。在这种情况下,虽然地面真理标签,即,干净的数据是不可用的,我们设计了“伪标签”和一个新的目标函数,使得DNN可以以与监督学习相同的方式被训练成离散的去噪器。我们的实验表明,我们得到的算法,被称为神经DUDE,显着优于以前的国家的最先进的几个应用程序与选择超参数,这是一个有吸引力的功能在实践中的系统规则。
2016-08-24 cs.LG
Point-GCC: Universal Self-supervised 3D Scene Pre-training via Geometry-Color Contrast
Tsinghua University(清华大学)
提出Point-GCC自监督3D场景预训练框架,通过孪生网络进行几何-颜色对齐,并结合点级、对象级层级监督与架构无关骨干,在SUN RGB-D和S3DIS等基准上取得一致提升。
2023-06-01 cs.CV cs.LG
Towards Semi-supervised Universal Graph Classification
University of California, Los Angeles(加州大学洛杉矶分校);Peking University(北京大学)
本文提出半监督通用图分类框架UGNN,通过子图视角利用无标签数据、估计确定性以应对类别偏移,并结合语义原型与Sinkhorn-Knopp算法实现已知与未知类别的有效分类。
2023-05-31 cs.AI cs.IR cs.LG
Self-supervised similarity models based on well-logging data
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
采用基于数据的方法,导致许多石油和天然气测井数据处理问题的模型改进。由于深度学习提供的新功能,这些改进变得更加合理。然而,深度学习的使用仅限于研究人员拥有大量高质量数据的领域。我们提出了一种方法,提供了通用的数据表示,适合不同的油田的不同问题的解决方案,几乎没有额外的数据。我们的方法依赖于自监督方法,用于井的间隔的顺序测井数据,因此它也不需要从一开始就标记数据。为了验证收到的表示的目的,我们考虑分类和聚类问题。我们还考虑了迁移学习的场景。我们发现,使用变分自编码器可以产生最可靠和最准确的模型。我们还发现,研究人员只需要一个微小的单独的数据集的目标油田,以解决一个特定的问题上的普遍表示。
2022-09-26 cs.LG
Universal Cross-Lingual Text Classification
MKSSS Cummins College of Engineering for Women(MKSSS卡明斯女子工程学院);L3Cube Labs(L3Cube实验室);Indian Institute of Technology, Madras(印度马德拉斯理工学院)
针对低资源语言标注数据稀缺、标签空间有限的问题,提出混合多语言有监督数据并以多语言 SBERT 为基座训练统一分类模型,从而扩展标签与语言覆盖并实现零样本跨语言迁移。
2024-06-16 cs.CL cs.LG
ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement
Meta AI Research(Meta人工智能研究院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Meta Reality Labs Research(Meta现实实验室);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
关于利用视觉输入改善语音质量的现有技术通常分别研究每种类型的听觉失真(例如,分离、修复、视频到语音)并呈现定制的算法。本文提出将这些学科结合起来,研究广义语音增强,其目标不是重建精确的参考干净信号,而是专注于改善语音的某些方面。特别是,本文关注的可懂度,质量和视频同步。我们将这个问题归结为视听语音再合成,它包括两个步骤:伪视听语音识别(P-AVSR)和伪文本到语音合成(P-TTS)。P-AVSR和P-TTS由来自自监督语音模型的离散单元连接。此外,我们利用自监督视听语音模型初始化P-AVSR。该模型被称为ReVISE。ReVISE是第一个用于野外视频到语音合成的高质量模型,并通过单个模型在所有LRS 3视听增强任务上实现了卓越的性能。为了证明其在现实世界中的适用性,还在EasyCom上对ReVISE进行了评估,EasyCom是在具有挑战性的声学条件下收集的视听基准,只有1.6小时的训练数据。同样,ReVISE极大地抑制了噪声并提高了质量。项目页面:https://wnhsu.github.io/ReVISE。
2022-12-21 cs.CV cs.LG cs.SD
Whispering Under the Eaves: Protecting User Privacy Against Commercial and LLM-powered Automatic Speech Recognition Systems
Beijing University of Posts and Telecommunications(北京邮电大学);National University of Singapore(新加坡国立大学)
针对实时语音通信中的隐私泄露问题,提出AudioShield框架,通过潜在空间可迁移通用对抗扰动(LS-TUAP)和目标特征自适应技术,在保护语音免受多类ASR系统窃听的同时显著提升了音频质量与实时性。
2025-04-01 cs.CR cs.LG cs.SD
Epigenomic language models powered by Cerebras
GlaxoSmithKline(葛兰素史克)
Transformer语言模型的大规模自监督预训练推进了自然语言处理领域,并显示出交叉应用于蛋白质和DNA的生物“语言”的前景。使用大型基因组序列语料库学习DNA序列的有效表示可以通过迁移学习加速基因调控和功能模型的开发。然而,为了准确地模拟细胞类型特异性基因调控和功能,不仅需要考虑DNA核苷酸序列中包含的信息,这在细胞类型之间基本不变,而且还需要考虑染色体的局部化学和结构“表观遗传状态”在细胞类型之间如何变化。在这里,我们介绍了一个双向编码器表示从Transformers(BERT)模型,学习表示基于DNA序列和配对的表观遗传状态输入,我们称之为表观基因组BERT(或EBERT)。我们使用掩蔽的语言模型目标在整个人类基因组和127种细胞类型中预训练EBERT。通过与Cerebras Systems的合作,首次实现了用以前庞大的数据集训练这个复杂模型,Cerebras Systems的CS-1系统为所有预训练实验提供了动力。我们展示了EBERT的迁移学习潜力,通过展示细胞类型特异性转录因子结合预测任务的强大性能。我们的微调模型在ENCODE-DREAM基准测试的13个评估数据集中的4个上超过了最先进的性能,并在挑战排行榜上获得了第3名的整体排名。我们探讨了表观遗传数据和任务特定特征增强如何影响迁移学习性能。
2021-12-14 cs.LG q-bio.GN
Signals, Concepts, and Laws: Toward Universal, Explainable Time-Series Forecasting
The University of Sydney(悉尼大学)
DORIC通过五个自监督概念和物理约束实现通用、可解释的时间序列预测
2025-12-01 cs.LG
LaundroGraph: Self-Supervised Graph Representation Learning for Anti-Money Laundering
Feedzai(Feedzai公司)
反洗钱(AML)法规要求金融机构根据一套规则部署AML系统,当触发时,这些规则构成了由人类分析师评估的可疑警报的基础。审查这些案件是一项繁琐而复杂的任务,需要分析师在庞大的金融互动网络中导航,以验证可疑的流动。此外,这些系统具有非常高的假阳性率(估计超过95%)。标签的稀缺性阻碍了基于监督学习的替代系统的使用,降低了它们在现实世界应用中的适用性。在这项工作中,我们提出了LaundroGraph,一种新的自监督图表示学习方法,将银行客户和金融交易编码成有意义的表示。这些表示用于提供见解,以协助AML审查流程,例如识别特定客户的异常移动。LaundroGraph将金融交互的底层网络表示为客户交易二分图,并在完全自监督的链接预测任务上训练图神经网络。我们的经验表明,我们的方法优于其他强基线的自我监督链接预测使用真实世界的数据集,提高最佳的非图形基线的AUC的$12$ p.p.。我们的目标是通过在审查时向分析师提供这些人工智能支持的见解来提高审查流程的效率。据我们所知,这是AML检测背景下的第一个完全自我监督的系统。
2022-10-25 cs.AI cs.LG
Event Detection in Time Series: Universal Deep Learning Approach
针对时间序列事件检测中不平衡数据集、罕见事件等难处理的问题,提出一种基于有监督回归的新型深度学习方法,参数量少且能在统一框架下处理各类事件,有理论支撑且在多领域表现优越。
2024-09-13 cs.LG stat.ML
Self-Supervised Graph Representation Learning for In-The-Wild Wearable and Smartphone based Emotion Recognition
Khalifa University of Science and Technology(哈利法科技大学);Aristotle University of Thessaloniki(亚里士多德大学塞萨洛尼基分校)
针对野外可穿戴与智能手机情感识别的标签难题,该研究采用自监督学习结合多任务归纳式图神经网络的子图训练方法,在K-EmoPhone数据集上取得唤醒度、效价任务的准确率提升。
2026-08-25 cs.AI cs.LG eess.SP
ViTime: Foundation Model for Time Series Forecasting Powered by Vision Intelligence
Technion – Israel Institute of Technology(以色列理工学院);Manchester Metropolitan University(曼彻斯特城市大学);Northwest Polytechnical University(西北工业大学);City University of Hong Kong(香港城市大学)
ViTime首次将视觉智能引入时间序列预测,通过二值图像度量空间实现从数值拟合到视觉操作的转变,在零样本和微调场景下显著超越现有模型。
2025-10-24 cs.AI cs.CV cs.LG
Random projections and Kernelised Leave One Cluster Out Cross-Validation: Universal baselines and evaluation tools for supervised machine learning for materials properties
University of Liverpool(利物浦大学);Materials Innovation Factory, University of Liverpool(利物浦大学材料创新工厂);Leverhulme Research Centre for Functional Materials Design, University of Liverpool(利物浦大学勒沃霍尔姆功能材料设计研究中心);Department of Chemistry, University of Liverpool(利物浦大学化学系)
本文系统比较了材料化合物表示方法,提出核化留一簇交叉验证框架,利用径向基函数提升数据线性可分性,为材料性质监督学习提供通用评估工具与训练范式。
2022-06-17 cond-mat.mtrl-sci cs.LG
No Free Lunch versus Occam's Razor in Supervised Learning
Australian National University(澳大利亚国立大学);ETH Zürich(苏黎世联邦理工学院);NICTA(澳大利亚国家信息与通信技术研究院)
没有免费的午餐定理经常被用来论证设计成功的算法需要特定领域的知识。我们使用算法信息论来论证允许算法在所有有趣的问题域中成功的普遍偏差的情况。此外,我们给出了一个新的离线分类算法,灵感来自Solomonoff归纳法,在合理的假设下,所有结构化的问题具有良好的性能。这包括一个众所周知的启发式随机选择训练数据,希望减少误分类率的有效性的证明。
2011-11-16 cs.IT cs.LG math.IT
Learning Rich Nearest Neighbor Representations from Self-supervised Ensembles
Cornell University(康奈尔大学);Salesforce AI Research
通过自我监督预训练卷积神经网络,并将其应用于迁移学习,是一个令人难以置信的快速增长领域,它正在快速迭代地提高几乎所有图像领域的性能。同时,模型集成是监督学习文献和实践中最普遍适用的技术之一,为可靠地提高性能提供了一种简单的解决方案。但是,如何最佳地组合自监督模型以最大限度地提高表示质量在很大程度上仍然没有得到解决。在这项工作中,我们提供了一个框架,通过一种新的方法,学习表示直接通过梯度下降在推理时间进行自监督模型集成。这种技术提高了表示质量,如通过k-最近邻测量的,在域内数据集和转移设置中,模型可从前者转移到后者。此外,这种通过反向传播的特征直接学习改进了即使是单个模型的表示,这与自蒸馏中发现的改进相呼应。
2021-10-19 cs.CV cs.LG
Towards a Universal NLG for Dialogue Systems and Simulators with Future Bridging
MediaTek Research(联发科研究院);Imperial College London(帝国理工学院)
在对话系统流水线中,自然语言生成(NLG)单元将对话方向和内容转换为相应的自然语言实现。对话系统的最近趋势是首先在大型数据集上进行预训练,然后使用用特定于应用的特征注释的数据集以监督的方式进行微调。虽然可以从自定义注释中学习新的行为,但所需的工作量严重限制了训练集的数量,并且特定于应用程序的性质限制了重用。鉴于最近成功的数据驱动的方法,我们提出了新的未来桥接NLG(FBNLG)概念的对话系统和模拟器。关键的一步是FBNLG接受未来的用户或系统话语,以桥接当前的上下文。未来的桥接可以在无注释的数据集上进行自我监督训练,将NLG的训练与系统的其他部分解耦。一个FBNLG,预先训练了大量的数据集,预计将适用于经典或新的对话场景,以最小的适应工作。我们评估了一个原型FBNLG表明,未来的桥接可以是一个可行的方法,一个通用的Few-Shot NLG面向任务和聊天对话。
2021-05-24 cs.AI cs.CL cs.LG
Understanding Video Transformers via Universal Concept Discovery
York University(约克大学);Samsung AI Centre Toronto(三星多伦多人工智能中心);Toyota Research Institute(丰田研究所);Vector Institute(矢量研究所)
针对视频Transformer可解释性研究不足的问题,提出首个VTCD算法以无监督发现时空概念并排序其重要性,揭示了视频Transformer的通用推理机制,还可应用于细粒度动作识别等任务。
2024-04-10 cs.AI cs.CV cs.LG