UniTabE: A Universal Pretraining Protocol for Tabular Foundation Model in Data Science
The University of Hong Kong(香港大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Creatify AI
UniTabE提出统一表格预训练协议,用TabUnit模块和Transformer编码器处理异构表格,基于130亿样本预训练,在分类回归基准上优于多个基线。
2024-03-13 cs.AI cs.CL cs.LG
MultiTabQA: Generating Tabular Answers for Multi-Table Question Answering
University of Amsterdam(阿姆斯特丹大学);Elsevier(爱思唯尔)
本文提出多表问答任务及 MultiTabQA 模型,通过构建大规模 SQL-表格答案预训练数据集并引入表格专用评估指标,在多个数据集上超越现有单表问答模型,实现跨表推理与表格答案生成。
2023-05-24 cs.AI cs.CL
VisTabNet: Adapting Vision Transformers for Tabular Data
Faculty of Mathematics and Computer Science, Jagiellonian University(数学与计算机科学学院,杰兹维日大学)
VisTabNet通过将表格数据投影为补丁嵌入,使预训练视觉变换器可处理表格数据,在小型数据集上优于传统方法和深度学习模型。
2025-04-25 cs.AI cs.CV cs.LG
Confronting LLMs with Traditional ML: Rethinking the Fairness of Large Language Models in Tabular Classifications
Harvard University(哈佛大学);UiT The Arctic University of Norway(挪威北极大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文通过实验考察LLM在表格分类中的信息利用与社会偏见,发现其偏见源于预训练语料且公平性差距大于传统ML,而翻转上下文示例标签可显著缓解偏见。
2024-04-02 cs.CL cs.LG
Investigating Transferability in Pretrained Language Models
Stanford University(斯坦福大学)
语言模型预训练如何帮助迁移学习?我们考虑了一种简单的消融技术,用于确定每个预训练层对传输任务性能的影响。这种方法,部分重新初始化,涉及用随机权重替换预训练模型的不同层,然后在传输任务上微调整个模型并观察性能变化。该技术揭示了在BERT中,在下游GLUE任务上具有高探测性能的层对于这些任务的高精度来说既不是必要的也不是充分的。此外,为层使用预训练参数的好处随着微调数据集大小而显着变化:当数据丰富时提供巨大性能提升的参数可能在数据稀缺的设置中提供微不足道的好处。这些结果揭示了迁移学习过程的复杂性,突出了在冻结模型或单个数据样本上操作的方法的局限性。
2020-11-10 cs.AI cs.CL cs.LG
TransTab: Learning Transferable Tabular Transformers Across Tables
UIUC(伊利诺伊大学厄巴纳-香槟分校)
表格数据(或表格)是机器学习(ML)中使用最广泛的数据格式。然而,ML模型通常假设表结构在训练和测试中保持固定。在ML建模之前,需要进行大量的数据清理,以合并具有不同列的不同表。这种预处理通常会导致显著的数据浪费(例如,移除不匹配的柱和样品)。如何从具有部分重叠列的多个表中学习ML模型?如何随着时间的推移随着更多列变得可用而增量地更新ML模型?我们可以在多个不同的表上利用模型预训练吗?如何训练一个可以在看不见的表上进行预测的ML模型?为了回答所有这些问题,我们建议放宽固定的表结构,引入一个可转移的表格Transformer(transTab)的表。TransTab的目标是将每个样本(表中的一行)转换为可泛化的嵌入向量,然后应用堆栈Transformers进行特征编码。一种方法学见解是将列描述和表单元格组合起来作为门控Transformer模型的原始输入。另一个观点是引入监督和自我监督的预训练来提高模型性能。我们在不同的基准数据集和五个肿瘤学临床试验数据集上比较了TransTab与多种基线方法。总体而言,在监督学习、特征增量学习和迁移学习场景中,TransTab分别在12种方法中排名1.00、1.00、1.78;并且所提出的预训练平均比监督学习提高了2.3%的AUC。
2022-09-16 cs.AI cs.LG
Transfer Learning with Deep Tabular Models
University of Washington(华盛顿大学);University of Maryland(马里兰大学);Capital One(第一资本);New York University(纽约大学)
本文证明上游数据使表格神经网络优于GBDT模型,提出医学诊断迁移学习基准、使用指南及应对特征集差异的伪特征方法。
2023-08-07 cs.LG stat.ML
Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers
Carnegie Mellon University(卡内基梅隆大学)
文本到文本Transformers在多任务迁移学习任务中取得了显着的成功,特别是在自然语言处理(NLP)中。然而,虽然已经有几次尝试在不同的域上训练Transformers,但是这些域之间通常有明确的关系,例如,代码摘要,其中自然语言摘要描述代码。很少有人尝试研究多任务迁移学习如何在不同领域的任务上发挥作用。在这个项目中,我们使用多域文本到文本转换Transformers(MD-T5)在两个域(Python Code和Chess)的四个任务上研究了多域多任务学习的行为。我们使用三种流行的训练策略进行了广泛的实验:Bert风格的联合预训练+连续微调,GPT风格的联合预训练+连续微调,以及GPT风格的联合预训练+联合微调。此外,我们还根据四个指标对模型进行了评估- Play Score,Eval Score,BLEU Score和Multi-Domain Learning Score(MDLS)。这些指标衡量各种任务和多领域学习的性能。我们发现,虽然负知识转移和灾难性遗忘对所有模型来说仍然是相当大的挑战,但GPT风格的联合预训练+联合微调策略在多领域,多任务学习中表现最好,因为它在所有四个任务中表现良好,同时仍然保持其多领域知识。
2022-09-21 cs.CL cs.LG
TabRepo: A Large Scale Repository of Tabular Model Evaluations and its AutoML Applications
University of Freiburg(弗莱堡大学);Amazon Web Services(亚马逊网络服务)
本文提出包含200个数据集上1310个模型评估的TabRepo数据集,通过预计算预测支持超参数优化与AutoML系统对比分析及集成,并利用迁移学习在准确率、运行时间和延迟上超越现有最先进表格系统。
2024-08-26 cs.AI cs.LG
PALT: Parameter-Lite Transfer of Language Models for Knowledge Graph Completion
Peking University(北京大学);Washington University in St. Louis(圣路易斯华盛顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);UC Berkeley(加州大学伯克利分校)
提出了一种基于预训练语言模型(LM)的少参数迁移学习方法,用于知识图谱(KG)的完备化。而不是修改所有LM参数的微调,我们只调整了一些新参数,同时保持原始LM参数不变。我们通过将KG完成重新定义为“填空”任务,并在原始LM之上引入参数精简编码器来建立这一点。我们表明,通过调整比微调少得多的参数,LM转移到大多数任务,并与现有的最先进的方法达到竞争力。例如,我们在KG完成基准上的表现优于完全微调方法,只调整了1%的参数。代码和数据集可在\url{https://github.com/yuanyehome/PALT}上获得。
2022-10-25 cs.AI cs.CL
Context-Constrained Transfer Learning for Tabular Foundation Models via Data Distillation
Renmin University of China(中国人民大学);Tsinghua University(清华大学)
针对表格基础模型迁移学习中的上下文尺寸限制与分布偏移问题,提出TL-ANDI蒸馏框架,通过最优传输构建紧凑源上下文,结合局部标签蒸馏与残差校准缓解负迁移。
2026-07-07 cs.LG stat.ML
A Multi-Agent Approach for Claim Verification from Tabular Data Documents
University of British Columbia(不列颠哥伦比亚大学)
本文提出多智能体框架MACE,通过规划器、执行器和验证器三个智能体,实现可解释的表格数据验证,实验显示其在多个数据集上达到SOTA性能,且在参数较少时仍表现优异。
2026-04-19 cs.CL
$\textit{Trans-LoRA}$: towards data-free Transferable Parameter Efficient Finetuning
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对基础模型替换时LoRA需重训且依赖原始数据的问题,提出Trans-LoRA方法,利用大模型生成合成数据近似任务数据分布,实现跨模型无损迁移,在LLama和Gemma上验证有效。
2024-05-27 cs.AI cs.LG
Chameleon: A Flexible Data-mixing Framework for Language Model Pretraining and Finetuning
提出数据混合框架 Chameleon,利用杠杆分数量化领域重要性,实现高效预训练与微调,在适应新数据时无需重训练即可提升性能。
2025-05-30 cs.CL cs.LG
LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series
McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of Toronto(多伦多大学);Concordia University(康科迪亚大学);com(42.com)
研究探讨了语言预训练的Transformer能否成为有效的时序预测器,并揭示了跨模态迁移的机制,指出预训练构建了流形,微调则将数值动态投影到任务相关方向。
2026-05-19 cs.AI cs.LG
On consequences of finetuning on data with highly discriminative features
Warsaw University of Technology(华沙理工大学);IDEAS NCBR;Tooploox
本文发现迁移学习微调时网络会优先处理基本模式而舍弃预学习特征,将此称为“特征侵蚀”,并分析其对性能与内部表征的影响。
2023-11-15 cs.LG
TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models
本文提出TFM-Retouche,一种轻量级输入空间残差适配器,用于调整预训练表格基础模型以适应特定任务,通过在输入空间学习残差修正,提升模型性能。
2026-05-08 cs.AI cs.LG
LLM Embeddings for Deep Learning on Tabular Data
Jožef Stefan Institute(约热·斯特凡研究所);Postgraduate School(研究生院);University of Cambridge(剑桥大学)
针对表格深度学习嵌入方法跨表格迁移潜力有限、难以利用预训练知识的问题,提出将表格数据转文本后用LLM预训练表示编码的新方法,在七个分类数据集上验证其提升了MLP等模型的准确率。
2025-02-17 cs.AI cs.LG
Parameter-Efficient Transfer Learning with Diff Pruning
Harvard University(哈佛大学);Cornell University(康奈尔大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
虽然预训练网络的特定任务微调已经在NLP中取得了重大的经验性进展,但网络的大规模使得微调难以在多任务,内存受限的环境中部署。我们提出差异修剪作为一种简单的方法,使参数有效的迁移学习的预训练微调框架内。这种方法将微调视为学习一个特定于任务的差异向量,该向量应用于预训练的参数向量之上,该向量保持固定并在不同的任务中共享。diff向量在训练期间自适应地修剪,具有对L0范数惩罚的可微近似,以鼓励稀疏性。随着任务数量的增加,差异修剪变得参数高效,因为它只需要存储每个任务的差异向量的非零位置和权重,而存储共享预训练模型的成本保持不变。它还不需要在训练期间访问所有任务,这使得它在任务以流的形式到达或任务集未知的情况下具有吸引力。我们发现,使用diff修剪进行微调的模型可以在GLUE基准测试中匹配完全微调的基线的性能,而每个任务仅修改0.5%的预训练模型参数。
2021-06-09 cs.CL cs.LG
Making Pre-trained Language Models Great on Tabular Prediction
The Second Affiliated Hospital Zhejiang University School of Medicine(浙江大学医学院附属第二医院);Zhejiang University(浙江大学);University of Notre Dame(圣母大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出TP-BERTa,一种专门为表格预测预训练的语言模型,通过相对幅度标记化和特征内注意力方法,在典型表格数据中性能领先于表格DNN,并与梯度提升决策树模型竞争。
2024-03-12 cs.CL cs.LG
TabSTAR: A Tabular Foundation Model for Tabular Data with Text Fields
Technion - IIT(技术学院-理工学院)
针对现有表格学习方法多采用静态目标无关文本表示、效果受限的问题,提出含语义目标感知表示的表格基础模型TabSTAR,通过解冻预训练文本编码器、输入目标标记实现迁移学习,在多基准分类任务上取得SOTA,预训练具数据集数量缩放定律。
2025-10-29 cs.CL cs.LG
From Artificial Needles to Real Haystacks: Improving Retrieval Capabilities in LLMs by Finetuning on Synthetic Data
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对LLMs长上下文检索与推理能力不足的问题,提出在合成数值键值检索数据集上微调模型,显著提升了长上下文检索能力且不损害通用基准表现,有效避免幻觉。
2024-10-14 cs.AI cs.CL cs.LG
AutoTrain: No-code training for state-of-the-art models
Hugging Face, Inc.(Hugging Face公司)
本文提出开源无代码工具AutoTrain,支持在自定义数据集上跨多种模态和任务训练或微调模型,兼容本地与云端环境及Hugging Face Hub上数万个模型。
2024-10-21 cs.AI
Semantic Classification of Tabular Datasets via Character-Level Convolutional Neural Networks
New Knowledge(新认知)
提出了一种基于“自动机器学习“(AutoML)的字符级卷积神经网络(CNN),用于对表格数据中的列进行语义分类。首先使用包含一组基类的模拟数据来学习一组初始权重。然后,在迁移学习范例中使用来自CKAN存储库的手工标记的数据,以使初始权重适应问题的更复杂的表示(例如,更多的类)。在这样做的过程中,现实的数据缺陷被学习,并且所处理的类的集合可以从具有减少的标记数据和计算能力要求的基本集合扩展。结果表明,这种方法的有效性和灵活性在三个不同的领域:语义分类的表格数据,年龄预测从社交媒体帖子,和电子邮件垃圾邮件分类。除了提供迁移学习在自然语言处理(NLP)中有效性的进一步证据外,我们的实验还表明,在没有额外元数据的情况下,在字符级别分析语言的语义结构,网络结构、报头等-可以为类型分类、垃圾邮件分类和社交媒体年龄预测提供有竞争力的准确性。我们提出了我们的开源工具包SIMON,语义推理建模的本体,它实现了这种方法在一个用户友好的和可扩展/并行化的方式的首字母缩写。
2019-01-24 cs.CL cs.LG
Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation
Tsinghua University(清华大学);Bauhaus-Universität Weimar(魏玛包豪斯大学);Leibniz University Hannover(汉诺威莱布尼茨大学);CNPC Engineering Technology RD Company Limited(中国石油集团工程技术研究院有限公司);Queensland University of Technology(昆士兰科技大学)
本文探索迁移学习在物理信息神经网络(PINNs)强形式和能量形式中的泛化能力,发现全微调与LoRA能显著提升收敛速度并略微提高精度。
2025-02-02 cs.LG
Generalized Context in Cross Attention for Transfer Learning of Disjoint Tabular Data
Tennessee State University(田纳西州立大学);North Carolina Agricultural and Technical State University(北卡罗来纳农工州立大学)
本文针对不相交表格数据迁移学习的共享特征假设不切实际的问题,提出CATTLE方法,通过Transformer投影权重捕获广义上下文实现跨域注意力迁移学习,在十组数据集上优于九种基线方法,取得平均排名2.9、平均AUROC提升3.7%的效果。
2026-08-31 cs.LG
Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks
University of Southern California(南加州大学);Google Research(谷歌研究院);New York University(纽约大学)
神经网络模型通常不能很好地推广到不匹配的域或分布。在NLP中,当模型被期望在成分上进行概括时,这个问题尤其会出现,也就是说,熟悉的单词和结构的新组合。我们研究了促进从一个组合任务到另一个组合任务的迁移学习的学习表示:模型的表示层和特定于任务的层在预微调任务上进行了不同的策略训练,以便它们能够很好地概括需要组合性的不匹配分割。我们将这种方法应用于语义解析,使用三个非常不同的数据集,COGS,GeoQuery和SCAN,交替使用作为预微调和目标任务。我们的方法显着提高了合成泛化在目标任务的测试集上的基线,这是在微调期间举行。消融研究的特点,在所提出的算法的主要步骤的效用,并支持我们的假设。
2021-11-09 cs.CL cs.LG
Discrete and Soft Prompting for Multilingual Models
LMU Munich(慕尼黑大学)
对于英语,已经表明离散和软提示在使用预训练的语言模型(PLM)的少样本学习中表现强劲。在本文中,我们表明,离散和软提示比微调在多语言的情况下:跨语言迁移和多语言自然语言推理的语言训练。例如,对于48个英语训练样本,微调在跨语言迁移中获得了33.74%的准确率,勉强超过了大多数基线(33.33%)。相比之下,离散和软提示优于微调,达到36.43%和38.79%。我们还展示了良好的性能,提示与训练数据在多种语言以外的英语。
2021-09-08 cs.CL
On Finetuning Tabular Foundation Models
Yandex;HSE University(俄罗斯高等经济学院)
本文系统评估 TabPFNv2 的微调策略,证明全量微调兼具效率与效果,并从 query-key 相似性机制解释其增益。
2025-06-11 cs.LG
The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift
Johns Hopkins University(约翰斯·霍普金斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Harvard University(哈佛大学)
我们研究线性回归下的协变量偏移,其中的边际分布在输入协变量不同的源域和目标域,而给定的输入协变量的条件分布的输出是类似的跨两个域。我们研究了一种迁移学习方法,该方法对源数据进行预训练,并根据目标数据进行微调(均由在线SGD进行)。我们建立尖锐的实例依赖于这种方法的过度风险的上限和下限。我们的界限表明,对于一大类线性回归实例,使用$O(N^2)$源数据(以及稀缺或无目标数据)的迁移学习与使用$N$目标数据的监督学习一样有效。此外,我们还表明,即使只有少量的目标数据,微调也可以大大减少预训练所需的源数据量。我们的理论揭示了预训练的有效性和局限性,以及微调处理协变量偏移问题的好处。
2022-08-03 cs.LG math.OC stat.ML
Scalable In-Context Learning on Tabular Data via Retrieval-Augmented Large Language Models
Microsoft Research Asia(微软亚洲研究院);The University of Chicago(芝加哥大学);University of Pittsburgh(匹兹堡大学)
本文提出检索增强的大语言模型方法,通过定制检索模块与检索引导指令微调突破序列长度限制,实现表格数据上的可扩展上下文学习,在69个数据集上显著提升性能并展现独特优势。
2025-02-05 cs.AI cs.CL
Multimodal Tabular Reasoning with Privileged Structured Information
School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学);National Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学);AI Business, Alibaba Group(阿里集团人工智能业务)
本文提出Turbo框架,利用训练时的特权结构化表格信息,通过基于DeepSeek-R1的结构感知推理轨迹生成和有利推理路径筛选,在仅9k数据下实现多模态表格推理性能提升7.2%。
2025-06-04 cs.AI cs.CL cs.CV
Sparks of Tabular Reasoning via Text2SQL Reinforcement Learning
Novo Nordisk(诺华北欧制药)
本文将 Text-to-SQL 任务重构为教导 LLM 表格推理的途径,提出两阶段框架,利用 SQL 监督合成 CoT 轨迹并结合 GRPO 强化学习提升模型在 BIRD 等基准上的泛化能力与准确率。
2025-05-02 cs.AI cs.CL
Artificial Inductive Bias for Synthetic Tabular Data Generation in Data-Scarce Scenarios
Information Processing and Telecommunications Center(信息处理与电信中心);ETS Ingenieros de Telecomunicación(电信工程学院);Universidad Politécnica de Madrid(马德里理工大学)
针对深度生成模型生成合成表格数据依赖大量训练数据的问题,提出将人工归纳偏置结合迁移学习与元学习注入生成过程的方法,在低数据场景下显著提升生成数据质量,且模型无关,适用于医疗、金融等领域。
2025-07-31 cs.AI cs.LG
Power-Law Decay Loss for Large Language Model Finetuning: A Theory Perspective
针对交叉熵平等加权导致模型偏重高频低信息 token 的问题,本文提出按语料频率幂律衰减重加权的 PDL 损失,并从理论上说明其可提升文本生成质量、多样性与信息量。
2025-06-09 cs.CL cs.LG
Feature matching as improved transfer learning technique for wearable EEG
UZ Leuven(鲁汶大学医院)
目的:随着具有非常规电极配置的可穿戴睡眠监测设备的快速兴起,需要能够对具有少量标记数据的配置执行睡眠分期的自动算法。迁移学习具有将神经网络权重从源模态(例如,标准电极配置)适配到新的目标模态(例如,非常规电极配置)的能力。方法:我们提出了特征匹配,这是一种新的迁移学习策略,可以替代常用的微调方法。该方法包括用来自源模态的大量数据和源和目标模态的少量配对样本来训练模型。对于那些配对的样本,模型提取目标模态的特征,将这些特征与来自源模态的对应样本的特征进行匹配。结果如下:我们比较了三个不同目标域的特征匹配和微调,使用两种不同的神经网络架构,以及不同数量的训练数据。特别是在小的队列(即非传统记录设置中的2 - 5个标记记录)中,特征匹配系统地优于微调,对于不同的场景和数据集,准确度的平均相对差异范围为0.4%至4.7%。结论:我们的研究结果表明,特征匹配作为一种迁移学习方法优于微调,特别是在数据非常少的情况下。意义:因此,我们得出结论,特征匹配是一种很有前途的新方法,可穿戴睡眠分期与新设备。
2021-12-29 cs.LG eess.SP
Finetuning Large Language Models for Vulnerability Detection
Sber AI Lab(Sber AI实验室);Huawei Russian Research Institute(华为俄罗斯研究院);Satbayev University(萨特拜耶夫大学)
本文通过微调WizardCoder模型,优化训练流程并处理类别不平衡,在漏洞检测任务上提升了ROC AUC和F1指标,展示了预训练LLM在源代码分析中的迁移学习潜力。
2024-07-27 cs.AI cs.CR cs.LG
Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining?
Jadavpur University(贾达布尔大学);Delhi Technological University(德里理工大学);IIIT-Delhi(德里印度理工学院)
从非结构化文本中识别论元成分并预测它们之间的关系是论元挖掘的两个主要步骤。这些任务的内在复杂性需要强大的学习模型。虽然预训练的基于Transformer的语言模型(LM)已被证明可以在不同的NLP任务中提供最先进的结果,但手动注释数据的稀缺性和论证的高度领域依赖性限制了此类模型的能力。在这项工作中,我们提出了一种新的迁移学习策略来克服这些挑战。我们利用ChangeMyView subreddit中丰富的辩论社交讨论作为无监督的辩论话语感知知识的来源,通过在选择性掩蔽语言建模任务上微调预训练的LM。此外,我们引入了一种新的基于语义的组件间关系预测策略,该策略在利用话语上下文的同时补充了我们提出的微调方法。详尽的实验表明,我们的方法在域内和域外数据集上对这两个任务的泛化能力,优于几个现有的和采用的强基线。
2022-03-24 cs.CL cs.LG
Efficient Morphology-Aware Policy Transfer to New Embodiments
本研究将形态感知预训练与参数高效微调结合,通过微调少于1%的参数即可提升策略性能,减少新形态下的样本需求。
2025-08-05 cs.LG
Deep Transfer Learning with Ridge Regression
University of California, San Diego(加州大学圣地亚哥分校)
大量的在线数据和大量的计算资源使当前工业界和学术界的研究人员能够将深度学习的力量与神经网络结合起来。虽然使用大量数据训练的深度模型在相关领域的未知数据上表现出有希望的泛化能力,但微调的计算成本逐渐成为将学习转移到新领域的瓶颈。我们通过利用深度神经网络(DNN)产生的学习特征向量的低秩属性以及内核岭回归(KRR)中提供的封闭形式解决方案来解决这个问题。这将迁移学习从微调中解放出来,并将其替换为具有更少超参数的线性系统的集合。我们的方法是成功的监督和半监督迁移学习任务。
2020-06-11 cs.LG stat.ML
Cross-Lingual Transfer of Debiasing and Detoxification in Multilingual LLMs: An Extensive Investigation
Institute for Logic, Language and Computation, University of Amsterdam(逻辑、语言与计算研究所,阿姆斯特丹大学);Center for Language and Cognition, University of Groningen(语言与认知中心,格罗宁根大学)
本研究探讨多语言LLM中通过英语微调实现去偏与去毒的跨语言迁移效果,发现DPO能有效降毒且迁移程度可预测,但会牺牲非英语生成能力,凸显了开发语言特定缓解方法的必要性。
2025-06-02 cs.CL
Meta-Learning and Synthetic Data for Automated Pretraining and Finetuning
针对深度学习流水线选择难、训练数据依赖真实数据的问题,本研究用元学习将AutoML拓展到深度学习领域,实现CV和NLP任务的自动化微调,并元学习数据增强与合成数据生成器,提升任务性能。
2025-06-11 cs.LG stat.ML
Understanding Transfer Learning and Gradient-Based Meta-Learning Techniques
Leiden University(莱顿大学)
本文对比微调、MAML和Reptile三种方法,发现微调在分布外任务上更有效,MAML和Reptile因特征多样性不足而泛化受限。
2023-10-09 cs.AI cs.LG stat.ML
Tabular Few-Shot Generalization Across Heterogeneous Feature Spaces
University of Belgrade(贝尔格莱德大学);University of Cambridge(剑桥大学)
针对表格少样本学习,提出FLAT方法,通过数据集与列嵌入及图注意力网络实现跨异构特征空间的知识共享,在118个UCI数据集上显著优于基线。
2023-11-16 cs.LG
Weakly Supervised Pretraining and Multi-Annotator Supervised Finetuning for Facial Wrinkle Detection
Asan Medical Center(峨山医院);University of Ulsan College of Medicine(蔚山大学医学院);Hanyang University(汉阳大学);Hankuk University of Foreign Studies(韩国外国语大学)
本研究针对面部皱纹检测需求,提出结合弱监督预训练与多标注者监督微调的CNN方法,验证了迁移学习的性能提升作用,可实现自动化皱纹分割以辅助皮肤诊疗。
2024-08-19 cs.AI cs.CV cs.LG
Pre-Finetuning for Few-Shot Emotional Speech Recognition
Columbia University(哥伦比亚大学)
针对语音模型过拟合说话者导致泛化差的问题,提出在困难任务上预微调Wav2Vec2.0以蒸馏知识,并在多语料库排列及33,600次少样本试验中验证其提升情感语音识别性能。
2024-11-07 cs.CL cs.LG cs.SD
Fine-Tuning the Retrieval Mechanism for Tabular Deep Learning
KAIST AI(韩国科学技术院人工智能学院)
针对表格深度学习性能不及树模型的问题,提出微调预训练TabPFN的检索机制,实验显示其显著超越现有方法,表明检索与预训练结合有巨大潜力。
2023-11-13 cs.LG
Tab2Visual: Overcoming Limited Data in Tabular Data Classification Using Deep Learning with Visual Representations
Assiut University(艾斯尤特大学);Brigham and Women’s Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院)
针对表格数据分类中的有限数据挑战,提出Tab2Visual方法,将表格数据转换为视觉表示,结合图像增强与迁移学习,在多种数据集上评估并优于经典方法、树基集成及表格专用深度学习模型。
2025-02-11 cs.CV cs.LG
Are Large Language Models Actually Good at Text Style Transfer?
Charles University(查理大学);University of Galway(戈尔韦大学)
本文评估了大型语言模型在多语言文本风格转换任务中的表现,发现基于提示的方法在英语外表现一般,而参数高效微调能显著提升性能并媲美现有最优水平,凸显了专用数据集与专门模型的必要性。
2024-08-27 cs.CL
Small Models are LLM Knowledge Triggers on Medical Tabular Prediction
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Thrust of Artificial Intelligence, Information Hub, HKUST (GZ)(香港科技大学(广州)信息枢纽人工智能方向);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Second Affiliated Hospital Zhejiang University School of Medicine(浙江大学医学院附属第二医院);Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence(浙江省医学影像人工智能重点实验室)
针对LLM在医学表格预测中因数值不敏感和模态差异而表现不佳的问题,提出SERSAL自提示方法,通过小模型协同学习无监督增强LLM预测,实验显示显著优于语言提示方法。
2025-02-28 cs.CL cs.LG
Finetune like you pretrain: Improved finetuning of zero-shot vision models
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);Bosch Center for AI(博世人工智能中心)
微调图像-文本模型(如CLIP)在各种基准测试中达到了最先进的精度。然而,最近的作品,如WiseFT(Wortsman等人,2021)和LP-FT(Kumar等人,2022)已经表明,即使微调过程中的细微差异也会导致最终性能的惊人差异,无论是对于分布内(ID)还是分布外(OOD)数据。在这项工作中,我们证明了一种自然而简单的模仿对比预训练的方法始终优于其他微调方法。具体来说,我们将下游类标签转换为文本提示,并继续优化图像嵌入和类描述性提示嵌入之间的对比损失(对比微调)。我们的方法在7个分布偏移、6个迁移学习和3个少样本学习基准测试中始终优于基线。在WILDS-iWILDCam上,我们提出的方法FLYP通过$2.3\%$ ID和$2.7\%$ OOD优于排行榜的顶部,给出了最高的报告准确度。在7个OOD数据集(2个WILDS和5个ImageNet相关偏移)上取平均值,FLYP在标准微调上获得了$4.2\%$ OOD的增益,并且在ID和OOD方面都超过了$1\%$。类似地,在3个少样本学习基准测试中,我们的方法比标准微调和$4.4\%$的性能提高了$4.6\%$。总的来说,这些基准测试将对比微调确定为一种简单,直观和最先进的方法,用于像CLIP这样的图像-文本模型的监督微调。代码可在https://github.com/locuslab/FLYP上获得。
2022-12-01 cs.CV cs.LG
Are Fewer Labels Possible for Few-shot Learning?
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
由于数据和标签非常有限,少样本学习具有挑战性。大迁移(BiT)的最新研究表明,少样本学习可以从不同领域的大规模标记数据集的预训练中受益匪浅。这篇论文提出了一个更具挑战性的问题:“我们能在预训练(没有标签)和微调(有更少的标签)中使用尽可能少的标签进行少样本学习吗?".我们的关键见解是,在特征空间中的目标样本的聚类是我们所需要的Few-Shot微调。它解释了为什么香草无监督预训练(聚类差)比监督预训练差。在本文中,我们提出了一种无监督的预训练方法,它通过涉及目标数据来实现更好的聚类,即使目标数据的数量非常有限。改进的聚类结果对于识别最具代表性的样本(“特征样本”)供用户标记具有重要价值,而反过来,对标记的特征样本的继续微调进一步改进了聚类。因此,我们提出了特征微调,使更少的镜头学习,利用聚类和特征样本的协同进化的微调。我们在10个不同的Few-Shot目标数据集上进行了实验,我们的平均Few-Shot性能大大优于香草归纳无监督传输和监督传输。例如,当每个目标类别只有10个标记样本时,在上述两个基线上的平均准确率增益分别为9.2%和3.42。
2020-12-10 cs.CV cs.LG
Overwriting Pretrained Bias with Finetuning Data
Princeton University(普林斯顿大学)
本文研究预训练模型偏见向微调模型传播的问题,发现通过对微调数据进行轻微干预即可纠正虚假关联和群体代表性不足两类偏见,且几乎不影响性能。
2023-08-17 cs.CV cs.CY cs.LG
Video Finetuning Improves Reasoning Between Frames
Brown University(布朗大学)
针对多模态大模型处理视频时简单拼接帧token的问题,提出vCoT显式帧间推理方法,通过对比实验揭示视频微调可让模型隐式习得帧间推理能力且能迁移至静态视觉推理任务。
2025-11-17 cs.AI cs.CV