Don't Look Twice: Faster Video Transformers with Run-Length Tokenization
Carnegie Mellon University(卡内基梅隆大学);Fujitsu Research(富士通研究所)
针对视频Transformer训练慢的问题,提出游程长度分词化(RLT),通过高效移除重复patch游程并编码长度信息,实现30%训练加速和35%吞吐提升,且无需调参。
2024-11-07 cs.CV cs.LG
Outlier-Aware Training for Improving Group Accuracy Disparities
National Tsing Hua University(国立清华大学);National Institute of Informatics(国立信息学研究所)
解决伪相关性的方法,例如Just训练两次(JTT,arXiv:2107.09044v2),涉及重新加权训练集的子集以最大化最差组准确度。然而,重新加权的示例集可能包含妨碍模型学习的不可学习的示例。我们建议通过检测训练集的离群值并在重新加权之前将其删除来减轻这种情况。我们的实验表明,我们的方法实现了竞争力或更好的准确性相比,JTT,可以检测和删除的子集被重新加权在JTT的注释错误。
2022-10-27 cs.CL cs.CY cs.LG
Think Twice Before You Act: Improving Inverse Problem Solving With MCMC
UCLA(加利福尼亚大学洛杉矶分校);Yale University(耶鲁大学);Google DeepMind(谷歌DeepMind)
针对扩散后验采样(DPS)求解逆问题时高噪声下后验近似误差大的问题,提出基于退火MCMC的DPMC算法,通过定义中间分布并逐步采样减少累积误差,在多类逆问题中以更少评估次数超越DPS,性能具备竞争力。
2024-09-13 cs.LG stat.ML
Data-Efficient GAN Training Beyond (Just) Augmentations: A Lottery Ticket Perspective
University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Corporation(微软公司);Tsinghua University(清华大学)
用有限的真实图像数据训练生成对抗网络(GANs)通常会导致性能恶化和模型崩溃。为了克服这一挑战,我们受到最新观察的启发,人们可以发现独立可训练和高度稀疏的子网络(又名,彩票)。将其视为归纳先验,我们提出了一个全新的角度来进行数据高效的GAN训练:首先使用真实图像的小训练集从原始GAN中识别彩票;然后通过重用相同的集合来专注于训练稀疏子网络。我们发现我们的协调框架提供正交增益现有的真实图像数据增强方法,我们还提出了一个新的特征级增强,可以与他们一起应用。综合实验证实了我们提出的框架的有效性,在各种GAN架构(SNGAN,BigGAN和StyleGAN-V2)和不同的数据集(CIFAR-10,CIFAR-100,Tiny-ImageNet,ImageNet和多个Few-Shot生成数据集)。代码可在https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training上获得。
2021-10-22 cs.AI cs.CV cs.LG
Just One Layer Norm Guarantees Stable Extrapolation
Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组)
本研究证明仅需一层层归一化即可使无限宽神经网络的神经正切核变为有界方差核,从而保证外推稳定性,并通过实验验证其在蛋白质残基预测和跨族裔年龄估计中的应用。
2025-10-16 cs.LG stat.ML
Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research AI, T. J. Watson Research Center(IBM研究院人工智能部门,T. J. Watson研究中心)
提出基于双层优化的 BL-JUST,将无监督损失与监督损失分别置于下层和上层进行联合训练,并在 LibriSpeech 与 TED-LIUM v2 上验证其优于预训练—微调策略。
2024-01-13 cs.CL cs.LG stat.ML
Not Just After One: Sleep-Inspired Replay Prevents Catastrophic Forgetting After Sequential Tasks
Department of Neuroscience, University of California, San Diego, CA, USA(1 神经科学系,加州大学圣地亚哥分校,美国加利福尼亚州圣地亚哥)
提出受睡眠启发的无监督回放机制,在多个新任务顺序训练后应用,以部分恢复所有先前学习任务的性能,防止灾难性遗忘。
2026-06-07 cs.AI cs.LG
Leveraging Just a Few Keywords for Fine-Grained Aspect Detection Through Weakly Supervised Co-Training
Columbia University(哥伦比亚大学)
用户生成的评论可以被分解成细粒度的片段(例如,句子,子句),每个评估主体实体的不同方面(例如,价格、质量、外观)。自动检测这些方面对于用户和下游意见挖掘应用程序都是有用的。目前用于学习方面分类器的监督方法需要许多细粒度的方面标签,这是劳动密集型的获得。不幸的是,无监督的主题模型往往无法捕捉到感兴趣的方面。在这项工作中,我们考虑了用于训练方面分类器的弱监督方法,这些方法只需要用户提供一小组种子词(即,弱阳性指标)。首先,我们表明,目前的弱监督方法不能有效地利用种子词的预测能力进行方面检测。接下来,我们提出了一种学生-教师方法,该方法有效地利用了词袋分类器(教师)中的种子词;反过来,我们使用教师来训练第二个模型(学生),该模型可能更强大(例如,使用预训练的词嵌入的神经网络)。最后,我们证明了迭代协同训练可以用来处理有噪声的种子词,从而改进教师和学生模型。我们提出的方法在六个不同的产品评论领域和六个多语言餐厅评论数据集中始终优于以前的弱监督方法(平均14.1个绝对F1点)。
2019-09-01 cs.CL cs.LG stat.ML
Joint Unsupervised and Supervised Training for Multilingual ASR
Google(谷歌)
自监督训练在预训练模型和促进语音识别的下游微调(如多语言ASR)方面显示出了有希望的收益。大多数现有的方法采用2阶段方案,其中在第一预训练阶段优化自监督损失,在第二阶段恢复标准监督微调。在本文中,我们提出了一种端到端(E2 E)联合无监督和监督训练(JUST)方法,将监督RNN-T损失和自监督对比和掩蔽语言建模(MLM)损失结合起来。我们在公共数据集多语言LibriSpeech(MLS)上验证了它的性能,该数据集包括8种语言,并且非常不平衡。在MLS上,我们探索(1)从头开始训练,(2)从预训练的检查点进行微调。实验表明,JUST可以始终优于其他现有的最先进的方法,并击败单语基线的显着保证金,展示了JUST的处理多语言ASR中的低资源语言的能力。我们所有语言的平均WER优于平均单语基线33.3%,最先进的2阶段XLSR 32%。在像波兰语这样的低资源语言上,我们的WER不到单语基线的一半,甚至超过了使用外部监督的监督迁移学习方法。
2021-11-15 cs.CL cs.LG cs.SD
Just Weather Scoring: Efficient End-to-end Nowcasting with Distributional Diffusion
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出单阶段端到端扩散模型JWS,结合Masked Asynchronous Diffusion与评分规则目标,在SEVIR和MeteoNet基准上实现最优概率降水临近预报,训练推理成本显著降低,最小模型参数少且推理速度超17倍。
2026-10-09 cs.CV cs.LG
A study on the impact of pre-trained model on Just-In-Time defect prediction
Beihang University(北京航空航天大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);City University of Hong Kong(香港城市大学)
本研究构建了六个基于不同预训练模型骨干的JIT缺陷预测模型,系统评估了其在不同输入、少样本及零样本场景下的性能,发现基于Transformer的模型在有限数据下表现更优。
2023-11-23 cs.LG cs.SE
Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts
针对循环MoE扩展受限的问题,提出LOOM方法,通过稳定循环状态和多样化专家选择,实现9-12次循环,显著提升困惑度和零样本准确率。
2026-10-02 cs.AI cs.LG
Just Pick a Sign: Optimizing Deep Multitask Models with Gradient Sign Dropout
Waymo LLC(韦莫有限责任公司);Google Research(谷歌研究院)
绝大多数深度模型使用多个梯度信号(通常对应于多个损失项的总和)来更新共享的可训练权重集。然而,这些多次更新可能会通过将模型拉向相互冲突的方向来阻碍最佳训练。我们提出了梯度符号丢弃(GradDrop),一个概率掩蔽过程,根据其一致性水平在激活层对梯度进行采样。GradDrop作为一个简单的深层实现,可用于任何深度网络,并与其他梯度平衡方法协同。我们证明了GradDrop在传统的多任务和迁移学习设置中优于最先进的多损失方法,并讨论了GradDrop如何揭示最佳多损失训练和梯度随机性之间的联系。
2020-10-14 cs.CV cs.LG
Are Attribute Inference Attacks Just Imputation?
University of Virginia(弗吉尼亚大学)
模型可以暴露关于其训练数据的敏感信息。在属性推断攻击中,攻击者对一些训练记录具有部分知识,并且可以访问在这些记录上训练的模型,并且推断出这些记录的敏感特征的未知值。我们研究了细粒度的属性推断的变体,我们称之为\emph{sensitive value inference},对手的目标是以高置信度从候选集的未知属性具有特定的敏感值的一些记录。我们明确比较属性推断与数据填补,捕捉训练分布统计,在各种假设下的训练数据提供给对手。我们的主要结论是:(1)先前的属性推断方法并没有比对手在不访问训练模型的情况下能够推断出的更多地揭示来自模型的训练数据,但是具有与训练属性推断攻击所需的相同的底层分布知识;(2)黑盒属性推断攻击很少学习没有模型就不能学习的任何东西;但是(3)白盒攻击,我们在本文中介绍和评估,可以可靠地识别具有敏感值属性的一些记录,这些属性在没有访问模型的情况下无法预测。此外,我们表明,提出的防御措施,如差异化私人培训和从培训中删除易受攻击的记录,并不能减轻这种隐私风险。我们的实验代码可在\url{https://github.com/bargavj/EvaluatingDPML}上获得。
2022-09-02 cs.CR cs.LG
Just Enough Shifts: Mitigating Over-Refusal in Aligned Language Models with Targeted Representation Fine-Tuning
Department of Electrical and Computer Engineering, Virginia Tech, Blacksburg, VA, USA(弗吉尼亚理工学院与州立大学电气与计算机工程系);Cisco Research, San Jose, CA, USA(思科研究)
针对对齐语言模型的过度拒绝问题,提出ACTOR框架,利用内部激活模式并仅微调单层模型,在保持安全性和实用性的同时有效减少对良性提示的拒绝。
2025-07-06 cs.AI cs.LG
Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights
University of Edinburgh(爱丁堡大学)
在没有大型标记数据集的情况下,自监督学习技术可以通过从未标记数据中学习有用的表示来提高性能,这些数据通常更容易获得。然而,在未标记的集合和下游目标问题数据之间通常存在域转移。我们表明,通过学习贝叶斯实例权重的未标记的数据,我们可以提高下游的分类精度,优先考虑最有用的实例。此外,我们还证明了通过丢弃不必要的数据点可以减少训练时间。我们的方法BetaDataWeighter使用STL-10和Visual Decathlon上流行的自监督旋转预测任务进行评估。我们比较相关的实例加权方案,手工设计的算法和元学习,以及传统的自监督学习。BetaDataWeighter在数据集上实现了最高的平均准确度和排名,在STL-10上,它可以修剪高达78%的未标记图像,而不会显著降低准确度,相应地减少了50%以上的训练时间。
2020-06-22 cs.LG stat.ML
Poisoning and Backdooring Contrastive Learning
Google(谷歌)
多模态对比学习方法,如CLIP训练噪声和未经策划的训练数据集。这比手动标记数据集更便宜,甚至提高了分布外的鲁棒性。我们表明,这种做法使得后门和中毒攻击成为一个重大威胁。通过中毒仅0.01%的数据集(例如,仅300万个示例概念说明数据集的300张图像),我们可以通过覆盖一个小块来导致模型对测试图像进行错误分类。有针对性的中毒攻击,由此模型将特定的测试输入与不利的期望标签错误分类,甚至更容易,需要控制0.0001%的数据集(例如,3百万张图片中的3张)。我们的攻击提出了一个问题,即在嘈杂和未经策划的互联网上进行训练是否可取。
2022-03-28 cs.LG
It Just Takes Two: Scaling Amortized Inference to Large Sets
Apple(苹果公司);SLAC National Accelerator Laboratory(斯坦福大学SLAC国家加速器实验室);TU München(慕尼黑技术大学);University of Warwick(沃里克大学)
本文提出一种理论支持的策略,将表示学习与后验建模解耦,通过训练最大池化 Deep Set 处理最多两个元素的集合,从而在部署集规模 N 下实现低计算成本的推理。
2026-11-10 cs.AI cs.LG hep-ex
Think Just Enough: Sequence-Level Entropy as a Confidence Signal for LLM Reasoning
Lossfunk
本研究提出基于序列级香农熵的大语言模型推理提前停止框架,可在保持准确率的同时节省25%-50%计算量,且该熵置信校准是高级后训练推理模型的涌现特性。
2025-10-28 cs.AI cs.LG
Just Ask: Learning to Answer Questions from Millions of Narrated Videos
Inria Paris(法国国家信息与自动化研究所巴黎分部);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);DeepMind(深度思维公司);CIIRC CTU Prague(捷克技术大学布拉格先进技术与创新中心)
最近的视觉问答方法依赖于大规模的注释数据集。然而,视频的问题和答案的手动注释是乏味的、昂贵的并且妨碍可扩展性。在这项工作中,我们建议避免手动注释,并生成一个大规模的训练数据集的视频问答利用自动跨模态监督。我们利用一个在文本数据上训练的问题生成Transformer,并使用它从转录的视频叙述中生成问答对。给定叙述视频,我们然后自动生成具有69 M视频-问题-答案三元组的HowToVQA 69 M数据集。为了处理这个数据集中不同答案的开放词汇,我们提出了一个基于视频问题多模态Transformer和答案Transformer之间的对比损失的训练过程。我们介绍了zero-shot VideoQA任务,并显示了出色的结果,特别是对于罕见的答案。此外,我们证明了我们的方法显着优于MSRVTT-QA,MSVD-QA,ActivityNet-QA和How2 QA的最先进的。最后,为了进行详细的评估,我们介绍了iVQA,这是一个新的VideoQA数据集,具有减少的语言偏见和高质量的冗余手动注释。我们的代码,数据集和训练模型可在https://antoyang.github.io/just-ask.html上获得。
2021-08-12 cs.CL cs.CV cs.LG
Projector Is All You Train
Ramen VR(拉面VR公司);University of California, Berkeley(加州大学伯克利分校)
该研究探究多模态大语言模型适配新模态是否需微调主干,经实验发现仅训练投影器即可实现强多模态性能,还能避免联合训练导致的语言模型能力漂移,且训练样本吞吐量约为联合训练的两倍,通过多类基准验证了结论。
2026-08-21 cs.CL cs.CV cs.LG
kDecay: Just adding k-decay items on Learning-Rate Schedule to improve Neural Networks
Central China Normal University(华中师范大学)
最近的工作表明,优化学习率(LR)调度可以是训练深度神经网络的一种非常准确和有效的方法。我们观察到LR的变化率(ROC)与训练过程具有相关性,但如何利用这种关系来控制训练,以达到提高准确率的目的?我们提出了一种新的方法k-衰减,它只是在常用的简单LR调度(exp,cosine和polynomial)的基础上增加了一个额外的项,有效地提高了这些调度的性能,并且优于现有的LR调度算法,如SGDR,AutoLRS和RISK。在k-衰减中,通过调整超参数\(k\),生成不同的LR调度,当k增大时,性能得到改善。我们使用不同的神经网络(ResNet,Wide ResNet)在CIFAR和ImageNet数据集上评估了k-衰减方法。我们的实验表明,这种方法可以改善他们中的大多数。在CIFAR-10数据集和CIFAR-100数据集上,准确率分别提高了1.08%和2.07%。在ImageNet上,准确率提高了1.25%。该方法不仅是适用于其它LR算法的通用方法,而且没有额外的计算量。
2022-03-22 cs.CV cs.LG
Generative Data Refinement: Just Ask for Better Data
Google DeepMind(谷歌DeepMind)
提出生成式数据精炼(GDR)框架,利用预训练生成模型将含不良内容的数据转化为安全且多样的训练数据,在匿名化和去毒上优于工业方案,有效扩充前沿模型训练数据。
2025-09-11 cs.CL cs.LG
Large Language Models Implicitly Learn to See and Hear Just By Reading
Department of Electrical Engineering Stanford University Stanford, CA 94305, USA(电气工程系 斯坦福大学)
本文发现仅在文本上训练的自回归大语言模型能隐式获得图像和音频理解能力,并在多个音频与图像分类数据集上验证了利用文本权重激活内部回路即可完成多模态任务,无需从头训练。
2025-09-23 cs.AI cs.CL cs.CV
Let's (not) just put things in Context: Test-Time Training for Long-Context LLMs
Meta;Harvard University(哈佛大学);Kempner Institute at Harvard(哈佛大学凯普纳研究所);OpenAI
针对长上下文LLM的测试时训练方法通过针对性梯度更新克服静态自注意力限制,显著提升模型性能。
2025-12-15 cs.CL cs.LG
Increasing Robustness to Spurious Correlations using Forgettable Examples
Microsoft Turing(微软图灵);Microsoft Research(微软研究院)
神经NLP模型往往依赖于标签和输入特征之间的虚假相关性来执行其任务。少数民族的例子,即,与存在于大多数数据点中的虚假相关性相矛盾的示例已经被证明增加了预先训练的语言模型的分布外泛化。在本文中,我们首先提出使用例子遗忘来找到少数的例子,而不需要事先知道数据集中存在的虚假相关性。遗忘的例子是在训练中学习然后忘记的例子,或者从来没有学习过的例子。我们经验性地展示了这些例子是如何与我们训练集中的少数民族相关的。然后,我们引入了一种新的方法,通过两次微调我们的模型来增强模型的鲁棒性,第一次是在完整的训练数据上,第二次是在少数数据上。当我们将我们的方法应用于MNLI,QQP和FEVER数据集时,我们在分布外泛化方面获得了实质性的改进。
2021-02-02 cs.CL cs.LG