Look More but Care Less in Video Recognition
Northeastern University（东北大学）
现有的动作识别方法通常对每个视频采样几帧来表示，以避免巨大的计算量，这通常限制了识别性能。为了解决这个问题，我们提出了一种由两个分支组成的丰富和焦点网络（AFNet），它可以利用更多的帧，但计算量更少。具体而言，该算法通过压缩计算量获取丰富的信息，并通过导航模块为聚焦分支提供引导;聚焦分支压缩时间尺度，只聚焦于每个卷积块的显著帧;最后，自适应融合两个分支的结果，以防止信息丢失。通过这种设计，我们可以向网络引入更多的帧，但计算成本更低。此外，我们证明AFNet可以使用更少的帧，同时实现更高的准确性，因为中间特征的动态选择强制执行隐式时间建模。此外，我们表明，我们的方法可以扩展到减少空间冗余，甚至更少的成本。在五个数据集上的实验证明了该方法的有效性和效率。
2022-11-18 cs.AI cs.CV cs.LG
Less Is More: Linear Layers on CLIP Features as Powerful VizWiz Model
University of the Bundeswehr Munich（慕尼黑联邦国防军大学）；Institute for Distributed Intelligent Systems (VIS)（分布式智能系统研究所（VIS））
用于多模态任务（诸如视觉问答）的当前架构遭受其高复杂性。结果，这些架构难以训练并且需要高计算资源。为了解决这些问题，我们提出了一个基于CLIP的架构，不需要任何微调的特征提取器。一个简单的线性分类器被用于图像和文本编码器的级联特征。在训练过程中，增加了一个辅助损失，它对答案类型进行操作。然后将得到的分类用作答案类别选择的注意力门。在VizWiz 2022视觉问答挑战赛中，我们在任务1：预测视觉问题的答案上实现了60.15%的准确率，在任务2：预测视觉问题的可回答性上实现了83.78%的AP得分。
2022-06-10 cs.CL cs.CV cs.LG
Less is More: Adaptive Coverage for Synthetic Training Data
Google Research（谷歌研究）；University of Maryland（马里兰大学）
针对LLM合成训练数据，本文提出基于最大覆盖问题的自适应采样算法选取代表性子集，实验证明其能以更少数据提升分类器性能与微调效率。
2025-07-24 cs.LG
A No-Defense Defense Against Gradient-Based Adversarial Attacks on ML-NIDS: Is Less More?
Carleton University（卡尔顿大学）；Computer Engineering Carleton University Ottawa, Canada（计算机工程系卡尔顿大学渥太华加拿大）；School of Information Technology Carleton University Ottawa, Canada（信息科技学院卡尔顿大学渥太华加拿大）
本文研究了通过精心选择网络架构是否能构建出固有鲁棒的深度神经网络（DNN）基于网络入侵检测系统（NIDS），而无需额外显式防御。通过数千次实验，发现较浅的网络、减少特征集和使用ReLU激活函数能有效降低对抗攻击的脆弱性，且简单模型在保持高清洁流量检测性能和低训练时间的同时优于更深层的模型。
2026-05-18 cs.CR cs.LG
(Sometimes) Less is More: Mitigating the Complexity of Rule-based Representation for Interpretable Classification
本文提出了一种基于逻辑神经网络的方法，通过可微的 $L_0$ 正则化近似来减少概念规则集的复杂性，同时保持其性能，并与随机二值化方法进行比较。
2025-09-26 cs.LG
More with LESS -- Local Scene Representations for Tactile Imaging
Technion - Israel Institute of Technology（以色列理工学院）；Rambam Health Care Campus（拉姆巴姆医疗中心）
提出局部编码器空间感知（LESS）方法，通过局部感受野的循环编码器网格建模触觉场景，实现内部结构的2D/3D重建，在泛化、不确定性估计和手持成像上取得突破。
2026-06-15 cs.LG
Less is More: Nyström Computational Regularization
Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了Nyström型子采样方法的大规模核方法，并证明了学习界的统计学习设置，其中考虑随机抽样和高概率估计。特别是，我们证明了这些方法可以实现最佳的学习界限，提供适当的子采样水平选择。这些结果表明了Nyström核正则化最小二乘法的一个简单增量变体，其中子采样级别实现了一种计算正则化形式，从某种意义上说，它同时控制正则化和计算。大量的实验分析表明，所考虑的方法达到了最先进的性能在基准大规模数据集。
2016-03-17 cs.LG stat.ML
Making Tensor Decoupling More Robust and Less Parametric
KU Leuven（鲁汶大学）
针对张量解耦算法的性能局限，提出重新缩放输入雅可比张量的预处理步骤与替换B样条为带广义交叉验证的惩罚样条两项改进，并开源JAX实现。
2026-10-14 cs.LG eess.SP
Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference
Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI
本文提出 LESS，通过将恒定大小缓存与基于驱逐的 KV 缓存方法结合，在高效推理的同时保留全部 token 信息，显著缩小与全缓存的性能差距。
2024-06-12 cs.AI cs.LG
More to Less (M2L): Enhanced Health Recognition in the Wild with Reduced Modality of Wearable Sensors
Rice University（莱斯大学）；KU Leuven（鲁汶大学）
从可穿戴数据中准确识别与健康相关的状况对于改善医疗保健结果至关重要。为了提高识别精度，各种方法都集中在如何有效地融合来自多个传感器的信息。融合多个传感器在许多应用中是常见的场景，但在现实世界的场景中可能并不总是可行的。例如，尽管组合来自多个传感器的生物信号（即，胸垫传感器和腕部可佩戴传感器）已经被证明对于改善性能是有效的，但是佩戴多个设备在自由生活的环境中可能是不切实际的。为了解决这些挑战，我们提出了一个有效的多到少（M2L）学习框架，通过在训练过程中利用多个模态的互补信息，减少传感器，提高测试性能。更具体地说，不同的传感器可能携带不同但互补的信息，我们的模型旨在加强不同模态之间的合作，鼓励积极的知识转移，抑制消极的知识转移，以便为个别模态学习更好的表示。我们的实验结果表明，我们的框架实现了可比的性能相比，完整的方式。我们的代码和结果将在https://github.com/compwell-org/More2Less.git上提供。
2022-02-16 cs.AI cs.LG
Why Less is More (Sometimes): A Theory of Data Curation
Concordia University（康科德大学）；FAIR at Meta（Meta的FAIR）；Mila--Quebec AI Institute（魁北克AI研究所）
本文提出数据策展理论框架，通过推导测试误差缩放定律和相变曲线，揭示小型高质量数据集何时优于完整数据，并在 ImageNet 上验证了理论预测。
2025-11-05 cs.LG stat.ML
Why Pay More When You Can Pay Less: A Joint Learning Framework for Active Feature Acquisition and Classification
我们考虑主动特征获取的问题，在这里我们顺序地选择特征的子集，以便以最具成本效益的方式实现最大的预测性能。在这项工作中，我们制定这个主动特征获取问题作为一个强化学习问题，并提供了一个新的框架，共同学习的RL代理和分类器（环境）。我们还介绍了一种更系统的方法来编码特征子集，可以正确处理主动特征获取问题中缺少条目的固有挑战，该方法使用基于有序LSTM的集合编码机制，该机制很容易适应联合学习框架。我们在一个精心设计的用于主动特征获取的合成数据集以及几个真实数据集（如电子健康记录（EHR）数据集）上评估了我们的模型，在这些数据集上，它在预测性能和特征获取成本方面优于所有基线。
2017-09-18 cs.LG stat.ML
Code Generation from Natural Language with Less Prior and More Monolingual Data
Borealis AI（Borealis AI（北极星人工智能研究院））
用于语义解析的训练数据集通常很小，因为与大多数其他NLP任务相比，注释需要更高的专业知识。因此，这种应用程序的模型通常需要额外的先验知识来构建到架构或算法中。对人类专家的日益依赖阻碍了自动化，并在实践中提高了开发和维护成本。这项工作研究了一个通用的基于transformer的seq2seq模型是否可以实现具有竞争力的性能与最小的代码生成特定的电感偏置设计。通过利用目标程序设计语言的相对较大的单语语料库（从网络上挖掘成本较低），我们在Django上实现了81.03%的精确匹配准确率，在CoNaLa上实现了32.57的BLEU得分。两者都是SOTA，据我们所知。这一积极的证据强调了在实践中构建准确的语义解析器的一条潜在的更容易的途径。
2021-06-10 cs.CL cs.LG
Improving Adversarial Robustness by Putting More Regularizations on Less Robust Samples
Seoul National University（首尔国立大学）
本文提出一种新的对抗训练算法，通过对易受攻击样本施加更多正则化来最小化鲁棒风险上界，从而同时提升模型泛化能力与对抗鲁棒性，达到最先进性能。
2023-06-01 cs.LG stat.ML
More for Less: Safe Policy Improvement With Stronger Performance Guarantees
Technische Universität Dresden（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人在环触觉互联网中心（CeTI））；Radboud University（拉德堡德大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对离线强化学习中的安全策略改进（SPI）问题，提出一种通过隐式变换数据集与环境模型来推导更紧改进界限的新方法，显著降低SPIBB算法的样本复杂度。
2023-05-13 cs.AI cs.LG
Less is More: Recursive Reasoning with Tiny Networks
针对HRM潜力大但可能非最优的问题，提出仅含2层、7M参数的微型递归模型TRM，以更简单的递归推理实现更强泛化，在ARC-AGI等谜题任务上准确率超多数大模型，参数量不到其0.01%。
2025-10-06 cs.AI cs.LG
Supernova: Achieving More with Less in Transformer Architectures
Faculty of Mathematics and Computer Science（数学与计算机科学学院）
本文提出6.5亿参数解码器Transformer模型Supernova，通过RoPE、GQA、RMSNorm、SwiGLU及128K词表BPE分词器等设计，以更少参数和训练token达到10亿参数模型90%的性能，挑战了主流扩展范式。
2025-07-22 cs.AI cs.CL cs.LG
Code Less, Align More: Efficient LLM Fine-tuning for Code Generation with Data Pruning
NVIDIA（英伟达）
本文针对代码 LLM 合成训练数据冗余问题，提出结合聚类与剪枝指标的数据筛选方法，仅用 10% 数据即可保持基准性能，适度剪枝还能提升生成质量并降低计算开销。
2024-07-06 cs.LG cs.SE
All Models Are Miscalibrated, But Some Less So: Comparing Calibration with Conditional Mean Operators
University of Adelaide（阿德莱德大学）
本文提出条件核校准误差（CKCE）作为校准度量，通过条件均值算子差的Hilbert-Schmidt范数，提高了模型校准评估的准确性和鲁棒性。
2025-12-17 cs.LG stat.ML
Input-Time Scaling: Adding Noise and Irrelevance into Less-Is-More Drastically Improves Reasoning Performance and Efficiency
Independent Researcher（独立研究者）
通过引入噪声和无关信息，输入时间扩展方法在推理性能和效率上取得突破，无需额外设计即可提升效果，适用于更广泛场景。
2026-04-21 cs.AI cs.CL cs.LG
Less is more: Faster and better music version identification with embedding distillation
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）；Dolby Laboratories（杜比实验室）；European Commission, Joint Research Centre（欧盟委员会联合研究中心）
版本识别系统旨在检测相同基础音乐作品（松散地称为翻唱歌曲）的不同演奏。通过学习将整个记录编码为简单的向量嵌入，最近的系统在弥合准确性和可扩展性之间的差距方面取得了重大进展，这是近二十年来的一个关键挑战。在这项工作中，我们建议通过采用一组数据蒸馏技术来进一步缩小这一差距，这些技术可以减少预先训练的最先进模型的嵌入维数。我们比较了广泛的技术，并提出了新的，从经典的降维到更复杂的蒸馏方案。有了这些，我们获得了99%更小的嵌入，而且，准确率提高了3%。这样小的嵌入可能会对检索时间产生重要影响，直到在独立的笔记本电脑上实现真实世界的系统。
2020-10-07 cs.LG cs.SD eess.AS
Is Einstein more agreeable and less neurotic than Hitler? A computational exploration of the emotional and personality profiles of historical persons
Freie Universität Berlin（柏林自由大学）；Center for Cognitive Neuroscience Berlin（柏林认知神经科学中心）
分布式语义模型（DSM）的最新进展提供了新的方法来估计虚构和真实的人的人格特质。在这项探索性研究中，我们应用了Jacobs（2019）开发的算法的扩展版本，以计算来自艺术，政治或科学领域的100名历史人物的可爱性得分，情感人物档案和BIG5人格特质，这些人的名字相当独特（例如，爱因斯坦、卡罗、毕加索）。我们比较了四项研究中静态（word2vec）和动态（BERT）语言模型表示的结果。结果显示了这种基于DSM的人格特征计算的潜力和局限性，并指出了进一步发展这种方法的方法，使其成为数据科学，心理学或计算和神经认知诗学的有用工具（Jacobs，2015）。
2021-06-14 cs.AI cs.CL cs.LG
Less is More: Culling the Training Set to Improve Robustness of Deep Neural Networks
University of California, Davis（加州大学戴维斯分校）
深度神经网络容易受到对抗性样本的攻击。以前的防御试图通过改变网络架构或使用对抗性示例来增强训练集，使深度网络更加强大，但两者都有固有的局限性。最近的研究表明，训练集中的离群值对训练模型有很大的负面影响，我们研究了模型鲁棒性和训练集质量之间的关系。我们首先表明，离群点给模型更好的泛化能力，但较弱的鲁棒性。接下来，我们提出了一个对抗性示例检测框架，在该框架中，我们设计了两种方法来从训练集中去除离群值以获得净化模型，然后通过计算原始模型和净化模型之间的输出差异来检测对抗性示例。我们评估了MNIST和SVHN的框架。基于Kullback-Leibler散度测量的差异，我们可以检测到准确率在94.67%到99.89%之间的对抗性示例。
2018-12-08 cs.CR cs.LG stat.ML
FedLog: Personalized Federated Classification with Less Communication and More Flexibility
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
针对联邦表示学习共享模型参数导致通信开销巨大的问题，提出FedLog方法，通过共享编码最小充分统计量的数据摘要和贝叶斯推断进行全局聚合，并扩展差分隐私框架，实现了高精度与低通信开销。
2024-10-12 cs.DC cs.LG stat.ML
Less is More: Optimizing Function Calling for LLM Execution on Edge Devices
School of Electrical, Computer and Biomedical Engineering, Southern Illinois University（南伊利诺伊大学电气、计算机与生物医学工程学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出无需微调的Less-is-More函数调用方案，通过动态减少LLM可用工具数量，在边缘设备上提升智能体成功率，并将执行时间最多降低70%、功耗最多降低40%。
2024-11-23 cs.DC cs.LG cs.PF
Less is More: Accurate Speech Recognition & Translation without Web-Scale Data
NVIDIA（英伟达）
本文提出多语言语音识别与翻译模型Canary，通过FastConformer架构、合成数据和先进训练技术，以远少于Whisper等模型的数据在英法西德语上实现更优性能。
2024-06-28 cs.CL cs.LG cs.SD
Less is More: Feature Selection for Adversarial Robustness with Compressive Counter-Adversarial Attacks
Imperial College London（伦敦帝国学院）
关于对抗攻击的一个常见观察是，它们大多会在倒数第二层引起错误激活，以欺骗分类器。假设这些激活值对应于输入的某些特征，则目标变为选择对分类最有用的特征。因此，我们提出了一种新的方法来识别的重要功能，采用反对抗攻击，这突出了在倒数第二层的一致性相对于输入样本的扰动。首先，我们经验表明，存在一个子集的功能，分类的基础上，其中弥合之间的差距干净和强大的准确性。其次，我们提出了一个简单而有效的机制，通过搜索输入样本的邻域来识别这些特征。然后，我们通过观察倒数第二层激活值的一致性来选择特征。
2021-06-18 cs.AI cs.IT cs.LG
Say Less, Mean More: Leveraging Pragmatics in Retrieval-Augmented Generation
University of Arizona（亚利桑那大学）
提出一种无监督的语用学方法，在RAG中突出最相关句子，提升三个问答任务上五种LLM的准确率，最高相对提升19.7%。
2025-02-27 cs.AI cs.CL cs.LG
Recognizing More Emotions with Less Data Using Self-supervised Transfer Learning
Wonder Technology
我们提出了一种新的语音情感识别的迁移学习方法，使我们能够获得有希望的结果时，只有很少的训练数据。每个情感类的样本数低至125个，我们能够达到比在8倍以上数据上训练的强基线更高的准确率。我们的方法利用了预先训练的语音表示中包含的知识，这些语音表示是从更一般的自监督任务（不需要人工注释，如wav2vec模型）中训练的模型中提取的。我们通过改变训练数据大小来详细了解我们方法的好处，这可以帮助标签团队更有效地工作。我们在IEMOCAP数据集上与其他流行方法进行了性能比较，IEMOCAP数据集是语音情感识别（SER）研究社区中的一个基准数据集。此外，我们证明，结果可以大大改善结合声学和语言知识的迁移学习。我们通过基于注意力的循环神经网络将声学预训练表示与来自BERT模型的语义表示对齐。当将模态和尺度与数据量相结合时，性能显着提高。当在完整的IEMOCAP数据集上进行训练时，我们达到了73.9%的最新技术水平。
2020-11-11 cs.LG cs.SD eess.AS
Can We Achieve More with Less? Exploring Data Augmentation for Toxic Comment Classification
Stanford University（斯坦福大学）
本文解决了机器学习中最大的限制之一：数据稀缺。具体来说，我们探索是否可以从小数据集建立高精度的分类器，利用数据增强技术和机器学习算法的组合。在这篇论文中，我们尝试了简单的数据增强（EDA）和反向翻译，以及三种流行的学习算法，逻辑回归，支持向量机（SVM）和双向长短期记忆网络（Bi-LSTM）。对于我们的实验，我们利用维基百科有毒评论数据集，以便在探索数据增强的好处的过程中，我们可以开发一个模型来检测和分类评论中的有毒言论，以帮助反击网络欺凌和在线骚扰。最终，我们发现数据增强技术可以用来显着提高分类器的性能，是一个很好的策略，以打击缺乏数据的NLP问题。
2020-07-02 cs.AI cs.CL cs.IR
Lessons from Generalization Error Analysis of Federated Learning: You May Communicate Less Often!
Huawei Paris Research Center（华为巴黎研究中心）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）
本文通过 PAC-Bayes 和率失真界分析联邦学习中通信轮数 R 对泛化误差的影响，证明 FSVM 泛化界随 R 增大而增大，并通过 ResNet-56 实验表明总体风险可能在 R 超过某值后上升，从而说明更少通信可能更有利。
2024-06-10 cs.IT cs.LG math.IT
