How Many Samples is a Good Initial Point Worth in Low-rank Matrix Recovery?
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
给定足够大的标记数据量,非凸低秩矩阵恢复问题不包含虚假的局部最小值,因此保证局部优化算法从任何初始猜测开始收敛到全局最小值。然而,这种理论保证所需的实际数据量是非常悲观的,因为它必须防止虚假的局部极小值存在于任何地方,包括在敌对位置。相比之下,基于良好的初始猜测的先前工作具有更现实的数据要求,因为它们允许虚假的局部极小值存在于解的邻域之外。在本文中,我们量化的初始猜测的质量和相应的减少数据需求之间的关系。使用受限制的等距常数作为样本复杂性的替代,我们计算出一个尖锐的阈值数量的样本,以防止每个特定点的优化景观成为一个虚假的局部最小值。在景观区域上优化阈值,我们看到,对于地面实况周围的初始点,初始猜测质量的线性改善相当于样本复杂度的常数因子改善。
2020-11-12 cs.LG stat.ML
Let Me Think! A Long Chain-of-Thought Can Be Worth Exponentially Many Short Ones
UC San Diego(UC圣地亚哥大学);University of Pennsylvania(宾夕法尼亚大学);Harvard University(哈佛大学)
本文探讨了推理链扩展策略,证明在特定图连通性问题中顺序扩展比并行扩展更有效。
2026-01-09 cs.AI cs.CL cs.LG
How Many Human Survey Respondents is a Large Language Model Worth? An Uncertainty Quantification Perspective
Department of IEOR, Columbia University(哥伦比亚大学工业工程与运筹学系);Decision, Risk, and Operations Division, Columbia Business School(哥伦比亚商学院决策、风险与运营分校);Department of IEOR and Data Science Institute, Columbia University(哥伦比亚大学工业工程与运筹学系及数据科学研究所)
本文从不确定性量化角度出发,提出了一种框架,将LLM模拟的响应转换为人类响应总体参数的可靠置信集,通过量化人类-LLM不一致带来的不确定性。关键设计是模拟响应的数量:过多会导致置信集过窄且覆盖性差,过少则导致置信集过宽且信息不足。本文提出了一种数据驱动的方法,自适应选择模拟样本量以实现名义平均覆盖性,无论LLM的模拟保真度或置信集构建过程如何。所选样本量进一步反映了LLM能代表的有效人类人口规模,提供了其模拟保真度的定量度量。实验表明不同LLM和领域存在异质性模拟保真度。
2026-06-15 cs.AI cs.LG stat.ME
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University(东北大学);Google Research(谷歌研究院)
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法,如贝叶斯优化,已被开发来自动化和加快这一过程。然而,调优仍然非常昂贵,因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络,考虑到每个训练样本贡献的相对信息量。为此,我们利用了重要性采样(IS);这显著提高了黑盒函数计算的质量,但也提高了它们的运行时间,因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题,实现了两全其美:通过学习IS的参数化,权衡评估复杂性和质量,我们改进了贝叶斯优化最先进的运行时间和最终验证错误,跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
A Data-Augmentation Is Worth A Thousand Samples: Exact Quantification From Analytical Augmented Sample Moments
Meta/Facebook AI Research(Meta/脸书人工智能研究院)
数据增强(DA)可以提高任务和数据集的性能。我们提出了一种方法,从理论上分析DA的效果和研究的问题,如:需要多少扩增样本,以正确估计的DA编码的信息?增强策略如何影响模型的最终参数?我们得到了几个封闭形式的数量,如期望和方差的图像,损失,模型的输出在给定的DA分布。这些推导为量化DA的优点和局限性开辟了新的途径。例如,我们证明了常见的DA需要数万个样本才能正确估计手头的损失,并使模型训练收敛。我们表明,对于训练损失在DA采样下保持稳定,模型的显着性图(相对于模型输入的损失梯度)必须与所考虑的DA增强下样本方差的最小特征向量对齐,暗示了为什么模型倾向于将焦点从边缘转移到纹理的可能解释。
2022-02-16 cs.CV cs.LG
How Many Humans Are 32 LLM Judges Worth?
Tsinghua University(清华大学);University College London(伦敦大学学院);Autonavi(高德地图)
本文通过谱残差多样性和分布误差两个指标,审计语言模型法官小组的有效规模,发现其因目标而异,不可互换作为小组质量或人类替代率的度量。
2026-09-25 cs.CL cs.LG
Low-Data Supervised Adaptation Outperforms Prompting for Cloud Segmentation Under Domain Shift
University of Georgia(佐治亚大学)
本文研究了在遥感影像云分割任务中,低数据监督微调优于提示方法,发现使用少量标注数据可显著提升性能,而提示方法效果有限。
2026-04-10 cs.CV cs.LG
A Dataset is Worth 1 MB
School of Computer Science and Engineering(计算机科学与工程学院)
本文提出PLADA方法,通过传输类别标签而非像素数据,实现高效的数据集分发,减少通信成本并保持高分类准确率。
2026-02-26 cs.CV cs.LG
Load Forecasting for Households and Energy Communities: Are Deep Learning Models Worth the Effort?
illwerke vkw Endowed Professorship for Energy Efficiency, Energy Research Centre, Vorarlberg University of Applied Sciences(能源效率 endowed 教授职位,能源研究中心, Vorarlberg 应用科学大学);Digital Factory Vorarlberg GmbH(Vorarlberg 数字工厂有限公司);Department of Computer Science, University of Innsbruck(计算机科学系,因斯布鲁克大学)
本研究评估LSTM、xLSTM和Transformer等深度学习模型在家庭与能源社区短期负荷预测中的实际价值,并与KNN和持续性模型对比,发现数据不足六个月时简单模型更优,迁移学习可提升小样本精度,并通过共享电池优化验证预测改进能降低约8%的能源成本。
2025-07-18 cs.LG
Test-Time Adaptation via Many-Shot Prompting: Benefits, Limits, and Pitfalls
SambaNova Systems, Inc(SambaNova系统公司);Stanford University(斯坦福大学)
研究通过多示例提示在不同任务和模型中分析测试时适应的性能变化,探讨其有效性及限制,指出其在结构化任务中的优势及在开放生成任务中的不足。
2026-03-17 cs.CL cs.LG
Optimal Weighting for Exam Composition
Florida International University(佛罗里达国际大学);School of Computing and Information Sciences(计算与信息科学学院)
许多教师面临的一个问题是设计准确评估学生能力的考试。通常情况下,这些考试提前几天准备,并根据问题难度和长度的粗略近似值使用通用问题分数。例如,作者最近教的一门课,有30道选择题,价值3分,15道是非题,价值4分,5道分析题,价值10分。我们描述了一种新的框架,其中使用来自机器学习的算法来修改考试问题权重,以优化考试成绩,使用整体班级成绩作为学生真实能力的代理。我们表明,显着的错误减少,可以通过我们的方法在标准的加权方案,我们提出了几个新的意见的属性的“好”和“坏”的考试问题,可以有影响的设计改进的未来的评价方法。
2017-12-24 cs.AI cs.CY cs.LG
Soft Sensing Transformer: Hundreds of Sensors are Worth a Single Word
Seagate Technology(希捷科技);University of Chicago(芝加哥大学);University of Cincinnati(辛辛那提大学);Florida Atlantic University(佛罗里达大西洋大学);Case Western Reserve University(凯斯西储大学);Stanford University(斯坦福大学)
近年来,随着人工智能技术的飞速发展,软测量领域出现了许多基于深度学习模型的研究。然而,模型变得更加复杂,但数据集仍然有限:研究人员正在用数百个数据样本拟合数百万个参数模型,这不足以锻炼其模型的有效性,因此在工业应用中实施时往往无法执行。为了解决这个长期存在的问题,我们向公众提供希捷科技的大规模、高维时间序列制造传感器数据。我们展示了在这些数据集上通过软测量Transformer模型对工业大数据建模的挑战和有效性。之所以使用Transformer,是因为它在自然语言处理中的表现优于最先进的技术,并且从那时起,在直接应用于计算机视觉时也表现良好,而不会引入图像特定的感应偏差。我们观察句子结构与传感器读数的相似性,并以与自然语言中的句子相似的方式处理时间序列中的多变量传感器读数。高维时间序列数据被格式化为相同形状的嵌入语句,并输入到Transformer模型中。结果表明,Transformer模型在软测量领域的性能优于基于自编码器和长短期记忆(LSTM)模型的基准模型。据我们所知,我们是学术界或工业界第一个用大规模数值软测量数据对原始Transformer模型性能进行基准测试的团队。
2021-11-10 cs.AI cs.LG
A Mosquito is Worth 16x16 Larvae: Evaluation of Deep Learning Architectures for Mosquito Larvae Classification
La Cañada High School(拉卡纳达高中);Middleton High School(米德尔顿高中);Westwood High School(韦斯特伍德高中);Bellarmine College Preparatory(贝拉明预科学校)
蚊子传播的疾病(MBD),如登革热病毒、基孔肯雅病毒和西尼罗河病毒,每年在全球造成超过100万人死亡。由于许多此类疾病是由伊蚊和库蚊传播的,因此追踪这些幼虫对于减轻MBD的传播至关重要。即使随着公民科学的发展和获得更大的蚊子图像数据集,蚊子图像的手动注释也变得越来越耗时和低效。以前的研究已经使用计算机视觉来识别蚊子的种类,卷积神经网络(CNN)已经成为图像分类的事实。然而,这些模型通常需要大量的计算资源。本研究介绍视觉Transformer(ViT)的应用,在比较研究,以提高图像分类对伊蚊和库蚊幼虫。两个ViT模型ViT-Base和CvT-13以及两个CNN模型ResNet-18和ConvNeXT在蚊子幼虫图像数据上进行训练并进行比较,以确定区分蚊子幼虫为伊蚊或库蚊的最有效模型。测试表明,ConvNeXT在所有分类指标中获得了最大值,证明了其对蚊子幼虫分类的可行性。基于这些结果,未来的研究包括通过结合CNN和Transformer架构的元素来创建专门为蚊子幼虫分类设计的模型。
2022-09-16 cs.AI cs.CV cs.LG
Knowledge Return Oriented Prompting (KROP)
HiddenLayer(希登莱耶(或保留原机构名))
针对现有大语言模型及相关应用的提示过滤、对齐防护并非绝对安全的问题,本文提出KROP提示注入技术,可混淆攻击行为以规避多数安全检测。
2024-06-11 cs.CR cs.LG
One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Johns Hopkins University(约翰霍普金斯大学);Nanyang Technological University(南洋理工大学)
研究提出一种多任务在线策略蒸馏方法,教师与学生仅通过可学习软提示区分,在骨干冻结时训练特定任务教师。单任务变体训练参数少且效果好,多任务变体保持通用能力基准同时实现最佳总体平均水平。
2026-07-22 cs.CL cs.LG
How Many Human Judgments Are Enough? Feasibility Limits of Human Preference Evaluation
Independent Researcher(独立研究者)
研究发现人类偏好评估中,当偏好信号分散时,比例分配是最佳策略,而精心设计的基准测试能通过减少方差提高检测性。
2026-01-15 cs.CL cs.LG
Adversarial Prompt Evaluation: Systematic Benchmarking of Guardrails Against Prompt Input Attacks on LLMs
IBM Research(IBM研究院)
针对大语言模型越狱攻击防御缺乏体系化评估的问题,研究对15种防护栏防御方案开展系统基准测试,发现防御性能随攻击类型差异显著,且简单基线的分布外性能可媲美多数先进防御。
2025-02-21 cs.CR cs.LG
Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
New York University(纽约大学);University of California, San Diego(加州大学圣地亚哥分校)
基于知识的学习(即,提示)是一种用于利用由预训练的语言模型学习的知识的新兴范例。在本文中,我们提出了自动多标签标注(AMuLaP),一个简单而有效的方法来自动选择标签映射的Few-Shot文本分类提示。我们的方法利用一对多的标签映射和一个基于代数的算法来选择标签映射给出一个提示模板。我们的实验表明,AMuLaP达到竞争力的性能,在没有人力或外部资源的情况下,在GLUE基准。
2022-04-14 cs.AI cs.CL cs.LG
Prompting Large Language Model for Machine Translation: A Case Study
University of Edinburgh(爱丁堡大学)
关于激励的研究表明,在许多任务中,很少或甚至没有监督训练的情况下表现出色。然而,机器翻译的提示在文献中仍然是探索不足。本文通过对翻译提示策略的系统研究、对提示模板的各种影响因素的考察以及对例证的选择,填补了这一空白。我们进一步探讨了单语数据的使用以及跨语言、跨领域和文档到文档迁移学习在提示中的可行性。使用GLM-130 B的广泛实验(Zeng等人,2022)的实验结果表明:(1)提示性实例的数量和质量都很重要,使用次优实例会降低翻译质量;(2)提示性实例的语义相似度等特征与其提示性表现出显著的Spearman相关性,但相关性都不够强; 3)使用通过zero-shot提示从单语数据构建的伪并行提示示例可以改进翻译;以及4)通过从在其他设置中选择的提示示例转移知识可以实现改进的性能。最后对模型的输出结果进行了分析,并讨论了激励中存在的几个问题。
2023-01-18 cs.CL cs.LG
Prompts Generalize with Low Data: Non-vacuous Generalization Bounds for Optimizing Prompts with More Informative Priors
Google Deepmind(谷歌DeepMind)
本文提出利用困惑度作为有效先验,推导出数据稀缺下提示优化的非空洞泛化界,并通过正则化限制探索来提升提示泛化能力。
2025-10-09 cs.AI cs.LG
Symbolic Prompt Program Search: A Structure-Aware Approach to Efficient Compile-Time Prompt Optimization
Microsoft Research(微软研究院)
本文提出SAMMO框架,通过符号化表示和搜索提示程序变换,在指令微调、RAG流水线调优和提示压缩任务上提升复杂提示的性能。
2024-06-27 cs.AI cs.CL cs.LG
Why is prompting hard? Understanding prompts on binary sequence predictors
Google DeepMind(谷歌DeepMind)
本文探讨了二进制序列预测器上提示的挑战,通过实验揭示了预训练分布对最优提示识别的影响,并分析了前沿模型中提示的统计和经验模式。
2026-05-11 cs.CL cs.LG stat.ML
How Much Is a Dataset Worth? Scaling Laws, the Vendi Score, and Matrix Spectral Functions
Department of Electrical & Computer Engineering(电气与计算机工程系);Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
本文通过子模性理论统一了神经缩放定律与Vendi分数,提出矩阵谱函数作为广义数据评估框架,并开发了基于割线方程的快速优化算法,在ImageNet-1K规模上实现了约35,000倍加速,实验表明设施选址函数在预测子集价值方面表现最佳。
2026-07-21 cs.AI cs.CV cs.IT
Prompting Particle Physics: Tokenized Multi-modal Foundation Models for Combinatorially Many Tasks
Technical University of Munich(慕尼黑工业大学)
本研究提出一种共享标记词汇的多模态基础模型,以单一网络统一对撞机实验中的粒子流、探测器模拟等多项重建与模拟任务,自回归模型在喷注重建指标上超越现有粒子流算法。
2026-09-29 cs.LG hep-ex hep-ph
On Meta-Prompting
本文基于范畴论提出理论框架,描述LLM与用户交互中的ICL行为,分析元提示在生成理想输出上的有效性。
2026-03-13 cs.AI cs.CL cs.LG