Deep or Simple Models for Semantic Tagging? It Depends on your Data [Experiments]
Megagon Labs（Megagon Labs（Megagon实验室））
语义标记在文本挖掘中有着广泛的应用，它预测给定的文本是否传达了给定的语义标记的含义。语义标记的问题在很大程度上是通过监督学习来解决的，而今天，深度学习模型被广泛认为更适合语义标记。然而，没有全面的研究支持流行的信念。实践者经常必须为每个语义标记任务训练不同类型的模型以识别最佳模型。这个过程既昂贵又低效。我们开始了一项系统的研究，以调查以下问题：深度模型是所有语义标记任务的最佳执行模型吗？为了回答这个问题，我们将深度模型与具有不同特征的数据集上的“简单模型”进行比较。具体来说，我们选择了三种流行的深度模型（即CNN，LSTM和BERT）和两种简单模型（即LR和SVM），并比较了它们在21个数据集上的语义标记任务的性能。结果表明，数据集的大小，标签比例和标签清洁度显着影响语义标注的质量。简单模型在大型数据集上实现了与深度模型相似的标记质量，但简单模型的运行时间要短得多。此外，当目标数据集显示更差的标签清洁度和/或更严重的不平衡时，简单模型可以实现比深度模型更好的标记质量。基于这些发现，我们的研究可以系统地指导从业者选择正确的学习模式，他们的语义标记任务。
2020-10-08 cs.CL cs.DB cs.LG
Simple and Effective Regularization Methods for Training on Noisily Labeled Data with Generalization Guarantee
Princeton University（普林斯顿大学）
众所周知，通过简单的一阶方法训练的过度参数化深度神经网络能够拟合任何数据标签。当存在错误标记的训练样本时，这种过拟合能力阻碍了泛化。另一方面，在这些场景中，像早期停止这样的简单正则化方法通常可以在干净的测试数据上实现高度非平凡的性能，这是一种理论上无法理解的现象。本文提出并分析了两种简单直观的正则化方法：（i）通过网络参数与初始化之间的距离进行正则化;（ii）在每个训练样本的网络输出中添加一个可训练的辅助变量。从理论上讲，我们证明了这两种方法中的任何一种的梯度下降训练都会导致对干净数据分布的泛化保证，尽管使用噪声标签进行训练。我们的泛化分析依赖于宽神经网络和神经切线核（NTK）之间的连接。泛化界与网络规模无关，并且与没有标签噪声时的界相当。实验结果验证了这些方法在噪声标记数据集上的有效性。
2020-10-02 cs.LG cs.NE stat.ML
AugMix: A Simple Data Processing Method to Improve Robustness and Uncertainty
DeepMind；Google（谷歌）
现代深度神经网络在训练分布和测试分布同分布时可以达到很高的精度，但在实践中经常违反这一假设。当训练和测试分布不匹配时，准确性会急剧下降。目前，很少有技术可以提高部署过程中遇到的不可预见的数据变化的鲁棒性。在这项工作中，我们提出了一种技术，以提高图像分类器的鲁棒性和不确定性估计。我们提出AugMix，一种易于实现的数据处理技术，增加了有限的计算开销，并帮助模型承受不可预见的损坏。AugMix显著提高了具有挑战性的图像分类基准的鲁棒性和不确定性度量，在某些情况下缩小了以前方法与最佳性能之间的差距。
2020-02-17 cs.CV cs.LG stat.ML
Simple Dataset for Proof Method Recommendation in Isabelle/HOL (Dataset Description)
Czech Technical University in Prague（布拉格捷克理工大学）；University of Innsbruck（因斯布鲁克大学）
最近，越来越多的研究人员已经应用机器学习来帮助交互式定理证明器的用户。然而，底层逻辑的表达性和证明文档的深奥结构阻碍了机器学习从业者，他们通常在形式逻辑方面没有太多的专业知识，更不用说Isabelle/HOL了，无法在这一领域取得大规模的成功。在这个数据描述中，我们提出了一个简单的数据集，其中包含超过40万个证明方法应用程序的数据，以及每个应用程序的100多个提取特征，这些特征的格式可以在没有任何形式逻辑知识的情况下轻松处理。我们简单的数据格式允许机器学习从业者尝试机器学习工具来预测Isabelle/HOL中的证明方法，而不需要逻辑领域的专业知识。
2020-05-26 cs.AI cs.DB cs.LG
Simple Classification using Binary Data
本文研究了从二进制数据进行分类的问题，提出了一种计算和资源消耗低的框架，并通过实验和理论分析验证其有效性。
2017-07-06 cs.LG cs.NA math.NA
Two Simple Ways to Learn Individual Fairness Metrics from Data
University of Michigan（密歇根大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
个体公平是算法公平的直观定义，它解决了群体公平的一些缺点。尽管它有好处，但它取决于特定于任务的公平度量，该度量编码了我们对手头ML任务的公平和不公平的直觉，并且许多ML任务缺乏广泛接受的公平度量是更广泛采用个人公平性的主要障碍。在本文中，我们提出了两种简单的方法来从各种数据类型中学习公平的度量。我们的经验表明，公平的训练与学习的指标导致提高公平性的三个机器学习任务容易受到性别和种族偏见。我们还提供了理论保证这两种方法的统计性能。
2020-06-19 cs.LG stat.ME stat.ML
A Simple and Effective Framework for Pairwise Deep Metric Learning
The University of Iowa（爱荷华大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
深度度量学习（Deep Metric Learning，DML）由于其在计算机视觉中的广泛应用而在深度学习领域受到广泛关注。以往的研究主要集中在设计复杂损失和硬样本的挖掘方法上，大多是启发式的，缺乏理论认识。在本文中，我们将DML转换为一个简单的成对二进制分类问题，将一对示例分类为相似或不相似。它确定了这个问题中最关键的问题-不平衡的数据对。为了解决这个问题，我们提出了一个简单而有效的框架，在一批数据中对数据对进行采样以更新模型。这个框架的关键是定义一个鲁棒损失的所有对在一个小批量的数据，这是制定分布式鲁棒优化。在构建的双重变量的不确定性决策集的灵活性，使我们能够恢复国家的最先进的复杂的损失，也诱导新的变种。对多个基准数据集的实证研究表明，我们简单有效的方法优于最先进的结果。代码可在以下网址获得：https://github.com/qiqi-helloworld/A-Simple-and-Effective-Framework-for-Pairewise-Distance-Metric-Learning
2020-06-18 cs.CV cs.LG stat.ML
Differentially Private Simple Linear Regression
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Boston University（波士顿大学）；Northeastern University（东北大学）
经济学和社会科学研究通常需要细粒度地分析敏感个人信息的数据集，模型适合数据的小子集。不幸的是，这种细粒度的分析很容易泄露敏感的个人信息。我们研究简单的线性回归算法，满足差分隐私，一个约束，保证算法的输出几乎没有透露任何个人的输入数据记录，即使是攻击者与任意侧信息的数据集。我们考虑设计的差异隐私算法的简单线性回归的小数据集，数十至数百个数据点，这是一个特别具有挑战性的制度差分隐私。专注于一个特定的应用程序在经济学研究中的小区域分析，我们研究了一系列的算法，我们适应的设置的性能。我们确定了影响其性能的关键因素，通过一系列实验表明，基于鲁棒估计器的算法（特别是Theil-Sen估计器）在最小的数据集上表现良好，但随着数据集大小的增加，其他更标准的算法表现更好。
2020-07-10 cs.CR cs.LG stat.ME
Learning dynamical systems from data: a simple cross-validation perspective
Imperial College London（伦敦帝国理工学院）；Caltech（加州理工学院）
从有限数量的观测状态回归动力系统的向量场是学习这种系统的代理模型的自然方式。我们提出了交叉验证的变种（内核流\cite{Owhadi19}及其变种的基础上最大均值离散和李雅普诺夫指数）作为简单的方法来学习这些仿真器中使用的内核。
2020-07-09 cs.LG math.DS nlin.CD
Keep it Simple: Data-efficient Learning for Controlling Complex Systems with Simple Models
University of Michigan（密歇根大学）
当操纵具有复杂动力学的新对象时，状态表示并不总是可用的，例如对于可变形对象。从观察中学习表示和动态都需要大量的数据。我们提出了学习的视觉相似性预测控制（LVSPC），这是一种新的数据有效学习方法，可以从图像中控制具有复杂动态和高维状态空间的系统。LVSPC利用给定的简单模型近似，从该模型可以生成图像观测。我们使用这些图像来训练感知模型，该感知模型从复杂系统的在线观察中估计简单模型状态。然后，我们使用来自复杂系统的数据来拟合简单模型的参数，并在线了解该模型的不准确之处。最后，我们使用模型预测控制并使控制器偏离简单模型不准确的区域，从而使控制器不太可靠。我们评估LVSPC两个任务;操纵拴系质量和绳子。我们发现，我们的方法执行的最先进的强化学习方法的数量级少的数据。LVSPC还在真正的机器人上完成了绳索操作任务，仅经过10次试验就有80%的成功率，尽管使用的感知系统只接受了模拟图像的训练。
2021-02-17 cs.LG cs.RO
Learning dynamical systems from data: A simple cross-validation perspective, part III: Irregularly-Sampled Time Series
KU Leuven（鲁汶大学）
针对非均匀采样时间序列下基于核插值的动力系统学习方法失效的问题，提出在Kernel Flows数据自适应核中加入观测时间差直接近似向量场的方案，在基准测试中兼顾效率与鲁棒性的同时显著提升预测精度。
2024-10-03 cs.LG math.DS stat.CO
Learning from Multiway Data: Simple and Efficient Tensor Regression
University of Southern California（南加州大学）
张量回归已被证明在具有多方向相关性的学习任务中是有利的。对于海量多路数据，传统的方法往往操作速度太慢或存在内存瓶颈。本文引入子采样张量投影梯度来解决这个问题。我们的算法是令人印象深刻的简单和高效。它建立在具有快速张量幂迭代的投影梯度方法基础上，利用随机草图进一步加速。理论分析表明，我们的算法收敛到正确的解决方案，在固定的迭代次数。内存需求随着问题的大小线性增长。我们在多线性多任务学习和时空应用上都表现出了卓越的经验性能。
2016-07-08 cs.LG
Learning Ensembles of Interpretable Simple Structure
Iowa State University（爱荷华州立大学）
提出自底向上的简单结构识别算法，将数据划分为可解释子组以最小化特征交互，在子组内训练简单模型，提高可解释性与预测精度，为透明决策支持提供框架。
2025-02-26 cs.LG
Source Data Selection for Brain-Computer Interfaces based on Simple Features
Lund University（隆德大学）；Blekinge Tekniska Högskola（布莱金厄理工学院）
本文提出基于协方差矩阵和黎曼距离的简单特征进行源数据选择，通过迁移性能预测器方法提升脑机接口对新用户的迁移学习性能，并在公开运动想象数据集上验证其优于其他方法。
2024-10-03 cs.HC cs.LG
CDC: A Simple Framework for Complex Data Clustering
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
针对多视图、非欧几里得和多关系等复杂数据，本文提出线性复杂度的 CDC 框架，通过图滤波与自适应高质量锚点实现高效聚类，并在111M图数据上验证。
2025-01-09 cs.LG
Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference
Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Edinburgh（爱丁堡大学）
少样本学习（FSL）是计算机视觉中的一个重要和热门问题，它激发了对从复杂的元学习方法到简单的迁移学习基线的许多方法的广泛研究。我们试图推动一个简单但有效的管道的限制，更现实和实用的设置Few-Shot图像分类。为此，我们从神经网络架构的角度探索了少样本学习，以及在不同数据供应下的网络更新的三阶段管道，其中考虑无监督的外部数据进行预训练，使用基本类别来模拟Few-Shot任务进行元训练，并将新任务的几乎没有标记的数据用于微调。我们调查的问题，如：（1）如何预先训练外部数据的好处FSL？(2)如何利用最先进的Transformer架构？以及（3）微调如何减轻畴移？最后，我们证明了一个简单的基于transformer的管道在标准基准测试（如Mini-ImageNet，CIFAR-FS，CDFSL和Meta-Dataset）上产生了令人惊讶的良好性能。我们的代码和演示可以在https://hushell.github.io/pmf上找到。
2022-04-15 cs.CV cs.LG
High-resolution land cover change from low-resolution labels: Simple baselines for the 2021 IEEE GRSS Data Fusion Contest
Yale University（耶鲁大学）；Microsoft AI for Good（微软AI造福全球）；Microsoft Research（微软研究院）
我们在2021年IEEE GRSS数据融合竞赛中提出了土地覆盖变化检测的简单算法。比赛的任务是根据多分辨率图像和标签数据，绘制美国马里兰州一个研究区的高分辨率（1米/像素）土地覆盖变化图。我们研究了这项任务的几个基线模型，并讨论了进一步研究的方向。数据见https://dfc2021.blob.core.windows.net/competition-data/dfc2021_index.txt，这些基线的实施见https://github.com/calebrob6/dfc2021-msd-baseline。
2021-01-04 cs.AI cs.CV cs.LG
Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning
MIPT（莫斯科物理技术学院）；ISP RAS（俄罗斯科学院信息学研究所）
本文提出仅通过简单模型架构变换即可在纵向联邦学习中有效防御特征重建攻击，理论证明无数据先验分布时攻击无法成功，实验显示MLP模型具有抗性。
2024-12-16 cs.CR cs.LG
Embarrassingly Simple MixUp for Time-series
University of Minnesota（明尼苏达大学）
针对时间序列数据标注成本高的问题，提出MixUp++和LatentMixUp++方法，在原始数据和潜在空间进行插值并结合半监督学习，在公开数据集上取得1%-15%的分类提升。
2023-04-09 cs.AI cs.LG
A simple method for domain adaptation of sentence embeddings
German Aerospace Center (DLR)（德国航空航天中心）
预训练的句子嵌入已被证明对各种NLP任务非常有用。由于训练这种嵌入需要大量数据，因此它们通常在各种文本数据上进行训练。在许多情况下，对特定领域的调整可以改善结果，但这种微调通常取决于问题，并存在过度适应用于调整的数据的风险。在本文中，我们提出了一个简单的通用方法，使用Siamese架构微调谷歌的通用句子编码器（USE）。我们演示了如何使用这种方法的各种数据集，并在不同的数据集代表类似的问题，目前的结果。该方法也比较传统的微调这些数据集。作为另一个优点，该方法可以用于组合具有不同注释的数据集。我们还提出了一个嵌入微调的所有数据集并行。
2020-08-25 cs.CL cs.LG
Cheap and Good? Simple and Effective Data Augmentation for Low Resource Machine Reading
University of Arizona（亚利桑那大学）；IBM Research（IBM研究院）
我们提出了一个简单而有效的策略，用于低资源机器阅读理解（MRC）的数据增强。我们的方法首先在包含正确答案的近似上下文的增强数据上预训练MRC系统的答案提取组件，然后在确切的答案跨度上训练它。近似上下文有助于QA方法组件缩小答案的位置。我们证明，我们简单的策略，通过提供更大的上下文的答案和额外的训练数据，大大提高了文档检索和答案提取性能。特别是，我们的方法显着提高性能的BERT为基础的检索器（15.12\%），和答案提取器（4.33\% F1）TechQA，一个复杂的，低资源的MRC任务。此外，我们的数据增强策略产生了显着的改善高达3.9\%的精确匹配（EM）和2.7\%的F1的答案提取PolicyQA，另一个实用的，但中等大小的QA数据集，也包含长的答案跨度。
2021-06-08 cs.AI cs.CL cs.LG
Reconstruction Attacks on Machine Unlearning: Simple Models are Vulnerable
Amazon AWS AI/ML（亚马逊AWS AI/ML）；University of Pennsylvania（宾夕法尼亚大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文揭示机器遗忘更新机制存在高精度重建攻击漏洞，即使线性回归等简单模型也会导致被删除数据被完整恢复，该攻击可推广至多种损失函数与架构并在多类数据集上得到验证。
2024-05-30 cs.CR cs.LG
Does the Model Say What the Data Says? A Simple Heuristic for Model Data Alignment
Department of Computer Science, The University of Texas at El Paso, El Paso, TX, USA（计算机科学系，德克萨斯理工大学埃尔帕索分校）；Department of Engineering Education and Leadership, The University of Texas at El Paso, El Paso, TX, USA（工程教育与领导力系，德克萨斯理工大学埃尔帕索分校）
本文提出一种计算高效的方法，评估机器学习模型是否与所学数据结构对齐。通过数据本身生成基准，结合二元分类任务中特征对结果组的分离程度，提供模型-数据对齐的可解释方法。
2025-12-05 cs.AI cs.LG
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology（瑞典皇家理工学院）；Univrses AB（Univrses公司）
我们提出了Dense FixMatch，这是一种简单的方法，用于密集和结构化预测任务的在线半监督学习，通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作，我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能，包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比，Dense FixMatch显著改善了结果，接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
A Simple Baseline for Travel Time Estimation using Large-Scale Trip Data
Pennsylvania State University（宾夕法尼亚州立大学）
世界各地越来越多的大规模轨迹数据为城市动态研究提供了丰富的信息。例如，纽约市出租车豪华轿车委员会定期发布他们监管的出租车旅行的来源-目的地信息。出租车数据提供了有关交通模式的信息，从而使城市流量的研究成为可能--在未来的某个日期和时间，两个地点之间的交通会是什么样子？现有的大数据方法试图在复杂性和算法复杂性方面超越对方。本着“大数据击败算法”的精神，我们提出了一个非常简单的基线，它优于最先进的方法，包括Bing地图和百度地图（其API允许大规模实验）。这样的行进时间估计基线具有若干重要用途，诸如导航（快速行进时间估计可以用作用于路径查找的A搜索变体的近似算法）和行程规划（其使用热门目的地的运营时间以及行进时间估计来创建行程）。
2015-12-28 cs.CY cs.LG
Simple data balancing achieves competitive worst-group-accuracy
CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；INRIA - PSL（法国国家信息与自动化研究所-巴黎文理研究大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）；INRIA（法国国家信息与自动化研究所）
我们研究学习分类器的问题，这些分类器在（已知或未知）数据组中表现良好。在观察到常见的最差组精度数据集存在严重的不平衡之后，我们开始将最先进的方法与通过子采样或重新加权数据来简单平衡类和组的方法进行比较。我们的研究结果表明，这些数据平衡基线达到了最先进的精度，同时训练更快，不需要额外的超参数。此外，我们强调，访问组信息对于模型选择来说是最关键的，而在训练过程中不是那么重要。总而言之，我们的研究结果要求更仔细地检查最坏组精度优化研究的基准和方法。
2022-02-18 cs.AI cs.CR cs.LG
A Simple Baseline for Domain Adaptation in End to End ASR Systems Using Synthetic Data
Flipkart（Flipkart公司）
自动语音识别（ASR）一直由基于深度学习的端到端语音识别模型主导。这些方法需要大量的音频文本对形式的标记数据。此外，与传统模型相比，这些模型更容易受到域转移的影响。通常的做法是训练通用ASR模型，然后使用相对较小的数据集使它们适应目标域。我们考虑一个更极端的情况下，域适应纯文本语料库。在这项工作中，我们提出了一个简单的基线技术域适应端到端的语音识别模型。我们使用单说话人文本转语音（TTS）引擎将纯文本语料转换为音频数据。然后，目标域中的并行数据用于微调通用ASR模型的最终密集层。我们表明，单扬声器合成TTS数据加上最后的密集层，只有微调提供了合理的改善字错误率。我们使用来自地址和电子商务搜索域的文本数据来显示我们的低成本基线方法对CTC和基于注意力的模型的有效性。
2022-06-22 cs.LG cs.SD eess.AS
A Simple yet Brisk and Efficient Active Learning Platform for Text Classification
American Family Insurance（美国家庭保险）
在这项工作中，我们建议使用一个完全管理的机器学习服务，它利用主动学习直接从非结构化数据构建模型。使用此工具，业务用户可以快速轻松地构建机器学习模型，然后直接将其部署到生产就绪的托管环境中，而无需数据科学家的过多参与。我们的方法利用了最先进的文本表示，如OpenAI的GPT2和主动学习工作流的快速实现，该工作流依赖于使用线性模型的增量学习的简单构建，从而为用户提供了一个活跃而高效的标签体验。在公开的和真实的保险数据集上的实验经验性地表明了为什么我们选择的简单快速的分类算法是手头任务的理想选择。
2021-01-31 cs.HC cs.IR cs.LG
