Most previous methods for text data augmentation are limited to simple tasks and weak baselines. We explore data augmentation on hard tasks (i.e., few-shot natural language understanding) and strong baselines (i.e., pretrained models with over one billion parameters). Under this setting, we reproduced a large number of previous augmentation methods and found that these methods bring marginal gains at best and sometimes degrade the performance much. To address this challenge, we propose a novel data augmentation method FlipDA that jointly uses a generative model and a classifier to generate label-flipped data. Central to the idea of FlipDA is the discovery that generating label-flipped data is more crucial to the performance than generating label-preserved data. Experiments show that FlipDA achieves a good tradeoff between effectiveness and robustness -- it substantially improves many tasks while not negatively affecting the others.
Continual Few-shot Event Detection via Hierarchical Augmentation Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Ant Group（蚂蚁集团）
Use Random Selection for Now: Investigation of Few-Shot Selection Strategies in LLM-based Text Augmentation for Classification
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；University of Pittsburgh（匹兹堡大学）
Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification
Cardiff University（卡迪夫大学）
数据增强技术被广泛用于通过解决类不平衡问题和数据稀疏性来增强机器学习模型的性能。最先进的生成语言模型已被证明在不同的NLP任务中提供了显着的收益。然而，其适用性的文本分类任务在Few-Shot设置的数据增强尚未得到充分探讨，特别是对于专业领域。在本文中，我们利用GPT-2（Radford A et al，2019）来生成人工训练实例，以提高分类性能。我们的目的是分析种子训练样本的选择过程对GPT生成的样本质量以及分类器性能的影响。我们进行实验，几个种子选择策略，其中包括利用类层次结构和领域专家选择。我们的结果表明，在少数标签实例中微调GPT-2可以带来一致的分类改进并优于竞争基线。最后，我们表明，通过领域专家选择指导这一过程可以导致进一步的改进，这开辟了有趣的研究途径，结合生成模型和主动学习。
Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data Augmentation
National University of Singapore（新加坡国立大学）；Institute of Infocomm Research (I2R), A*STAR（新加坡科技研究局资讯通信研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Kriston AI Lab（Kriston人工智能实验室）
LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition
School of Computer Science, Fudan University（复旦大学计算机科学学院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Institute of Modern Languages and Linguistics, Fudan University（复旦大学现代语言与语言学研究所）
ProtSi: Prototypical Siamese Network with Data Augmentation for Few-Shot Subjective Answer Evaluation
Wenzhou Kean University（温州肯恩大学）
主观答案评价是一项费时、繁琐的工作，评价的质量受各种主观个人特征的影响很大。相反，机器评估可以有效地帮助教育工作者节省时间，同时确保评估是公平和现实的。然而，大多数使用常规机器学习和自然语言处理技术的现有方法通常受到缺乏注释答案和模型可解释性差的阻碍，使得它们不适合现实世界使用。为了解决这些挑战，我们提出了ProtSi网络，这是一种独特的半监督架构，首次使用少样本学习进行主观答案评估。ProtSi网络将由BERT和编码器层组成的Siamese网络与Prototype网络相结合，模拟评价者对答案进行评分的自然过程，从而实现对学生答案的相似性原型评价。我们采用了一个无监督的不同释义模型ProtAugment，以防止过拟合有效的Few-Shot文本分类。通过整合对比学习，可以缓解歧视性文本问题。在Kaggle Short Scoring数据集上的实验表明，ProtSi网络在准确性和二次加权Kappa方面优于最新的基线模型。
Demonstration Augmentation for Zero-shot In-context Learning
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
Exploring Data Augmentation Methods on Social Media Corpora
University of California, Berkeley（加州大学伯克利分校）
数据增强已被证明在计算机视觉中广泛有效。在自然语言处理（NLP）中，数据增强仍然是一个活跃的研究领域。目前还没有一种广泛接受的增强技术可以在任务和模型架构之间很好地工作。在本文中，我们探讨了数据增强技术的文本分类的背景下，使用两个社会媒体数据集。我们探索了流行的数据增强方法，从过采样、简易数据增强（Wei和Zou，2019）和反向翻译（Sennrich等人，2015）。我们还考虑灰度，一个相对未开发的数据增强技术，旨在减轻强度的形容词的例子。最后，我们考虑一种少样本学习方法：模式开发训练（PET）（Schick et al.，2020年）。对于实验，我们使用BERT Transformer架构。结果表明，增强技术只提供了最小的和不一致的改进。同义词替换提供了一些性能改进的证据，灰度化的形容词尺度是一个值得进一步探索的领域。少样本学习实验表明，与监督训练相比，少样本学习有一致的改进，当类很容易分离时，少样本学习似乎很有希望，但进一步的探索是有价值的。
Leveraging QA Datasets to Improve Generative Data Augmentation
University of California San Diego（加州大学圣地亚哥分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Meta AI Research（Meta人工智能研究院）；Halıcıoğlu Data Science Institute, University of California San Diego（加州大学圣地亚哥分校哈利哲奥卢数据科学研究所）
Augmenters at SemEval-2023 Task 1: Enhancing CLIP in Handling Compositionality and Ambiguity for Zero-Shot Visual WSD through Prompt Augmentation and Text-To-Image Diffusion
University of Maryland, College Park（马里兰大学帕克分校）；Duolingo, Inc.（多邻国公司）
Enhancing LLMs for Identifying and Prioritizing Important Medical Jargons from Electronic Health Record Notes Utilizing Data Augmentation: A Comparative Study
Miner School of Computer and Information Sciences, UMass Lowell, MA, USA（UMass Lowell 计算机与信息科学学院）；Manning College of Information and Computer Sciences, UMass Amherst, MA, USA（UMass Amherst 信息与计算机科学学院）；Center for Healthcare Organization and Implementation Research, VA Bedford Health Care, MA, USA（VA Bedford医疗中心医疗组织与实施研究中心）
Revisiting Self-Training for Few-Shot Learning of Language Model
National University of Singapore（新加坡国立大学）；Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Kriston AI Lab（Kriston人工智能实验室）
Gotta: Generative Few-shot Question Answering by Prompt-based Cloze Data Augmentation
University of California, Los Angeles（加州大学洛杉矶分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Univ of Technology Sydney（悉尼科技大学）；Amazon Search（亚马逊搜索）
