One of the key problems in multi-label text classification is how to take advantage of the correlation among labels. However, it is very challenging to directly model the correlations among labels in a complex and unknown label space. In this paper, we propose a Label Mask multi-label text classification model (LM-MTC), which is inspired by the idea of cloze questions of language model. LM-MTC is able to capture implicit relationships among labels through the powerful ability of pre-train language models. On the basis, we assign a different token to each potential label, and randomly mask the token with a certain probability to build a label based Masked Language Model (MLM). We train the MTC and MLM together, further improving the generalization ability of the model. A large number of experiments on multiple datasets demonstrate the effectiveness of our method.
A Novel Prompt-tuning Method: Incorporating Scenario-specific Concepts into a Verbalizer
School of Information and Electronics, Beijing Institute of Technology（北京理工大学信息与电子学院）；School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络空间安全学院）；Qi-AnXin Technology Group（奇安信科技集团）
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Meituan（美团）；International Innovation Center of Tsinghua University（清华大学国际创新中心）
Structured Prompt Optimization for Few-Shot Text Classification via Semantic Alignment in Latent Space
Northwestern University（西北大学）；Syracuse University（雪城大学）；University of Toronto（多伦多大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）
PromptRad: Knowledge-Enhanced Multi-Label Prompt-Tuning for Low-Resource Radiology Report Labeling
Department of Artificial Intelligence and AI Research Center, Chang Gung University（人工智能系及AI研究中心，长庚大学）；Department of Radiology, Sijhih Cathay General Hospital（放射科，西吉医院）；Department of Medical Imaging and Intervention, Chang Gung Memorial Hospital（医学影像与介入科，长庚纪念医院）；Department of Trauma and Emergency Surgery, Chang Gung Memorial Hospital（创伤与急诊外科，长庚纪念医院）；Department of Computer Science, National Tsing Hua University（计算机科学系，国立清华大学）
Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization
David R. Cheriton School of Computer Science（大卫·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）；ServiceNow Research（ServiceNow研究院）；University of British Columbia（不列颠哥伦比亚大学）
Prompted Zero-Shot Multi-label Classification of Factual Incorrectness in Machine-Generated Summaries
Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学）；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
Multi-label Few-shot ICD Coding as Autoregressive Generation with Prompt
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Department of Computer Science, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校计算机科学系）；Center for Healthcare Organization and Implementation Research, Veterans Affairs Bedford Healthcare System（退伍军人事务部贝德福德医疗系统医疗保健组织与实施研究中心）
自动国际疾病分类（ICD）编码旨在将多个ICD代码分配给平均超过3，000个标记的医疗记录。由于多标签分配的高维空间（155，000 + ICD代码候选者）和长尾挑战-许多ICD代码很少分配，但不常见的ICD代码在临床上很重要，因此这项任务具有挑战性。本研究通过将多标签分类任务转换为自回归生成任务来解决长尾挑战。具体来说，我们首先介绍了一种新的预训练目标，使用SOAP结构生成自由文本诊断和程序，医疗逻辑医生用于说明文档。其次，我们的模型不是直接预测ICD代码的高维空间，而是生成较低维的文本描述，然后推断ICD代码。第三，设计了一种新的多标签分类提示模板。我们评估我们的生成与提示模型与基准的所有代码分配（MIMIC-III-full）和Few Shot ICD代码分配评估基准（MIMIC-III-few）。在MIMIC-III-few上的实验表明，我们的模型在marco F1 30.2上的性能大大优于以前的MIMIC-III-full SOTA模型（marco F1 4.3）和专门为few/zero shot设置设计的模型（marco F1 18.7）。最后，我们设计了一个新的集成学习器，一个交叉注意reranker提示，集成以前的SOTA和我们最好的Few-Shot编码预测。MIMIC-III-full上的实验表明，我们的集成学习器大大提高了宏观和微观F1，分别从10.4到14.6…
An Information-theoretic Approach to Prompt Engineering Without Ground Truth Labels
Brigham Young University（杨百翰大学）
预先训练的语言模型从它们所训练的大量语料库中获得大量的语言和事实知识，并且提示工程试图将这些模型与特定任务相匹配。不幸的是，现有的提示工程方法需要大量的标记数据，访问模型参数，或两者兼而有之。本文介绍了一种新的选择提示模板\textit{without labeled examples}和\textit{without direct access to the model}的方法。具体来说，在一组候选模板，我们选择的模板，最大化的互信息之间的输入和相应的模型输出。在8个数据集，代表7个不同的NLP任务，我们表明，当一个模板具有高互信息，它也有高精度的任务。在最大的模型上，使用我们的方法选择提示可以获得从平均提示准确度到最佳提示准确度的90%，并且不需要真值标签。
Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）；Renmin University of China（中国人民大学）；Tencent Inc（腾讯公司）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；International Innovation Center of Tsinghua University（清华大学国际创新中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
GLaPE: Gold Label-agnostic Prompt Evaluation and Optimization for Large Language Model
College of Zhiyuan, Shanghai Jiao Tong University（上海交通大学致远学院）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Shanghai Key Laboratory of Trusted Data Circulation and Governance in Web3（上海市Web3可信数据流通与治理重点实验室）
L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs
Stevens Institute of Technology（史蒂文斯理工学院）；Hajee Mohammad Danesh Science & Technology University（哈吉·穆罕默德·达内什科学技术大学）；Noakhali Science & Technology University（诺阿卡利科学技术大学）；Amazon（亚马逊）
Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究院）；Stevens Institute of Technology（史蒂文斯理工学院）；Dalhousie University（达尔豪斯大学）
