Structured prediction models for RNN based sequence labeling in clinical text
University of Massachusetts（马萨诸塞大学）；Bedford VAMC and CHOIR（贝德福德退伍军人医疗中心与CHOIR）
序列标记是一种广泛应用于非结构化自然语言数据的命名实体识别和信息抽取的方法。在临床领域，序列标记的一个主要应用涉及从电子健康记录叙述中提取医学实体，例如药物、适应症和副作用。在这个领域的序列标记，提出了自己的一套挑战和目标。在这项工作中，我们尝试了各种基于CRF的结构化学习模型和递归神经网络。我们扩展了先前研究的LSTM-CRF模型与显式建模的成对电位。我们还提出了一个近似版本的跳链CRF推理与RNN潜力。我们使用这些方法进行结构化预测，以提高准确的短语检测各种医疗实体。
2016-08-01 cs.CL
Evaluating Factual Consistency of Texts with Semantic Role Labeling
Heidelberg University（海德堡大学）
本文提出无参考评估指标SRLScore，利用语义角色标注构建事实元组并通过可调机制评分，在英文摘要数据集上表现出与最先进方法相当的竞争力及稳定的跨域泛化能力。
2023-05-22 cs.CL
Fine-Tuning BERT for Automatic ADME Semantic Labeling in FDA Drug Labeling to Enhance Product-Specific Guidance Assessment
Drexel University（德雷塞尔大学）；Center for Drug Evaluation and Research, United States Food and Drug Administration（美国食品药品监督管理局药品评估与研究中心）
美国食品药品监督管理局（FDA）推荐的产品特定指南（PSG）有助于促进和指导仿制药产品的开发。为了评估PSG，FDA评估员需要花费大量时间和精力从参考上市药物标签中手动检索吸收、分布、代谢和排泄（ADME）的支持性药物信息。在这项工作中，我们利用最先进的预训练语言模型自动标记FDA批准的药物标签中药代动力学部分的ADME段落，以促进PSG评估。我们应用迁移学习方法，通过微调预训练的双向编码器表示从Transformers（BERT）模型，开发了一种新的应用程序的ADME语义标注，它可以自动检索ADME段落从药品标签，而不是手动工作。我们证明，微调预训练的BERT模型可以优于传统的机器学习技术，实现高达11.6%的绝对F1改进。据我们所知，我们是第一个成功应用BERT来解决ADME语义标注任务的。我们进一步评估了预训练和微调对BERT模型在ADME语义标记任务中的整体性能的相对贡献，使用了一系列的分析方法，如注意力相似性和基于层的消融。我们的分析表明，通过微调学习的信息集中在BERT顶层的特定于任务的知识上，而预训练的BERT模型的好处来自底层。
2022-07-25 cs.AI cs.CL cs.LG
A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）；Beijing Institute of Technology（北京理工大学）；University of Southern California（南加利福尼亚大学）
观看教学视频通常用于了解程序。视频描述是自动收集这些知识的一种方式。然而，它只提供了一个间接的，多模态模型的整体评估，没有更细粒度的量化措施，他们学到了什么。相反，我们建议，从烹饪视频中提取的结构化程序知识的基准。这项工作是对现有任务的补充，但需要模型以动词-参数元组的形式产生可解释的结构化知识。我们的手动注释开放词汇资源包括356个教学烹饪视频和15，523个视频剪辑/烹饪级注释。我们的分析表明，所提出的任务是具有挑战性的和标准的建模方法，如无监督分割，语义角色标注，和视觉动作检测时，被迫预测每一个动作的程序在一个结构化的形式表现不佳。
2020-10-09 cs.CL cs.CV
Structured Summarization: Unified Text Segmentation and Segment Labeling as a Generation Task
Meta AI
文本分割的目的是将文本划分为连续的、语义连贯的片段，而片段标记处理为每个片段生成标签。过去的工作已经成功地解决了文档和对话的分割和标记问题。这可以通过特定于任务的管道、监督和无监督学习目标的组合来实现。在这项工作中，我们提出了一个单一的编码器-解码器神经网络，可以处理长文档和对话，同时训练分割和段标记使用标准的监督。我们成功地展示了一种方法来解决组合任务作为一个纯粹的生成任务，我们称之为结构化摘要。我们将相同的技术应用于文档和会话数据，并且在高资源和低资源设置下，我们展示了跨数据集的分割和标记的最新性能。我们的研究结果建立了一个强有力的情况下，考虑文本分割和段标记作为一个整体，并走向通用的技术，不依赖于领域的专业知识或特定任务的组件。
2022-09-28 cs.CL
Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）
当注释者标记数据时，质量保证的一个关键指标是注释者间一致性（IAA）：注释者在标签上达成一致的程度。虽然许多IAA措施存在简单的分类和顺序标签任务，相对较少的工作考虑了更复杂的标签任务，如结构化，多对象，和自由文本注释。Krippendorff的alpha以用于简单的标记任务而闻名，确实有一个基于距离的公式，具有更广泛的适用性，但很少有工作研究其在复杂注释任务中的有效性和一致性。我们调查的IAA措施的设计和评估复杂的注释任务，评估跨越七个不同的任务：图像边界框，图像关键点，文本序列标记，排名列表，自由文本翻译，数字向量和语法树。我们发现可解释性的困难和选择距离函数的复杂性是在这些任务中普遍应用克里彭多夫阿尔法的关键障碍。我们提出了两个新的，更可解释的措施，表明他们产生更一致的IAA措施跨任务和注释距离函数。
2022-12-15 cs.CL cs.LG
ConVEx: Data-Efficient and Few-Shot Slot Labeling
PolyAI Ltd（PolyAI有限公司）；University of Cambridge（剑桥大学）
我们提出了ConVEx（会话值提取器），这是一种有效的预训练和微调神经方法，用于槽标签对话任务。而不是依赖于更一般的预培训目标从以前的工作（例如，语言建模，响应选择），ConVEx的预训练目标，一种使用Reddit数据的新型成对完形填空任务，与其在序列标签任务上的预期用途非常一致。这使得通过简单地微调预训练的通用序列标记模型的解码层来学习特定于域的槽标记器，而预训练模型的大部分参数保持冻结。我们报告了ConVEx在一系列不同领域和数据集上的最新性能，用于对话框槽标记，在最具挑战性的Few-Shot设置中获得最大收益。我们认为ConVEx减少了预训练时间（即，在12个GPU上仅需18小时）和成本，以及其高效的微调和强大的性能，为数据高效的序列标记任务提供了更广泛的可移植性和可扩展性。
2021-06-07 cs.CL
Bringing Emerging Architectures to Sequence Labeling in NLP
Universidade da Coruña, CITIC（圣地亚哥大学，CITIC）；Graz University of Technology, IML（格拉茨技术大学，IML）
研究新兴架构在不同序列标注任务中的适应性，发现其在简单任务中的表现不适用于复杂任务和多语言场景。
2026-03-18 cs.CL
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练，为广泛的自然语言处理任务提供了强大的性能基础。然而，这种方法的适用性是未知的，当目标域从预训练语料库变化很大。我们特别感兴趣的场景是，标记数据仅在一个规范的源域（如newstext）中可用，而目标域与标记文本和预训练文本都不同。为了解决这种情况下，我们提出了域自适应微调，其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域：早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同，领域自适应微调在强BERT基线上产生了实质性的改进，在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是，域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
PromptRad: Knowledge-Enhanced Multi-Label Prompt-Tuning for Low-Resource Radiology Report Labeling
Department of Artificial Intelligence and AI Research Center, Chang Gung University（人工智能系及AI研究中心，长庚大学）；Department of Radiology, Sijhih Cathay General Hospital（放射科，西吉医院）；Department of Medical Imaging and Intervention, Chang Gung Memorial Hospital（医学影像与介入科，长庚纪念医院）；Department of Trauma and Emergency Surgery, Chang Gung Memorial Hospital（创伤与急诊外科，长庚纪念医院）；Department of Computer Science, National Tsing Hua University（计算机科学系，国立清华大学）
本文提出PromptRad，一种基于知识的多标签提示微调方法，用于在低资源环境下进行放射报告标注，通过引入UMLS元词典中的同义词增强类别表示，以更少的标注数据实现优于传统方法的性能。
2026-05-20 cs.AI cs.CL
Structured Prediction as Translation between Augmented Natural Languages
Amazon Web Services（亚马逊云服务）
我们提出了一个新的框架，增强自然语言之间的翻译（TANL），解决许多结构化的预测语言任务，包括联合实体和关系抽取，嵌套命名实体识别，关系分类，语义角色标注，事件提取，共指消解，对话状态跟踪。我们没有通过训练特定于任务的判别分类器来解决这个问题，而是将其视为增强自然语言之间的翻译任务，从中可以轻松提取任务相关信息。我们的方法可以匹配或优于所有任务的特定于任务的模型，特别是，在联合实体和关系抽取（CoNLL 04，ADE，NYT和ACE 2005数据集），关系分类（FewRel和TACRED），和语义角色标注（CoNLL-2005和CoNLL-2012）上实现了新的最先进的结果。我们在为所有任务使用相同的架构和超参数的同时实现了这一点，甚至在训练单个模型以同时解决所有任务（多任务学习）时也是如此。最后，我们表明，我们的框架也可以显着提高性能，在低资源制度，由于更好地使用标签语义。
2021-12-02 cs.CL cs.LG
Labeling supervised fine-tuning data with the scaling law
Shanghai AI Laboratory（上海人工智能实验室）
针对资源受限场景，本文提出经缩放定律校准的多阶段人工标注方法以获取高质量SFT数据，在多规格Qwen模型上微调后F1最高提升29.07，还开源了相关数据、权重与实验资源。
2024-08-16 cs.CL
Benchmarking Approximate Inference Methods for Neural Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
利用神经网络评分函数进行精确的结构化推理在计算上是具有挑战性的，但是已经提出了几种用于近似推理的方法。一种方法是直接相对于输出结构执行梯度下降（Belanger和McCallum，2016）。最近提出的另一种方法是训练一个神经网络（“推理网络”）来执行推理（Tu和Gimpel，2018）。在本文中，我们比较了这两个家庭的推理方法在三个序列标记数据集。我们选择序列标记，因为它允许我们使用精确推理作为速度，准确性和搜索错误方面的基准。在数据集上，我们证明了推理网络比梯度下降实现了更好的速度/准确度/搜索误差权衡，同时在相似的准确度水平下比精确推理更快。我们发现通过结合推理网络和梯度下降，使用前者为后者提供一个温暖的开始，进一步的好处。
2019-07-06 cs.AI cs.CL cs.LG
Supervised In-Context Fine-Tuning for Generative Sequence Labeling
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；CAIDAS, University of Würzburg（维尔茨堡大学 CAIDAS）
本文提出 SIFT，将序列标注建模为受约束响应生成并结合 ICL 与有监督微调，在多项标准任务上优于基线，还发现移除指令可缓解长上下文性能下降。
2025-10-20 cs.CL
ToPro: Token-Level Prompt Decomposition for Cross-Lingual Sequence Labeling Tasks
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Maryland（马里兰大学）
本文提出词元级提示分解（ToPro）方法，将输入句子分解为单个词元并应用提示模板，在零样本跨语言NER和POS任务上优于现有微调方法，并达到最先进性能。
2024-03-13 cs.CL
Structured Prompt Tuning
National Taiwan University（台湾大学）；Meta AI
我们提出了结构化提示微调，一个简单而有效的方法来改善提示微调。我们通过超网络生成软提示嵌入，而不是将一系列可调嵌入前置到输入中。我们的方法包含了标准的提示微调，在模型设计中允许更大的灵活性，并且可以应用于单任务和多任务训练设置。根据经验，与标准提示微调相比，结构化提示微调在GLUE基准上显示出+1.2 $1. 5点的增益，并且对学习率的变化不太敏感。
2022-05-24 cs.CL
Hateful Meme Detection through Context-Sensitive Prompting and Fine-Grained Labeling
National University of Singapore（新加坡国立大学）
提出一个端到端概念框架，通过整合模态、上下文敏感提示、细粒度标注与微调优化多模态仇恨模因检测，实现最高准确率和AUROC。
2024-11-13 cs.AI cs.CL cs.CV
Improving Mispronunciation Detection with Wav2vec2-based Momentum Pseudo-Labeling for Accentedness and Intelligibility Assessment
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Northern Arizona University（北亚利桑那大学）；Pennsylvania State University（宾夕法尼亚州立大学）
当前领先的发音错误检测和诊断（MDD）系统通过端到端音素识别实现了有前途的性能。这种端到端解决方案的一个挑战是自然L2语音上人类注释的音素的稀缺性。在这项工作中，我们通过伪标记（PL）程序利用未标记的L2语音，并基于预训练的自监督学习（SSL）模型扩展微调方法。具体来说，我们使用Wav 2 vec 2.0作为我们的SSL模型，并使用原始标记的L2语音样本加上创建的伪标记L2语音样本对其进行微调。我们的伪标签是动态的，由在线模型的集成动态生成，这确保了我们的模型对伪标签噪声具有鲁棒性。我们发现，微调与伪标签实现了5.35%的音素错误率降低和2.48%的MDD F1分数提高标记样本的微调基线。建议的PL方法也被证明优于传统的离线PL方法。与最先进的MDD系统相比，我们的MDD解决方案可以产生更准确和一致的语音错误诊断。此外，我们对一个单独的UTD-4Accents数据集进行了开放测试，其中我们的系统识别输出显示出与人类感知的强相关性，基于重音和可理解性。
2022-07-12 cs.CL cs.LG eess.AS
StreamHear: Domain-Adapted Pseudo-Labeling for Semi-Supervised Streaming Speech Recognition
Capital One（第一资本金融公司）
针对流式ASR的领域偏移问题，提出StreamHear半监督方法，通过微调离线教师生成伪标签并结合先验正则化重对齐，在四个数据集上性能优于有监督微调且缩小与离线教师的差距。
2026-08-17 cs.CL eess.AS
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF: A Reproducibility Study
The Ohio State University（俄亥俄州立大学）
本文复现了 Ma 和 Hovy 提出的 BiLSTM-CNN-CRF 端到端序列标注架构，结合 CNN、BiLSTM 和 CRF 免除手工特征，在 CoNLL-2003 NER 上达到 91.18% F1 分数，并开源了 PyTorch 实现。
2025-10-13 cs.CL cs.LG
Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
OptAI Inc.（OptAI公司）
提出MeSP方法，通过手动推导利用LoRA低秩结构的反向传播，在计算数学等价梯度的同时平均减少49%内存，使内存受限设备上的微调成为可能。
2026-05-29 cs.CL cs.LG
Improving Transfer Learning for Sequence Labeling Tasks by Adapting Pre-trained Neural Language Models
FACULTY OF ELECTRICAL ENGINEERING AND COMPUTING（电气工程与计算学院）；University of Zagreb, Faculty of Electrical Engineering and Computing（Zagreb大学电气工程与计算学院）；Department of Electronics, Microelectronics, Computer and Intelligent systems（电子、微电子、计算机和智能系统系）；Text Analysis and Knowledge Engineering Laboratory (TakeLab)（文本分析与知识工程实验室）
本论文通过多任务学习、架构修改和生成式上下文微调三种方法适配预训练语言模型，以提升序列标注任务的迁移学习效果。
2025-10-22 cs.CL
Comparative Evaluation of Prompting and Fine-Tuning for Applying Large Language Models to Grid-Structured Geospatial Data
Argonne National Laboratory（阿贡国家实验室）
本文比较了提示与微调两种方法在大型语言模型处理网格地理空间数据上的效果，发现微调更利于结构化时空推理。
2025-05-21 cs.CL cs.ET
Automated Instruction Revision (AIR): A Structured Comparison of Task Adaptation Strategies for LLM
Eleks Ltd.（Eleks有限公司）；Ukrainian Catholic University（乌克兰天主教大学）
本文研究了基于规则归纳的自动化指令修订（AIR）方法，用于在有限任务特定示例下适应大语言模型。通过比较多种适应策略在不同基准测试中的表现，发现任务依赖性显著，无单一方法在所有情况下占优。
2026-04-10 cs.CL cs.LG
Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
University of California, Los Angeles（加州大学洛杉矶分校）
提出局部化LoRA框架，通过结构化块上的低秩组合实现密集局部更新，在相同参数预算下降低近似误差，提升微调性能。
2025-09-23 cs.AI cs.CL cs.LG
Improving Joint Training of Inference Networks and Structured Prediction Energy Networks
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；New York University（纽约大学）
基于深度能量的模型很强大，但对学习和推理构成了挑战（Belanger和McCallum，2016）。Tu和Gimpel（2018）通过训练“推理网络”来近似结构化推理，而不是使用梯度下降，为基于能量的模型开发了一个有效的框架。然而，他们的交替优化方法在训练过程中存在不稳定性，需要额外的损失项和仔细的超参数调整。在本文中，我们提供了几种策略来稳定和改进这种用于结构化预测的能量函数和推理网络的联合训练。我们设计了一个复合目标，共同训练成本增加和测试时间推理网络以及能量函数。我们提出了联合参数化的推理网络，鼓励他们在学习过程中捕捉互补的功能。我们经验验证我们的策略在两个序列标签任务，显示更容易的路径比以前的工作，以及进一步改善与全球能源方面的强劲表现。
2020-10-10 cs.CL cs.LG
Efficient Sequence Labeling with Actor-Critic Training
University of Alberta（阿尔伯塔大学）；Google（谷歌）
序列标记的神经方法通常使用条件随机场（CRF）来建模其输出依赖关系，而递归神经网络（RNN）用于其他任务中的相同目的。我们着手建立RNN作为CRF的一个有吸引力的替代品，用于序列标记。为此，我们解决了RNN最突出的缺点之一，即它在最大似然训练中不会暴露于自己的错误。我们将输出序列的预测框定为一个顺序决策过程，其中我们使用调整的演员-评论家算法（AC-RNN）训练网络。我们全面比较了这种策略与RNN和CRF在三个结构化输出任务上的最大似然训练。所提出的AC-RNN有效地匹配了CRF在NER和CCG标记上的性能，并且在机器音译上优于CRF。我们还表明，我们的训练策略明显优于解决RNN暴露偏差的其他技术，例如计划采样和自我批评策略训练。
2018-09-30 cs.AI cs.CL cs.LG
Deep Embedding for Spatial Role Labeling
本文介绍了单词的视觉信息嵌入（VIEW），这是一种从使用Microsoft COCO数据集训练的深度神经模型中提取的单词的连续矢量表示，用于预测视觉对象之间的空间排列，并给出了文本描述。该模型由堆叠在长短期记忆（LSTM）网络顶部的深层多层感知器（MLP）组成，后者之前是嵌入层。应用VIEW将多模态背景知识转化为空间角色标注（SpRL）算法，识别文本中提到的对象之间的空间关系。这项工作也有助于一个新的方法来选择互补功能和微调方法MLP，提高了$F1$措施，在分类的话到空间的角色。VIEW使用SemEval-2013基准数据集SpaceEval的任务3进行评估。
2016-03-28 cs.CL cs.CV cs.LG
SSVD-O: Parameter-Efficient Fine-Tuning with Structured SVD for Speech Recognition
KU Leuven（卢森堡大学）；Carnegie Mellon University（卡内基梅隆大学）
SSVD-O通过结合输入和输出特征空间的结构SVD引导微调，实现高效语音识别模型的参数高效微调，提升泛化能力和减少灾难性遗忘。
2026-01-18 cs.CL cs.LG cs.SD
Automatic Labeling for Entity Extraction in Cyber Security
Oak Ridge National Laboratory（橡树岭国家实验室）
及时分析网络安全信息需要从非结构化文本中自动提取信息抽取。虽然现有技术的提取方法产生非常准确的结果，但它们需要充足的训练数据，这通常不可用于专门的应用，例如检测安全相关实体;此外，语料库的手动注释非常昂贵，并且通常不是可行的解决方案。作为回应，我们开发了一种非常精确的方法，通过利用相关的、特定于领域的结构化数据来自动标记来自多个数据源的文本，并提供对用网络安全实体注释的语料库的公共访问。接下来，我们实现了一个最大熵模型，该模型使用我们语料库的一部分（$\sim$ 750，000个单词）的平均感知器进行训练，并实现了近乎完美的精确度，召回率和准确度，训练时间在17秒以内。
2014-06-09 cs.CL cs.IR
Learning Approximate Inference Networks for Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
结构化预测能量网络（SPENs; Belanger & McCallum 2016）使用神经网络架构来定义能量函数，这些函数可以捕获结构化输出部分之间的任意依赖关系。先前的工作使用梯度下降进行推理，将结构化输出放松为一组连续变量，然后优化与它们相关的能量。我们用一个经过训练的神经网络来近似结构化的argmax推理，来代替梯度下降。这个“推理网络”输出连续值，我们将其视为输出结构。我们为结构化能量函数和推理网络的联合训练开发了大幅度的训练标准。在多标签分类方面，我们报告与Belanger et al，2017相比，速度提高了10- 60倍，同时也提高了准确性。对于具有简单结构化能量的序列标记，我们的方法执行精确推理，同时在测试时更快。然后，我们证明了提高的准确性，通过增加能量与“标签语言模型“，整个输出标签序列的分数，表明它可以提高处理的长距离依赖性的词性标记。最后，我们展示了如何推理网络可以取代动态规划的测试时间推断条件随机场，建议他们的一般用途，在结构化设置的快速推理。
2018-03-09 cs.CL cs.LG stat.ML
Group and Shuffle: Efficient Structured Orthogonal Parametrization
HSE University（高等经济大学）；AIRI（人工智能研究所）；Steklov Mathematical Institute RAS（俄罗斯科学院斯捷克洛夫数学研究所）
针对正交微调的参数与计算效率问题，本文提出统一并推广既有结构类别的新型结构化矩阵及正交参数化，并在扩散模型、语言模型和1-Lipschitz网络中验证其效果。
2024-06-14 cs.AI cs.CL cs.CV
Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Reliable Response Generation in Chinese
Harbin Institute of Technology（哈尔滨工业大学）
针对大语言模型在医疗场景易生成事实幻觉的问题，提出基于结构化医学知识库的知识调优方法，发布中文医学知识问答数据集cMedKnowQA，实验证明该方法比普通指令调优准确率更高，为大模型领域适配提供新途径。
2023-09-08 cs.AI cs.CL
Multi-Task Learning for Joint Semantic Role and Proto-Role Labeling
Columbia University（哥伦比亚大学）；University of Gothenburg（哥德堡大学）；University of Washington（华盛顿大学）
我们提出了一个端到端的多步骤机器学习模型，该模型将语义角色和Dowty（1991）的原型角色联合标注，给定一个句子和其中的谓词。我们最好的架构首先学习参数跨度，然后学习参数的语法中心。该信息与用于预测语义角色和原型角色的后续步骤共享。我们还尝试了从论点和头部预测到角色和原型角色标记的迁移学习。我们比较使用静态和上下文嵌入的单词，参数和句子。与以前的工作不同，我们的模型不需要预先训练或微调额外的任务，除了使用现成的（静态或上下文）嵌入和监督。它也不需要参数跨度，它们的语义角色和/或它们的黄金句法头作为额外的输入，因为它在训练过程中学会预测所有这些。我们的多任务学习模型为大多数原型角色提出了最先进的预测。
2022-10-13 cs.CL
Chinese Sequence Labeling with Semi-Supervised Boundary-Aware Language Model Pre-training
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出融合有监督高质量边界信息的半监督边界感知 BABERT，并设计无需微调的边界信息度量，实验表明其在中文序列标注及自然语言理解任务上优于原始模型。
2024-04-08 cs.CL
High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning
Northeastern University, China（东北大学）；CIS, LMU Munich, Germany（慕尼黑大学计算机科学系）；Shandong University, China（山东大学）；Munich Center for Machine Learning (MCML), Germany（慕尼黑机器学习中心）
SMoA通过高秩结构调制在减少可训练参数的同时提升模型代表能力，优于LoRA在多个任务上表现更优。
2026-01-12 cs.CL
RePrompT: Recurrent Prompt Tuning for Integrating Structured EHR Encoders with Large Language Models
University of Kansas（堪萨斯大学）
RePrompT通过循环整合结构化EHR编码器与大语言模型，解决时间序列信息丢失和代码身份模糊问题，提升临床预测性能。
2026-04-20 cs.AI cs.CL
Knowledge Graph-Infused Fine-Tuning for Structured Reasoning in Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）；New York University（纽约大学）；Shanghai Jiao Tong University（上海交通大学）
针对大型语言模型处理结构化知识任务时推理链缺失和实体语义理解不足的问题，提出知识图谱注入的微调框架，融合图神经网络编码的结构知识与语言模型上下文表示，通过门控机制平衡语义与知识贡献，提升了结构化推理任务的性能与稳定性。
2025-08-20 cs.CL
ELMTEX: Fine-Tuning Large Language Models for Structured Clinical Information Extraction. A Case Study on Clinical Reports
Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息科技研究所）
本研究通过微调较小的大语言模型，从非结构化临床报告中提取结构化信息，达到或超越大型模型性能，并构建了含6万英文及2.4万德文注释的数据集，验证了方法的可行性与资源效率。
2025-02-08 cs.AI cs.CL
SSVD: Structured SVD for Parameter-Efficient Fine-Tuning and Benchmarking under Domain Shift in ASR
Department of Electrical Engineering KU Leuven Leuven, Belgium（电气工程系 卡尔·冯·特里尔大学 布鲁塞尔，比利时）；Language Technologies Institute Carnegie Mellon University Pittsburgh, PA, USA（语言技术研究所 哈佛大学 贝尔蒙特，美国）
本研究针对语音领域PEFT方法验证不足的问题，在ESPnet中整合基准测试多种PEFT变体，提出SSVD微调方法，通过固定输出相关奇异向量保留语义映射，在域偏移语音识别任务上实现高效鲁棒适配并开源实现。
2025-09-02 cs.CL eess.AS
Low-Resource Fine-Tuning for Multi-Task Structured Information Extraction with a Billion-Parameter Instruction-Tuned Model
National Tsing Hua University（台湾清华大学）；Accton Technology Corporation（智邦科技公司）；University of Taipei（台北市立大学）
本研究提出ETLCH，一个基于LLaMA的十亿参数模型，通过低秩适配在少量样本上微调，用于多任务结构化信息抽取，以低计算成本实现稳定准确输出。
2025-09-10 cs.AI cs.CL
DrugImproverGPT: A Large Language Model for Drug Optimization with Fine-Tuning via Structured Policy Optimization
Department of XXX, University of YYY, Location, Country；School of ZZZ, Institute of WWW, Location, Country
本研究针对药物优化问题，提出DrugImprover框架及SPO算法微调LLM生成模型，在保留药物有益性质的同时提升目标性能，还构建了含100万化合物的数据集，评估证明了方法有效性。
2025-02-11 cs.CL cs.LG q-bio.BM
BITS Pilani at SemEval-2026 Task 9: Structured Supervised Fine-Tuning with DPO Refinement for Polarization Detection
Birla Institute of Technology and Science, Pilani, India（比拉理工学院和科学学院，瓦拉纳西，印度）
本文提出结合结构化监督微调与 DPO 细调的方法，用于社交媒体文本中的极化检测，通过 LoRA 微调 Qwen 2.5-7B-Instruct 并利用自动偏好对减少误判，最终在英文测试集上达到 0.7664 的 Macro-F1 分数。
2026-05-07 cs.CL
Keep the General, Inject the Specific: Structured Dialogue Fine-Tuning for Knowledge Injection without Catastrophic Forgetting
Shanghai Jiao Tong University（上海交通大学）；Ant Security Lab, Ant Group（蚂蚁集团安全实验室）
针对大型视觉语言模型注入专业知识时易引发灾难性遗忘的困境，提出结构化对话微调（SDFT）方法，通过基础保持、对比消歧和知识专业化三阶段对话结构，在注入领域知识的同时有效保持通用能力。
2025-04-27 cs.AI cs.CL
Data-efficient Active Learning for Structured Prediction with Partial Annotation and Self-Training
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种结合部分标注与自训练的主动学习方法，利用误差估计器自适应决定部分选择比例，在四个结构化预测任务中有效降低了标注成本。
2023-10-19 cs.CL
Exploring In-Context Learning for Frame-Semantic Parsing
Facultad de Ingeniería, Universidad de la República（工程学院，乌拉圭共和国大学）
本研究探索用大语言模型的上下文学习免微调完成框架语义解析，提出仅靠FrameNet自动生成子任务提示的方法，在暴力事件相关框架子集上取得了有竞争力的F1成绩，为领域特定FSP提供了实用替代方案。
2025-07-30 cs.CL
NCL-UoR at SemEval-2026 Task 5: Embedding-Based Methods, Fine-Tuning, and LLMs for Word Sense Plausibility Rating
Independent Researcher（独立研究者）；Department of Computer Science, University of Reading（阅读大学计算机科学系）；School of Computing, Newcastle University（新castle大学计算学院）
本文比较了三种方法：基于嵌入的方法、Transformer微调和大语言模型提示，发现结构化提示优于微调和嵌入方法，提示设计比模型规模更重要。
2026-05-08 cs.CL
OrthoGeoLoRA: Geometric Parameter-Efficient Fine-Tuning for Structured Social Science Concept Retrieval on theWeb
University of Surrey（萨里大学）；Washington State University（华盛顿州立大学）；University of Oxford（牛津大学）；New York University Shanghai（纽约大学上海分校）；University College London（伦敦大学学院）
OrthoGeoLoRA通过几何约束改进低秩适应，实现更高效的参数微调，提升社会科学概念检索性能。
2026-01-14 cs.CL
Fine-tuning Small Language Models as Efficient Enterprise Search Relevance Labelers
Microsoft（微软）
本文提出通过微调小型语言模型实现高效企业搜索相关性标注，利用合成数据生成提升标注质量和吞吐量，比大型模型更高效且成本更低。
2026-01-06 cs.AI cs.CL cs.IR
Mapping the Course for Prompt-based Structured Prediction
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出结合大语言模型与组合推理，提升结构预测的准确性和一致性，并通过实验验证符号推理在下游任务中的有效性。
2026-03-26 cs.AI cs.CL
