Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction
Tohoku University（东北大学）；RIKEN AIP（理化学研究所人工智能研究中心）
设计了用于远程监督关系抽取的双编码器架构，以利用在文本和知识图谱（KG）中发现的互补信息。然而，当前架构具有两个缺点。它们要么根本不允许文本编码器和KG编码器之间的任何共享，要么在具有KG到文本注意力的模型的情况下，只在一个方向上共享信息。在这里，我们介绍了十字绣双编码器，它允许通过十字绣机制在文本编码器和KG编码器之间进行充分的交互。交叉缝合机制允许在任何层的两个编码器之间共享和更新表示，共享量通过基于交叉注意的门动态控制。在两个不同领域的两个关系抽取基准测试上的实验结果表明，在两个编码器之间实现充分的交互会产生很大的改进。
2022-11-02 cs.CL cs.LG
Controlled Training Data Generation with Diffusion Models
Swiss Federal Institute of Technology Lausanne（瑞士联邦理工学院洛桑分校）
本研究提出结合两种反馈机制的引导式对抗提示方法，构建闭环系统控制文生图扩散模型生成高效监督学习训练数据，经多任务多场景验证优于开环方法。
2025-05-19 cs.CL cs.CV cs.LG
Controlling the Interaction Between Generation and Inference in Semi-Supervised Variational Autoencoders Using Importance Weighting
LIPN（巴黎第十三大学计算机科学实验室）；Université Sorbonne Paris Nord（索邦巴黎北大学）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
尽管变分自编码器（VAE）广泛用于半监督学习，但它们工作的原因仍不清楚。事实上，添加无监督目标通常被模糊地描述为正则化。这种正则化的强度通过在训练集的未标记部分上对目标进行向下加权来控制。通过对半监督VAE目标的分析，我们观察到它们使用学习的生成模型的后验来指导推理模型学习部分观察的潜变量。我们表明，鉴于这一观察结果，有可能获得更精细的控制的效果，无监督的目标上的训练过程。使用重要性加权，我们得到两个新的目标，优先考虑部分观察到的潜在变量，或未观察到的潜在变量之一。在IMDB英语情感分析数据集和AG News主题分类数据集上的实验显示了我们的优先级排序机制带来的改进，并表现出与我们对半监督VAE内部工作的描述相一致的行为。
2020-10-14 cs.CL cs.LG
From Minutes to Days: Scaling Intracranial Speech Decoding with Supervised Pretraining
Hospital Foundation Adolphe De Rothschild（阿道夫·德·罗斯柴尔德医院基金会）；CNRS（法国国家科学研究中心）；Meta AI
通过监督预训练扩展颅内语音解码，利用长期数据提升解码性能并解决跨天变化问题。
2025-12-17 cs.CL cs.SD q-bio.NC
Seeking Diverse Reasoning Logic: Controlled Equation Expression Generation for Solving Math Word Problems
Meituan（美团）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
为了解决数学应用题，人类学生利用不同的推理逻辑，达到不同的可能方程的解决方案。然而，自动求解器的主流序列到序列方法旨在解码由人类注释监督的固定解方程。在本文中，我们提出了一个控制方程生成求解器，利用一组控制代码来引导模型考虑一定的推理逻辑和解码相应的方程表达式转换从人类的参考。实验结果表明，我们的方法普遍提高了单未知（Math23K）和多未知（DRAW1K，HMWP）基准测试的性能，在具有挑战性的多未知数据集上的准确率大幅提高了13.2%。
2022-11-30 cs.CL
OLMo-Detect: A Multi-Stage, Confounder-Controlled Benchmark for Membership Inference on Large Language Models
The University of Melbourne（墨尔本大学）；Macquarie University（麦考瑞大学）
针对LLM成员推断基准的局限性，提出基于OLMo 2的多阶段、混杂因素受控基准OLMo-Detect，评估多种攻击，发现性能有限且受数据类型影响，对分布偏移不鲁棒。
2026-10-05 cs.CL
EBMs vs. CL: Exploring Self-Supervised Visual Pretraining for Visual Question Answering
University of Adelaide（阿德莱德大学）；Amazon（亚马逊）；Idiap Research Institute（Idiap研究所）
干净和多样的标记数据的可用性是训练模型进行复杂任务（如视觉问答（VQA））的主要障碍。对大型视觉和语言模型的大量研究表明，自监督学习对于预训练多模态交互是有效的。在这份技术报告中，我们专注于视觉表现。我们审查和评估自我监督方法，以利用未标记的图像并预训练模型，然后在自定义VQA任务上进行微调，以允许受控的评估和诊断。我们比较了基于能量的模型（EBM）和对比学习（CL）。虽然循证医学越来越受欢迎，但它们缺乏对下游任务的评估。我们发现EBM和CL都可以从未标记的图像中学习表示，从而能够在很少的注释数据上训练VQA模型。在一个类似于CLEVR的简单设置中，我们发现CL表示也提高了系统的泛化能力，甚至可以与来自更大的、有监督的、ImageNet预训练模型的表示的性能相匹配。然而，我们发现循证医学是难以训练，因为不稳定性和高变异性，在他们的结果。虽然EBM被证明对OOD检测有用，但基于监督的能量训练和不确定性校准的其他结果在很大程度上是负面的。总的来说，合作法目前似乎比循证医学更可取。
2022-06-29 cs.CL cs.CV cs.LG
Synthetically generated text for supervised text analysis
Michigan State University（密歇根州立大学）
针对监督文本模型应用中人工标注成本高、稀有样本难获取及版权隐私问题，提出用大语言模型可控生成合成文本的方案，给出技术选择指导、伦理讨论及质量提升方法，并通过三个应用验证其实用性。
2023-03-28 cs.CL
A Comparison of Semi-Supervised Learning Techniques for Streaming ASR at Scale
New York University（纽约大学）；Google Inc.（谷歌公司）
本文在大规模生产级流式ASR约束下，通过联合训练系统比较三类半监督文本与音频方法及其组合，证明其可同时降低WER与尾词WER、减少解码计算并提升lattice密度。
2023-04-19 cs.CL cs.SD eess.AS
Beyond Transfer Accuracy: Mechanism-Guided Controlled Adaptation for Low-Resource Languages
Monash University Indonesia（印度尼西亚墨尔本大学）；Institute Teknologi Bandung（Bandung理工大学）；MBZUAI（MBZUAI研究所）；Boston University（波士顿大学）
提出基于上下文分解的电路发现方法（CD-T），通过标签平衡激活均值和任务方向相关性评分实现无反事实电路发现，并利用电路目标监督微调（CT-SFT）在低资源跨语言情感迁移中最小化灾难性遗忘，优于全局微调。
2026-09-03 cs.AI cs.CL cs.LG
On the Robustness of Unsupervised and Semi-supervised Cross-lingual Word Embedding Learning
Universidade de Vigo（维戈大学）；Cardiff University（卡迪夫大学）
跨语言词嵌入是不同语言中的词的向量表示，其中具有相似含义的词由相似向量表示，而不管语言如何。最近的事态发展，这些嵌入对齐单语空间表明，可以获得准确的对齐很少或没有监督。然而，重点一直在一个特定的控制方案进行评估，并没有强有力的证据表明，目前的国家的最先进的系统将如何与嘈杂的文本或语言对有重大的语言差异。在本文中，我们提出了一个广泛的评估多种跨语言嵌入模型，分析其优势和局限性方面的不同变量，如目标语言，训练语料库和监督量。我们的结论质疑了高质量的跨语言嵌入总是可以在没有太多监督的情况下学习的观点。
2020-03-03 cs.CL
Multilingual Knowledge Graph Completion with Self-Supervised Adaptive Graph Alignment
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Amazon.com Inc（亚马逊公司）
预测知识图谱（KG）中缺失的事实至关重要，因为现代KG远未完成。由于劳动密集型的人类标记，这种现象在处理以各种语言表示的知识时恶化。在本文中，我们探讨了多语言KG完成，它利用有限的种子对齐作为桥梁，拥抱来自多种语言的集体知识。然而，在先前的工作中使用的语言对齐仍然没有被充分利用：（1）对齐对被平等地对待以最大限度地推动并行实体接近，这忽略了KG容量不一致;（2）种子对齐是稀缺的，并且新的对齐识别通常是以噪声无监督的方式。为了解决这些问题，我们提出了一种新的自监督自适应图对齐（SS-AGA）方法。具体地说，SS-AGA融合所有KG作为一个整体图，把对齐作为一个新的边缘类型。因此，可以通过关系感知注意力权重自适应地控制跨KG的信息传播和噪声影响。同时，SS-AGA具有一个新的对生成器，可以在自监督模式中动态捕获潜在的对齐对。在公共多语言DBPedia KG和新创建的工业多语言E-commerce KG上的大量实验经验地证明了SS-AG的有效性
2022-03-28 cs.AI cs.CL
Measuring the Impact of Individual Domain Factors in Self-Supervised Pre-Training
The University of Edinburgh（爱丁堡大学）；Meta AI
该研究通过对照实验拆解语音自监督预训练中各领域因素的作用，发现语音因素对预训练表征的语音识别性能影响显著，语法句法因素影响较弱，填补了相关研究空白。
2023-06-11 cs.CL cs.SD eess.AS
Controlled Text Reduction
Bar-Ilan University（巴伊兰大学）
生成源文本的精简版本，例如通用或重点摘要，本质上涉及两个不同的子任务：决定目标内容并生成传达该内容的连贯文本。虽然一些流行的方法将摘要作为单个端到端任务来处理，但著名的作品支持对各个子任务进行分解建模。此外，半自动文本缩减也非常有吸引力，其中用户可以识别目标内容，而模型将生成相应的连贯摘要。在本文中，我们专注于第二子任务，生成连贯的文本给定的预选内容。具体地说，我们将\textit{Controlled Text Reduction}形式化为一个独立的任务，其输入是一个带有目标内容标记跨度（“突出显示”）的源文本。然后，模型需要生成一个连贯的文本，其中包括所有且仅包括目标信息。我们提倡这种模型的潜力，无论是模块化的全自动摘要，以及半自动人在回路用例。为了促进适当的研究，我们为任务众包高质量的开发和测试数据集。此外，我们利用预训练的摘要-源对齐模型，从可用的摘要基准自动生成更大的“银色”训练数据集。最后，利用这些数据集，我们提出了一个监督基线模型，显示出有希望的结果和有见地的分析。
2022-10-24 cs.CL
Towards Improved Preference Optimization Pipeline: from Data Generation to Budget-Controlled Regularization
AWS Bedrock Science（AWS Bedrock 科学部门）
针对DPO偏好优化中数据质量差和训练不稳定的问题，提出迭代成对排序生成高质量偏好数据，并结合预算控制正则化，在两大基准上超越现有最先进模型。
2024-11-07 cs.AI cs.CL cs.LG
Controlled Text Generation with Natural Language Instructions
ETH Zürich（苏黎世联邦理工学院）
本文提出 InstructCTG 框架，将文本约束自动提取并表述为自然语言指令及示范来微调语言模型，在不改变解码过程的情况下灵活实现多约束受控生成，并支持少样本适应新约束。
2023-06-08 cs.AI cs.CL cs.LG
A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism
Monash University（莫纳什大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）；Pusan National University（釜山国立大学）
研究4B到8B规模小语言和视觉语言模型网络智能体中GRPO的效果，通过控制变量实验发现其在已掌握任务上无明显提升，解释了学习率导致失败的机制，表明该耦合与模型规模相关。
2026-07-15 cs.AI cs.CL
Why Supervised Fine-Tuning Fails to Learn: A Systematic Study of Incomplete Learning in Large Language Models
University of New South Wales（新南威尔士大学）；Tencent Hunyuan（腾讯文言）；Tencent Yuanbao（腾讯元宝）；UESTC（电子科技大学）；Peking University（北京大学）
本文系统研究了大语言模型微调中不完全学习现象，揭示了五个导致学习不完整的原因，并提出诊断优先框架和缓解策略，证明监督微调的局限性。
2026-04-24 cs.CL
Weakly Supervised Concept Map Generation through Task-Guided Graph Translation
Texas A&M University（德州农工大学）
近年来，概念图生成技术由于其在从自由文本中提供结构良好的知识摘要方面的优势而迅速发展。传统的无监督方法不会生成面向任务的概念图，而深度生成模型需要大量的训练数据。在这项工作中，我们提出了GT-D2 G（基于图转换的文档到图），这是一个自动概念图生成框架，它利用广义NLP管道来导出语义丰富的初始图，并在下游任务标签的弱监督下将它们转换为更简洁的结构。GT-D2 G生成的概念图可以为输入文本提供可解释的结构化知识摘要，通过人工评估和三个真实语料库的案例研究证明了这一点。在文档分类的下游任务上的进一步实验表明，GT-D2 G优于其他概念图生成方法。此外，我们具体验证了GT-D2 G在标签有效学习环境中的标签效率以及在受控超参数研究中生成的图形大小的灵活性。
2023-03-08 cs.AI cs.CL
The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation
Language Technology Lab University of Amsterdam（语言技术实验室 阿姆斯特丹大学）
本文通过132个翻译方向的受控实验，系统揭示了微调中语言多样性对翻译质量的非线性影响，并证明其通过形成语言无关表示提升性能。
2025-09-19 cs.CL
GraphGen: Enhancing Supervised Fine-Tuning for LLMs with Knowledge-Driven Synthetic Data Generation
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）；The Chinese University of Hong Kong（香港中文大学）
GraphGen提出知识图谱引导的合成数据生成框架，通过识别知识缺口和多跳采样，为LLM监督微调生成高质量问答数据，提升知识密集型任务性能。
2025-05-26 cs.AI cs.CL
BIRDTurk: Adaptation of the BIRD Text-to-SQL Dataset to Turkish
Roketsan Inc.（罗克桑公司）；Middle East Technical University（中东技术大学）
BIRDTurk是首个将BIRD文本到SQL基准适应到土耳其语的数据集，通过受控翻译流程保持SQL逻辑结构，评估了代理推理和监督微调在土耳其语中的表现，揭示了语言差异对性能的影响。
2026-02-03 cs.AI cs.CL cs.DB
