Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning
University of Amsterdam(阿姆斯特丹大学)
本文提出一种结合上下文学习与人类调查数据的简单方法,在推理时调整大语言模型响应,以提升其在多种语言和文化背景下的文化价值观对齐,并在5个模型中验证了有效性。
2025-09-08 cs.CL
Dynamic Alignment for Collective Agency: Toward a Scalable Self-Improving Framework for Open-Ended LLM Alignment
Integral AI
本文提出动态对齐框架,通过集体代理价值实现LLM的自我改进和可扩展对齐。
2025-12-05 cs.AI cs.CL
Self-Play with Adversarial Critic: Provable and Scalable Offline Alignment for Language Models
Princeton University(普林斯顿大学);UW-Madison(威斯康星大学麦迪逊分校)
本文提出SPAC方法,将自博弈与平均悲观技术结合,首次实现可证明且可扩展的LLM离线偏好对齐,并在7B Mistral模型上验证了其有效性。
2024-06-06 cs.AI cs.CL cs.LG
Anchored Alignment for Self-Explanations Enhancement
Technische Universität Berlin(柏林工业大学);Deutsche Telekom AG(德国电信股份公司)
本文提出一种锚定偏好对对齐方法,通过分类模型输出并定制策略改进DPO,在无需标注理由的情况下提升LLM自我解释质量并保持准确性。
2024-10-17 cs.AI cs.CL
Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping
Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室)
本文探讨了多次 bootstrapping 自对齐对 LLMs 的影响,发现其优于单轮方法,并提出 SOFT 及 SOFT+ 方法利用模型少样本能力提升零/单样本性能,有效增强了模型对齐效果。
2024-06-27 cs.AI cs.CL
A Theoretical Understanding of Self-Correction through In-context Alignment
School of EECS, Peking University(北京大学电子工程与计算机科学学院);School of Mathematical Sciences, Peking University(北京大学数学科学学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);TU Munich(慕尼黑工业大学);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本研究从上下文学习的角度理论分析了大型语言模型的自纠正能力,揭示了softmax注意力、多头注意力及MLP块等关键设计的作用,并验证了其在防御LLM越狱等任务中的有效性。
2024-11-18 cs.CL cs.LG stat.ML
SPA: Achieving Consensus in LLM Alignment via Self-Priority Optimization
University of Notre Dame(诺特大学)
本文提出自优先级对齐(SPA)框架,通过无监督生成、自我评估与双标准去噪构建“先可信后有帮助”的偏好对,并以不确定性加权损失微调模型,在多个基准上实现不损害安全性的有帮助性提升。
2025-11-09 cs.CL cs.CY
Direct Large Language Model Alignment Through Self-Rewarding Contrastive Prompt Distillation
Tsinghua University(清华大学);Apple(苹果公司)
针对无人工标注偏好数据的大语言模型对齐问题,提出基于对比提示对的偏好评估与自奖励的DLMA方法,结合DPO算法实现对齐,性能超越RLHF。
2024-08-15 cs.CL
SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models
Massachusetts Institute of Technology(麻省理工学院);Meta FAIR
针对大语言模型上下文归因的引用生成问题,提出自监督方法SelfCite,通过上下文消融获取模型自身的奖励信号,用于推理采样和偏好优化,在长文本问答基准上显著提升引用F1值。
2025-06-15 cs.AI cs.CL cs.LG
ContraSolver: Self-Alignment of Language Models by Resolving Internal Preference Contradictions
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
本文提出 ContraSolver 算法,通过构建偏好图并解决内部偏好矛盾,实现大型语言模型的无监督自对齐,在多个生成任务上显著提升模型性能。
2024-06-13 cs.CL
SAIL: Self-Improving Efficient Online Alignment of Large Language Models
J.P. Morgan Chase AI Research(摩根大通AI研究院);Princeton University(普林斯顿大学);University of Central Florida(中佛罗里达大学);University of Maryland(马里兰大学)
针对大语言模型离线对齐依赖固定数据集性能受限、在线对齐缺乏统一框架且有分布偏移的问题,提出基于双层优化简化而来的SAIL在线自改进对齐方法,以低开销显著提升了开源数据集上的对齐效果。
2024-06-21 cs.AI cs.CL cs.LG
Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning
JIUTIAN Research, China Mobile, Beijing, China(JIUTIAN研究, 中国移动, 北京);National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室, 南京大学)
PASMR通过基准语言自反馈机制提升多语言数学推理能力,解决LLMs在多语言环境下的性能下降问题。
2026-01-25 cs.CL
Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation
Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出面向事实性的 LLM 自对齐方法,通过 Self-Eval 与 SK-Tuning 生成自评估偏好信号并以 DPO 微调,显著提升 Llama 模型在 TruthfulQA 和 BioGEN 上的事实准确性。
2024-06-11 cs.AI cs.CL
Human-Instruction-Free LLM Self-Alignment with Limited Samples
Northwestern University(西北大学);ByteDance Research(字节跳动研究院);Fudan University(复旦大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出一种无需人工指令和标注奖励的 LLM 自对齐算法,通过检索高质量样本生成更多数据并迭代微调,在有限样本下实现安全、真实和指令遵循等领域的对齐。
2024-01-06 cs.AI cs.CL
I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);BAAI(北京智源人工智能研究院);University of Waterloo(滑铁卢大学);M-A-P;The University of Manchester(曼彻斯特大学);Peking University(北京大学)
本文提出I-SHEEP迭代自我增强范式,使大语言模型从零开始持续自我对齐,在Qwen和Llama上显著提升性能,最大相对提升78.2%,并超越基础模型于多项基准任务。
2024-12-17 cs.CL
Self-QA: Unsupervised Knowledge Guided Language Model Alignment
Du Xiaoman Financial(度小满金融)
本文提出Self-QA框架,利用无监督知识替代人工编写指令种子,使语言模型自动生成正确且领域特定的指令数据,有效解决指令微调中监督数据构建成本高、质量难控的问题。
2023-05-19 cs.CL
Stealth Fine-Tuning: Efficiently Breaking Alignment in RVLMs Using Self-Generated CoT
Machine Intelligence Laboratory, Sichuan University(四川大学人工智能实验室);University of Wisconsin--Madison(威斯康星大学麦迪逊分校);Department of Automation, Tsinghua University(清华大学自动化系);Global Innovation Exchange, Tsinghua University(清华大学全球创新交流中心)
本文提出隐形微调方法,通过分段干扰和自动生成输出,有效绕过RVLMs的安全对齐防御,实现更高的ASR性能同时保持推理能力。
2026-03-07 cs.CL
SHARD: Safe and Helpful Alignment via Self-Reframing Distillation
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
提出SHARD方法,通过哲学准则重构敏感提示以暴露良性意图,并自我重构响应,在保持安全性的同时提升帮助性。
2026-09-03 cs.CL
Mitigating Object and Action Hallucinations in Multimodal LLMs via Self-Augmented Contrastive Alignment
Graduate Institute of Communication Engineering, National Taiwan University(国家交通大学通信工程研究所);NVIDIA
SANTA框架通过自增强对比对齐方法,有效缓解多模态大语言模型中的对象和动作幻觉问题。
2025-12-04 cs.AI cs.CL cs.CV
NeuroFaith: Evaluating LLM Self-Explanation Faithfulness via Internal Representation Alignment
Sorbonne Université, CNRS, LIP6(索邦大学、国家科学研究中心、LIP6实验室);Mila - Quebec AI Institute, Université de Montréal(魁北克人工智能研究院、蒙特利尔大学)
NeuroFaith通过内部表示对齐评估LLM自解释的忠实性,提出了一种灵活的框架和线性探针以提高模型的解释可信度。
2026-01-29 cs.CL
Self-Pluralising Culture Alignment for Large Language Models
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
提出CultureSPA框架,通过生成文化问题、比较文化感知与无文化感知输出收集实例并微调模型,实现LLMs对多元文化的对齐,显著提升文化对齐能力且不损害一般能力。
2024-10-16 cs.CL
Improving Alignment in LVLMs with Debiased Self-Judgment
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出一种基于模型内部生成的去偏自评判分数的方法,使LVLM无需外部资源即可自主改进对齐,减少幻觉并提升安全性和整体能力。
2025-09-11 cs.CL cs.CV
Latent Confidence Alignment for LLM Self-Assessment
Department of Information Management(信息管理系);National Sun Yat-Sen University(国立中山大学);Kaohsiung Medical University Hospital(高雄医学大学附设医院);Kaohsiung Medical University(高雄医学大学)
提出基于Rasch模型的潜在置信对齐误差(LCAE)来评估LLM自我评估与潜在错误概率的一致性,并引入项目难度作为外部信号,实验表明该方法在不影响模型能力的情况下提升自我评估质量。
2026-06-23 cs.AI cs.CL cs.CY
Persona-judge: Personalized Alignment of Large Language Models via Token-level Self-judgment
Zhejiang University(浙江大学);Angelalign Technology Inc.(Angelalign技术公司);Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence(浙江省医学影像人工智能重点实验室)
本文提出 Persona-judge 判别式范式,利用草稿模型与判断模型在 token 级进行偏好交叉验证,无需训练或外部奖励即可实现对未见偏好的低成本个性化对齐。
2025-06-11 cs.AI cs.CL
Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment
The Hong Kong University of Science and Technology(香港科学与技术大学);Huawei Noah’s Ark Lab(华为诺亚实验室);Southern University of Science and Technology(南方科技大学)
针对LLMs自我对齐挑战,提出MoTE框架,通过结合四阶段结构化推理链与步骤级路由的多LoRA专家混合架构,显著提升模型安全性、抗越狱与过度拒绝能力,性能媲美OpenAI o1模型。
2025-06-01 cs.AI cs.CL
SelfKG: Self-Supervised Entity Alignment in Knowledge Graphs
Tsinghua University(清华大学);Bosch Center for AI(博世人工智能中心)
实体对齐是构建网络规模知识图的基本问题,其目的是在不同的知识图谱中识别等价实体。在其发展过程中,标签监督被认为是准确对齐所必需的。受自监督学习最新进展的启发,我们探讨了实体对齐可以在多大程度上摆脱监督。通常,标签信息(正实体对)用于监督将每个正对中的对齐实体拉得更近的过程。然而,我们的理论分析表明,实体对齐的学习实际上可以从推动未标记的负对远离彼此而不是将标记的正对拉近中受益更多。通过利用这一发现,我们开发了实体对齐的自监督学习目标。我们提出了SelfKG的有效策略,以优化这一目标,调整实体没有标签监督。在基准数据集上进行的大量实验表明,没有监督的SelfKG可以与最先进的监督基线匹配或实现可比的结果。SelfKG的性能表明,自监督学习为KG中的实体对齐提供了巨大的潜力。代码和数据可在https://github.com/THUDM/SelfKG上获得。
2022-03-02 cs.CL cs.LG
A Self-supervised Method for Entity Alignment
实体对齐是构建大规模知识图的基本问题,其目的是在不同的知识图谱中识别等价实体。在其发展过程中,监督一直被认为是必要的,以准确的路线。受自监督学习最新进展的启发,我们探讨了实体对齐可以在多大程度上摆脱监督。用于此任务的现有监督方法集中于将每对正(标记)实体彼此靠近。然而,我们的分析表明,实体对齐的学习实际上可以从将采样(未标记)的负推得更远而不是将正对齐对拉得更近中受益。我们提出SelfKG利用这一发现,设计一个跨两个KG的对比学习策略。在基准数据集上进行的大量实验表明,没有监督的SelfKG可以与最先进的监督基线匹配或实现可比的结果。SelfKG的性能表明,自监督学习为KG中的实体对齐提供了巨大的潜力。
2021-08-25 cs.CL cs.IR cs.LG
Reducing Streaming ASR Model Delay with Self Alignment
Google Inc.(谷歌公司)
减少预测延迟流端到端ASR模型与最小的性能回归是一个具有挑战性的问题。约束对齐是一种公知的现有方法,其使用外部低延迟声学模型来惩罚预测的单词边界。相反,最近提出的FastEmit是一个序列级延迟正则化方案,鼓励在没有任何参考对齐的情况下在空白上使用词汇标记。虽然所有这些计划是成功地减少延迟,ASR字错误率(WER)往往严重恶化后,应用这些延迟约束计划。在本文中,我们提出了一种新的延迟约束方法,称为自对准。自对准不需要外部对准模型。相反,它利用来自训练模型的Viterbi强制对齐来找到较低延迟的对齐方向。从LibriSpeech评估,自对齐优于现有方案:在相似的单词错误率下,与FastEmit和约束对齐相比,延迟减少了25%和56%。对于语音搜索评估,与FastEmit和约束对齐相比,实现了12%和25%的延迟减少,WER改善超过2%。
2021-05-06 cs.AI cs.CL cs.SD
Phoneme- and Word-Level Metrics Using Self-Supervised Speech Representations for Forced Alignment Evaluation
University of Tübingen(蒂宾根大学);University of Jena(耶拿大学)
该研究提出基于自监督语音表示的PCMI和WACS指标,用于无需人工标注时间戳的可扩展强制对齐评估,可区分对齐质量并与基准高度相关,已开源。
2026-08-31 cs.CL
Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement
University of Maryland(马里兰大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校);GE Healthcare(GE医疗)
针对大型视觉语言模型(LVLMs)模态对齐依赖外部资源导致结果不稳定的问题,提出无需外部依赖的自我改进框架SIMA,通过自生成响应、上下文内自我批评及视觉指标指导,在14个基准上提升性能并实现更优模态对齐。
2025-02-08 cs.AI cs.CL cs.CV
Self-Alignment with Instruction Backtranslation
Meta
本研究提出指令回译的自对齐方法,通过种子模型自增强、自筛选构建训练数据迭代微调LLaMa,在不依赖蒸馏数据的Alpaca榜单上超越同类模型。
2024-03-12 cs.CL
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology(北京理工大学);Microsoft Research(微软研究院)
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中,我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说,该模型首先为平行句子自标记单词对齐。然后,我们随机屏蔽一个bitext对中的标记。给定一个掩码标记,该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明,该方法提高了跨语言的可移植性在各种数据集上,特别是在令牌级的任务,如问答,结构化预测。此外,该模型可以作为一个预先训练的字对齐器,实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Multilingual Knowledge Graph Completion with Self-Supervised Adaptive Graph Alignment
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon.com Inc(亚马逊公司)
预测知识图谱(KG)中缺失的事实至关重要,因为现代KG远未完成。由于劳动密集型的人类标记,这种现象在处理以各种语言表示的知识时恶化。在本文中,我们探讨了多语言KG完成,它利用有限的种子对齐作为桥梁,拥抱来自多种语言的集体知识。然而,在先前的工作中使用的语言对齐仍然没有被充分利用:(1)对齐对被平等地对待以最大限度地推动并行实体接近,这忽略了KG容量不一致;(2)种子对齐是稀缺的,并且新的对齐识别通常是以噪声无监督的方式。为了解决这些问题,我们提出了一种新的自监督自适应图对齐(SS-AGA)方法。具体地说,SS-AGA融合所有KG作为一个整体图,把对齐作为一个新的边缘类型。因此,可以通过关系感知注意力权重自适应地控制跨KG的信息传播和噪声影响。同时,SS-AGA具有一个新的对生成器,可以在自监督模式中动态捕获潜在的对齐对。在公共多语言DBPedia KG和新创建的工业多语言E-commerce KG上的大量实验经验地证明了SS-AG的有效性
2022-03-28 cs.AI cs.CL
SAHOO: Safeguarded Alignment for High-Order Optimization Objectives in Recursive Self-Improvement
MARS 4.0 Fellowship, Cambridge AI Safety Hub(CAISH), University of Cambridge(剑桥大学);AWS Generative AI Innovation Center, Amazon Web Services, USA(亚马逊网络服务);Google, USA(谷歌);Stanford University(斯坦福大学);Northeastern University, Seattle, WA, USA(东北大学)
SAHOO通过三种保障措施实现递归自我改进中高阶优化目标的安全保障,显著提升代码生成和推理质量,同时保持约束和事实性。
2026-03-06 cs.AI cs.CL cs.LG
Self-supervised Text-to-SQL Learning with Header Alignment Training
KAIST(韩国科学技术院);Kookmin Bank(国民银行)
由于我们可以在没有任何人为监督的情况下利用大量未标记的数据来训练模型并将知识转移到目标任务,因此自监督学习是深度学习最近在各个领域取得成功的事实上的组成部分。然而,在许多情况下,在自监督学习目标和任务特定目标之间存在差异。为了解决文本到SQL任务中的这种差异,我们提出了一种新颖的自监督学习框架。我们利用Text-to-SQL任务的特定属性和表内容的底层结构来训练模型,以从未标记的表数据中学习\textit{header-column}对齐任务的有用知识。我们能够将知识转移到带有注释样本的监督文本到SQL训练中,以便模型可以利用知识更好地执行\textit{header-span}对齐任务来预测SQL语句。实验结果表明,我们的自监督学习框架显着提高现有的强BERT为基础的模型,而不使用大型外部语料库的性能。特别是,我们的方法对于训练具有稀缺标记数据的模型是有效的。这项工作的源代码可以在GitHub上找到。
2021-03-11 cs.CL
Mask-Align: Self-Supervised Neural Word Alignment
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Institute for Artificial Intelligence, Tsinghua University(清华大学人工智能研究院);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
词对齐是指在源语句和目标语句之间对齐语义上等价的词,在自然语言处理中起着重要的作用。当前的无监督神经比对方法集中于从神经机器翻译模型诱导比对,其不利用靶序列中的完整上下文。在本文中,我们提出了Mask-Align,这是一种自监督的单词对齐模型,它利用了目标端的完整上下文。我们的模型屏蔽了每个目标令牌,并以源令牌和剩余目标令牌为条件进行预测。这个两步过程基于这样的假设,即对恢复被屏蔽的目标令牌贡献最大的源令牌应该被对齐。我们还引入了一个称为泄漏注意力的注意力变体,它解决了特殊令牌(如周期)上意外高交叉注意力权重的问题。在四种语言对上的实验表明,我们的模型优于以前的无监督神经对齐器,并获得了新的最先进的结果。
2021-05-17 cs.CL
Multilingual Word-Level Forced Alignment with Self-Supervised Representations and Learned Dynamic Programming
Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology(以色列理工学院电气与计算机工程学院)
提出一种结合自监督表示和学习动态规划的多语言词级强制对齐方法,通过融合MMS和UnSupSeg特征并学习词边界概率,在多个语言上超越现有方法。
2026-06-09 cs.CL eess.AS
Alignment Attention by Matching Key and Query Distributions
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经注意力机制已被纳入深度神经网络中,以在各个领域实现最先进的性能。大多数这样的模型使用多头自我注意力,这是吸引人的能力,从不同的角度来关注信息。本文引入对齐注意力,明确鼓励自我注意力匹配每个头内的关键字和查询的分布。由此产生的对齐注意力网络可以作为现有注意力框架中的无监督正则化进行优化。将任何具有自注意力的模型(包括预先训练的模型)转换为建议的对齐注意力是很简单的。在各种语言理解任务中,我们展示了我们的方法在准确性,不确定性估计,跨域泛化和对对抗攻击的鲁棒性方面的有效性。我们进一步证明了我们的方法对图形注意力和视觉问答的普遍适用性,显示了将我们的对齐方法纳入各种注意力相关任务的巨大潜力。
2021-10-25 cs.CL cs.LG stat.ML
TIPAA-SSL: Text Independent Phone-to-Audio Alignment based on Self-Supervised Learning and Knowledge Transfer
University of Mons(蒙斯大学)
本文提出TIPAA-SSL方法,通过微调wav2vec2进行音素识别并结合降维与帧级分类器实现文本无关音素到音频对齐,在TIMIT和SCRIBE数据集上优于charsiu。
2024-05-03 cs.AI cs.CL cs.LG
Self-Alignment Pretraining for Biomedical Entity Representations
University of Cambridge(剑桥大学);Monash University(莫纳什大学);Amazon Alexa(亚马逊Alexa)
尽管通过掩蔽语言模型(MLM)的自监督学习取得了广泛的成功,但在生物医学领域中准确地捕获细粒度的语义关系仍然是一个挑战。这对于实体级任务(如实体链接)至关重要,其中建模实体关系(特别是同义关系)的能力至关重要。为了应对这一挑战,我们提出了SapBERT,这是一种预训练方案,可以自对齐生物医学实体的表示空间。我们设计了一个可扩展的度量学习框架,可以利用UMLS,一个庞大的收集生物医学本体与4M+的概念。与以前基于流水线的混合系统相比,SapBERT为医疗实体链接(MEL)问题提供了一个优雅的一个模型解决方案,在六个MEL基准数据集上实现了新的最先进的(SOTA)。在科学领域,即使没有特定任务的监督,我们也能实现SOTA。与各种特定领域的预训练MLMs(如BioBERT,SciBERT和PubMedBERT)相比,我们的预训练方案有了很大的改进,证明了它的有效性和鲁棒性。
2021-04-07 cs.AI cs.CL cs.LG
Interactive Contrastive Learning for Self-supervised Entity Alignment
Tsinghua University(清华大学);Beijing University of Chemical Technology(北京化工大学);Singapore Management University(新加坡管理大学);Information Research Center of Military Science(军事科学院信息研究中心);China Mobile Research Institute(中国移动研究院)
自监督实体对齐(EA)的目标是在没有种子对齐的情况下将不同知识图谱(KG)之间的等价实体链接起来。当前的SOTA自监督EA方法从对比学习中获得灵感,该方法最初是基于实例判别和对比损失在计算机视觉中设计的,并且存在两个缺点。首先,它单向强调将采样的负实体推得很远,而不是像在完善的监督EA中那样将正对齐的对拉得很近。其次,KG包含丰富的边信息(例如,实体描述),以及如何有效地利用这些信息还没有得到充分的研究,在自我监督EA。在本文中,我们提出了一个互动的对比学习模型的自我监督EA。该模型不仅对实体的结构和语义(包括实体名称、实体描述和实体邻域)进行编码,而且通过建立伪对齐的实体对进行跨KG对比学习。实验结果表明,我们的方法优于以前的最好的自我监督的结果由一个大的利润率(超过9%的平均改善),并表现出与以前的SOTA监督同行,展示了互动对比学习的有效性自我监督EA。
2022-10-10 cs.AI cs.CL
Iterative pseudo-forced alignment by acoustic CTC loss for self-supervised ASR domain adaptation
从特定领域进行高质量的数据标记是昂贵的,并且耗时。在这项工作中,我们提出了一个自我监督的领域自适应方法,基于迭代伪强制对齐算法。所产生的对齐被用于定制端到端自动语音识别(ASR)并迭代地细化。该算法由种子ASR产生的逐帧字符后验提供,用域外数据进行训练,并在整个连接主义时间分类(CTC)损失中进行优化。在广播电视的语料库上迭代地计算对准。通过减少要对齐的文本数量或扩大对齐窗口来重复该过程,直到找到最佳的音频-文本对齐。起始时间戳或时间锚是基于最后对齐的话语的置信度分数唯一地产生的。这个分数是用CTC比对矩阵的路径计算的。使用这种方法,不需要人工修改的文本参考。来自具有低质量透明度的长音频文件的对齐(如电视字幕)通过置信度分数过滤掉,并准备好进一步的ASR适配。在西班牙RTVE 2022和CommonVoice数据库上获得的结果支持了使用基于CTC的系统执行以下操作的可行性:高度准确的音频文本对齐、领域自适应和端到端ASR的半监督训练。
2023-01-15 cs.CL cs.SD eess.AS
Multi-Faceted Self-Consistent Preference Alignment for Query Rewriting in Conversational Search
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文提出MSPA-CQR方法,通过多维度自一致偏好对齐数据生成多样化查询,结合前缀引导的多维偏好优化,提升对话搜索中查询重写的效率与效果。
2026-04-08 cs.AI cs.CL
Revisiting Self-Consistency from Dynamic Distributional Alignment Perspective on Answer Aggregation
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院);Xiaohongshu Inc(小红书公司)
该研究将自洽性视为动态分布对齐问题,提出置信度驱动的温度自适应校准机制,在有限样本下提升数学推理的平均与最佳性能。
2025-06-11 cs.AI cs.CL
Bridging What the Model Thinks and How It Speaks: Expressive Speech Generation via Self-Aware Intent-Realization Alignment
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tencent Ethereal Audio Lab(腾讯虚实音频实验室);Southeast University(东南大学);Zhejiang University(浙江大学);Shenzhen University of Advanced Technology(深圳先进技术大学)
提出SASLM框架,通过自蒸馏意图和自奖励优化,无需外部标注即可弥合语义理解与声学实现之间的差距,实现富有表现力的语音生成。
2026-06-01 cs.CL
Guiding Frame-Level CTC Alignments Using Self-knowledge Distillation
KAIST(韩国科学技术院)
本文提出通过自我知识蒸馏引导帧级CTC对齐,以解决传统知识蒸馏中教师-学生模型在帧级对齐上的分歧问题,提升模型性能和资源效率。
2024-06-12 cs.CL cs.SD eess.AS
Dependency-aware Self-training for Entity Alignment
The University of Queensland(昆士兰大学)
实体对齐(EA)旨在检测不同知识图谱(KG)中的实体映射(即等效实体对),对于KG融合至关重要。神经EA方法主导当前EA研究,但仍然受到他们的依赖标记映射。为了解决这个问题,一些工作已经探索了用自训练来增强EA模型的训练,其迭代地将自信地预测的映射添加到训练数据中。虽然自我训练的有效性在某些特定的环境中可以窥见,但我们对它的了解仍然非常有限,原因之一是现有的工作集中在设计EA模型,只把自我训练作为一种辅助工具。为了填补这一知识空白,我们将视角转向自我训练来阐明这一点。此外,现有的自我训练策略影响有限,因为它们引入了大量假阳性噪音或少量真阳性伪映射。为了提高EA的自我训练,我们建议利用实体之间的依赖关系,EA的特殊性,以抑制噪声,而不损害真阳性映射的召回。通过大量的实验,我们发现依赖性的引入使EA的自我训练策略达到了一个新的水平。自我训练在减轻对注释的依赖方面的价值实际上比人们意识到的要高得多。此外,我们建议未来的研究智能数据注释,以打破EA性能的天花板。
2022-11-29 cs.AI cs.CL
Self-Guided Adaptive Safety Alignment: Synthesizing and Internalizing Guidelines in Reasoning Models
Beijing Key Lab of Traffic Data Analysis and Mining(北京交通大数据分析与挖掘重点实验室);Beijing Jiaotong University(北京交通大学);School of Information Technology and Management(信息科技与管理学院);University of International Business and Economics(国际经济贸易大学)
本文提出SGASA框架,通过合成指南实现推理模型的自适应安全对齐,提升对抗性提示防御能力并减少对良性请求的拒绝。
2026-08-05 cs.AI cs.CL
Learning Concepts, Not Tokens: Self-Supervised Semantic Alignment for Language Models
Stanford University(斯坦福大学)
提出一种自我监督框架,通过预测语义等价词元集合(概念)替代下一个词元预测,提升语言模型的语义对齐能力,并在分类、聚类、重排序及下游推理任务中取得更优性能。
2026-09-01 cs.CL
SelfAug: Mitigating Catastrophic Forgetting in Retrieval-Augmented Generation via Distribution Self-Alignment
University of Science and Technology of China(中国科学技术大学);Xiaohongshu Inc.(小红书公司)
针对检索增强生成(RAG)场景下监督微调易引发大语言模型灾难性遗忘的问题,提出自分布对齐方法SelfAug,通过对齐输入序列logits保留语义分布,实现下游学习与通用能力保留的更优平衡,并揭示分布偏移与遗忘程度的关联。
2025-09-04 cs.AI cs.CL
High-Quality Automatic Voice Over with Accurate Alignment: Supervision through Self-Supervised Discrete Speech Units
National University of Singapore(新加坡国立大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种基于自监督离散语音单元预测的自动配音方法,通过提供更直接的对齐监督并缓解上下文与声学特征的不匹配,显著提升了唇音同步与语音质量。
2023-06-29 cs.CL cs.SD eess.AS
Self-supervised Attribute-aware Dynamic Preference Ranking Alignment
University of Science and Technology of China(中国科学技术大学)
针对现有方法依赖昂贵人工 pairwise 比较不适用于列表场景及人类偏好受多因素影响导致决策不一致的问题,提出自监督属性感知动态偏好排序模型 SeAdpra,通过 APDF 量化偏好差异并动态确定对齐顺序,在多个数据集上表现优异。
2025-02-15 cs.AI cs.CL