CaPE: Contrastive Parameter Ensembling for Reducing Hallucination in Abstractive Summarization
Salesforce AI Research（赛富时人工智能研究院）；Hugging Face（抱抱脸公司）
幻觉是神经抽象摘要模型的一个已知问题。最近的研究表明，幻觉的程度可能取决于训练数据中的错误。在这项工作中，我们提出了一种新的方法，称为对比参数集成（CaPE）更有效地使用训练数据，利用训练样本中的噪声变化，以减少幻觉。我们首先使用不同的自动事实度量从训练数据中选择干净和有噪声的子集。然后，我们微调一个基本的摘要模型，这是在所有的训练样本，在干净的（嘈杂的）子集，以获得一个\textit{expert}（\textit{anti-expert}）模型。最后，根据\textit{expert}模型和\textit{anti-expert}模型参数的差异，调整基础模型的参数，使基础模型向\textit{expert}模型靠拢，向远离\textit{anti-expert}模型靠拢。实验结果表明，CaPE提高了不同自动事实度量和人工评估的性能，XSUM和CNN/DM数据集的摘要级依赖弧蕴涵准确度最大分别提高了16.69%和15.78%.实际性能的提高不会降低其他信息性指标（如ROUGE）的性能。
2022-05-20 cs.CL
Reducing Quantity Hallucinations in Abstractive Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
众所周知，摘要容易让人产生幻觉-包括原文没有支持的材料。虽然可以通过将摘要限制为一般短语来使摘要不产生幻觉，但这样的摘要将无法提供非常多的信息。或者，人们可以通过验证摘要中的任何特定实体在类似的上下文中出现在原始文本中来避免幻觉。这就是我们的系统所采取的方法，赫尔曼。系统学习识别和验证数量实体（日期，数字，金额等）。在由最先进的模型制作的大量抽象摘要中，以便提高原始文本支持数量术语的摘要的排名。实验结果表明，这样的排名上升的摘要的ROUGE分数具有更高的精度比没有被提升排名的摘要，没有相当的召回损失，导致更高的F $_1$。对排名上升的摘要与原始摘要的初步人类评估显示了人们对前者的偏好。
2020-09-28 cs.CL
TagRouter: Learning Route to LLMs through Tags for Open-Domain Text Generation Tasks
Tsinghua University（清华大学）；AI Cloud Group, Baidu Inc.（百度AI云部门）
针对现有大语言模型路由方法扩展性不足的问题，提出无需训练的TagRouter方法，通过标签实现多LLM协同优化，在开放域文本生成任务中优于13种基线，兼具高性能与成本效率。
2025-06-14 cs.CL
Document Summarization with Text Segmentation
Microsoft AI（微软人工智能）
在本文中，我们利用固有的文档段结构，以改善提取摘要任务。我们建立了两个文本分割模型，并找到了最佳的策略，以介绍他们的输出预测在提取摘要模型。在科技文章语料库上的实验结果表明，提取式摘要得益于使用高精度的分割方法。特别是，大部分的改进是在文档中，最相关的信息不是在开始，因此，我们得出结论，分割有助于减少铅偏见的问题。
2023-01-20 cs.CL
Reducing Gender Bias in Word-Level Language Models with a Gender-Equalizing Loss Function
New York University（纽约大学）
神经语言模型倾向于学习自然语言数据集，从而导致有偏见的文本生成。在这项研究中，我们提出了一个去偏置的方法的基础上的损失函数修改。我们引入了一个新的术语的损失函数，试图在输出中的男性和女性的话的概率相等。使用一系列的偏见评估指标，我们提供的经验证据表明，我们的方法成功地减轻性别偏见的语言模型，而不增加困惑。与现有的去偏置策略、数据增强和词嵌入去偏置方法相比，该方法在几个方面表现更好，特别是在减少职业词中的性别偏见方面。最后，我们介绍了数据增强和我们的方法的组合，并表明它在所有偏差评估指标上都优于现有策略。
2019-06-03 cs.CL
On (Commercial) Benefits of Automatic Text Summarization Systems in the News Domain: A Case of Media Monitoring and Media Response Analysis
pressrelations GmbH（pressrelations有限公司）；Heinrich Heine University of Düsseldorf（海因里希·海涅杜塞尔多夫大学）
在这项工作中，我们提出了一个系统的研究结果，以调查（商业）的好处，自动文本摘要系统在现实世界中的情况。更具体地说，我们在媒体监控和媒体响应分析的背景下定义了一个用例，并声称即使使用简单的基于查询的提取方法也可以大大节省员工的处理时间，而不会显着降低他们的工作质量。
2017-01-03 cs.CL
A Web-Based Tool for Analysing Normative Documents in English
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
我们的目标是使用正式的方法来分析用英语编写的规范性文件，例如隐私政策和服务级别协议。这需要结合许多不同的元素，包括从自然语言中提取信息抽取、用于模型表示的形式语言以及用于属性规范和验证的接口。我们已经完成了这项任务的一系列组件：一个自然语言提取工具，一个合适的形式主义，用于表示这些文件，在这种形式主义的接口，用于建立模型，并回答查询的方法要求一个给定的模型。在这项工作中，这些关切都集中在一个网络工具中，为分析英文规范性案文提供了一个单一的界面。通过使用一个运行的例子，我们描述了每个组件，并展示了我们的工具建立的工作流程。
2017-07-13 cs.CL cs.CY
Fairness for Whom? Understanding the Reader's Perception of Fairness in Text Summarization
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Indian Institute of Science Education and Research Kolkata（印度科学教育与研究学院加尔各答分院）
随着用户生成的文本信息的激增，最近增加了使用摘要算法来提供广泛内容的概述。用于评估这些算法的传统指标（例如ROUGE分数）依赖于将算法摘要与人工生成的摘要进行匹配。然而，已经表明，当文本内容是异质的，例如，当它们来自不同的社会显著群体时，与它们在原始数据中的分布相比，大多数现有的摘要算法非常不同地表示社会群体。为了减轻这种不利影响，一些保持公平性的摘要算法也被提出。所有这些研究都从内容作者的角度考虑了规范性的公平概念，忽略了读者对潜在公平概念的感知。为了弥合这一差距，在这项工作中，我们研究的公平概念之间的相互作用，以及读者如何看待他们在文本摘要。通过我们的实验，我们表明，读者的公平感往往是上下文敏感的。此外，标准的ROUGE评估度量无法量化摘要的感知（不）公平性。为此，我们提出了一个人在环度量和一个自动化的基于图形的方法来量化文本摘要中的感知偏差。我们证明了他们的效用，通过量化的（不）公平的几个摘要的异质社会政治微博数据集。
2021-02-02 cs.CL cs.IR
The role of grammar in transition-probabilities of subsequent words in English text
Medical University of Vienna（维也纳医科大学）；Complexity Science Hub Vienna（维也纳复杂科学中心）；Santa Fe Institute（圣塔菲研究所）；IIASA（国际应用系统分析研究所）
句子的形成是一个高度结构化、依赖于历史和样本空间缩减（SSR）的过程。虽然句子中的第一个单词可以从整个词汇中选择，但随着句子的发展，选择后续单词的自由度越来越受到语法和上下文的限制。这种样本空间减少属性提供了一个自然的解释Zipf定律在词频，但是，它无法捕捉的结构的词到词的转移概率矩阵的英语文本。在这里，我们采用的观点，语法约束（如主语-谓语-宾语）本地重新排序的词序在句子中采样SSR词生成过程。我们表明，叠加的语法结构-作为一个本地字重新排序（置换）的过程-在一个样本空间减少的过程是足够的解释，字的频率和字到字的转换概率。我们比较质量的语法有序SSR模型再现几个测试统计的真实文本与其他文本生成模型，如伯努利模型，西蒙模型，和猴子打字模型。
2018-12-28 cs.CL physics.soc-ph
Reducing Sentiment Bias in Language Models via Counterfactual Evaluation
DeepMind（深度思维）；University of California, Los Angeles（加州大学洛杉矶分校）；University College London（伦敦大学学院）
语言建模架构的进步和大型文本语料库的可用性推动了自动文本生成的进展。虽然这导致模型能够生成连贯的文本，但它也促使模型内化训练语料库中存在的社会偏见。本文旨在量化和减少语言模型表现出的一种特殊类型的偏见：生成文本的情感偏见。给定条件情境（例如，书写提示）和语言模型，我们分析所生成的文本的情感是否（以及如何）受到敏感属性的值的变化的影响（例如，国家名称、职业、性别），在条件语境中使用一种反事实评价的形式。我们通过采用公平的机器学习文献中的个人和群体公平性指标来量化情感偏见，并证明在两个不同的语料库（新闻文章和维基百科）上训练的大规模模型表现出相当大的偏见水平。然后，我们提出嵌入和情感预测派生正则化的语言模型的潜在表示。正则化改进了公平性度量，同时保留了可比的困惑度和语义相似度。
2020-10-08 cs.CL cs.CY cs.LG
Alignment Makes Language Models Normative, Not Descriptive
Technion – Israel Institute of Technology（技术离子-以色列理工学院）
通过对比120个基础-对齐模型对在超过10,000个真实人类决策中的表现，发现对齐诱导了规范性偏差：在单轮教科书式博弈中提升预测，但在多轮战略博弈中因忽略互惠、报复等描述性动态而损害预测。
2026-05-25 cs.AI cs.CL cs.GT
Towards automatic identification of linguistic politeness in Hindi texts
Dr. Bhim Rao Ambedkar University（比姆·拉奥·安贝德卡博士大学）
在本文中，我提出了一个分类的自动识别语言礼貌印地语文本。我已经使用了超过25,000条博客评论的手动注释语料库来训练SVM。本文运用话语礼貌和插入礼貌的研究方法，阐述了印地语中规范的、规约化的礼貌结构。可以看出，使用这些手动识别的结构作为训练SVM的特征，显着提高了测试集上的分类器的性能。经过训练的系统提供了超过77%的显着高准确度，这是人类准确度的2%以内。
2021-11-30 cs.CL
Lost in Translationese? Reducing Translation Effect Using Abstract Meaning Representation
Georgetown University（乔治城大学）
本研究提出翻译腔消减新任务，采用基于抽象语义表示（AMR）的中间语方法，通过解析-生成流程降低翻译腔，在三项指标上优于其他三种对比技术，验证了AMR的效用。
2024-01-29 cs.CL
Identifying and Reducing Gender Bias in Word-Level Language Models
New York University（纽约大学）
许多文本语料库都表现出社会问题的偏见，这些偏见可以在基于这些数据训练的模型中传播或放大。例如，“doctor”与男性代词同时出现的频率高于与女性代词同时出现的频率。在这项研究中，我们（i）提出了一个衡量性别偏见的指标;（ii）衡量文本语料库和从在文本语料库上训练的递归神经网络语言模型生成的文本中的偏见;（iii）提出了语言模型的正则化损失项，该正则化损失项最小化编码器训练的嵌入到编码性别的嵌入子空间上的投影;（iv）最后，评估我们建议的方法在减少性别偏见方面的成效。我们发现这种正则化方法可以有效地将性别偏见减少到分配给损失项的最佳权重，超过该权重，模型会随着困惑度的增加而变得不稳定。我们在三个训练语料库-Penn Treebank，WikiText-2和CNN/Daily Mail-上复制了这个研究，得到了类似的结论。
2019-04-05 cs.CL
Reducing Sequence Length by Predicting Edit Operations with Large Language Models
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tokyo Institute of Technology（东京工业大学）
本文提出预测源文本编辑跨度以减少局部序列转换任务的目标序列长度和推理成本，在四项任务中达到基线相当甚至最先进的性能。
2023-10-21 cs.CL
On the Ethical Limits of Natural Language Processing on Legal Text
University of York（约克大学）；University of Sheffield（谢菲尔德大学）
用于分析法律文本的自然语言处理（NLP）方法为法律学者和实践者提供了一系列允许大规模地实证分析法律的工具。然而，研究人员似乎很难确定使用NLP系统获得关于法律和系统预测能力的真正见解的道德限制。在本文中，我们提出了一些系统地思考这些问题的方法。我们把重点放在三个关键的规范参数，据我们所知，被低估了目前的辩论：（a）学术自由的重要性，（b）存在的法律和道德规范的广泛多样性国内，但更是如此国际和（c）道德主义的威胁，在有关计算法的研究。对于这三个参数，我们为法律NLP社区提供了具体的建议。我们的讨论是围绕着一个现实生活中的场景进行的，这个场景最近引发了法律NLP研究界的争论。
2021-05-25 cs.AI cs.CL
Inducing Epistemological Humility in Large Language Models: A Targeted SFT Approach to Reducing Hallucination
本文提出HypoTermInstruct数据集，通过非现实术语问题训练模型知识谦逊，减少幻觉，实验显示其显著提升HypoTerm Score和FactScore，同时保持MMLU性能稳定。
2026-03-18 cs.CL
Self-Diagnosis and Self-Debiasing: A Proposal for Reducing Corpus-Based Bias in NLP
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Institute of Social and Cultural Anthropology, LMU Munich（慕尼黑大学社会与文化人类学研究所）
当对来自互联网的大量未经过滤的爬行进行训练时，语言模型会拾取并复制数据中可以找到的各种不受欢迎的偏见：它们经常生成种族主义，性别歧视，暴力或其他有毒语言。由于大型模型需要数百万个训练样本来实现良好的性能，因此很难完全防止它们暴露于此类内容。在本文中，我们首先展示了一个令人惊讶的发现：预训练的语言模型在相当大的程度上识别出它们产生的不良偏见和内容的毒性。我们把这种能力称为自我诊断。基于这一发现，我们提出了一个解码算法，只给出一个文本描述的不希望的行为，降低了概率的语言模型产生问题的文本。我们把这种方法称为自我去偏。自去偏不依赖于手动策划的单词列表，也不需要任何训练数据或对模型参数的更改。虽然我们绝不能消除语言模型生成有偏见的文本的问题，但我们相信我们的方法是朝着这个方向迈出的重要一步。
2021-09-09 cs.CL
Reducing Formal Context Extraction: A Newly Proposed Framework from Big Corpora
University of Kurdistan Hewler（库尔德斯坦赫斯勒大学）；Charmo University（查莫大学）；Garmian Polytechnic University（加尔米安理工大学）；Sulaimani Polytechnic University（苏莱曼尼亚理工大学）；University of Huddersfield（哈德斯菲尔德大学）；University of Raparin（拉帕林大学）
本文提出一种结合WordNet与频率统计的混合框架，用于缩减从自由文本中提取概念层次时的形式背景规模，在Wikipedia语料库实验中保留高达98%的概念层次质量，并在概念格性能上优于五种基线方法。
2025-04-01 cs.CL
Bayesian Fine-tuning Yields Language Models that are as Bayesian as their Beliefs Allow
Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）；University of Tübingen（图宾根大学）
本文提出贝叶斯微调方法，使语言模型在航班推荐任务中具备贝叶斯信念与推理能力，优于标准监督微调，并验证了信念编码与交换的有效性。
2026-10-02 cs.CL
Faithful Activation Verbalization: Reducing Hallucinations in LLM Representation Interpretation
New Jersey Institute of Technology（新泽西理工学院）；Shanghai AI Laboratory（上海人工智能实验室）；Xi’an JiaoTong University（西安交通大学）；Chinese Univerity of Hongkong, Shenzhen（香港中文大学（深圳））
AVPO通过两阶段框架（重建源文本并用冻结问答模型评估）结合直接偏好优化，显著减少激活言语化中的幻觉，提升信息恢复并超越基线。
2026-09-29 cs.CL
USTCCTSU at SemEval-2024 Task 1: Reducing Anisotropy for Cross-lingual Semantic Textual Relatedness Task
University of Science and Technology of China（中国科学技术大学）
针对跨语言语义文本相关性任务，该研究选择XLM-R-base为基础模型，采用基于白化的预训练句子表示降低各向异性，并设计数据过滤方法缓解多语言诅咒，在竞赛中取得优异成绩并为相关研究提供启发。
2024-11-28 cs.AI cs.CL
Toxicity Is a Property of Communicative Events: A Contextual Stress Measurement Framework for NLP
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris, Palaiseau, France（SAMOVAR， Télécom SudParis， 法国巴黎理工学院， 巴黎赛杜实验室）
本文提出情境压力框架，强调毒性是规范违反与引发压力的关系，改进毒性检测方法以更准确评估情境伤害。
2026-10-14 cs.AI cs.CL cs.LG
Coarse-to-Fine Highlighting: Reducing Knowledge Hallucination in Large Language Models
University of Science and Technology of China（中国科学技术大学）
本文提出COFT方法，通过知识图谱提取实体、计算上下文权重并动态选择关键文本，以从粗到细的高亮方式减少检索增强语言模型在长上下文中的知识幻觉，在F1指标上提升超过30%。
2024-10-19 cs.AI cs.CL
Reducing Text Bias in Synthetically Generated MCQAs for VLMs in Autonomous Driving
Zoox, Inc.（Zoox公司）
本文提出方法减少自动驾驶VLMs中合成生成MCQA的文本偏差，通过解耦正确答案与语言痕迹并采用课程学习策略，使模型依赖视觉基础以提升感知理解能力。
2026-01-28 cs.CL cs.LG cs.RO
Pre-trained Language Models Return Distinguishable Probability Distributions to Unfaithfully Hallucinated Texts
Korea University（高丽大学）
本研究发现预训练语言模型对不忠实幻觉文本返回可区分的生成概率和不确定性分布，并基于此提出一种减少幻觉的训练算法，在保持文本质量的同时显著提升了忠实度指标。
2024-09-25 cs.CL
Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Peking University（北京大学）；Tsinghua University（清华大学）
针对大型视觉语言模型因语言偏差导致的幻觉问题，提出LACING框架，采用多模态双注意力机制和软图像引导策略，在不增加训练资源的情况下增强视觉理解并减少幻觉。
2026-05-28 cs.CL cs.CV
Toward Robust Legal Text Formalization into Defeasible Deontic Logic using LLMs
TU Wien（维也纳技术大学）；AIT Austrian Institute of Technology（奥地利技术研究所）；School of Engineering and Technology（工程与技术学院）；Artificial Intelligence and Cyber Futures Institute（人工智能与未来网络研究院）
本文提出利用LLMs将法律文本形式化为可撤销规范逻辑，通过结构化管道和改进的评估方法，提升形式化的一致性和完整性。
2025-12-31 cs.AI cs.CL cs.CY
Do Vision-Language Models See or Guess? Measuring and Reducing Textual-Prior Reliance with a Phrasing-Controlled Benchmark
Lossfunk；Indian Institute of Technology Roorkee（印度理工学院罗尔基分校）；Raeth AI
本文构建了540张图像的基准，通过为同一图像生成四种措辞变体，衡量视觉语言模型对文本先验的依赖，发现所有模型在最难变体上性能下降，开放模型下降最严重，并通过无图像消融等分析证实了真正的图像依赖。
2026-06-09 cs.CL cs.CV
Reducing and Exploiting Data Augmentation Noise through Meta Reweighting Contrastive Learning for Text Classification
Worcester Polytechnic Institute（伍斯特理工学院）
针对文本分类中增强数据质量参差不齐的问题，提出结合元学习与对比学习的框架，通过重加权增强样本并优化特征表示，在七个GLUE数据集上取得显著性能提升。
2024-09-26 cs.CL cs.LG
TokenSwap: Benchmarking and Reducing the Modality Gap in Multimodal LLMs
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Google DeepMind（谷歌DeepMind）
本文提出TokenSwap方法构建基准TokenSwap-Bench，发现42个多模态大语言模型普遍存在模态差距，推理模型差距更小，训练中引入TokenSwap可有效缓解该差距。
2026-10-21 cs.CL cs.CV
Interpretable bias mitigation for textual data: Reducing gender bias in patient notes while maintaining classification performance
The University of Vermont（佛蒙特大学）；MassMutual Data Science（MassMutual数据科学公司）；VA Boston Healthcare System（波士顿VA医疗保健系统）
一般而言，医疗系统，特别是患者的治疗决定和结果，受到基于性别和其他人口因素的偏见的影响。随着语言模型越来越多地应用于医学，人们越来越有兴趣将算法公平性构建到影响患者护理的过程中。解决这个问题的大部分工作都集中在语言模型中编码的偏见上--对从远距离阅读语料库中得出的概念之间关系的统计估计。在这项工作的基础上，我们调查如何由医疗从业者和语言模型相互作用的单词选择方面的偏见。我们确定并删除性别语言从两个临床笔记数据集，并描述了一个新的去偏过程中使用基于BERT的性别分类器。通过数据增强，我们在健康状况分类任务中显示出最小的退化，用于低至中等水平的偏差去除。最后，我们比较的偏见语义编码的语言模型的偏见经验观察到的健康记录。这项工作概述了一种可解释的方法，使用数据增强，以确定和减少潜在的偏见，在自然语言处理管道。
2021-03-10 cs.CL stat.ML
Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对LVLMs解码时过度依赖语言先验导致的幻觉问题，提出基于条件逐点互信息校准的解码策略，联合建模视觉与文本标记贡献，通过双层优化和标记净化机制最大化互信息，在多个基准上显著减少幻觉并保持解码效率。
2025-10-23 cs.CL cs.CV
Active learning for reducing labeling effort in text classification tasks
University of Groningen（格罗宁根大学）；Open University of the Netherlands（荷兰开放大学）
标记数据可能是一项昂贵的任务，因为它通常由领域专家手动执行。这对于深度学习来说很麻烦，因为它依赖于大型标记数据集。主动学习（AL）是一种范式，旨在通过仅使用所使用的模型认为最具信息性的数据来减少标记工作。在文本分类环境中对AL进行的研究很少，并且几乎没有涉及最近最先进的自然语言处理（NLP）模型。在这里，我们提出了一个实证研究，比较不同的不确定性为基础的算法与BERT $_{base}$作为使用的分类。我们在两个NLP分类数据集上评估了这些算法：Stanford Sentiment Treebank和KvK-Frontpages。此外，我们探讨了旨在解决基于不确定性的AL的预设问题的算法，即它是不可扩展的，并且容易选择离群值。此外，我们探讨了查询池的大小对AL的性能的影响。然而，它被发现，建议的算法AL没有提高性能的AL;我们的研究结果表明，使用基于不确定性的AL与BERT $_{base}$优于随机抽样的数据。随着查询池大小的增大，这种性能差异会减小。
2021-11-03 cs.CL cs.LG
Efficient Zero-Shot Long Document Classification by Reducing Context Through Sentence Ranking
Pune Institute of Computer Technology（普那计算机技术研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Labs（L3Cube实验室）
针对BERT等模型在长文档分类中受输入长度和计算效率限制的问题，提出基于TF-IDF句子排序减少上下文的零样本方法，在MahaNews数据集上保留50%句子可维持准确率且推理时间最多降35%，实现高效分类。
2025-08-24 cs.CL cs.LG
Reducing the Output-Mode Gap in Speech Language Models via Joint-Output On-Policy Distillation
Leibniz Research Center, Huawei（华为莱布尼茨研究中心）；The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
针对语音语言模型中S2TS模式与S2T模式间的输出模式差距，提出联合输出在策略蒸馏方法，利用教师软目标显著降低准确率差距，实验验证其有效性。
2026-09-15 cs.CL cs.SD eess.AS
An Adaptive Deep Clustering Pipeline to Inform Text Labeling at Scale
Verint Systems Inc.（Verint系统公司）
从大量自然语言输入中挖掘潜在意图是帮助数据分析师设计和改进客户服务和销售支持智能虚拟助理（IVA）的关键步骤。我们在Verint Intent Manager（VIM）中创建了一个灵活且可扩展的聚类管道，该管道集成了语言模型的微调、高性能k-NN库和社区发现技术，可帮助分析师快速从会话文本中呈现和组织相关用户意图。微调步骤是必要的，因为预先训练的语言模型不能编码文本，以有效地表面特定的聚类结构时，目标文本是从一个看不见的领域或聚类任务不是主题检测。我们描述了管道，并展示了它的性能和能力的规模在三个现实世界的文本挖掘任务。在VIM应用程序中部署时，此群集管道可生成高质量的结果，从而提高数据分析师的性能，并减少从客户服务数据中揭示意图所需的时间，从而减少在新域中构建和部署IVA所需的时间。
2022-07-26 cs.CL cs.LG
Large Pre-trained Language Models Contain Human-like Biases of What is Right and Wrong to Do
Technical University of Darmstadt（达姆施塔特工业大学）；Leibniz Institute for Research and Information in Education（莱布尼茨教育研究与信息研究所）；Hessian Center for Artificial Intelligence (hessian.ai)（黑森州人工智能中心）
由于最近大规模的基于transformer的语言模型（LM）的进步，人工书写正在渗透我们的生活，例如BERT及其变体，GPT-2/3等。使用它们作为预先训练的模型并针对特定任务进行微调，研究人员已经扩展了许多NLP任务的最新技术水平，并表明它们不仅捕获语言知识，而且还保留了数据中隐含的一般知识。不幸的是，在未经过滤的文本语料库上训练的LM遭受退化和有偏见的行为。虽然这是公认的，但我们发现，最近的LM也包含了类似人类的偏见，即什么是对的，什么是错的，某种形式的社会伦理和道德规范-它们使“道德方向”浮出水面。也就是说，我们表明，这些规范可以捕捉几何方向，这可以计算，例如，通过PCA，在嵌入空间中，很好地反映了短语与训练文本中隐含表达的社会规范的一致性，并提供了减弱甚至防止LM中毒性退化的路径。能够评价任意短语的（非）规范性，而无需为此任务明确训练LM，我们展示了“道德方向”的能力，用于指导（甚至其他）LM产生规范性文本，并在RealToxicityTests测试平台上展示它，防止GPT-2中的神经毒性退化。
2022-02-14 cs.CL cs.CY
Chain of Natural Language Inference for Reducing Large Language Model Ungrounded Hallucinations
Microsoft Responsible AI（微软负责任人工智能）
针对大语言模型易生成无依据幻觉的问题，提出基于自然语言推理链的即插即用分层框架，无需微调或领域提示工程，通过后编辑减幻，在多场景下实现检测与减幻的优异性能。
2023-10-09 cs.AI cs.CL
Walking in Others' Shoes: How Perspective-Taking Guides Large Language Models in Reducing Toxicity and Bias
Nanyang Technological University（南洋理工大学）
针对LLMs生成内容的毒性与偏见问题，提出视角采择提示（PeT）策略，通过整合人类视角自我调节，在商业及开源模型上显著降低毒性（达89%）与偏见（达73%），优于五个强基线。
2024-07-22 cs.AI cs.CL cs.CY
Towards Reducing the Need for Speech Training Data To Build Spoken Language Understanding Systems
IBM Research AI（IBM研究院人工智能部门）
缺乏口语语言理解（SLU）所需的用标签注释的语音数据通常是构建可以直接处理语音输入的端到端（E2E）系统的主要障碍。相比之下，通常可以使用带有适当标签的大量文本数据。在本文中，我们提出了一种新的文本表示和训练方法，使E2E SLU系统有效地使用这些文本资源构建。在额外语音数量非常有限的情况下，我们表明这些模型可以进一步改进，以接近基于完整语音数据集构建的类似系统的水平。使用三个不同的SLU数据集的意图和实体任务证明了我们提出的方法的有效性。在纯文本训练的情况下，所提出的系统实现了全语音训练可能达到的性能的90%。只需额外增加10%的语音数据，这些模型就可以显著提高97%的完整性能。
2022-02-26 cs.CL cs.SD eess.AS
Reducing Hallucinations of Medical Multimodal Large Language Models with Visual Retrieval-Augmented Generation
NEC Laboratories America（美国NEC实验室）；Purdue University（普渡大学）；Lehigh University（里海大学）
针对医学多模态大语言模型的幻觉问题，提出融合图文数据的视觉检索增强生成框架V-RAG，在两个医学数据集上提升了实体探测准确率，还能生成更准确的X光报告，提高RadGraph-F1分数。
2025-02-20 cs.AI cs.CL
On the Role of Speech Data in Reducing Toxicity Detection Bias
Meta FAIR；New York University（纽约大学）；University College London（伦敦大学学院）；McGill University（麦吉尔大学）
该研究针对文本毒性检测的群体提及偏差问题，通过为多语言MuTox数据集制作高质量群体标注，对比语音与文本毒性分类器，发现推理阶段用语音数据可降低偏差，且改进分类器比优化转录流程更有效，同时公开发布标注并给出数据集构建建议。
2025-05-16 cs.AI cs.CL cs.LG
Reducing Computational Costs in Sentiment Analysis: Tensorized Recurrent Networks vs. Recurrent Networks
针对传统循环网络情感分析模型参数量大、计算成本高的问题，本文提出用张量化循环模型进行社交媒体帖子情感分类，实验证明其能用更少训练资源达到与传统模型相当的性能。
2023-06-16 cs.CL cs.LG
Reducing Labeling Costs in Sentiment Analysis via Semi-Supervised Learning
Georgia State University（佐治亚州立大学）
本研究提出基于流形假设的直推式标签传播方法，利用图方法生成伪标签并结合网络嵌入扩展标签，将未标记数据纳入监督学习以训练深度神经网络，有效降低了情感分析中的标注成本。
2024-10-15 cs.AI cs.CL cs.IR
Talking with Language Models
University of Oxford（牛津大学）；Magdalen College, Oxford（牛津大学莫德林学院）；University of Missouri（密苏里大学）；University of Hong Kong（香港大学）
本文提出“人工制品立场”框架，重新定义人机交互为候选文本交换，指出LLM并非对话者，从而消解相关哲学难题，并强调设计、采用与使用的规范性基础。
2026-10-08 cs.AI cs.CL cs.CY
