Aligning Probabilistic Beliefs under Informative Missingness: LLM Steerability in Clinical Reasoning
Department of Biomedical Informatics(生物医学信息学系)
本文研究LLM能否利用信息性缺失进行预测推理,通过分析三种提示方法发现,尽管结构引导和上下文学习可提升概率对齐,但需精心干预才能利用信息性缺失。
2026-03-18 cs.AI
Eliciting Numerical Predictive Distributions of LLMs Without Autoregression
Department of Applied Mathematics and Theoretical Physics(应用数学与理论物理系);University of Cambridge(剑桥大学)
本研究探讨如何在不使用自回归生成的情况下,通过内部表示直接获取LLM对数值预测分布的统计特征,揭示了LLM在数值任务中编码不确定性的可能性。
2026-03-03 cs.AI cs.LG
Eliciting In-Context Learning in Vision-Language Models for Videos Through Curated Data Distributional Properties
University of Michigan(密歇根大学)
本文提出EILEV训练范式,通过捕捉突发性分布、偏斜边际分布和动态语义等预训练数据关键特性,在视频视觉语言模型中诱导上下文学习能力,并在少样本视频叙述任务上优于现有VLMs。
2024-10-03 cs.AI cs.CL cs.CV
Speak Easy: Eliciting Harmful Jailbreaks from LLMs with Simple Interactions
Brown University(布朗大学);Columbia University(哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出Speak Easy,一种简单的多步多语言攻击框架,利用可操作且信息丰富的响应特征,显著提升LLM越狱成功率,揭示常见交互中的安全漏洞。
2025-08-02 cs.AI cs.CL cs.CY
Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models
Skoltech(斯克里普切尔技术学院);AIRI(人工智能研究所);MBZUAI(马斯克商学院人工智能研究所);MIPT(莫斯科国立信息技术机械与光学学院);FRC CSC RAS(俄罗斯科学院远东分院计算机科学与控制学院);The University of Melbourne(墨尔本大学)
本文提出一种基于令牌密度的不确定性量化方法,通过提取多层嵌入并计算Mahalanobis距离,提升文本生成和事实核查任务的不确定性评估精度与效率。
2025-04-18 cs.CL
MechELK: A Mechanistic Interpretability Framework for Eliciting Latent Knowledge in Large Language Models
Dongguk University(东国大学)
提出MechELK框架,通过定位、验证和激发三个阶段,利用稀疏自编码器特征分析和因果探测等方法,从大型语言模型中提取隐藏知识,在TruthfulQA等基准上平均激发准确率达84.7%。
2026-04-07 cs.CL
Calibrating the Confidence of Large Language Models by Eliciting Fidelity
School of Computer Science, Fudan University(复旦大学计算机科学学院);Meituan(美团)
针对对齐后大语言模型过度自信、置信度与正确率校准不佳的问题,将置信度分解为问题不确定性与答案保真度,提出即插即用的置信度估计方法,经多模型多数据集验证有效,还提出新校准指标并探讨真正良好校准的置信度,可作为该领域基线。
2024-10-09 cs.CL
LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation
National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对文本到图像生成中的空间与数量错位问题,本文提出 LayoutLLM-T2I,利用 LLM 上下文学习自动规划布局,并通过细粒度对象交互扩散生成高保真对齐图像。
2023-08-12 cs.AI cs.CV
Psychologically Potent, Computationally Invisible: LLMs Generate Social-Comparison-Eliciting Posts They Fail to Detect
Department of English Language Education(英语语言教育系);Analytics/Assessment Research Centre(分析/评估研究中心)
本研究通过构建小红书社会比较读者诱发基准(XHS-SCoRE),发现 LLM 在生成引发社会比较的帖子时存在生成-检测不匹配,即该信号在领域内可学习但无法通过提示分类稳健访问。
2026-08-31 cs.CL
OmniConfess: Eliciting Token Confessions to Mitigate Omni-Modal Hallucination
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
OmniConfess通过令牌级通道干预生成证据坦白,无需训练即可缓解全模态大模型的幻觉,并在OmniHalluBench基准上验证了有效性。
2026-10-06 cs.CL
Eliciting Chain-of-Thought in Base LLMs via Gradient-Based Representation Optimization
Zijian Wang, Yanxiang Ma, Chang Xu(作者)
本文提出了一种基于概率条件生成的隐藏状态优化方法,通过梯度优化提升基础LLM的链式思维推理能力,有效解决隐藏状态操纵中的分布偏移问题。
2025-11-24 cs.CL
MirrorWiC: On Eliciting Word-in-Context Representations from Pretrained Language Models
University of Cambridge(剑桥大学)
最近的研究表明,预训练的语言模型(PLM),如BERT和RoBERTa,甚至可以通过简单的自监督技术转换为有效的句子和单词编码器。受这一系列工作的启发,在本文中,我们提出了一种完全无监督的方法来改善PLM中的词上下文(WiC)表示,通过一个简单而有效的WiC目标微调过程实现:WiC WiC。所提出的方法仅利用从维基百科采样的原始文本,假设没有意义注释的数据,并在标准的对比学习设置中学习上下文感知的单词表示。我们实验了一系列跨多种语言的标准和全面的WiC基准测试。我们提出的完全无监督的MPLWiC模型在所有单语,多语言和跨语言设置中获得了比现成PLM更大的收益。此外,在一些标准的WiC基准测试中,WiC甚至可以与使用任务内数据和感觉标签进行微调的监督模型相提并论。
2021-09-19 cs.CL
Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation
Columbia University(哥伦比亚大学);New York University(纽约大学);NYU Shanghai(上海纽约大学)
本文提出Factuality-Controlled Generation框架,通过合成数据训练提升模型在信息性与事实性之间的平衡能力。
2026-01-31 cs.AI cs.CL
SimLens for Early Exit in Large Language Models: Eliciting Accurate Latent Predictions with One More Token
Institute of Neuroscience, State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心神经科学研究所,脑认知与脑启发智能技术国家重点实验室,脑科学与智能技术卓越创新中心);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院)
本文提出SimLens,一种无需训练的解码器,通过保留起始标记和候选答案标记进行轻量级延续,提升潜在预测准确性。结合线性SimLens和SimExit机制,在多个数据集上实现更高的准确性和更快的推理速度。
2026-08-27 cs.CL cs.PF
Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer
Peking University(北京大学)
最近的进展,快速调整铸造Few-Shot分类任务作为一个掩蔽的语言建模问题。通过将输入包装到模板中并使用在标签空间和标签词空间之间构造映射的动词化器,自动调优可以在zero-shot和Few-Shot场景中获得优异的结果。然而,典型的自动调优需要手动设计的语言化器,这需要领域专业知识和人工努力。标签空间不足可能会给结果带来相当大的偏差。在本文中,我们专注于从预训练的语言模型中获取知识,并提出了一个原型提示动词化器的自动调优。标签由特征空间中的原型嵌入表示,而不是由离散的单词表示。在输入的掩蔽位置处的嵌入和原型嵌入之间的距离被用作分类标准。对于zero-shot设置,通过手动设计的模板从预训练的语言模型中引出知识以形成初始原型嵌入。对于Few-Shot设置,调整模型以学习有意义和可解释的原型嵌入。我们的方法通过对比学习优化模型。在几个低资源环境下的多类文本分类数据集上的实验结果表明,与其他动词化器构造方法相比,该方法是有效的。我们的实现可以在https://github.com/Ydongd/prototypical-prompt-verbalizer上获得。
2022-01-14 cs.CL
InFact: Informativeness Alignment for Improved LLM Factuality
Hasso Plattner Institute University of Potsdam(霍普夫纳研究所波茨坦大学);Dept. of Computer Science Aalborg University(计算机科学系奥尔堡大学)
针对大语言模型生成事实正确但信息量不足文本的问题,提出信息量对齐机制,利用事实性基准优化答案的正确性与信息量,同时提升模型事实性。
2025-05-26 cs.AI cs.CL
Every Token Leaves a Ripple in the Stream of Thought: Eliciting Model-Internal Token Saliency for Chain-of-Thought Compression
University of Virginia(弗吉尼亚大学)
针对思维链推理成本过高的问题,提出模型内部显著性方法 MIST,沿必要性与充分性轴定义 token 重要性并剪枝,在四个基准和四个模型上优于基线。
2026-10-14 cs.CL
Token Prepending: A Training-Free Approach for Eliciting Better Sentence Embeddings from LLMs
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室)
本文提出免训练的Token Prepending技术,通过将各层解码的句子嵌入前置到下一层输入开头,缓解因果注意力导致的前序token信息偏差,从而在多种LLMs和任务上显著提升基于提示的句子嵌入性能。
2025-07-03 cs.AI cs.CL
Measuring Contextual Informativeness in Child-Directed Text
University of Colorado Boulder(科罗拉多大学博尔德分校);Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学);University of California Berkeley(加州大学伯克利分校)
研究提出了一种基于LLM的方法来自动评估儿童故事中目标词汇的语境信息量,实验证明该方法在儿童和成人导向文本上均优于基线,对教育内容生成具有重要意义。
2024-12-23 cs.CL
Winning at All Cost: A Small Environment for Eliciting Specification Gaming Behaviors in Large Language Models
The Tech Collective(技术集体)
论文构建不可获胜的井字棋文本环境,测试 o1、o3-mini 和 r1 的规范博弈行为,发现创造性提示会显著诱发漏洞利用,并归纳四类策略。
2025-05-07 cs.AI cs.CR
Eliciting Human Preferences with Language Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Anthropic(Anthropic公司);Stanford(斯坦福大学)
提出生成式主动任务引导(GATE)框架,利用语言模型通过自由形式语言交互推断用户意图,实验表明该方法比传统提示或标注更省力且能获取更多信息,有效实现模型与复杂人类偏好的对齐。
2023-10-17 cs.AI cs.CL cs.LG
The Router Within: Eliciting Native Skill Routing from a Frozen LLM
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
本文提出Gavel方法,利用冻结LLM内部状态通过两个线性映射实现无需上下文的技能路由,在Qwen3-32B上超越外部参数方法,最高提升21.9个百分点,并验证了路由能力随骨干增强而提升。
2026-09-29 cs.AI cs.CL cs.LG
Incentive-Aligned Multi-Source LLM Summaries
Harvard University(哈佛大学);Google Research(谷歌研究)
本文提出TTS框架,通过激励对齐提升多源摘要的事实准确性与稳健性,同时保持流畅性。
2026-02-25 cs.AI cs.CL cs.GT
Re-Reading Improves Reasoning in Large Language Models
Institute of Information Engineering, CAS(中国科学院信息工程研究所);SKLSDE Lab, Beihang University(北京航空航天大学);University of Technology Sydney(悉尼科技大学);Microsoft Corporation(微软公司)
本文提出 Re2 提示方法,通过让 LLM 重读输入问题增强理解并模拟双向编码,在 14 个数据集上验证其能稳定提升推理性能且兼容 CoT 等方法。
2024-11-19 cs.CL
Eliciting Fine-Tuned Transformer Capabilities via Inference-Time Techniques
Patched Codes, Inc.(Patched Codes 公司)
本文证明基础 Transformer 可通过 ICL 等推理时技术近似 SFT 能力,并给出文本生成与线性分类所需数据集规模界,为高效部署提供理论依据。
2025-06-09 cs.AI cs.LG
CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation
Tsinghua University(清华大学);Zhipu AI(智谱AI)
本文提出Eval-Instruct方法,通过伪参考和多路径提示生成信息丰富型批评数据,微调得到CritiqueLLM模型,在评估性能上超越ChatGPT和开源基线,接近GPT-4,并能作为反馈提升生成质量。
2024-06-26 cs.AI cs.CL
ERNIE: Enhanced Language Representation with Informative Entities
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在大规模语料库上预训练的神经语言表示模型(如BERT)可以很好地从纯文本中捕获丰富的语义模式,并进行微调,以持续提高各种NLP任务的性能。然而,现有的预训练语言模型很少考虑纳入知识图谱(KG),这可以提供丰富的结构化知识事实,以更好的语言理解。我们认为,知识库中的信息实体可以增强语言表征与外部知识。在本文中,我们利用大规模的文本语料库和知识库训练一个增强的语言表示模型(ERNIE),它可以充分利用词汇,句法和知识信息的同时。实验结果表明,ERNIE在各种知识驱动的任务上取得了显著的改进,同时在其他常见的NLP任务上与最先进的模型BERT相当。本文的源代码可以从https://github.com/thunlp/ERNIE获得。
2019-06-04 cs.CL
Multimodal Foundation Models Exploit Text to Make Medical Image Predictions
Harvard Medical School(哈佛医学院);Brigham and Women's Hospital(布莱根妇女医院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心)
本文通过1014个多模态医学病例评估多个多模态基础模型,发现其医学图像预测主要依赖利用文本而非图像,且文本中的错误暗示会显著降低分类性能,揭示了多模态AI在医学诊断中的关键局限。
2024-11-25 cs.AI cs.CL cs.CV
Click it or Leave it: Detecting and Spoiling Clickbait with Informativeness Measures and Large Language Models
Faculty of Mathematics and Information Science(数学与信息科学学院)
本文提出结合Transformer嵌入和语言学特征的点击诱饵检测方法,通过XGBoost模型在信息度量基础上达到91%的F1分数,提升预测透明度和可解释性。
2026-02-20 cs.AI cs.CL
Truthfulness Despite Weak Supervision: Evaluating and Training LLMs Using Peer Prediction
Center for Human-Compatible Artificial Intelligence(兼容人类的人工智能中心);University of California, Berkeley(加州大学伯克利分校)
通过同伴预测方法,利用弱监督提升大语言模型的真实性,有效对抗欺骗并增强评估可靠性。
2026-01-28 cs.AI cs.CL cs.GT
Multimodal Procedural Planning via Dual Text-Image Prompting
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of California, Los Angeles(加州大学洛杉矶分校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
该研究提出多模态程序规划任务,设计双模态提示方法TIP结合大语言模型与扩散模型能力,构建两个测试基准,验证了方法在规划信息性、时序一致性和准确性上的优势。
2023-05-02 cs.CL
Cequel: Cost-Effective Querying of Large Language Models for Text Clustering
Hong Kong Baptist University(香港 Baptist 大学)
Cequel框架通过EdgeLLM和TriangleLLM算法在有限LLM查询预算下选择性地构建必连与不可连约束,并结合加权约束聚类,以低成本实现高质量的文本聚类。
2025-08-21 cs.AI cs.CL
How the Advent of Ubiquitous Large Language Models both Stymie and Turbocharge Dynamic Adversarial Question Generation
University of Maryland(马里兰大学)
本研究考察LLM对动态对抗性问题生成的双重影响,通过LLM与检索模型辅助作者分析问题失效原因,并提出新指标、激励机制及对抗性问题数据集。
2024-01-20 cs.CL cs.HC
Adaptive Elicitation of Latent Information Using Natural Language
Columbia University(哥伦比亚大学)
本文提出一种自适应引示框架,利用元学习语言模型模拟未来观察以量化不确定性,从而在自然语言环境中策略性地选择最具信息量的查询,减少潜在实体不确定性,并在多个任务中优于基线。
2025-07-09 cs.AI cs.CL cs.LG
Calibrating LLMs for Text-to-SQL Parsing by Leveraging Sub-clause Frequencies
Carnegie Mellon University(卡内基梅隆大学);Bloomberg(彭博)
本文针对LLM在Text-to-SQL解析中自信出错的问题,提出利用SQL结构化特性的“子句频率”(SCF)分数,并通过多元Platt scaling(MPS)将其组合,有效提升了查询正确性置信度的校准与错误检测效果。
2025-09-17 cs.AI cs.CL cs.LG
DiLM: Distilling Dataset into Language Model for Text-level Dataset Distillation
Tokyo Institute of Technology(东京工业大学)
本文提出DiLM方法,通过训练语言模型生成文本形式的合成训练样本,解决嵌入级蒸馏无法跨模型使用的问题,并在文本分类和上下文学习任务中取得优于核心集方法的性能。
2024-03-30 cs.CL cs.LG
Towards Emotion-Based Synthetic Consciousness: Using LLMs to Estimate Emotion Probability Vectors
Imense Ltd(Imense有限公司);Warwick University(华威大学)
本文利用LLM估计文本的情感概率向量,通过PCA映射情感描述符,并尝试通过尾部提示引出行动描述,但实验表明此方法尚不可行。
2023-10-09 cs.CL
Beyond Confidence: Rethinking Self-Assessments for Performance Prediction in LLMs
Department of Computer Science and Engineering, College of Engineering, The Pennsylvania State University(计算机科学与工程系,工程学院,宾夕法尼亚州立大学)
本文提出基于认知评估理论的多维自我评估框架,通过六个评估维度和置信度预测模型失败,发现能力相关维度在多数场景中表现更优,且努力维度在推理任务中更具预测性。
2026-05-08 cs.AI cs.CL cs.LG
Power-Law Decay Loss for Large Language Model Finetuning: A Theory Perspective
针对交叉熵平等加权导致模型偏重高频低信息 token 的问题,本文提出按语料频率幂律衰减重加权的 PDL 损失,并从理论上说明其可提升文本生成质量、多样性与信息量。
2025-06-09 cs.CL cs.LG
Paths to Causality: Finding Informative Subgraphs Within Knowledge Graphs for Knowledge-Based Causal Discovery
Fujitsu Limited(富士通有限公司)
针对现有基于大语言模型的知识型因果发现结果不稳定的问题,提出结合知识图谱与大语言模型的方法,通过识别并排序知识图谱中的元路径信息性子图融入零样本提示,在多数据集上F1分数最高提升44.4分。
2025-06-10 cs.AI cs.CL cs.IR
Active Sentence Learning by Adversarial Uncertainty Sampling in Discrete Space
ByteDance AI Lab(字节跳动人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
句子理解的主动学习旨在发现信息丰富的未标记数据进行注释,从而减少对标记数据的需求。我们认为,典型的主动学习的不确定性抽样方法是耗时的,很难实时工作,这可能会导致无效的样本选择。我们提出了离散空间中的对抗性不确定性采样(AUSDS),以更有效地检索信息丰富的未标记样本。AUSDS将句子映射到由流行的预训练语言模型生成的潜在空间中,并通过对抗攻击发现信息丰富的未标记文本样本进行注释。与传统的不确定性采样方法相比,该方法具有超过10倍的加速比。在五个数据集上的实验结果表明,AUSDS的有效性优于强基线。
2020-10-28 cs.CL cs.LG
AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling
Imperial College London(伦敦帝国理工学院);Vector Institute(向量研究所);University of Toronto(多伦多大学)
本文提出AutoElicit方法,通过从大型语言模型中提取知识来构建预测模型的先验分布,以降低样本复杂度。研究表明,该方法能显著减少预测误差,并在构建尿路感染预测模型时节省超6个月标注工作。
2025-05-28 cs.CL cs.LG stat.ML
InforME: Improving Informativeness of Abstractive Text Summarization With Informative Attention Guided by Named Entity Salience
University of Technology Sydney(悉尼技术大学)
本文提出InforME方法,结合最优传输的信息性注意力与命名实体累积联合熵缩减,提升抽象式摘要的信息量,在CNN/Daily Mail上取得更优ROUGE分数。
2025-10-07 cs.AI cs.CL
Eliciting Language Model Behaviors with Investigator Agents
MIT(麻省理工学院);Stanford University(斯坦福大学)
本文研究语言模型行为引出问题,通过监督微调、DPO强化学习与Frank-Wolfe训练目标训练调查者模型,以迭代发现多样化提示策略,成功诱导越狱、幻觉等行为,在AdvBench子集上实现100%攻击成功率和85%幻觉率。
2025-02-03 cs.AI cs.CL cs.LG
Eliciting Knowledge from Large Pre-Trained Models for Unsupervised Knowledge-Grounded Conversation
The Chinese University of Hong Kong(香港中文大学)
大规模预训练的最新进展为大型模型提供了从原始文本中学习知识的潜力。因此,很自然地会问,是否有可能利用这些大型模型作为下游任务的知识库。在这项工作中,我们在无监督的知识基础对话中回答了上述问题。我们探索各种方法,最好地从大型模型中获取知识。我们的人类研究表明,尽管存在幻觉,但大型模型具有独特的优势,能够输出常识并总结无法从搜索引擎直接检索的事实。为了更好地利用这些产生的知识在对话生成,我们把产生的知识作为一个嘈杂的知识源,并提出了基于后验的重新加权以及嘈杂的训练策略。两个基准的实证结果显示出优于国家的最先进的方法。
2022-11-08 cs.CL
DP-GAN: Diversity-Promoting Generative Adversarial Network for Generating Informative and Diversified Text
Peking University(北京大学)
现有的文本生成方法往往会产生重复和“无聊”的表达。为了解决这个问题,我们提出了一个新的文本生成模型,称为多样性促进生成对抗网络(DP-GAN)。该模型为重复生成的文本分配低奖励,为“新颖”和流畅的文本分配高奖励,鼓励生成器生成多样化和信息丰富的文本。此外,我们提出了一种新的语言模型为基础的鉴别器,它可以更好地区分新的文本从重复的文本没有饱和的问题相比,现有的基于分类器的歧视。评论生成和对话生成任务的实验结果表明,我们的模型可以生成比现有基线更多样化和信息量更大的文本。代码可在https://github.com/lancopku/DPGAN上获得
2018-08-21 cs.CL
Autiverse: Eliciting Autistic Adolescents' Daily Narratives through AI-guided Multimodal Journaling
NAVER AI Lab(NAVER AI实验室);Dodakim Child Development Center(Dodakim儿童发展中心);Sungkyunkwan University(松均大学)
Autiverse通过AI引导的多模态日记记录帮助自闭症青少年组织日常经历,提升叙述能力并增强自主感。
2026-01-26 cs.AI cs.CL cs.HC
Generating Informative Conclusions for Argumentative Texts
Leipzig University(莱比锡大学);Paderborn University(帕德博恩大学)
议论文的目的是支持某一结论。然而,他们往往被省略,期待读者推断他们。虽然在阅读单个文本时是适当的,但这种修辞手段在浏览许多文本时限制了可访问性(例如,在搜索引擎上或在社交媒体上)。在这些情况下,一个明确的结论是一个很好的候选摘要的论点。如果结论是信息性的,强调文本中的具体概念,这一点尤其正确。本文介绍了生成信息性结论的任务:首先,编制了Webis-ConcluGen-21,一个包含136,996个议论文及其结论样本的大规模语料库。其次,两种范式的结论生成的研究;一个提取,其他抽象的性质。后者利用论证知识,通过控制代码和微调的BART模型的语料库的几个子集,增加数据。第三,洞察我们的语料库的任务,两代范式之间的差异,信息量和简洁性之间的权衡,以及编码的争论性知识的影响的适用性提供。语料库、代码和训练模型都是公开的。
2021-06-02 cs.CL
Precisely the Point: Adversarial Augmentations for Faithful and Informative Text Generation
Peking University(北京大学);Baidu Inc.(百度公司)
虽然模型鲁棒性在语言理解中得到了广泛的研究,但Seq2Seq生成的鲁棒性仍然研究不足。在本文中,我们首次对预训练的Seq2Seq模型的鲁棒性进行了定量分析。我们发现,即使是目前的SOTA预训练Seq2Seq模型(BART)仍然是脆弱的,这导致文本生成任务的忠实性和信息量显着退化。这促使我们进一步提出了一种新的对抗性增强框架,即AdvSeq,通过增强Seq2Seq模型的鲁棒性来普遍提高其忠实性和信息量。AdvSeq在训练过程中自动构建两种类型的对抗性增强,包括通过扰动单词表示的隐式对抗性样本和通过单词交换的显式对抗性样本,这两者都有效地提高了Seq2Seq的鲁棒性。在三个流行的文本生成任务上进行的大量实验表明,AdvSeq在自动和人工评估设置下显着提高了Seq2Seq生成的忠实性和信息量。
2022-10-22 cs.CL
Pragmatically Informative Text Generation
Computer Science Division, UC Berkeley(加州大学伯克利分校计算机科学系);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
我们使用计算语用学的技术来提高条件文本生成模型的信息量。这些技术将语言生产制定为说话者和听众之间的游戏,其中说话者应该生成输出文本,听众可以使用该文本来正确识别文本描述的原始输入。虽然这些方法在认知科学和基础语言学习中得到了广泛的应用,但对于更标准的语言生成任务,它们却很少受到关注。我们考虑两种语用建模方法的文本生成:一个语用是由信息保存,另一个语用是由明确的干扰建模。我们发现,这些方法提高了强大的现有系统的抽象摘要和结构化的意义表示生成的性能。
2019-04-04 cs.CL
Informative Text Generation from Knowledge Triples
University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学);The Chinese University of Hong Kong(香港中文大学)
随着编码器-解码器体系结构的发展,研究人员能够研究更广泛类型数据的文本生成任务。其中,知识库到文本的目标是将一组知识三元组转换成人类可读的句子。在原始设置中,任务假设输入三元组和文本在具体知识/信息的角度上完全对齐。在本文中,我们扩展了这种设置,并探索如何促进训练模型生成更多信息的文本,即包含更多关于三元组实体的信息,但不是由输入三元组传达的。为了解决这个问题,我们提出了一种新的记忆增强生成器,采用记忆网络来记忆在训练过程中学到的有用知识,并利用这些信息与输入三元组一起在操作或测试阶段生成文本。我们从WebNLG中为我们的新设置获得了一个数据集,并进行了大量的实验来研究我们模型的有效性,并揭示了该设置的内在特征。
2022-09-26 cs.CL
Extending Text Informativeness Measures to Passage Interestingness Evaluation (Language Model vs. Word Embedding)
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);École Polytechnique de Montréal(蒙特利尔高等理工学院)
用于评估自动文本摘要的标准信息性度量主要依赖于自动摘要和参考摘要之间的n-gram重叠。这些度量不同于它们使用的度量(余弦,ROUGE,Kullback-Leibler,对数相似性等)。以及他们考虑的术语包(单个词、词n-gram、实体、nuggets等)。最近的词嵌入方法提供了一个连续的替代离散的方法的基础上的存在/不存在的文本单元。信息量的措施已扩展到焦点信息检索评价涉及用户的信息需求表示的短查询。特别是对于CLEF-INEX推文上下文化的任务,推文内容被认为是查询。在本文中,我们定义的概念,概括的信息性,即信息需求是多样的,形式化为一个未知的一组隐式的查询。然后,我们研究国家的最先进的信息量的措施,以应付这种泛化的能力。最近,我们表明,在这个新的框架,标准的词嵌入优于离散措施,只有在uni-gram,但bi-gram似乎是一个关键点的兴趣评估。最后,我们证明了CLEF-INEX推文语境化2012对数相似性度量提供了最佳结果。
2020-04-14 cs.CL cs.IR
Étude de l'informativité des transcriptions : une approche basée sur le résumé automatique
Université d’Avignon et des Pays de Vaucluse(阿维尼翁与沃克吕兹地区大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
本文提出了一种新的方法来评估来自自动语音识别系统的译文的信息量。该方法基于信息量的概念,重点研究了在这些文本上进行自动摘要的框架。首先对各种自动文摘的信息量进行了估计,然后探讨了自动文摘克服信息损失的能力。为了做到这一点,我们使用一个自动摘要评估协议没有参考(基于信息内容),计算不同的文本表示的概率分布之间的分歧:手动和自动transmittance和他们的摘要。经过一系列的评估,这种分析使我们能够判断转录的信息量方面的质量,并评估自动文本摘要的能力,以补偿在转录阶段提出的问题。
2018-09-04 cs.CL
Towards Generating Informative Textual Description for Neurons in Language Models
UMass Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
针对语言模型神经元可解释性方法依赖预定义描述符或人工标注的问题,研究提出将文本描述与神经元关联的无监督可扩展框架,以BERT为例验证了其生成描述符的有效性,precision@2达75%、recall@2达50%。
2024-01-30 cs.AI cs.CL