FIRE: Multi-fidelity Regression with Distribution-conditioned In-context Learning using Tabular Foundation Models
Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院机械工程系）；Center for Computational Engineering, Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院计算工程中心）
FIRE通过分布条件化上下文学习，实现高效的多保真度回归，提升准确性和不确定性量化，优于现有方法。
2026-10-14 cs.LG
Beyond Error-Based Optimization: Experience-Driven Symbolic Regression with Goal-Conditioned Reinforcement Learning
EGRL-SR通过目标条件强化学习和经验回放，提升符号回归的稳健性和复杂表达式恢复能力。
2026-01-21 cs.AI cs.LG
Robustness of Iteratively Pre-Conditioned Gradient-Descent Method: The Case of Distributed Linear Regression Problem
University of Maryland（马里兰大学）；Georgetown University（乔治城大学）
针对含观测噪声或过程噪声的多智能体分布式线性回归，本文评估 IPG 方法的鲁棒性，并通过实验证明其相较现有最优算法具有优势。
2021-01-26 cs.LG cs.SY eess.SY
Globally Convergent Newton Methods for Ill-conditioned Generalized Self-concordant Losses
INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’École Normale Supérieure（巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）
本文研究了基于牛顿法的大规模凸优化算法在正则化广义自协调损失问题中的应用，包括逻辑斯谛回归和softmax回归。我们首先证明，我们的新的简单的计划的基础上减少正则化参数的一系列问题是可证明的全局收敛，这种收敛是线性的一个常数因子的规模只有数学上的条件数。在参数设置中，我们得到了一个算法，具有相同的缩放比常规的一阶方法，但具有改进的行为，特别是在病态问题。其次，在非参数机器学习环境中，我们给出了一个结合Nystr{<$}m投影技术的显式算法，并证明了该算法的时间复杂度为O（ndf $λ$），记忆复杂度为O（df 2 $λ$），并且不依赖于条件数，从而推广了最小二乘回归的结果.这里n是观测数，df $λ$是相关的自由度。特别是，这是第一个在具有大条件数和理论保证的非参数设置中解决logistic和softmax回归的大规模算法。
2019-11-21 cs.AI cs.LG math.OC
A Conditioned Unsupervised Regression Framework Attuned to the Dynamic Nature of Data Streams
National Research Council（国家研究委员会）
针对实时标签稀缺的流数据环境，提出一种结合ADWIN算法和RMSE的无监督自适应回归框架，通过动态漂移检测实现模型持续适应，在多个数据集上表现优于非自适应基线。
2024-04-24 cs.LG
Self-conditioned Embedding Diffusion for Text Generation
INRIA（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；DeepMind（深度思维）；Massachusetts Institute of Technology（麻省理工学院）
连续扩散模型能否在自然语言上带来与图像生成相同的性能突破？为了规避文本数据的离散性，我们可以简单地将标记投影到连续的嵌入空间中，这是语言建模中的标准。我们提出了自适应嵌入扩散，一个连续的扩散机制，操作令牌嵌入，并允许学习灵活和可扩展的扩散模型的条件和无条件的文本生成。通过定性和定量评估，我们表明，我们的文本扩散模型生成的样本与标准自回归语言模型产生的样本相当，同时在理论上更有效的加速器硬件在推理时间。我们的工作铺平了道路，扩大扩散模型的文本，类似于自回归模型，并提高性能与最近的改进连续扩散。
2022-11-08 cs.CL cs.LG
TESS: Text-to-Text Self-Conditioned Simplex Diffusion
EPFL（洛桑联邦理工学院）；Idiap Research Institute（伊迪亚普研究所）；Allen Institute for AI（艾伦人工智能研究所）；Yale University（耶鲁大学）；University of Washington（华盛顿大学）
本文提出完全非自回归的文本扩散模型TESS，通过在logit单纯形空间上扩散并引入新型自条件，以更少扩散步骤在多个文本生成任务上超越现有非自回归模型，并接近预训练自回归模型性能。
2024-02-21 cs.CL cs.LG
Bayesian Topic Regression for Causal Inference
University of Oxford（牛津大学）；Amazon（亚马逊）
利用观察性文本数据进行因果推断在许多研究领域正变得越来越流行。本文提出了贝叶斯主题回归（BTR）模型，使用文本和数值信息来建模的结果变量。它允许估计离散和连续处理效应。此外，它允许在文本数据旁边包含额外的数字混淆因素。为此，我们将监督贝叶斯主题模型与贝叶斯回归框架相结合，并结合回归参数训练对文本特征进行监督表示学习，尊重Frisch-Waugh-Lovell定理。我们的论文有两个主要贡献。首先，我们提供了一个回归框架，允许因果推断的设置时，文本和数值的混淆是相关的。我们用合成和半合成数据集表明，当文本和数字特征相关时，我们的联合方法比任何基准模型都能以更低的偏差恢复地面实况。其次，在两个真实世界数据集上的实验表明，与分别估计文本和非文本特征的回归权重的策略相比，联合和监督学习策略也可以产生更好的预测结果，甚至可以与更复杂的深度神经网络竞争。
2021-09-11 cs.CL cs.LG stat.ML
Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks
Reutlingen University（图宾根大学）；University of Tübingen（图宾根大学）
本文提出一种基于输入和冻结模型输出拟合辅助模型的原则性事后不确定性估计框架，无需访问模型参数或梯度，并通过增强辅助数据提升OOD检测与回归不确定性估计性能。
2025-06-01 cs.AI cs.LG
Text-Conditioned Sampling Framework for Text-to-Image Generation with Masked Generative Models
KAIST（韩国科学技术院）；Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）
针对基于token的掩码生成模型并行采样未考虑token依赖的问题，提出文本条件采样框架TCTS及频率自适应采样策略FAS，显著提升了图像质量与图文对齐度，并将推理时间减少50%以上。
2023-04-04 cs.CL cs.CV cs.LG
Conditioned Natural Language Generation using only Unconditioned Language Model: An Exploration
MIT（麻省理工学院）
基于转换器的语言模型已经被证明对于自然语言生成（NLG）非常强大。然而，以某些用户输入（如主题或属性）为条件的文本生成是不平凡的。过去的方法依赖于修改原始的LM架构，重新训练的LM语料库与属性标签，或单独训练的“指导模型”，以指导文本生成解码。我们认为，上述方法是不必要的，和原来的无条件LM是足够的条件NLG。我们通过自动化和人工评估的样本的流畅性和多样性来评估我们的方法。
2020-11-14 cs.CL cs.LG
Text-to-ECG: 12-Lead Electrocardiogram Synthesis conditioned on Clinical Text Reports
Medical AI Inc.（医疗人工智能公司）
心电图（ECG）合成是一个研究领域，专注于生成逼真的合成ECG信号用于医疗用途，而无需担心注释成本或临床数据隐私限制。传统的ECG生成模型考虑单个ECG导联并利用基于GAN的生成模型。这些模型只能生成单个导联样本，并且需要为每个诊断类进行单独的训练。ECG的诊断类别不足以根据各种特征（例如，患者人口统计学详细信息、共存的诊断类别等）捕获ECG之间的复杂差异。为了缓解这些挑战，我们提出了一个文本到心电图的任务，其中文本输入用于产生心电图输出。然后，我们提出了Auto-TTE，一个以临床文本报告为条件的自回归生成模型来合成12导联ECG，这是我们所知的第一次。我们比较了我们的模型与其他代表性的模型在文本到语音和文本到图像的性能。实验结果表明，我们的模型在各种定量评价和定性分析的优越性。最后，我们进行了用户研究与三个委员会认证的心脏病专家，以确认所生成的样本的保真度和语义对齐。我们的代码将在https://github.com/TClife/text_to_ecg上提供
2023-03-09 cs.CL cs.LG eess.SP
LOGEN: Few-shot Logical Knowledge-Conditioned Text Generation with Self-training
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Donghai Laboratory（东海实验室）
针对结构化数据自然语言生成存在的内容选择不可控、保真度低，以及现有逻辑知识条件生成方法数据需求量大的问题，本文提出少样本统一框架LOGEN，通过自训练与基于内容结构一致性的伪逻辑形式采样，在少量样本下取得优于基线的性能。
2023-05-05 cs.AI cs.CL cs.IR
SpeechPainter: Text-conditioned Speech Inpainting
Google（谷歌）
我们提出了SpeechPainter，一个模型，用于利用辅助文本输入来填充语音样本中长达一秒的空白。我们证明，该模型执行语音修补与适当的内容，同时保持扬声器的身份，韵律和记录环境条件，并概括为看不见的扬声器。我们的方法显著优于使用自适应TTS构建的基线，由人类评分员在并排偏好和MOS测试中判断。
2022-03-30 cs.LG cs.SD eess.AS
Text-to-Model: Text-Conditioned Neural Network Diffusion for Train-Once-for-All Personalization
Zhejiang University（浙江大学）
本文提出Tina，一种文本条件神经网络扩散方法，用于一次训练全个性化场景，通过CLIP嵌入任务描述生成个性化模型，在小型数据集上实现强大的分布内和分布外泛化。
2025-03-26 cs.LG
PathLDM: Text conditioned Latent Diffusion Model for Histopathology
Stony Brook University（石溪大学）
本文提出首个面向组织病理学的文本条件潜在扩散模型PathLDM，通过融合病理报告文本与图像并在TCGA-BRCA上取得FID 7.64的领先性能。
2023-11-30 cs.CV cs.LG
Noise2Music: Text-conditioned Music Generation with Diffusion Models
Google Research（谷歌研究院）
我们引入了Noise 2 Music，其中训练了一系列扩散模型，以从文本提示生成高质量的30秒音乐片段。连续训练并利用两种类型的扩散模型，生成器模型和扩散器模型，生成器模型生成以文本为条件的中间表示，扩散器模型生成以中间表示和可能的文本为条件的高保真音频，以生成高保真音乐。我们探索两种选择的中间表示，一个使用频谱图和其他使用音频较低的保真度。我们发现，生成的音频不仅能够忠实地反映文本提示的关键元素，如体裁，节奏，乐器，情绪和时代，但超越了地面细粒度的提示语义。预训练的大语言模型在这个故事中起着关键作用-它们用于为训练集的音频生成配对文本，并提取扩散模型摄取的文本提示的嵌入。生成的示例：https://google-research.github.io/noise2music
2023-03-06 cs.LG cs.SD eess.AS
Conditioned Text Generation with Transfer for Closed-Domain Dialogue Systems
Sonos Inc.（Sonos公司）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）
面向任务的对话系统的训练数据的稀缺性是一个众所周知的问题，通常通过昂贵且耗时的手动数据注释来解决。另一种解决方案是依靠自动文本生成，虽然不如人工监督准确，但具有便宜和快速的优势。我们的贡献是双重的。首先，我们展示了如何使用条件变分自编码器优化训练和控制意图特定的句子的生成。然后，我们引入了一个新的协议，称为查询传输，允许利用一个大型的未标记的数据集，可能包含不相关的查询，提取相关信息。与两个不同的基线比较表明，这种方法，在适当的制度，不断提高所生成的查询的多样性，而不影响其质量。我们还证明了我们的生成方法作为语言建模任务的数据增强技术的有效性。
2020-11-03 cs.AI cs.CL cs.LG
AudioToken: Adaptation of Text-Conditioned Diffusion Models for Audio-to-Image Generation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Technion - Israel Institute of Technology（以色列理工学院）；Tel-Aviv University（特拉维夫大学）；NetApp（网存公司）
本文提出AudioToken方法，通过预训练音频编码模型将音频转化为新令牌作为适配层，利用少量可训练参数调整文本到图像的潜在扩散模型，实现音频到图像的生成，并在客观与主观指标上优于基线方法。
2023-05-22 cs.CV cs.LG cs.SD
WADER at SemEval-2023 Task 9: A Weak-labelling framework for Data augmentation in tExt Regression Tasks
Netaji Subhas University of Technology（内塔吉·苏巴斯理工大学）；Northeastern University（东北大学）
亲密关系是人际关系的重要组成部分，语言是表达亲密关系的重要手段，文本亲密关系分析可以揭示不同语境下的社会规范，并作为测试计算模型理解社会信息能力的基准。在本文中，我们提出了一种新的弱标记策略，用于文本回归任务中的数据增强，称为WADER。WADER使用数据增强来解决数据不平衡和数据稀缺的问题，并提供了一种跨语言、zero-shot任务的数据增强方法。我们使用WADER对最先进的预训练多语言语言模型的性能进行了基准测试，并分析了抽样技术的使用，以减轻数据中的偏差并最佳地选择增强候选者。我们的研究结果表明，WADER优于基线模型，并为减轻文本回归任务中的数据不平衡和稀缺性提供了方向。
2023-03-05 cs.CL cs.LG
Hear What Matters! Text-conditioned Selective Video-to-Audio Generation
Graduate School of Cultural Technology, KAIST（韩国科学技术院文化技术研究生院）；Division of AI and Software, Ewha Womans University（梨花女子大学人工智能与软件学部）
本文提出基于文本的视频到音频生成任务，通过文本提示选择性提取视频中相关声音源，提升多对象视频音频处理精度。SELVA模型通过文本提示选择视频编码器中的视觉特征，结合补充标记和自监督学习提升音频质量与同步性。
2026-03-27 cs.CV cs.LG cs.MM
Text Conditioned Symbolic Drumbeat Generation using Latent Diffusion Models
University of Galway（戈尔韦大学）
提出基于CLIP式对比对齐、多热编码和MultiResolutionLSTM的文本条件LDM符号鼓点生成方法，实验表明其新颖、贴合提示且质量接近人类创作。
2024-08-05 cs.AI cs.LG cs.SD
Multimodal Image Colorization: Quantifying the Impact of Text-Conditioned Guidance on Grayscale-to-Color Translation
Department of Computer Science and Software Engineering（计算机科学与软件工程系）
本文通过U-Net和Stable Diffusion 1.5两种架构，量化了CLIP文本条件对灰度图像着色质量的影响，发现文本条件显著提升了PSNR、SSIM和色彩度，降低了LPIPS。
2026-06-23 cs.CL cs.CV cs.GR
Enhancing Motion Variation in Text-to-Motion Models via Pose and Video Conditioned Editing
Aalto University（阿尔托大学）
提出一种利用短视频或图像作为条件编辑现有基本运动的方法，使文本到运动模型能生成训练集中缺失的未见运动，并在用户研究中达到与常见运动相媲美的真实感。
2024-10-11 cs.LG
FICE: Text-Conditioned Fashion Image Editing With Guided GAN Inversion
University of Ljubljana（卢布尔雅那大学）；Queensland University of Technology（昆士兰科技大学）
时尚图像编辑是一项具有挑战性的计算机视觉任务，其目标是将选定的服装合并到给定的输入图像中。大多数现有的技术，称为虚拟试穿方法，通过首先选择所需服装的示例图像，然后将服装转移到目标人身上来处理该任务。相反，在本文中，我们考虑用文本描述编辑时尚图像。这种方法相对于基于实例的虚拟试穿技术具有若干优点，例如：(i)它不需要目标时尚物品的图像，并且（ii）它允许通过使用自然语言来表达各种各样的视觉概念。现有的使用语言输入的图像编辑方法受到其对具有丰富属性注释的训练集的要求的严重限制，或者它们只能处理简单的文本描述。我们解决这些限制，提出了一种新的文本条件编辑模型，称为FICE（时尚图像剪辑编辑），能够处理各种各样的不同的文本描述，以指导编辑过程。特别是FICE，我们增加了常见的GAN反演过程中，包括语义，姿势相关的，和图像级的约束时，生成图像。我们利用CLIP模型的能力来执行语义，由于其令人印象深刻的图像-文本关联功能。此外，我们提出了一个潜在的代码正则化技术，提供了更好地控制合成图像的保真度的手段。我们通过严格的实验验证FICE的VITON图像和时尚代文字描述的组合，并与几个国家的最先进的文字条件的图像编辑方法进行比较。实验结果表明，FICE生成高度逼真的时尚图像，并导致更强的编辑性能比现有的竞争方法。
2023-01-05 cs.AI cs.CV cs.LG
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation（日本电信电话株式会社）
针对零样本TTS在含噪参考语音下质量下降的问题，提出通过在SSL模型中引入适配器并用含噪语音联合微调，同时结合语音增强前端，实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
Generalized Multi-Source Inference for Text Conditioned Music Diffusion Models
Sapienza University of Rome（罗马智慧大学）；Ca' Foscari University of Venice（威尼斯大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出广义多源推理方法，将多源扩散模型推广至任意文本条件时域扩散模型，无需分离数据即可生成连贯音源与伴奏，并适配Dirac分离器，在Slakh2100和MTG-Jamendo上取得有竞争力的结果。
2024-03-18 cs.LG cs.SD eess.AS
Logit-Conditioned Diffusion Decoding for Frozen Discrete-Token VLMs
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Microsoft Research Asia (MSRA)（微软亚洲研究院）
本文提出一种基于扩散解码的框架，通过训练仅需扩散解码器即可提升图像保真度，利用分布加权代码向量增强视觉质量，仅需ImageNet-1K短训练即可改进VQ-VAE重建和文本到图像生成。
2026-11-10 cs.CV cs.LG
How Far is Adam from Natural Gradient Descent?
San Francisco University High School（旧金山大学附属高中）
本文通过几何度量分析Adam与自然梯度下降的偏差，发现其优化能力源于结构近似误差与动量平滑的平衡，而非追踪自然梯度路径。
2026-10-02 cs.LG cs.NE
ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）
ResPrune通过子空间重建方法实现视觉令牌修剪，结合文本相关性选择信息量大的令牌，提升大视觉-语言模型推理效率，减少计算和内存开销。
2026-03-22 cs.LG
A Fast and Efficient Modern BERT based Text-Conditioned Diffusion Model for Medical Image Segmentation
International Institute of Information Technology, Hyderabad, 500032, India（国际信息科技学院，海得拉巴）
本文提出FastTextDiff，利用ModernBERT提升医学图像分割的效率和准确性，通过整合文本注释和多模态注意力机制改进传统扩散模型。
2025-11-26 cs.CV cs.LG
Data-Driven Analysis of Text-Conditioned AI-Generated Music: A Case Study with Suno and Udio
KTH Royal Institute of Technology（皇家理工学院）
本文利用文本嵌入、降维与聚类方法，分析了2024年5至10月Suno和Udio平台用户生成的大量歌曲，揭示了歌词主题、语言偏好、提示策略及元标签引导模型的奇特尝试，并公开代码与资源以促进AI音乐文化研究。
2025-09-15 cs.AI cs.IR cs.LG
STIV: Scalable Text and Image Conditioned Video Generation
Apple（苹果公司）；University of California, Los Angeles（加州大学洛杉矶分校）
本研究提出可扩展的文本-图像条件视频生成方法STIV，通过帧替换与联合条件引导实现多任务支持，8.7B模型在VBench基准上取得超越主流模型的性能，为领域发展提供透明方案。
2025-10-06 cs.AI cs.CV cs.LG
