Beyond Semantics: Measuring Fine-Grained Emotion Preservation in Small Language Model-Based Machine Translation
Poznań University of Technology(波兹南技术大学)
本文评估了三种先进的小型语言模型在回译中保持细粒度情感的能力,探讨了模型自身的情感保留能力、情感意识提示的效果以及ModernBERT在情感分类中的表现。
2026-04-30 cs.AI cs.CL
Automatically Generating Chinese Homophone Words to Probe Machine Translation Estimation Systems
Institute for People-Centred AI, University of Surrey(萨里大学)
针对现有机器翻译质量评估模型在情感保留鲁棒性上研究不足的问题,提出基于自信息生成情感类中文谐音词的方法,发现大语言模型规模越大对该类扰动的鲁棒性越高,相关数据和代码已开源。
2025-03-20 cs.CL
Improving Conditioning in Context-Aware Sequence to Sequence Models
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院)
神经序列到序列模型很好地建立了应用程序,可以将其转换为将单个输入序列映射到单个输出序列。在这项工作中,我们专注于生成条件的情况下,一个简短的查询和一个长的上下文,如抽象的问答或文档级的翻译。我们修改了标准的序列到序列的方法,以更好地利用查询和上下文扩展的条件机制,interrupt查询和上下文的注意。我们还介绍了一个简单而有效的数据增强方法所提出的模型。在三个不同的任务上的实验表明,这两种变化都会导致一致的改进。
2019-11-21 cs.CL cs.LG
Cross-lingual Opinions and Emotions Mining in Comparable Documents
本研究通过构建双语情绪词典和跨语言标注方法,分析英阿可比文档中的情感与情绪差异,发现同源新闻机构文档标注一致,异源则分歧,方法具有语言无关性。
2025-08-05 cs.CL
Identifying Intensity of the Structure and Content in Tweets and the Discriminative Power of Attributes in Context with Referential Translation Machines
AI Enablement(AI赋能部门);Huawei Türkiye R&D Center(华为土耳其研发中心)
本文提出用堆叠RTM将属性—词语相似性及多语言推文情感强度预测建模为MTPP,在任务10与任务1上均取得良好效果。
2024-07-06 cs.AI cs.CL
Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data
LIA - Avignon Universite(阿维尼翁大学LIA实验室);University of Cambridge(剑桥大学)
提出基于离散语音单元的多语言情感嵌入方法,通过预测音高和时长实现跨语言情感保持的语音重合成,无需并行数据且优于基线。
2023-06-29 cs.CL cs.SD eess.AS
Interactive-Predictive Neural Machine Translation through Reinforcement and Imitation
Heidelberg University(海德堡大学)
我们提出了一个交互式预测神经机器翻译框架,使用强化和模仿学习更容易进行模型个性化。在交互式翻译过程中,用户被要求对系统识别的不确定位置提供反馈。回应是以“保留”和“删除”编辑形式的弱反馈,以及以“替代”编辑形式的专家演示。以收集的反馈为条件,系统通过约束束搜索创建替代平移。在对两种语言对的模拟实验中,我们的系统以更少的人工努力接近监督训练的性能。
2019-07-05 cs.CL
Incorporating Structural Alignment Biases into an Attentional Neural Translation Model
University of Melbourne(墨尔本大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学);Monash University(莫纳什大学)
机器翻译的神经编码器-解码器模型已经取得了令人印象深刻的结果,可以与传统的翻译模型相媲美。然而,他们的建模公式过于简单化,并省略了传统模型中内置的几个关键归纳偏差。在本文中,我们扩展了注意力神经翻译模型,以包括基于单词的对齐模型的结构偏差,包括位置偏差、马尔科夫条件反射、繁殖力和翻译方向的一致性。我们显示了基线注意力模型和基于短语的标准模型在几种语言对上的改进,在低资源环境下对困难的语言进行评估。
2016-01-06 cs.CL
Cross-lingual Emotion Intensity Prediction
Expert System;Universitat Pompeu Fabra(庞培法布拉大学);University of Oslo(奥斯陆大学)
情感强度预测确定作者在文本中表达的情感的程度或强度,扩展了以前的情感检测分类方法。虽然以前关于这个主题的大多数工作都集中在英语文本上,但其他语言也将受益于细粒度的情感分类,最好不必在每种新语言中重新创建英语中可用的注释数据量。因此,我们探索跨语言迁移方法细粒度的情绪检测在西班牙语和加泰罗尼亚语的推文。为此,我们使用最佳-最差缩放来注释西班牙语和加泰罗尼亚语推文的测试集。我们比较了六种跨语言方法,例如,机器翻译和跨语言嵌入,它们对并行数据有不同的要求--从数百万个并行句子到完全无监督。结果表明,在这些数据上,具有低并行数据要求的方法比使用更多并行数据的方法表现得更好,我们通过深入的错误分析解释了这一点。我们在\url{https://github.com/jerbarnes/fine-grained_cross-lingual_emotion}上提供数据集和代码
2020-11-24 cs.CL
Crowdsourcing and Validating Event-focused Emotion Corpora for German and English
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);University of Stuttgart(斯图加特大学)
情感分析有一系列跨多种语言的语料库。对于情感分析,情况更加有限,这阻碍了跨语言建模的潜在研究和其他语言预测模型的开发。在本文中,我们填补了这一空白,德国通过构建deISOKING,语料库设计的类比建立良好的英语ISOKING情感数据集。受Scherer的评价理论的启发,我们实施了一个众包实验,包括两个步骤。在步骤1中,参与者为给定的情绪创建情绪事件的描述。在步骤2中,五个注释者评估文本所表达的情感。我们表明,通过机器翻译将情感分类模型从原始的英语ISORM转移到德语众包deISORM,平均而言,不会导致性能下降。
2019-05-31 cs.AI cs.CL cs.HC
Document-Level Neural Machine Translation with Hierarchical Attention Networks
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
神经机器翻译(NMT)可以通过包含文档级上下文信息来改进。为此,我们提出了一个层次化的注意力模型,以结构化和动态的方式捕捉上下文。该模型集成在原始NMT架构中作为另一个抽象级别,以NMT模型自己以前的隐藏状态为条件。实验表明,分层注意力显着提高了BLEU分数超过一个强大的NMT基线与最先进的上下文感知方法,编码器和解码器都受益于上下文的互补方式。
2018-10-01 cs.CL
UWB at WASSA-2024 Shared Task 2: Cross-lingual Emotion Detection
University of West Bohemia, Faculty of Applied Sciences(西波西米亚大学应用科学学院);Department of Computer Science and Engineering(计算机科学与工程系);NTIS – New Technologies for the Information Society(信息社会新技术机构)
本文针对WASSA-2024跨语言情感检测任务,提出基于微调量化大模型与多语言Transformer的方法,结合机器翻译与触发词切换技术,在触发词与情感检测子任务中取得前三名优异成绩。
2025-08-12 cs.CL
Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning
Department of Electrical Engineering, Columbia University(电气工程系,哥伦比亚大学)
提出Sympatheia语音对话框架,通过从用户语音推断情感并结合连续效价-唤醒度控制信号,实现情感自适应响应,优于基线模型。
2026-05-30 cs.CL cs.HC cs.LG
Persona-Based Synthetic Data Generation Using Multi-Stage Conditioning with Large Language Models for Emotion Recognition
Almondays Co., Ltd(Almondays 有限公司);Kansai University(关西大学);Yokohama City University(横滨市立大学)
针对情感数据集稀缺问题,提出基于多阶段人格条件化的大型语言模型框架PersonaGen,通过构建分层虚拟人生成高质量情感文本,在多样性、真实性与下游任务中均显著优于基线。
2025-09-13 cs.AI cs.CL
Controlling the Output Length of Neural Machine Translation
Amazon(亚马逊)
神经机器翻译(NMT)的最新进展正在迅速扩大机器翻译的应用领域,并重塑目标质量水平。特别是,如果翻译必须符合某种特定的布局,则质量不仅应根据适当性和流畅性来衡量,还应根据长度来衡量。示例性情况是文档文件、字幕和配音脚本的翻译,其中输出长度理想地应该尽可能接近输入文本的长度。本文地址的第一次,尽我们所知,在NMT的输出长度控制的问题。我们研究了两种使用Transformer架构偏置输出长度的方法:i)将输出调节为给定的目标源长度比类,ii)使用长度信息丰富Transformer位置嵌入。我们的实验表明,这两种方法都可以诱导网络生成更短的翻译,并获得可解释的语言技能。
2019-10-25 cs.CL
Are Expressions for Music Emotions the Same Across Cultures?
Max Planck Institute for Empirical Aesthetics(马克斯·普朗克实证美学研究所);Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Cornell University(康奈尔大学)
针对跨文化音乐情感研究中依赖西方资源的偏差问题,该研究通过平衡抽样三国流行音乐、开放式标签构建文化特异性分类法及评分实验,揭示了情感表达的文化差异与共性,强调需自下而上的领域敏感方法减少偏差。
2025-02-12 cs.CL cs.HC cs.SD
MMTE: Corpus and Metrics for Evaluating Machine Translation Quality of Metaphorical Language
The University of Sheffield(谢菲尔德大学);University of Waterloo(滑铁卢大学);UIBE(对外经济贸易大学);The University of Manchester(曼彻斯特大学)
本文针对机器翻译中比喻性语言质量评估缺失的问题,提出了一套人工评估指标和一个多语言平行隐喻语料库,从隐喻对等性、情感、真实性和质量四方面评估,发现比喻表达翻译与字面表达不同。
2024-11-08 cs.CL
Automatic Machine Translation Evaluation in Many Languages via Zero-Shot Paraphrasing
Johns Hopkins University(约翰斯·霍普金斯大学)
我们将机器翻译评估的任务定义为以人类参考为条件,用序列到序列释义器对机器翻译输出进行评分。我们建议将释义器训练为多语言NMT系统,将释义视为zero-shot翻译任务(例如,捷克语(Czech)这导致释义器的输出模式以输入序列的副本为中心,这表示MT系统输出与人类参考匹配的最佳情况。我们的方法简单直观,不需要人为判断来训练。我们的单一模型(用39种语言训练)在所有语言(不包括古吉拉特语,因为该模型没有训练数据)的WMT 2019段级共享指标任务中优于或统计上与所有先前指标保持一致。我们还探索了使用我们的模型进行质量估计任务作为度量标准-以源代码而不是参考为条件-并发现它在每个语言对中的质量估计方面明显优于WMT 2019共享任务的每个提交。
2020-10-27 cs.CL
Semantically Consistent Data Augmentation for Neural Machine Translation via Conditional Masked Language Model
NetEase Youdao(网易有道)
本文介绍了一种新的神经机器翻译的数据增强方法,可以在语言内部和跨语言之间增强语义一致性。我们的方法是基于条件屏蔽语言模型(CMLM),这是双向的,可以是条件的左右上下文,以及标签。我们证明了CMLM是一个很好的技术,用于生成上下文相关的词分布。特别是,我们表明,CMLM是能够强制执行语义一致性的条件源和目标在替代。此外,为了提高多样性,我们将软字替换的想法,数据增强,取代一个词的概率分布的词汇。在四个不同尺度的翻译数据集上的实验表明,该方法能够实现更真实的数据增强和更好的翻译质量。我们的方法始终实现最佳性能与强大的和最近的作品相比,并产生高达1.90 BLEU点的基线改进。
2022-09-22 cs.CL
Measuring and Increasing Context Usage in Context-Aware Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究所);Unbabel
神经机器翻译的最新研究已经证明了使用中间语境的必要性和可行性,中间语境是指来自当前翻译句子以外的句子的语境。然而,尽管目前的许多方法提出了理论上可以使用这种额外上下文的模型架构,但通常不清楚它们在翻译时实际使用了多少。在本文中,我们引入了一个新的度量,条件交叉互信息,量化这些模型的上下文的使用。使用这个度量标准,我们测量文档级机器翻译系统使用特定上下文的程度。我们发现,目标上下文被引用的源上下文,并在一个较长的上下文条件有一个递减的效果。然后,我们引入了一种新的,简单的训练方法,上下文感知的词辍学,增加上下文感知模型的上下文的使用。实验表明,我们的方法增加了上下文的使用,这反映了根据BLEU和COMET等指标的翻译质量,以及在照应代词解析和词汇衔接对比数据集上的性能。
2021-06-02 cs.CL
Enhancing Supervised Learning with Contrastive Markings in Neural Machine Translation Training
SAP SE(思爱普);Heidelberg University(海德堡大学)
本文提出在 NMT 最大似然训练中加入自动提取的对比标记,以区分正确与错误词元,从而增强监督学习并尤其提升译后编辑场景效果。
2023-07-17 cs.CL
MELD-ST: An Emotion-aware Speech Translation Dataset
Technical University of Munich(慕尼黑工业大学);Kyoto University(京都大学);SenseTime(商汤科技);National Institute of Informatics(情报信息研究所)
本文提出MELD-ST数据集,用于情感感知语音翻译,包含英日和英德语言对,各约1万条带情感标签的语音,实验表明情感标签微调可提升翻译性能。
2024-05-21 cs.CL
Latent Variable Model for Multi-modal Translation
ILLC(逻辑、语言与计算研究所);The University of Amsterdam(阿姆斯特丹大学)
在这项工作中,我们提出了多模态神经机器翻译(MMT)的视觉和文本特征之间的相互作用建模通过一个潜在的变量模型。这个潜变量可以被看作是一个多模态的随机嵌入的图像和它的描述在一种外语。它用于目标语言解码器,也用于预测图像特征。重要的是,我们的模型公式在训练过程中使用视觉和文本输入,但不要求在测试时提供图像。我们表明,我们的潜变量MMT公式在强基线上有很大的改进,包括多任务学习方法(Elliott和Kádár,2017)和条件变分自动编码器方法(Toyama等人,2016年)。最后,我们展示了由于(i)预测图像特征而不仅仅是对它们进行调节,(ii)对潜在变量中编码的最小信息量施加约束,以及(iii)通过对额外的目标语言图像描述(即合成数据)进行训练而带来的改进。
2019-05-16 cs.CL
Capturing document context inside sentence-level neural machine translation models with self-training
New York University(纽约大学);DeepMind(深度思维)
神经机器翻译(NMT)在训练和评估时可以说达到了人类水平。文档级神经机器翻译受到的关注较少,并且落后于文档级神经机器翻译。大多数建议的文档级的方法调查的方式,条件的模型上的几个源或目标句子,以捕捉文档上下文。这些方法需要在并行文档级语料库上从头开始训练专门的NMT模型。我们提出了一种方法,不需要在并行文档级语料库上训练一个专门的模型,并在解码时应用于训练的文档级NMT模型。我们从左到右多次处理文档,并在成对的源句子和生成的翻译上自我训练句子级模型。我们的方法加强了模型所做的选择,从而使文档中的其他句子更有可能做出相同的选择。我们在三个文档级数据集上评估了我们的方法:NIST中文-英文,WMT'19中文-英文和OpenSubtitles英文-俄文。我们证明了我们的方法比基线具有更高的BLEU分数和更高的人类偏好。我们的方法的定性分析表明,模型的选择是一致的整个文件。
2020-03-11 cs.CL
Emotion Profiling in LLM-Based Literary Translation: Systematic Shifts Across MT and Post-Editing
University of Pisa(比萨大学);Dublin City University(都柏林城市大学)
研究LLM翻译的情感特征及译后编辑如何使其接近人类翻译,通过对比《Oryx and Crake》的LLM翻译、译后编辑版本和人类翻译,发现MT系统引入特定情感指纹,削弱作者声音。
2026-06-08 cs.AI cs.CL
Is Prosody Lost in Translation? Fine-Grained Cross-Lingual Prosody Similarity Across Languages
Center for Language and Speech Processing (CLSP), Johns Hopkins University(约翰斯·霍普金斯大学语言与语音处理中心)
本研究利用多语言配音数据开展跨语言韵律细粒度分析,发现特定语言间韵律结构存在内在相关性,为表达性语音到语音翻译系统提供了实证指导。
2026-08-31 cs.CL cs.SD eess.AS
Evaluating the Effectiveness of Data Augmentation for Emotion Classification in Low-Resource Settings
Columbia University(哥伦比亚大学)
本研究在低资源多标签情感分类任务中评估数据增强技术,发现 Back Translation 优于自编码器方法,且生成多个样本能进一步提升性能,验证了其在资源受限场景中的有效性。
2024-06-07 cs.AI cs.CL cs.LG
Temporal Dynamics of Emotion and Cognition in Human Translation: Integrating the Task Segment Framework and the HOF Taxonomy
Kent State University(肯特州立大学)
本文基于翻译过程数据提出人类翻译思维生成模型,揭示自动化、认知与情感三层处理在行为中的痕迹,并整合双过程与意识形态理论,为认知翻译研究开辟新视野。
2025-05-23 cs.CL
Low Resource Multimodal Translation of Nepali Spoken Words into Emotion-Conditioned Sign Language Avatars
Center for Human Mobility and Communications, Prateek Innovations(普拉蒂克创新公司人类移动与通信中心);Sunway International Business School, Birmingham City University(双威国际商学院,伯明翰城市大学)
提出NEST-V1框架,通过共享声学编码器实现语音识别与情感分类,生成情感条件尼泊尔手语虚拟人物,在低资源场景下验证了技术可行性。
2026-06-26 cs.AI cs.CL
Multimodal Image Colorization: Quantifying the Impact of Text-Conditioned Guidance on Grayscale-to-Color Translation
Department of Computer Science and Software Engineering(计算机科学与软件工程系)
本文通过U-Net和Stable Diffusion 1.5两种架构,量化了CLIP文本条件对灰度图像着色质量的影响,发现文本条件显著提升了PSNR、SSIM和色彩度,降低了LPIPS。
2026-06-23 cs.CL cs.CV cs.GR
Improving Speech Emotion Recognition in Under-Resourced Languages via Speech-to-Speech Translation with Bootstrapping Data Selection
National Taiwan University(台湾大学);National Tsing Hua University(清华大学)
针对非英、中语言情感标注稀缺问题,提出用表达性 S2ST 与自举数据选择生成目标语言标注数据,提升多语言 SER 的跨模型与跨语言泛化性能。
2025-01-07 cs.CL cs.SD eess.AS
Kraken: LLM-based Speech-to-Speech Translation via Low-bitrate VQ and Dual-path Source Conditioning
Sony Group Corporation(索尼集团公司);Sony Europe Limited(索尼欧洲有限公司)
提出Kraken模型,利用低比特率VQ token和双路径源条件化改进语音LLM的S2ST,在翻译质量和说话人/韵律迁移上超越现有模型。
2026-09-14 cs.CL cs.SD
TEMPER: Testing Emotional Perturbation in Quantitative Reasoning
Georgia Institute of Technology(佐治亚理工学院)
本文通过构建TEMPER基准,研究情感框架对量化推理准确性的影响,发现情感扰动降低准确率2-10个百分点,但通过中性化可恢复性能,揭示情感风格影响而非内容腐败。
2026-08-13 cs.AI cs.CL
Are Large Language Models State-of-the-art Quality Estimators for Machine Translation of User-generated Content?
Centre for Translation Studies(翻译研究中心);Institute for People-Centred AI(以人为本人工智能研究院);University of Surrey(萨里大学)
本文探究大语言模型能否作为无参考译文的用户生成内容情感类机器翻译的最优质量评估器,实验显示参数高效微调的LLM预测表现更优且可解释,但仍存在拒答、输出不稳定问题。
2024-10-08 cs.CL
Conditioned in Training, Dispensable at Inference: Typological Conditioning for Multilingual Speech Translation
School of Information Science and Electrical Engineering, Kyushu University(九州大学信息科学与电子工程学院);Recho Inc.(Recho公司);National Institute of Informatics(国家信息研究所);Interdisciplinary Research Centre on Security, Reliability and Trust (SnT), University of Luxembourg(卢森堡大学安全、可靠性与信任跨学科研究中心);Donghua University(东华大学);Department of Computer Science, The University of Tokyo(东京大学计算机科学系);Department of Electrical and Computer Engineering, University of Alberta(阿尔伯塔大学电子与计算机工程系)
本文提出S2ST-Omni 2框架,通过结构化类型学先验改进多语言语音到语音翻译,实验显示其在多个评估指标上表现优异,且在数据受限条件下仍能提升翻译效率。
2026-10-14 cs.AI cs.CL
EVOKE: Emotion Vocabulary Of Korean and English
本文介绍了EVOKE情感词汇库,包含韩英情感词汇及多对多翻译,系统标注了819个韩语和924个英语形容词和动词,揭示了多义情感词和隐喻关系,为情感研究提供系统工具。
2026-04-10 cs.CL
L3Cube-MahaEmotions: A Marathi Emotion Recognition Dataset with Synthetic Annotations using CoTR prompting and Large Language Models
Pune Institute of Computer Technology(普那计算机技术研究所);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);L3Cube Labs(L3Cube实验室)
本文构建含11类细粒度标签的马拉地语情感数据集 L3Cube-MahaEmotions,利用 CoTR 提示和 GPT-4 合成训练标注,并发现通用 LLM 相比微调 BERT 泛化更优。
2025-08-29 cs.CL cs.LG
Towards Visually-Guided Movie Subtitle Translation for Indic Languages
Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology Patna(印度理工学院帕纳布分校)
本文研究了视觉引导的电影字幕翻译,针对低资源印地语等语言,提出两种轻量视觉锚定策略,发现时间错位是长视频的主要障碍,而选择性视觉锚定能有效提升翻译质量。
2026-05-12 cs.CL
Enhancing expressivity transfer in textless speech-to-speech translation
Avignon Universite(阿维尼翁大学);University of Cambridge(剑桥大学)
本研究提出一种在离散语音单元级别利用多语言情感嵌入的方法,以增强无文本语音到语音翻译中的表现力迁移,实验证明其优于现有系统。
2023-10-11 cs.CL cs.SD eess.AS
Expert-Guided Multimodal Fusion for Unified Emotion and Sentiment Analysis
School of Software, Dalian University of Technology, China(软件学院,大连理工大学,中国)
本文提出EGMF框架,通过专家引导的多模态融合与大语言模型结合,实现情绪识别与情感分析的统一处理,提升跨语言鲁棒性。
2026-08-11 cs.AI cs.CL
Emotional RAG LLMs: Reading Comprehension for the Open Internet
AI Virtual Assistant (AVA) Lab, Georgia Institute of Technology(人工智能虚拟助理实验室,佐治亚理工学院);Wand AI;Invoca
针对现实RAG应用中互联网文本语气多样导致下游任务困难的挑战,本文提出了一个情感化数据集、一个情感翻译模型以及一种基于提示的方法,以提升LLMs对检索文本的语用理解能力。
2025-06-29 cs.AI cs.CL cs.IR
Evaluating Emotion Arcs Across Languages: Bridging the Global Divide in Sentiment Analysis
University of Alberta(阿尔伯塔大学);National Research Council Canada(加拿大国家研究委员会);LMU Munich(慕尼黑大学)
本研究首次系统性定量评估自动生成的情感弧,对比机器学习与纯词典方法,通过多语言多数据集实验证明纯词典方法聚合多实例可生成准确情感弧,且英语词典自动翻译能为资源匮乏语言生成高质量情感弧,助力全球多语言情感研究。
2023-11-04 cs.CL
Leveraging IndoBERT and DistilBERT for Indonesian Emotion Classification in E-Commerce Reviews
Computer Science Department, School of Computer Science, Bina Nusantara University(计算机科学系,计算机科学学院,布纳安塔拉大学)
本研究利用 IndoBERT 和 DistilBERT 结合回译与同义词替换等数据增强技术,在印尼语电商评论情感分类中使 IndoBERT 达到 80% 准确率,证明其最有效并指出数据增强是关键因素。
2025-09-18 cs.CL
INTERACT: An AI-Driven Extended Reality Framework for Accesible Communication Featuring Real-Time Sign Language Interpretation and Emotion Recognition
Institute of Communications and Computer Systems (ICCS)(通信与计算机系统研究所);DASKALOS-APPS;National Technical University of Athens(雅典国家技术大学);University of Exeter(埃克塞特大学)
INTERACT通过整合实时语音转文本、3D虚拟化身手语生成、多语言翻译和情感识别,提升聋人及多语言用户通信体验,实验显示高满意度和准确率。
2026-04-07 cs.AI cs.CE cs.CL
Learning and Evaluating Emotion Lexicons for 91 Languages
Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学)
情感词汇描述了词语的情感意义,因此构成了高级情感和情感分析的核心。然而,手动编辑的词典只适用于少数几种语言,世界上大多数语言都没有这样一个宝贵的资源用于下游应用程序。更糟糕的是,它们的覆盖范围往往是有限的,无论是在词汇单位,他们包含的情感变量的功能。为了打破这一瓶颈,我们在这里介绍一种方法来创建几乎任意大的情感词汇的任何目标语言。我们的方法只需要一个源语言情感词典,双语单词翻译模型,和一个目标语言嵌入模型。满足91种语言的这些要求,我们能够生成代表性丰富的高覆盖率的词汇,包括8个情感变量,每个超过10万个词汇条目。我们评估了来自26个数据集的自动生成的词典,涵盖12种类型多样的语言,并发现我们的方法产生的结果与最先进的单语词典创建方法一致,甚至超过了某些语言和变量的人类可靠性。代码和数据可在www.example.com上获得,并存档在DOI https://doi.org/10.5281/zenodo.3779901下。https://github.com/JULIELab/MEmoLon
2020-05-12 cs.AI cs.CL
PersonaTwin: A Multi-Tier Prompt Conditioning Framework for Generating and Evaluating Personalized Digital Twins
Viterbi School of Engineering, University of Southern California(南加州大学维特比工程学院);Human-centered Analytics Lab, University of Notre Dame(诺特大学人本分析实验室);Department of IT, Analytics, and Operations, University of Notre Dame(诺特大学信息技术、分析与运营部门);Department of Information Systems, Business Statistics and Operations Management, HKUST(香港科技大学信息系统、商业统计与运营管理部门)
本文提出PersonaTwin多层提示条件框架,通过整合人口统计学、行为学和心理测量学数据构建个性化数字孪生,在8500余人的医疗数据上验证其模拟保真度可与oracle媲美,且下游模型在预测和公平性上接近基于真实个体训练的模型。
2025-07-30 cs.CL
Lost Before Translation: Social Information Transmission and Survival in AI-AI Communication
University of Southern California(南加州大学)
研究探讨了人工智能间信息传递中社会信息的传递与生存机制,揭示了信息在传递过程中出现的收敛、选择性生存和竞争过滤现象,以及其对人类认知和情感多样性的影响。
2026-01-21 cs.CL cs.HC
AffectEcho: Speaker Independent and Language-Agnostic Emotion and Affect Transfer for Speech Synthesis
Purdue University(普渡大学)
本文提出 AffectEcho,利用五级情绪强度的 VQ 码本隐式建模量化情绪嵌入,在双语语料上实现说话人无关、语言无关的语音情绪迁移,并取得最优定性与定量结果。
2023-08-16 cs.CL cs.HC cs.SD
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite(阿维尼翁大学LIA研究所);University of Cambridge(剑桥大学)
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准,通过下游任务分析发现,重合成性能优异的单元未必能提升翻译效能,揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
Wazobia Eval: A Benchmark for Nigerian Pidgin Emotion Understanding, Sarcasm Detection, and Cultural Reasoning
该研究推出Wazobia Eval基准测试,含550+样本与16类情感分类,用于评估尼日利亚皮钦语的情感理解、反讽检测与文化推理,填补相关基准缺失,为尼日利亚语言AI提供基础评估设施。
2026-08-25 cs.AI cs.CL
Content preserving text generation with attribute controls
University of Michigan(密歇根大学);Google Brain(谷歌大脑)
在这项工作中,我们解决的问题,修改句子的文本属性。给定一个输入句子和一组属性标签,我们试图生成与条件信息兼容的句子。为了确保该模型生成内容兼容的句子,我们引入了一个重建损失,该损失在自动编码和反向翻译损失分量之间进行插值。我们提出了一个对抗性损失,以强制生成的样本属性兼容和现实。通过定量、定性和人工评估,我们证明了我们的模型能够生成流畅的句子,与以前的方法相比,这些句子更好地反映了条件信息。我们进一步证明了该模型能够同时控制多个属性。
2018-11-03 cs.CL cs.LG stat.ML
A Unit-based System and Dataset for Expressive Direct Speech-to-Speech Translation
Tsinghua University(清华大学);ByteDance(字节跳动)
本文针对语音翻译忽略副语言信息的问题,构建了精确匹配的多语言电影数据集,并结合多种韵律迁移技术,提出一种直接语音到语音翻译系统,在保持准确性与自然度的同时有效保留了副语言细节。
2025-02-01 cs.CL cs.CV cs.MM
Evaluating Behavioral Alignment in Conflict Dialogue: A Multi-Dimensional Comparison of LLM Agents and Humans
University of Southern California(南加州大学);USC for Institute of Creative Technologies(南加州大学创意技术研究所)
本研究通过模拟含谈判的冲突对话,从语言风格、情感表达和策略行为三个维度比较人格提示LLM与人类的行为对齐,发现GPT-4.1和Claude-3.7-Sonnet各有所长但仍存在显著差距,为社交复杂交互中的LLM对齐建立了基准。
2025-09-19 cs.AI cs.CL cs.HC
Language translation, and change of accent for speech-to-speech task using diffusion model
CMINDS, IIT Bombay(CMINDS,IIT博亚学院);CSE, IIT Bombay(计算机科学与工程系,IIT博亚学院)
本文提出一种基于扩散模型的统一框架,将语音翻译与口音转换重新表述为条件生成任务,以源语音转写为条件生成目标梅尔频谱图,实现翻译与口音适应的联合优化,相比传统流水线参数更高效。
2025-05-04 cs.AI cs.CL