Decision Attentive Regularization to Improve Simultaneous Speech Translation Systems
Samsung Research（三星研究院）
同声翻译系统在处理传入输入流中的部分源句子的同时开始产生输出。这些系统需要决定何时读取更多的输入，何时写入输出。这些决定取决于源/目标语言的结构和包含在部分输入序列中的信息。因此，读/写决策策略在不同的输入模态之间保持相同，即，语音和文本。这促使我们利用对应于语音输入的文本转录来改进同步语音到文本翻译（SimulST）。我们提出了决策注意正则化（DAR），以改善决策政策的SimulST系统通过使用同步文本到文本翻译（SimulMT）的任务。我们还从离线语音翻译领域扩展了几种技术，以探索SimulMT任务在提高SimulST性能方面的作用。总体而言，我们在Must-C英语-德语（EnDe）SimulST任务的不同延迟机制中实现了34.66%/4.5 BLEU的基线模型改进。
2022-06-17 cs.CL cs.SD eess.AS
Simultaneous Machine Translation with Large Language Models
Department of Data Science & AI, Monash University（数据科学与人工智能系，墨尔本大学）
针对同步机器翻译（SimulMT）系统在含噪输入鲁棒性、长上下文处理等方面的挑战，本文提出结合RALCP算法与增量解码方法将大型语言模型（LLM）应用于该任务，实验表明其在BLEU和LAAL指标上优于专用模型，且调优效率和鲁棒性更优，但计算成本是主要障碍。
2025-11-17 cs.CL
Overcoming Latency Bottlenecks in On-Device Speech Translation: A Cascaded Approach with Alignment-Based Streaming MT
Meta AI.（Meta AI）
本文提出一种基于对齐的级联流式机器翻译方法，通过利用ASR语言线索和束搜索剪枝技术，在端侧实时语音翻译中有效平衡质量与延迟，缩小了与非流式系统的差距。
2025-08-18 cs.AI cs.CL
RedditBias: A Real-World Resource for Bias Evaluation and Debiasing of Conversational Language Models
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
文本表示模型容易表现出一系列社会偏见，反映了底层预训练数据的非受控和偏见性质，从而导致严重的道德问题，甚至偏见放大。最近的工作主要集中在测量和减轻预训练语言模型的偏见。令人惊讶的是，用于会话语言模型的偏差测量和减轻资源和方法的前景仍然非常稀缺：它仅限于少数类型的偏差、人工构建的资源，并且完全忽略了去偏差方法可能对对话任务中的最终性能的影响，例如，会话响应生成。在这项工作中，我们提出了RedditBias，这是第一个基于Reddit实际人类对话的对话数据集，允许在四个重要的偏见维度上进行偏见测量和缓解：性别，种族，宗教和酷儿。此外，我们开发了一个评估框架，同时1）测量开发的RedditBias资源上的偏差，2）评估模型去偏置后的对话任务中的模型能力。我们使用的评估框架，以基准广泛使用的对话DialoGPT模型以及适应四个去偏置方法。我们的研究结果表明，DialoGPT是有偏见的宗教团体和一些去偏置技术可以消除这种偏见，同时保留下游任务的性能。
2021-06-07 cs.CL
Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach
Microsoft（微软）
研究同步语音翻译中仅解码器语言模型面临的挑战，提出基于固定长度块、回退前缀及教师标记前缀到前缀目标的CSSEL-P2P方法，经实验其在可比延迟下提升了流质量，证明无需架构改变可有效实现同步语音翻译。
2026-07-16 cs.CL
A Computational Approach to Modeling Conversational Systems: Analyzing Large-Scale Quasi-Patterned Dialogue Flows
Software Engineering and Mathematics Department（软件工程与数学系）；National Institute of Applied Science and Technology（应用科学和技术国家研究院）；Computer Science Department（计算机科学系）；University of Tunis El Manar（突尼斯艾尔曼纳大学）
本文提出一种基于大语言模型和Filter & Reconnect图简化技术的对话图建模方法，用于分析准模式化对话流，使语义指标S提升2.06倍并实现0 δ-双曲率的树状结构，可应用于聊天机器人监控和用户行为分析。
2025-07-17 cs.CL
Challenging the Evaluator: LLM Sycophancy Under User Rebuttal
Johns Hopkins University（约翰霍普金斯大学）
本文研究LLMs在对话反驳中表现谄媚与在同时评估冲突论点时表现良好之间的张力，通过实验揭示对话框架、详细推理和随意反馈会增加模型被说服的风险，警示在判断任务中需考虑对话框架。
2025-09-20 cs.CL
TUTORING: Instruction-Grounded Conversational Agent for Language Learners
Yonsei University（延世大学）；Market Designers Inc.（Market Designers 公司）
在本文中，我们提出了辅导机器人，一个生成的聊天机器人训练的大规模的辅导学生对话的英语学习。为了模仿人类导师在语言教育中的行为，导师机器人利用各种教育指令和每个指令的理由作为导师响应生成的附加输入上下文。由于单个指令通常涉及多个对话回合以给予学生足够的口语练习，因此需要导师机器人监视和捕获当前指令何时应该保持或切换到下一个指令。为此，导师机器人不仅学习生成响应，而且通过多任务学习方案同时推断其教学动作和当前会话的进展。我们的辅导机器人是根据https://tutoringai.com上的非商业使用许可证部署的。
2023-02-24 cs.AI cs.CL
RaDialog: A Large Vision-Language Model for Radiology Report Generation and Conversational Assistance
Technical University of Munich（慕尼黑技术大学）
本文提出RaDialog，一个用于放射学报告生成和交互式对话的大型视觉-语言模型，通过参数高效微调集成视觉特征与病理发现，并在半自动标注的胸部X光指令数据集上训练，在报告生成临床正确性和交互任务上达到最先进水平。
2025-05-07 cs.CL cs.CV
UniConv: Unifying Retrieval and Response Generation for Large Language Models in Conversations
University of Montreal（蒙特利尔大学）；University of Amsterdam（阿姆斯特丹大学）；Renmin University（中国人民大学）；University of Notre Dame（圣母大学）
本文提出UniConv，通过联合微调统一大型语言模型的密集检索与响应生成，设计机制降低不一致性风险并缓解数据差异，在五个数据集上实现两项任务相互提升并超越基线。
2025-07-09 cs.CL cs.IR
Effective Cross-Utterance Language Modeling for Conversational Speech Recognition
National Taiwan Normal University（国立台湾师范大学）；Chunghwa Telecom Laboratories（中华电信研究所）
会话言语通常在话语层面上体现为松散的句法结构，但同时在连续的话语之间表现出主题连贯关系。先前的工作已经表明，用循环神经网络或长短期记忆语言模型（LM）捕获较长的上下文信息可能在排除长范围上下文的同时遭受最近偏差。为了捕捉词与词之间以及话语之间的长期语义交互，提出了会话语音自动语音识别（ASR）中不同会话历史融合的语言建模方法。此外，一种新的音频融合机制，管理融合和利用当前话语的声学嵌入和其相应的会话历史的语义内容，在合作的方式。为了充实我们的想法，我们将ASR N-best假设重新评分任务框架为预测问题，利用BERT（一种标志性的预训练LM）作为成分工具，以便于从给定的N-best假设列表中选择Oracle假设。在AMI基准数据集上进行的实证实验似乎证明了我们的方法相对于当前一些顶级方法的可行性和有效性。所提出的方法不仅实现了显着的推理时间减少，但也提高了会话语音的ASR性能。
2022-06-01 cs.CL cs.SD eess.AS
BeaverTalk: Oregon State University's IWSLT 2025 Simultaneous Speech Translation System
Oregon State University（俄勒冈州立大学）
本文介绍了IWSLT 2025同声语音翻译级联系统BeaverTalk，采用VAD分割、Whisper Large V2语音识别和微调后的Gemma 3 12B模型，利用单句记忆库实现低延迟与高延迟场景下的英德及英中翻译。
2025-05-29 cs.CL cs.LG
Federated Natural Language Generation for Personalized Dialogue System
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Tencent（腾讯）；Carnegie Mellon University（卡内基梅隆大学）
神经会话模型长期以来一直存在不一致和缺乏连贯个性的问题。为了解决这个问题，基于人物的模型捕捉个人特征已经提出，但他们仍然面临着模型适应性和数据隐私的困境。为了打破这一困境，我们提出了一种新的联邦自然语言生成（FedNLG）框架，学习个性化的表示，从各种数据集上的分布式设备，从而实现个性化的对话系统有效和安全。FedNLG首先在大型对话语料库上预训练标准神经会话模型的参数，然后以联邦方式在特定数据集上微调模型参数和人物角色嵌入。该模型可以同时学习本地客户端的角色嵌入和通过联邦聚合学习共享的模型参数，达到准确性和隐私性的平衡。通过大量的实验，我们通过在Cornell Movie-Dialogs语料库上对模型进行预训练和在两个电视剧数据集上对模型进行微调来证明我们的模型的有效性。
2021-10-13 cs.AI cs.CL
Game-Time: Evaluating Temporal Dynamics in Spoken Language Models
Massachusetts Institute of Technology, USA（麻省理工学院）；National Taiwan University（台湾国立台湾大学）；Academia Sinica（台湾“ Academia Sinica”）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立清华大学人工智能研究中心卓越研究中心）
本文提出Game-Time基准测试，用于评估口语语言模型在时间动态方面的能力，发现现有模型在时间约束下表现不佳，揭示了时间感知和全双工交互的不足。
2026-05-01 cs.AI cs.CL eess.AS
Aligning Large Language Models for Faithful Integrity Against Opposing Argument
Singapore Management University（新加坡管理大学）；National University of Singapore（新加坡国立大学）
本文提出AFICE框架，通过双边置信度估计构建对话偏好数据集，并利用DPO对齐大语言模型，使其在面对对立论证时保持忠实陈述并纠正错误，从而提升模型在复杂交互中的可信度。
2025-01-02 cs.CL
Introducing Axlerod: An LLM-based Chatbot for Assisting Independent Insurance Agents
The Beacom College of Computer and Cyber Sciences, Dakota State University（计算机与网络安全学院，达科他州立大学）
Axlerod是一种基于大语言模型的聊天机器人，旨在通过自然语言处理、检索增强生成和领域知识整合，提高独立保险代理的工作效率。
2025-12-24 cs.AI cs.CL cs.HC
Medication counseling with large language models: balancing flexibility and rigidity
Department of Engineering and Information Technology Åbo Akademi University（工程与信息科技系阿博阿卡迪米大学）；Experience Lab Åbo Akademi University（经验实验室阿博阿卡迪米大学）；Department of Natural and Health Sciences Åbo Akademi University（自然与健康科学系阿博阿卡迪米大学）；Department of Caring and Ethics University of Stavanger（护理与伦理系斯塔万格大学）
本文提出了一种利用大语言模型在药房环境中提供用药咨询的原型系统，旨在平衡对话要求与灵活性，减少幻觉并提高响应质量。
2025-12-02 cs.AI cs.CL cs.HC
Lost in Conversation or Lost in Translation? Diagnosing Multi-Turn Degradation in RAG
Texas A&M University（德克萨斯A&M大学）
研究发现多轮对话导致RAG系统性能显著下降，最高相对降幅达21%，不可靠性增加47%，并识别出两种失败模式：翻译扭曲检索查询或LLM未能综合跨轮证据。
2026-09-30 cs.AI cs.CL
HumBEL: A Human-in-the-Loop Approach for Evaluating Demographic Factors of Language Models in Human-Machine Conversations
Northeastern University（东北大学）
提出人机协同评估框架HumBEL，结合临床言语病理学技术与自动化方法，衡量语言模型在年龄等人口统计维度上的语言能力，发现GPT-3.5在推理和记忆任务上表现不均且语用技能不足。
2024-02-05 cs.AI cs.CL
Chained Recursive Language Models for Multi-Iteration Reasoning
University of Maryland（马里兰大学）
针对LLM长上下文推理易传播早期错误的问题，提出Chained RLM推理架构，通过分阶段管理上下文提升多轮迭代推理准确率，验证其相比直接LLM回答的性能增益。
2026-08-06 cs.AI cs.CL cs.IT
