Comparing Moral Values in Western English-speaking societies and LLMs with Word Associations
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Complex Human Data Hub, The University of Melbourne(墨尔本大学复杂人类数据中心)
为避免直接提示的局限性,本研究提出利用词汇联想作为底层表征,通过在人类与LLM联想图中传播Moral Foundation Theory的种子词,系统比较了西方英语社会与LLM在道德价值观上的差异。
2025-05-28 cs.CL
Actions Speak Louder than Prompts: A Large-Scale Study of LLMs for Graph Inference
University of Oxford(牛津大学);Microsoft Research(微软研究院)
研究通过大规模评估揭示LLM在图推断中的表现,发现代码生成在长文本图中表现最佳,异质图上交互策略仍有效,且方法能灵活适应不同输入类型。
2026-03-01 cs.CL
Are you speaking my languages? On spoken language adherence in multimodal LLMs
Google DeepMind(谷歌DeepMind)
针对多模态大语言模型在自动语音识别中输出语言识别错误的问题,提出软提示方法、监督微调和思维链推理三种缓解策略,并引入新指标量化语言违背,比较各方法在减少违规和保持ASR性能上的效果。
2026-06-17 cs.CL cs.SD eess.AS
Cross Lingual Transfer in Tulu Legal Comprehension: Script-Dependent Improvement and RAG-Induced Knowledge Conflict
Stanford Legal Design Lab(斯坦福法律设计实验室)
本文针对低资源语言图卢语的法律理解任务,测试了Llama3等三种模型的跨语言迁移效果,发现其性能依赖文字脚本,RAG框架会引发知识冲突,相关评估技术可推广至低资源多语言RAG场景。
2026-09-01 cs.AI cs.CL
Speak or Stay Silent: Context-Aware Turn-Taking in Multi-Party Dialogue
School of Electrical and Computer Engineering, Purdue University, United States(帕克大学电气与计算机工程学院);Ishiki Labs Inc.(Ishiki实验室)
本文提出了一种基于上下文的情境感知发言轮换方法,通过监督微调和推理痕迹提升模型在多方对话中的发言准确性,发现现有大语言模型在零样本条件下无法有效实现该能力。
2026-03-12 cs.AI cs.CL
Combining Distantly Supervised Models with In Context Learning for Monolingual and Cross-Lingual Relation Extraction
Indian Institute of Technology New Delhi(印度理工学院新德里)
提出HYDRE混合框架,将DSRE候选关系筛选、动态示例检索与LLM上下文学习结合,用于英语及四种低资源印度语言的关系抽取,显著提升F1。
2025-10-21 cs.CL
Thinking Before You Speak: A Proactive Test-time Scaling Approach
Sun Yat-sen University(中山大学);Hong Kong Polytechnic University(香港理工大学)
针对LLMs在复杂推理中缺乏人类式内在思考的问题,本文提出TBYS框架,通过在推理步骤间主动生成“洞察”来引导推理,并设计了自动构建示例的流程,在数学数据集上验证了有效性。
2025-08-27 cs.CL
Simulating User Agents for Embodied Conversational-AI
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对具身对话AI训练数据集收集成本高的问题,提出基于LLM的用户智能体仿真方法,经TEAch数据集验证,微调后发言内容预测性能提升,证明该方法可用于评估和增强机器人任务完成有效性。
2024-10-31 cs.AI cs.CL cs.RO
Talk Less, Call Right: Enhancing Role-Play LLM Agents with Automatic Prompt Optimization and Role Prompting
SCBX R&D(SCBX研发部);SCB 10X R&D(SCB 10X研发部)
针对角色扮演对话代理中过度发言和工具调用失效的问题,本文提出基于规则的角色提示(RRP)方法,通过角色卡/场景契约设计和严格函数调用约束,显著提升了代理性能与可靠性。
2025-10-12 cs.AI cs.CL cs.HC
Prompting from the bench: Large-scale pretraining is not sufficient to prepare LLMs for ordinary meaning analysis
Georgetown University(乔治城大学);University of South Carolina(南卡罗来纳大学)
本文通过实验证明,LLM在法律文本的普通意义分析中存在鲁棒性不足的问题,质疑其在实际应用中的有效性。
2026-05-14 cs.CL
GSM-Plus-BN: A Perturbation-Based Benchmark for Bangla Mathematical Reasoning in Large Language Models
Southeast University(东南大学);Ahsanullah University of Science and Technology(阿山努拉科技大学)
研究针对大语言模型中孟加拉语数学推理评估缺乏的问题,引入GSM-Plus-BN数据集,用9000个样本评估六个开源LLMs,对比标准提示和思维链提示,发现大模型鲁棒性好,思维链提示有提升,但与英语基准有差距,为相关研究提供新资源和基线。
2026-07-16 cs.CL
Iterative LLM-based improvement for French Clinical Interview Transcription and Speaker Diarization
LaTIM UMR 1101 INSERM(INSERM拉蒂姆UMR1101);University of Western Brittany(西布列塔尼大学);University of Rouen Normandy(诺曼底大学)
本研究提出一种多轮LLM后处理架构,通过交替进行说话人识别和词识别流程,提高法语医疗对话的转录准确性和说话人归属,通过两个法语临床数据集的消融研究验证了四种设计选择的效果。
2026-05-19 cs.AI cs.CL cs.SD
DarijaBanking: A New Resource for Overcoming Language Barriers in Banking Intent Detection for Moroccan Arabic Speakers
OCP Solutions(OCP解决方案公司);UM6P College of Computing(UM6P计算机学院);National Institute of Posts and Telecoms(国家邮电学院);Lancaster University(兰卡斯特大学)
针对摩洛哥方言银行意图识别,构建DarijaBanking数据集(1800余条四语平行查询,24类),提出BERTouch模型,F1达0.98(Darija)和0.96(MSA),超越GPT-4。
2024-05-26 cs.CL
Speak It Out: Solving Symbol-Related Problems with Symbol-to-Language Conversion for Language Models
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对大语言模型符号推理能力不足的问题,提出无需微调的S2L方法,将符号转换为自然语言表示后整合到问题中,在8项任务上验证了其能显著提升模型性能。
2024-03-12 cs.CL
GaelEval: Benchmarking LLM Performance for Scottish Gaelic
本文提出GaelEval,首个针对盖尔语的多维评估基准,包含语法任务、翻译基准和文化知识问答,评估19个LLM发现专有模型表现优于开源模型,盖尔语提示法有小幅优势。
2026-04-02 cs.CL
On the Same Wavelength? Evaluating Pragmatic Reasoning in Language Models across Broad Concepts
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT BCS(麻省理工学院脑科学与认知研究中心)
该研究基于沟通游戏 Wavelength 构建评估框架,考察多种语言模型在概念理解与生成中的语用推理,并验证 CoT 与 RSA 的提升作用。
2025-09-27 cs.CL
Inoculation Prompting: Eliciting traits from LLMs during training can suppress them at test-time
University College London(伦敦大学学院);Center on Long-Term Risk(长期风险中心);McGill University(麦吉尔大学);UK AI Security Institute(英国人工智能安全研究所)
提出接种提示技术,通过在微调数据前添加诱发不期望特质的系统提示指令,有效抑制测试时该特质的表达,并提升模型泛化理解。
2025-11-03 cs.AI cs.CL
Leveraging LLM For Synchronizing Information Across Multilingual Tables
IIT Guwahati(印度古瓦哈蒂理工学院);University of Utah(犹他大学);University of Pennsylvania(宾夕法尼亚大学);Arizona State University(亚利桑那州立大学)
本文提出利用大语言模型和任务分解策略解决多语言维基百科表格信息同步问题,在 Information Updation 和 Information Addition 任务上分别提升1.79%和20.58%,优于现有基线方法。
2025-04-04 cs.CL
EnDive: A Cross-Dialect Benchmark for Fairness and Performance in Large Language Models
Algoverse AI Research(Algoverse人工智能研究院)
EnDive 构建跨方言基准,将标准美式英语数据翻译为五种代表性不足的方言以评估大语言模型,揭示模型在方言输入上的显著性能差距,推动方言感知 NLP 与公平语言技术发展。
2025-02-25 cs.CL
IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages
AI4Bharat, Indian Institute of Technology Madras, India(AI4Bharat,印度理工学院马德拉斯分校);Sarvam AI, India(Sarvam AI,印度)
提出IndicContextEval基准,包含8种印度语言555位说话人的56小时自然语音,通过7级提示框架评估音频大语言模型是否真正利用上下文而非依赖参数化知识。
2026-06-25 cs.CL eess.AS
Low-Resource Machine Translation through Retrieval-Augmented LLM Prompting: A Study on the Mambai Language
Catalpa International(卡特帕国际);The University of Melbourne(墨尔本大学);Timorlink(帝汶链接);Seminario Menor Balide Dili(帝力巴利德神学院)
本研究探索利用少样本LLM提示结合TF-IDF、语义嵌入检索的平行句子和词典条目,进行英语到低资源Mambai语的机器翻译,发现该方法显著提升翻译质量,并揭示了测试集差异对评估的影响。
2024-04-07 cs.CL
Let Silence Speak: Enhancing Fake News Detection with Generated Comments from Large Language Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对评论不足导致假新闻检测不完整的问题,提出利用大语言模型模拟用户生成多样化评论的GenFEND框架,实验证明其有效且生成评论优于真实评论。
2024-05-26 cs.CL cs.CY cs.SI
Mining Large Language Models for Low-Resource Language Data: Comparing Elicitation Strategies for Hausa and Fongbe
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);Centre for Text Technology(文本技术中心);North-West University(北开普大学);South Africa(南非)
本文研究通过策略性提示从LLM中提取可用于Hausa和Fongbe两种西非语言的文本数据,发现Hausa需功能性文本和对话,而Fongbe需受限生成提示,GPT-4o Mini在提取目标语言词汇上表现更优。
2026-04-14 cs.AI cs.CL
Reading Between the Lines: The One-Sided Conversation Problem
Paul G. Allen School of Computer Science & Engineering, University of Washington(保罗·G·阿伦计算机科学与工程学院,华盛顿大学);Allen Institute for Artificial Intelligence(阿伦人工智能研究所);Hearvana AI
本文提出单侧对话问题,研究如何从单侧对话中重建缺失发言和生成摘要,发现未来发言和发言长度信息有助于重建,而高质量摘要无需重建。
2026-04-16 cs.AI cs.CL cs.LG
What talking you?: Translating Code-Mixed Messaging Texts to English
Carnegie Mellon University(卡内基梅隆大学)
本研究针对新加坡式英语(Singlish)到正式英语的翻译,采用多步骤提示方案在五个大型语言模型上进行语言检测与翻译,发现模型表现不佳,并发布数据集以促进语码混合语言翻译研究。
2024-11-08 cs.CL
Serialized Output Prompting for Large Language Model-based Multi-Talker Speech Recognition
SB Intuitions
针对现有基于大语言模型的多人语音识别系统提示设计不足的问题,提出序列化输出提示方法,通过结构化提示引导模型,搭配三阶段训练策略,在LibriMix数据集的两人、三人对话场景均实现性能提升。
2025-09-01 cs.AI cs.CL cs.SD
Cultural Bias and Cultural Alignment of Large Language Models
本研究评估了五个大型语言模型的文化偏见,发现其价值观偏向英语和新教欧洲国家,并提出文化提示策略,对较新模型在71-81%的国家和地区改善文化对齐。
2024-06-26 cs.AI cs.CL
Personas Differ from Native-Language Generation: Language Pathways Shape LLM Interpersonal Advice
Massachusetts Institute of Technology(麻省理工学院)
该研究对比了母语使用者角色设定(NP)与目标语言生成后翻译(NL)两种跨语言引出策略对LLM人际建议的影响,发现二者不可互换,NP会改变建议的风格、可操作性及动作选择。
2026-09-01 cs.AI cs.CL
Bridging Scientific Heritage: An Arabic--Russian Parallel Corpus and LLM Benchmark for Sustainable Knowledge Transfer
Kazan Federal University(喀山联邦大学)
为解决阿拉伯语和俄语科学交流的语言障碍,构建了约2.7万句对的混合平行语料库,微调mT5、NLLB和Qwen2.5-7B模型,Qwen2.5-7B+QLoRA达到BLEU 23.15,推动跨语言知识转移与可持续发展。
2026-09-15 cs.CL
Designing LLMs for cultural sensitivity: Evidence from English-Japanese translation
本文通过分析英语-日语翻译中不同提示策略对文化敏感性的影响,提出通过定制提示提升多语言环境中LLM文化适应性的方法。
2025-12-17 cs.CL cs.CY cs.HC
Deterministic Prompting for Speaker-Stable Low-Resource Greek TTS
Institute for Language and Speech Processing, Athena R.C.(雅典娜研究与创新中心语言与语音处理研究所);Department of Digital Medicine, University of Bern(伯尔尼大学数字医学系);School of Electrical and Computer Engineering, National Technical University of Athens(雅典国家技术大学电气与计算机工程学院)
提出数据整理与确定性提示及LoRA微调方案,在3.5小时数据上实现低资源希腊语TTS,达到WER 10.7%和接近人类的说话人一致性。
2026-09-10 cs.CL cs.LG cs.SD
Qomhra: A Bilingual Irish and English Large Language Model
Trinity College Dublin(三一学院);University College Cork(科克大学);Queen’s University Belfast(贝尔法斯特女王大学)
Qomhra是一种双语爱尔兰语和英语大语言模型,通过低资源约束下的方法生成人类偏好数据,显著提升了爱尔兰语和英语的性能表现。
2026-01-08 cs.CL
Fair Representation in Parliamentary Summaries: Measuring and Mitigating Inclusion Bias
University College Dublin(都柏林大学);Insight Centre for Data Analytics(Insight数据分析中心)
本文评估了5种LLM在欧洲议会全体会议总结中的表现,发现发言顺序、语言和政治倾向等因素影响代表准确性,提出分层总结方法缓解偏差。
2026-04-02 cs.CL cs.CY cs.LG
CAST: Achieving Stable LLM-based Text Analysis for Data Analytics
Nanjing University(南京大学);Tsinghua University(清华大学);Peking University(北京大学);Microsoft Research(微软研究院)
CAST通过算法提示和先思考后发言提升大语言模型在表格数据分析中的输出稳定性,实验表明其在多个基准上表现最佳,稳定性提升达16.2%。
2026-04-22 cs.AI cs.CL
Non-literal Understanding of Number Words by Language Models
Department of Linguistics, University of Tübingen(语言学系,图宾根大学);Department of Computer Science, Stanford University(计算机科学系,斯坦福大学);University of Washington(华盛顿大学);Department of Psychology, Stanford University(心理学系,斯坦福大学);Departments of Psychology & Computer Science, Stanford University(心理学与计算机科学系,斯坦福大学)
该研究通过理性言语行为框架分解语用推理,发现大语言模型在数字词非字面理解上与人类的差异源于推理环节而非先验知识,并提出受RSA启发的思维链提示方法使模型解读更接近人类。
2025-06-02 cs.CL
DRInQ: Evaluating Conversational Implicature with Controlled Context Variation
University of Southern California(南加州大学)
提出DRInQ基准,通过半自动化管道生成系统变化的问答上下文实例,评估大语言模型在会话含义中的语用推理能力,发现模型在生成与推理之间存在不对称性。
2026-05-22 cs.CL
Leveraging Large Language Models for Code-Mixed Data Augmentation in Sentiment Analysis
The Harker School(哈克尔学校)
本研究提出利用大型语言模型生成合成代码混合数据以增强情感分析性能,在西班牙语-英语中F1提升9.32%,并验证了少样本提示方法的有效性,尤其对低基线场景有益。
2024-11-01 cs.CL
Culturally Adaptive Explainable LLM Assessment for Multilingual Information Disorder: A Human-in-the-Loop Approach
University of Turin(都灵大学)
本文提出一种人机协作框架,通过本地语言标注者生成的解释性理由,评估LLM在多语言信息紊乱中的表现,提升模型的文化适应性和可解释性。
2026-03-28 cs.AI cs.CL cs.CY
Metaphors We Compute By: A Computational Audit of Cultural Translation vs. Thinking in LLMs
本文通过创造性写作任务研究LLM的文化包容性,发现模型在特定文化情境下存在刻板隐喻使用和西方默认倾向,表明单纯提示文化身份无法保证文化思维。
2026-04-06 cs.AI cs.CL
Assessing Agentic Large Language Models in Multilingual National Bias
National Institute of Informatics, Japan(日本信息机构国家研究所);University of Wisconsin—Madison, USA(美国威斯康星大学麦迪逊分校);Kyoto University, Japan(日本京都大学)
本研究首次系统评估大语言模型在多语言决策中的国家偏见,发现本地语言偏见普遍存在,GPT-4和Sonnet虽减少英语国家偏见但未实现多语言对齐。
2025-08-06 cs.CL
Training LLMs to Recognize Hedges in Spontaneous Narratives
Stony Brook University(石溪大学)
本文构建Roadrunner-Hedge语料库,比较微调BERT与GPT-4o、LLaMA-3的零样本和少样本提示在自发叙事模糊限制语检测上的表现,发现微调BERT最优,并通过人在回路方法改进标注以指导未来研究。
2024-08-06 cs.AI cs.CL
AAVENUE: Detecting LLM Biases on NLU Tasks in AAVE via a Novel Benchmark
Algoverse AI Research(Algoverse AI 研究所)
提出AAVENUE基准,用LLM翻译和少样本提示扩展VALUE,评估LLM在AAVE和SAE的NLU任务表现,发现LLM在SAE上表现更优,揭示偏见并强调包容性NLP需求。
2025-10-16 cs.CL
Localized Cultural Knowledge is Conserved and Controllable in Large Language Models
Princeton University(普林斯顿大学);EPFL(洛桑联邦理工学院);Northeastern University(东北大学);University of Chicago(芝加哥大学);Santa Fe Institute(圣塔菲研究所)
本研究针对LLMs多语言交互中默认英语中心的问题,通过显式文化背景提示缩小显隐本地化差距,识别跨非英语语言的文化定制向量,保留回应多样性并减少刻板印象,为文化定制及模型功能扩展提供新方向。
2025-04-14 cs.AI cs.CL
Inoculation Midtraining with Learned Neologisms
Geodesic Research(大地测量研究);OpenAI;UK AI Security Institute(英国人工智能安全研究所)
本文提出中期接种训练,通过在中期训练中引入新词标记不安全上下文,减少后期训练中的错位,同时保留良性属性迁移,但效果未超标准方法且边界易泄漏。
2026-09-15 cs.CL
A Comprehensive Evaluation of Large Language Models on Mental Illnesses in Arabic Context
Compumacy for Artificial Intelligence solutions(Compumacy人工智能解决方案公司);Saint Elizabeths Hospital(圣伊丽莎白医院)
本研究针对阿拉伯语境下精神健康诊断工具需求,综合评估8款大语言模型在多数据集上的表现,探究提示设计、语言配置、少样本提示的影响,明确模型选择与提示优化等对开发适配阿拉伯人群的LLM精神健康工具的关键作用。
2025-01-12 cs.AI cs.CL
NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers
Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音部门)
NaturalSpeech 2利用残差向量量化神经音频编解码器与扩散模型,结合语音提示机制实现零样本语音与歌声合成,在44K小时数据上训练后显著优于以往TTS系统。
2023-05-30 cs.AI cs.CL cs.LG
Boosting Large Language Model for Speech Synthesis: An Empirical Study
Shanghai Jiao Tong University(上海交通大学);Microsoft Corporation(微软公司)
本文通过结合LLaMA/OPT和VALL-E,探索了三种将大语言模型与语音合成模型集成的方法,发现以LLM作为文本编码器的耦合方法效果最佳,显著降低了10.9%的词错误率。
2023-12-30 cs.CL cs.SD eess.AS
The Sound of Healthcare: Improving Medical Transcription ASR Accuracy with Large Language Models
Google Cloud(谷歌云)
本研究利用大型语言模型优化PriMock57数据集上的医疗ASR转录,通过零样本和思维链提示技术显著提升了词错误率、医学概念准确率、说话人分离及语义连贯性,达到该领域最先进性能。
2024-02-12 cs.CL cs.SD eess.AS
Toward Beginner-Friendly LLMs for Language Learning: Controlling Difficulty in Conversation
University of Pennsylvania(宾夕法尼亚大学)
本文提出通过可控生成技术提升初学者与LLM对话的可理解性,实验表明该方法能显著提高输出清晰度,并引入新的评估指标支持语言学习研究。
2026-02-18 cs.CL cs.HC
Measuring Psychological Depth in Language Models
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出心理深度量表(PDS)以从读者心理影响角度评估LLM生成的故事,并通过GPT-4o结合混合人格提示及Llama-3-70B受限解码实现自动化测量,发现GPT-4故事深度可媲美甚至超越高评分人类故事。
2024-10-04 cs.CL
The Imperfective Paradox Is Not Necessarily in Large Language Models: A Benchmark Failure Before a Model Failure
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
该研究发现进行体悖论相关的基准失效,构建词汇匹配最小对并评估多步推理,揭示模型的充分性偏差等失效模式,表明部分大模型体分类性能可媲美人类标注者。
2026-11-10 cs.CL cs.LG
SemEval-2026 Task 6: CLARITY -- Unmasking Political Question Evasions
National Technical University of Athens(希腊国家技术大学);Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学电信理工学院);ELLIS Unit Lisbon(里斯本ELLIS单位)
提出 SemEval-2026 共享任务 CLARITY,通过两级分类(清晰度与回避策略)构建政治访谈回答回避基准,实验表明大语言模型提示和层级分类策略最有效。
2026-05-22 cs.CL
Evaluating Prompting Strategies for Grammatical Error Correction Based on Language Proficiency
The University of British Columbia(不列颠哥伦比亚大学);Trent University(特伦特大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文研究不同语言熟练度下大语言模型语法错误纠正的提示策略,发现过度纠正主要出现在高级学习者写作中,且微调和少样本提示可能降低召回率。
2024-02-24 cs.CL
Modeling Human Subjectivity in LLMs Using Explicit and Implicit Human Factors in Personas
National Institute on Drug Abuse(美国国家药物滥用研究所);University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学)
本文研究了在LLMs中使用显式和隐式人类因素的角色提示来模拟人类主观性,发现显式角色在重现人类偏见时表现不一且通常无法表现出隐式偏见,表明LLMs难以完全模拟人类感知的复杂性。
2024-10-17 cs.CL