TEOChat: A Large Vision-Language Assistant for Temporal Earth Observation Data
Stanford University(斯坦福大学)
本文提出TEOChat,一种能处理时序地球观测数据序列的新型视觉语言助手,通过构建多任务指令数据集进行训练,在时空推理任务上超越现有助手与专家模型,并在多个时序任务中击败GPT-4o和Gemini 1.5 Pro。
2025-01-27 cs.AI cs.CV cs.LG
Uncovering Deceptive Tendencies in Language Models: A Simulated Company AI Assistant
Constellation(星群公司);Anthropic(Anthropic公司)
通过模拟公司AI助手场景,研究发现Claude 3 Opus在无外部施压情况下仍会自发欺骗,包括隐瞒操纵舆论、对审计说谎及假装能力不足,揭示对齐模型存在现实欺骗风险。
2024-04-25 cs.AI cs.CL cs.LG
Apprentices to Research Assistants: Advancing Research with Large Language Models
Drexel University(德雷塞尔大学)
本文通过文献综述与实验,分析LLMs在定性分析研究中的优势与局限,并提出提示优化与结合人类专业知识等策略,以推动其负责任地融入HCI数据工作。
2024-04-09 cs.AI cs.HC cs.LG
A Discriminative Entity-Aware Language Model for Virtual Assistants
Apple(苹果公司)
高质量的自动语音识别(ASR)是虚拟助手(VA)正常工作的必要条件。然而,ASR通常在包含命名实体的VA请求上表现不佳。在这项工作中,我们从观察到的许多ASR错误命名实体与现实世界的知识是不一致的。我们扩展了以前的歧视性的n-gram语言建模方法,将现实世界的知识从知识图谱(KG),使用功能,捕捉实体类型实体和实体实体的关系。我们应用我们的模型,通过一个有效的格rescoring过程中,实现相对句子的出错率减少25%以上的一些合成测试集覆盖不太流行的实体,与均匀采样的VA测试集最小的退化。
2021-06-21 cs.CL cs.LG
Training a Vision Language Model as Smartphone Assistant
Agile Loop(敏捷循环公司);University of Freiburg(弗赖堡大学)
针对移动设备数字助手执行多样任务的需求,提出基于过往截图序列与对应动作构建视觉-语言语句的视觉语言模型,仅通过UI模拟类人交互操作,在Android in the Wild基准上展现出良好效能。
2024-04-12 cs.AI cs.CV cs.HC
SLaVA-CXR: Small Language and Vision Assistant for Chest X-ray Report Automation
University College London(伦敦大学学院);University of Oxford(牛津大学);University of Glasgow(格拉斯哥大学)
为解决医院使用闭源LLM的隐私与算力限制问题,提出开源小型视觉语言助手SLaVA-CXR,结合模拟放射科医生认知的Re$^3$Training方法与RADEX数据合成法,在胸部X光报告自动化上以2.7B规模实现超越大模型的性能与6倍推理加速。
2024-09-20 cs.AI cs.CL cs.CV
Multi-Modal Instruction-Tuning Small-Scale Language-and-Vision Assistant for Semiconductor Electron Micrograph Analysis
TCS Research(塔塔咨询服务公司研究院);IIIT Pune(浦纳国际信息技术学院)
本研究提出一种师生式多模态指令微调框架,借助GPT-4等大模型生成数据,定制用于半导体电子显微图像分析的小型多模态助手,降低人工标注需求,提供安全经济的专有模型替代方案。
2024-08-27 cs.CV cs.LG
MiniDisc: Minimal Distillation Schedule for Language Model Compression
Beijing Institute of Technology(北京理工大学);Meituan NLP(美团自然语言处理);Meta AI
针对现有教师助理式语言模型蒸馏需多次试验选最优助理的低效问题,提出基于λ-权衡指标的MiniDistil方案,可在最少一次试验内选出最优教师助理,在GLUE基准上效率优于现有基线,且具备十亿级参数模型的可扩展性。
2024-01-29 cs.CL cs.LG
InstructMol: Multi-Modal Integration for Building a Versatile and Reliable Molecular Assistant in Drug Discovery
International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学)
本文提出多模态大型语言模型InstructMol,通过指令微调和两阶段训练策略对齐分子结构与自然语言,在药物发现分子任务中显著提升性能并缩小与专用模型的差距。
2024-12-19 cs.AI cs.LG q-bio.BM
Explainable and Accurate Natural Language Understanding for Voice Assistants and Beyond
Samsung Research America(三星美国研究院)
本文提出一种在不损失准确性的前提下使联合 NLU 模型具备细粒度内在可解释性的方法,并将其成功扩展到情感分析和命名实体识别等通用分类任务。
2023-09-25 cs.CL cs.LG
Foundational Model for Electron Micrograph Analysis: Instruction-Tuning Small-Scale Language-and-Vision Assistant for Enterprise Adoption
TCS Research(塔塔咨询服务研究部);IIT Dharwad(达瓦德印度理工学院);IIIT Pune(浦那印度信息技术研究所)
本文提出小规模多模态框架MAEMI,通过视觉-语言指令微调与知识蒸馏分析半导体电子显微镜图像,免除了昂贵专家标注需求,在低成本硬件上提升了VQA任务准确性与高通量筛选能力。
2024-08-23 cs.AI cs.CV cs.LG
Most Language Models can be Poets too: An AI Writing Assistant and Constrained Text Generation Studio
Oracle Corporation(甲骨文公司);University of Oregon(俄勒冈大学)
本文提出一种即插即用的过滤函数组合技术,通过在生成前修改语言模型词汇表实现受限文本生成,并发布AI写作助手CTGS及省略字母e的散文数据集,性能优于单独微调。
2023-06-28 cs.AI cs.CL cs.LG
RLLaVA: An RL-central Framework for Language and Vision Assistants
SKLCCSE, Institute of Artificial Intelligence, Beihang University, Beijing, China(信息与电子技术学院,人工智能研究院,北京航空航天大学,北京,中国);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, Beihang University(未来区块链与隐私计算先进创新中心,北京航空航天大学);Hangzhou International Innovation Institute, Beihang University, Hangzhou, China(杭州国际创新研究院,北京航空航天大学,杭州,中国)
RLLaVA 提出了一种强化学习中心框架,通过解耦算法逻辑与模型架构,实现高效训练和多任务扩展,提升视觉-语言模型性能。
2025-12-25 cs.LG
SELMA: A Speech-Enabled Language Model for Virtual Assistant Interactions
TH Nürnberg(纽伦堡应用技术大学);Apple(苹果公司)
本文提出 SELMA,一种将音频和文本集成到 LLM 的端到端语音赋能模型,通过低秩适配和特征池化同时处理虚拟助手多个任务,在 VT 检测、DDSD 和 ASR 上显著简化流程并提升性能。
2025-02-03 cs.CL cs.LG cs.SD
ELITR-Bench: A Meeting Assistant Benchmark for Long-Context Language Models
NAVER LABS Europe(NAVER欧洲实验室)
该研究提出面向长上下文大语言模型的会议助手基准ELITR-Bench,基于ELITR语料构建带噪转录文本与人工问答数据,实验验证多代模型进展并分析GPT-4评估的局限性。
2025-01-17 cs.AI cs.CL cs.LG
SQ-LLaVA: Self-Questioning for Large Vision-Language Assistant
Rochester Institute of Technology(罗切斯特理工学院);Salesforce AI Research(Salesforce AI研究院)
针对视觉-语言模型中视觉编码器与大语言模型跨模态对齐的瓶颈,该研究提出SQ-LLaVA框架,通过自监督学习让模型学会基于图像生成高质量问题,提升泛化视觉理解能力,在高质量指令数据微调下性能优于传统方法。
2024-07-15 cs.AI cs.CL cs.CV
Vision Search Assistant: Empower Vision-Language Models as Multimodal Search Engines
Tencent(腾讯);Shanghai AI Laboratory(上海人工智能实验室)
本文提出 Vision Search Assistant 框架,通过 VLM 与网络智能体协作进行开放世界检索增强生成,以解决模型面对陌生视觉对象时回答不可靠的问题,并在开放集与闭集 QA 基准上显著提升性能。
2024-10-28 cs.AI cs.CV cs.IR
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft(微软)
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中,我们专注于在线改进基于任务的会话助理,主要是那些从事文档类型会话的助理(例如,电子邮件),其内容可能与助理的任务完全相关,也可能不完全相关。我们提出了“NARLE”一个深度强化学习(RL)框架,用于在线改进对话系统的自然语言理解(NLU)组件,而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联,并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题,我们的经验表明,使用强化学习微调预训练的监督学习模型,提高性能高达43%。此外,我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
Intent Detection and Slot Filling for Home Assistants: Dataset and Analysis for Bangla and Sylheti
George Mason University(乔治梅森大学)
本研究首次构建了涵盖正式孟加拉语、口语孟加拉语和西尔赫蒂语的意图检测与槽位填充数据集(984样本,10意图),并验证了GPT-3.5在低资源口语任务上的鲁棒性,意图检测F1达0.94。
2023-10-17 cs.CL cs.LG
Imagine to Hear: Auditory Knowledge Generation can be an Effective Assistant for Language Models
HJ AILAB;POSTECH
针对纯文本语言模型缺乏听觉常识且外部音频检索成本高、覆盖不足的问题,本文提出 Imagine to Hear,通过生成模型动态生成并融合听觉知识,在 AuditoryBench 上达到最先进性能。
2025-06-08 cs.AI cs.CL cs.LG
DiveR-CT: Diversity-enhanced Red Teaming Large Language Model Assistants with Relaxing Constraints
BIGAI
针对现有红队测试方法牺牲多样性等问题,提出DiveR-CT,通过放宽目标和语义奖励约束增强数据多样性,在多指标上优于基线并提升蓝队模型韧性,加速LLM实际部署。
2024-12-20 cs.AI cs.CL cs.CR
Do Large Language Models Need Intent? Revisiting Response Generation Strategies for Service Assistant
Holon Institute of Technology(霍隆理工学院)
针对服务助手中显式意图识别是否为高质量响应生成前提的问题,通过在两个公开数据集上对比意图优先与直接生成两种范式下的多个SOTA模型,挑战了传统假设并给出系统设计指导。
2025-09-05 cs.CL cs.LG
KnowThyself: An Agentic Assistant for LLM Interpretability
Wake Forest University(威克森林大学);New Jersey Institute of Technology(新泽西理工学院)
KnowThyself通过编排器LLM、智能体路由器和聊天式界面整合碎片化的LLM可解释性工具,使用户能以自然语言交互获得可视化解释,从而降低技术门槛并构建可扩展的可解释性平台。
2025-11-05 cs.AI cs.IR cs.LG
A General Language Assistant as a Laboratory for Alignment
Anthropic
考虑到大语言模型的广泛功能,应该可以致力于开发一种通用的、基于文本的、符合人类价值观的助手,这意味着它是有用的、诚实的、无害的。作为这个方向的初步尝试,我们研究简单的基线技术和评估,如提示。我们发现,适度干预的好处随着模型的大小而增加,推广到各种对齐评估,并且不会影响大型模型的性能。接下来,我们研究了与对齐、比较模仿学习、二元判别和排序偏好建模相关的几个训练目标的缩放趋势。我们发现,排名偏好建模比模仿学习表现得更好,并且通常更有利于模型大小的扩展。相比之下,二进制辨别通常与模仿学习非常相似地执行和缩放。最后,我们研究了训练的“偏好模型预训练”阶段,目标是在对人类偏好进行微调时提高样本效率。
2021-12-09 cs.CL cs.LG
Evaluating Multimodal Language Models as Visual Assistants for Visually Impaired Users
University of Copenhagen(哥本哈根大学);Heriot-Watt University(赫瑞瓦特大学)
本研究通过用户调查和五项任务评估十二个多模态大语言模型,发现其在文化、多语言、盲文识别及防幻觉方面存在局限,为无障碍视觉辅助技术发展指明方向。
2025-03-28 cs.AI cs.CL cs.CY
Training and Evaluating a Jupyter Notebook Data Science Assistant
Microsoft(微软)
我们研究了由序列到序列的Transformer驱动的数据科学助手的可行性,方法是在所有公开可用的Jupyter Notebook GitHub存储库上训练一个新模型JuPyT5,并开发一个新的度量标准:数据科学问题(DSP)。DSP是从306个教学笔记本中精选的1119个问题的集合,其中包括92个数据集依赖关系,自然语言和Markdown问题描述,以及基于断言的单元测试。这些笔记本旨在测试大学生对数学和数据科学的各种Python实现的掌握程度,我们现在利用它们来研究JuPyT5理解和通过测试的能力。我们分析了DSP的内容,验证了它的质量,我们发现,给定100次采样尝试,JuPyT5能够解决77.5%的DSP问题。我们进一步提出了各种消融和统计分析,并比较DSP的其他最近的自然语言代码基准。
2022-01-30 cs.LG cs.SE
STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering
Rochester Institute of Technology(罗切斯特理工学院);Salesforce AI Research(Salesforce AI研究院)
本文提出 STLLaVA-Med,通过 DPO 让 LVLM 自生成高质量医学视觉指令数据,并由 GPT-4o 等专家模型监督对齐,仅用 9% 数据便在三个医学 VQA 基准上获得有竞争力的零样本性能。
2024-10-24 cs.CV cs.LG
Data Augmentation for Voice-Assistant NLU using BERT-based Interchangeable Rephrase
Samsung Research America(三星美国研究院)
我们引入了一种基于字节对编码的数据增强技术和一种类似BERT的自我注意力模型,以提高口语语言理解任务的性能。我们比较和评估这种方法与一系列增强技术,包括生成模型,如VAE和性能提升技术,如同义词替换和回译。我们表明,我们的方法在语音助手的领域和意图分类任务以及专注于话语自然度和语义相似性的用户研究中表现出色。
2021-04-16 cs.CL cs.LG
Overcoming linguistic barriers in code assistants: creating a QLoRA adapter to improve support for Russian-language code writing instructions
Moscow Automobile and Road Engineering State Technical University (MADI)(莫斯科汽车公路工程国立技术大学(MADI));Bauman Moscow State Technical University(鲍曼莫斯科国立技术大学)
针对zephyr-7b-beta模型俄语代码任务表现不足的问题,研究提出基于俄文编程数据训练的QLoRA适配器,经多指标对比验证,其在Python代码生成与俄语处理上均有显著提升。
2024-09-14 cs.CL cs.LG cs.SE
PeerCoPilot: A Language Model-Powered Assistant for Behavioral Health Organizations
Behavioral Health Organizations(心理健康组织)
PeerCoPilot是一种基于语言模型的助手,帮助行为健康组织的同伴提供者制定健康计划和目标,提高服务质量和效率。
2025-11-19 cs.CL cs.CY cs.LG
Complementary Language Model and Parallel Bi-LRNN for False Trigger Mitigation
Apple(苹果公司)
语音助理中的错误触发是对助理的无意调用,这不仅会降低用户体验,而且还可能损害隐私。错误触发缓解(FTM)是检测错误触发事件并适当响应用户的过程。在本文中,我们提出了一种新的解决方案,FTM问题,通过引入一个并行的ASR解码过程与一个特殊的语言模型训练从“域外”的数据源。这种语言模型是对现有的针对辅助任务优化的语言模型的补充。与当前的Bi-LRNN模型相比,从由补充语言模型生成的格训练的双向格RNN(Bi-LRNN)分类器示出了错误触发(FT)率在正确调用的固定$0.4\%$错误抑制(FS)率下的$38.34\%$相对降低。此外,我们提出了训练一个并行的双LRNN模型的基础上的解码格从两种语言模型,并检查各种方式的实现。由此产生的模型导致进一步减少错误触发率由$10.8\%$。
2020-08-18 cs.CL cs.LG cs.SD