AIHere

IBM推出Granite Switch 4.1,将聊天、决策与语音集成于单一模型

Granite团队于2026年10月15日发布Granite Switch 4.1,通过单一托管端点整合聊天、决策适配器和语音转文本功能。

AIHere 新闻编辑部· 1 分钟阅读
扁平风格插图,图中聊天、决策和声波图标从同一台服务器中流出。
图片: Treesmittenex / Wikimedia Commons, CC BY-SA 4.0

IBM Granite模型系列背后的团队于2026年10月15日发布了Granite Switch 4.1。这两款新模型分别为Granite-Switch-4.1-8B和Granite-Switch-4.1-30B,旨在通过单一托管端点处理自然语言聊天、通用及专业决策任务以及语音转录。

据开发者介绍,每个模型都整合了三个组件:用于通用决策的全新Decision aLoRA、面向安全相关分类的Guardian aLoRA,以及Granite-Speech-5.0-Turbo-CTC。该团队称后者是OpenASR排行榜上速度最快的语音识别模型。团队声称,Guardian适配器在安全决策任务上平均优于Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions和Clef-Flash。

在相同硬件上实现更强能力

开发者表示,该组合模型所需的GPU显存与单独的基础模型大致相同。由于适配器采用激活式LoRA(Activated LoRA)架构,基础模型生成内容时产生的键值缓存可被后续基于适配器的决策复用,从而避免重复计算。团队还将其近期对vLLM的贡献列为功臣,这些改进加快了低秩适配器的推理速度,同时还有同置的语音编码器。

在团队发布的一项对比中,Granite-Switch-4.1-30B搭载冻结的Granite基础模型和四个专用aLoRA,完成五步检索增强生成工作流的速度远超Jev-27B。后者将冻结的Qwen基础模型与一个通用决策LoRA搭配使用。开发者还认为,其专用granitelib适配器在狭窄的分类任务上可以胜过通用决策模型。

自建模型

已发布的模型附带一组预定义适配器,但用户可以从Granite Libraries代码库中组装自定义的Granite Switch模型。团队计划推出用于在Mellea中训练适配器的Adapter SDK,并提供教程。作为演示,团队称一个自定义的30亿参数Granite Switch模型每秒可进行60至100次决策来玩Doom,而据报道Jev的速度为每秒10次,该模型还能同时为游戏过程进行解说。

这一方案面向希望在无需于不同GPU上运行独立模型的情况下,实现内容审核、语音转录和对话功能的机构。性能数据来自开发者自行进行的测试,团队表示将在未来几周内公布更多细节和数据。

#IBM#Granite#语言模型#语音识别#LoRA#开放模型

评论

请保持尊重。评论会自动审核;垃圾信息、侮辱性言论和个人数据将被删除。问题可能由 AI 作答。

暂无评论。发起讨论或提出问题吧。

相关