IBM Granite Switch 4.1 riunisce chat, decisioni e riconoscimento vocale in un unico modello

Il team dietro la famiglia di modelli Granite di IBM ha rilasciato Granite Switch 4.1 il 15 ottobre 2026. I due nuovi modelli, Granite-Switch-4.1-8B e Granite-Switch-4.1-30B, sono progettati per gestire chat in linguaggio naturale, attività decisionali generali e specializzate e la trascrizione del parlato da un unico endpoint ospitato.

Secondo gli sviluppatori, ciascun modello raggruppa tre componenti: un nuovo Decision aLoRA per le decisioni di uso generale, un Guardian aLoRA dedicato alla classificazione legata alla sicurezza e Granite-Speech-5.0-Turbo-CTC, che il team descrive come il modello di riconoscimento vocale più veloce della classifica OpenASR. Il team afferma che, in media, l'adapter Guardian supera Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions e Clef-Flash nelle attività decisionali sulla sicurezza.

Più capacità sullo stesso hardware

Gli sviluppatori affermano che il modello combinato utilizza circa la stessa memoria GPU del solo modello base. Poiché gli adapter sono costruiti come Activated LoRA, la cache key-value prodotta durante la generazione del modello base può essere riutilizzata dalle decisioni successive basate sugli adapter, evitando calcoli ripetuti. Il team attribuisce inoltre il merito dei suoi recenti contributi a vLLM, che accelerano l'inferenza degli adapter a basso rango, e di un encoder vocale co-localizzato.

In un confronto pubblicato dal team, Granite-Switch-4.1-30B, che esegue una base Granite congelata con quattro aLoRA specializzati, ha completato un flusso di retrieval-augmented generation in cinque passaggi molto più rapidamente di Jev-27B, che abbina una base Qwen congelata a un unico LoRA decisionale generico. Gli sviluppatori sostengono inoltre che i loro adapter granitelib specializzati possano superare i modelli decisionali generalisti in compiti di classificazione mirati.

Costruire modelli personalizzati

I modelli rilasciati includono un insieme predefinito di adapter, ma gli utenti possono assemblare modelli Granite Switch personalizzati dal repository Granite Libraries. Il team prevede un Adapter SDK per addestrare adapter in Mellea, insieme a tutorial. A dimostrazione, afferma che un modello Granite Switch personalizzato da 3 miliardi di parametri ha giocato a Doom con 60-100 decisioni al secondo, contro le 10 al secondo riportate per Jev, commentando al contempo la propria partita.

L'approccio si rivolge alle organizzazioni che vogliono funzionalità di moderazione, trascrizione e conversazione senza eseguire modelli separati su GPU separate. I dati sulle prestazioni provengono dai test degli stessi sviluppatori, e il team afferma che seguiranno maggiori dettagli e dati nelle prossime settimane.