IBM's Granite Switch 4.1 combineert chat, beslissingen en spraak in één model

Het team achter IBM's Granite-modelfamilie bracht op 15 oktober 2026 Granite Switch 4.1 uit. De twee nieuwe modellen, Granite-Switch-4.1-8B en Granite-Switch-4.1-30B, zijn ontworpen om natuurlijke-taalchat, algemene en gespecialiseerde beslistaken en spraaktranscriptie af te handelen via één gehost endpoint.

Volgens de ontwikkelaars bundelt elk model drie componenten: een nieuwe Decision aLoRA voor algemene beslissingen, een Guardian aLoRA gericht op veiligheidsgerelateerde classificatie, en Granite-Speech-5.0-Turbo-CTC, dat het team omschrijft als het snelste spraakherkenningsmodel op het OpenASR-klassement. Het team beweert dat de Guardian-adapter op gemiddeld niveau beter presteert dan Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions en Clef-Flash bij veiligheidsbeslistaken.

Meer capaciteit op dezelfde hardware

De ontwikkelaars stellen dat het gecombineerde model ongeveer evenveel GPU-geheugen gebruikt als het basismodel alleen. Omdat de adapters zijn gebouwd als Activated LoRA's, kan de key-value-cache die tijdens een generatie van het basismodel ontstaat, worden hergebruikt door latere adapter-gebaseerde beslissingen, waardoor herhaalde berekeningen worden vermeden. Het team noemt ook zijn recente bijdragen aan vLLM, die de inferentie van low-rank adapters versnellen, en een co-located spraakencoder.

In een vergelijking die het team publiceerde, voltooide Granite-Switch-4.1-30B, met een bevroren Granite-basis en vier gespecialiseerde aLoRA's, een vijfstapsworkflow voor retrieval-augmented generation aanzienlijk sneller dan Jev-27B, dat een bevroren Qwen-basis koppelt aan één generieke beslissings-LoRA. De ontwikkelaars stellen ook dat hun gespecialiseerde granitelib-adapters generalistische beslismodellen kunnen overtreffen bij smalle classificatietaken.

Zelf modellen bouwen

De uitgebrachte modellen komen met een vooraf gedefinieerde set adapters, maar gebruikers kunnen eigen Granite Switch-modellen samenstellen uit de Granite Libraries-repository. Het team plant een Adapter SDK om adapters in Mellea te trainen, samen met tutorials. Ter demonstratie zegt het dat een eigen Granite Switch-model met 3 miljard parameters Doom speelde met 60 tot 100 beslissingen per seconde, vergeleken met 10 per seconde voor Jev, terwijl het tegelijk het spel becommentarieerde.

De aanpak richt zich op organisaties die moderatie, transcriptie en conversationele functies willen zonder aparte modellen op afzonderlijke GPU's te draaien. De prestatiecijfers komen uit de eigen tests van de ontwikkelaars, en het team zegt dat er de komende weken meer details en data volgen.