IBM Granite Switch 4.1 łączy czat, decyzje i mowę w jednym modelu

Zespół odpowiedzialny za rodzinę modeli Granite firmy IBM wydał 15 października 2026 roku Granite Switch 4.1. Dwa nowe modele, Granite-Switch-4.1-8B oraz Granite-Switch-4.1-30B, zostały zaprojektowane tak, by z jednego hostowanego punktu końcowego obsługiwać czat w języku naturalnym, ogólne i wyspecjalizowane zadania decyzyjne oraz transkrypcję mowy.

Według twórców każdy model łączy trzy komponenty: nowy Decision aLoRA do decyzji ogólnych, Guardian aLoRA przeznaczony do klasyfikacji związanej z bezpieczeństwem oraz Granite-Speech-5.0-Turbo-CTC, który zespół określa jako najszybszy model rozpoznawania mowy w rankingu OpenASR. Zespół twierdzi, że adapter Guardian średnio przewyższa Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions i Clef-Flash w zadaniach decyzyjnych dotyczących bezpieczeństwa.

Większe możliwości na tym samym sprzęcie

Deweloperzy twierdzą, że połączony model zużywa mniej więcej tyle samo pamięci GPU co sam model bazowy. Ponieważ adaptery zbudowano jako Activated LoRA, pamięć podręczna kluczy i wartości wygenerowana podczas działania modelu bazowego może być ponownie wykorzystana przez późniejsze decyzje oparte na adapterach, co pozwala uniknąć powtarzania obliczeń. Zespół wskazuje też na swoje niedawne wkłady w vLLM, które przyspieszają wnioskowanie z adapterami niskiego rzędu, oraz współlokalizowany koder mowy.

W porównaniu opublikowanym przez zespół model Granite-Switch-4.1-30B, działający z zamrożoną bazą Granite i czterema wyspecjalizowanymi aLoRA, znacznie szybciej ukończył pięcioetapowy przepływ pracy generowania wspomaganego wyszukiwaniem (RAG) niż Jev-27B, który łączy zamrożoną bazę Qwen z jednym ogólnym adapterem LoRA do decyzji. Deweloperzy twierdzą też, że ich wyspecjalizowane adaptery granitelib mogą przewyższać ogólne modele decyzyjne w wąskich zadaniach klasyfikacyjnych.

Modele budowane samodzielnie

Wydane modele zawierają zestaw predefiniowanych adapterów, ale użytkownicy mogą składać własne modele Granite Switch z repozytorium Granite Libraries. Zespół planuje Adapter SDK do trenowania adapterów w Mellea oraz samouczki. Jako demonstrację podaje, że niestandardowy model Granite Switch o 3 miliardach parametrów grał w Doom z szybkością od 60 do 100 decyzji na sekundę, wobec 10 na sekundę raportowanych dla Jev, jednocześnie komentując rozgrywkę.

Podejście to jest skierowane do organizacji, które chcą moderacji, transkrypcji i funkcji konwersacyjnych bez uruchamiania oddzielnych modeli na oddzielnych GPU. Dane dotyczące wydajności pochodzą z testów przeprowadzonych przez samych deweloperów, a zespół zapowiada, że więcej szczegółów i danych pojawi się w najbliższych tygodniach.