IBM Granite Switch 4.1 поєднує чат, рішення та мовлення в одній моделі

Команда, що стоїть за родиною моделей Granite від IBM, випустила Granite Switch 4.1 15 жовтня 2026 року. Дві нові моделі, Granite-Switch-4.1-8B і Granite-Switch-4.1-30B, призначені для роботи з природномовним чатом, загальними та спеціалізованими задачами прийняття рішень і транскрибуванням мовлення через один хостингований ендпоїнт.

За словами розробників, кожна модель включає три компоненти: новий Decision aLoRA для загальних рішень, Guardian aLoRA для класифікації, пов'язаної з безпекою, та Granite-Speech-5.0-Turbo-CTC, який команда називає найшвидшою моделлю розпізнавання мовлення в рейтингу OpenASR. Команда стверджує, що адаптер Guardian в середньому перевершує Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions і Clef-Flash у задачах прийняття рішень щодо безпеки.

Більше можливостей на тому самому обладнанні

Розробники кажуть, що об'єднана модель використовує приблизно ту саму пам'ять GPU, що й сама базова модель. Оскільки адаптери побудовані як Activated LoRA, кеш ключів і значень, створений під час генерації базовою моделлю, можна повторно використовувати для пізніших рішень на основі адаптерів, уникаючи повторних обчислень. Команда також відзначає свої нещодавні внески у vLLM, які прискорюють висновки з низькоранговими адаптерами, і вбудований кодувальник мовлення.

У порівнянні, опублікованому командою, Granite-Switch-4.1-30B з незмінною базою Granite і чотирма спеціалізованими aLoRA завершив п'ятикроковий робочий процес retrieval-augmented generation значно швидше, ніж Jev-27B, який поєднує незмінну базу Qwen з одним загальним LoRA для рішень. Розробники також стверджують, що їхні спеціалізовані адаптери granitelib можуть перевершувати універсальні моделі прийняття рішень у вузьких задачах класифікації.

Створення власних моделей

Випущені моделі постачаються з готовим набором адаптерів, але користувачі можуть складати власні моделі Granite Switch з репозиторію Granite Libraries. Команда планує Adapter SDK для навчання адаптерів у Mellea, а також навчальні матеріали. Як демонстрацію, вона повідомляє, що власна модель Granite Switch з 3 мільярдами параметрів грала в Doom зі швидкістю від 60 до 100 рішень за секунду, тоді як для Jev повідомлялося про 10 за секунду, при цьому модель коментувала свою гру.

Підхід орієнтований на організації, які хочуть модерацію, транскрибування та розмовні функції без запуску окремих моделей на окремих GPU. Показники продуктивності взяті з власних тестів розробників, а команда каже, що більше деталей і даних з'являться протягом найближчих тижнів.