IBM Granite Switch 4.1 объединяет чат, решения и распознавание речи в одной модели

Команда, стоящая за семейством моделей IBM Granite, выпустила Granite Switch 4.1 15 октября 2026 года. Две новые модели, Granite-Switch-4.1-8B и Granite-Switch-4.1-30B, предназначены для обработки чата на естественном языке, общих и специализированных задач принятия решений и транскрипции речи через один размещённый эндпоинт.

По словам разработчиков, каждая модель включает три компонента: новый Decision aLoRA для универсальных решений, Guardian aLoRA для классификации, связанной с безопасностью, и Granite-Speech-5.0-Turbo-CTC, который, по описанию команды, является самой быстрой моделью распознавания речи в таблице лидеров OpenASR. Команда утверждает, что адаптер Guardian в среднем превосходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash в задачах принятия решений о безопасности.

Больше возможностей на том же оборудовании

Разработчики заявляют, что объединённая модель использует примерно такой же объём памяти GPU, что и одна базовая модель. Поскольку адаптеры построены как Activated LoRA, кэш ключей и значений, созданный при генерации базовой моделью, может повторно использоваться последующими решениями на основе адаптеров, что позволяет избежать повторных вычислений. Команда также отмечает свой недавний вклад в vLLM, ускоряющий инференс низкоранговых адаптеров, и совмещённый кодировщик речи.

В сравнении, опубликованном командой, Granite-Switch-4.1-30B с замороженной базой Granite и четырьмя специализированными aLoRA завершила пятишаговый рабочий процесс генерации с дополнением извлечением данных (RAG) заметно быстрее, чем Jev-27B, который сочетает замороженную базу Qwen с одним универсальным decision LoRA. Разработчики также утверждают, что их специализированные адаптеры granitelib могут превосходить универсальные модели принятия решений в узких задачах классификации.

Создание собственных моделей

Выпущенные модели поставляются с заранее заданным набором адаптеров, но пользователи могут собирать собственные модели Granite Switch из репозитория Granite Libraries. Команда планирует выпустить Adapter SDK для обучения адаптеров в Mellea, а также туториалы. В качестве демонстрации она сообщает, что пользовательская модель Granite Switch на 3 миллиарда параметров играла в Doom со скоростью от 60 до 100 решений в секунду против 10 в секунду, указанных для Jev, при этом комментируя игру.

Подход ориентирован на организации, которые хотят получить модерацию, транскрипцию и диалоговые функции без запуска отдельных моделей на разных GPU. Показатели производительности получены в собственных тестах разработчиков, а команда обещает опубликовать больше подробностей и данных в ближайшие недели.