IBM Granite Switch 4.1 gom trò chuyện, quyết định và nhận dạng giọng nói vào một mô hình

Nhóm phát triển dòng mô hình Granite của IBM đã phát hành Granite Switch 4.1 vào ngày 15 tháng 10 năm 2026. Hai mô hình mới, Granite-Switch-4.1-8B và Granite-Switch-4.1-30B, được thiết kế để xử lý trò chuyện bằng ngôn ngữ tự nhiên, các tác vụ ra quyết định tổng quát và chuyên biệt, cũng như chuyển giọng nói thành văn bản, tất cả qua một endpoint lưu trữ duy nhất.

Theo các nhà phát triển, mỗi mô hình tích hợp ba thành phần: Decision aLoRA mới dành cho các quyết định đa năng, Guardian aLoRA hướng tới phân loại liên quan đến an toàn, và Granite-Speech-5.0-Turbo-CTC, mô hình nhận dạng giọng nói mà nhóm mô tả là nhanh nhất trên bảng xếp hạng OpenASR. Nhóm cho biết adapter Guardian trung bình vượt trội hơn Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions và Clef-Flash trong các tác vụ quyết định về an toàn.

Năng lực cao hơn trên cùng phần cứng

Các nhà phát triển cho biết mô hình kết hợp sử dụng lượng bộ nhớ GPU xấp xỉ như mô hình nền khi chạy riêng. Vì các adapter được xây dựng dưới dạng Activated LoRA, bộ nhớ đệm key-value được tạo ra trong quá trình sinh của mô hình nền có thể được tái sử dụng cho các quyết định dựa trên adapter về sau, giúp tránh tính toán lặp lại. Nhóm cũng ghi nhận những đóng góp gần đây của họ cho vLLM, giúp tăng tốc suy luận adapter hạng thấp, cùng với bộ mã hóa giọng nói được đặt chung.

Trong một so sánh do nhóm công bố, Granite-Switch-4.1-30B, chạy với nền Granite đóng băng cùng bốn aLoRA chuyên biệt, hoàn thành quy trình retrieval-augmented generation năm bước nhanh hơn đáng kể so với Jev-27B, mô hình ghép một nền Qwen đóng băng với một LoRA quyết định tổng quát. Các nhà phát triển cũng khẳng định rằng các adapter granitelib chuyên biệt của họ có thể vượt trội hơn các mô hình quyết định đa năng trong những tác vụ phân loại hẹp.

Tự xây dựng mô hình riêng

Các mô hình được phát hành đi kèm một tập adapter định sẵn, nhưng người dùng có thể lắp ghép mô hình Granite Switch tùy chỉnh từ kho Granite Libraries. Nhóm dự kiến ra mắt Adapter SDK để huấn luyện adapter trong Mellea, cùng với các hướng dẫn. Để minh họa, nhóm cho biết một mô hình Granite Switch tùy chỉnh 3 tỷ tham số đã chơi Doom với tốc độ 60 đến 100 quyết định mỗi giây, so với 10 quyết định mỗi giây được ghi nhận đối với Jev, đồng thời còn tường thuật lại quá trình chơi.

Cách tiếp cận này nhắm tới các tổ chức muốn có tính năng kiểm duyệt, chuyển giọng nói thành văn bản và trò chuyện mà không phải chạy các mô hình riêng biệt trên những GPU khác nhau. Các con số hiệu năng đến từ chính các thử nghiệm của nhà phát triển, và nhóm cho biết sẽ công bố thêm chi tiết và dữ liệu trong những tuần tới.