IBM Granite Switch 4.1 Satukan Chat, Keputusan, dan Ucapan dalam Satu Model

Tim di balik keluarga model Granite milik IBM merilis Granite Switch 4.1 pada 15 Oktober 2026. Dua model baru, Granite-Switch-4.1-8B dan Granite-Switch-4.1-30B, dirancang untuk menangani chat berbahasa alami, tugas pengambilan keputusan umum maupun khusus, serta transkripsi ucapan dari satu endpoint hosted.

Menurut pengembangnya, setiap model memuat tiga komponen: Decision aLoRA baru untuk keputusan serbaguna, Guardian aLoRA yang ditujukan untuk klasifikasi terkait keamanan, dan Granite-Speech-5.0-Turbo-CTC, yang oleh tim disebut sebagai model pengenalan ucapan tercepat di papan peringkat OpenASR. Tim mengklaim bahwa adapter Guardian, rata-rata, mengungguli Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, dan Clef-Flash dalam tugas keputusan keamanan.

Kemampuan lebih besar pada perangkat keras yang sama

Pengembang menyatakan bahwa model gabungan ini menggunakan memori GPU kurang lebih sama dengan model dasarnya saja. Karena adapter dibangun sebagai Activated LoRA, key-value cache yang dihasilkan selama generasi model dasar dapat digunakan kembali oleh keputusan berbasis adapter berikutnya, sehingga menghindari perhitungan berulang. Tim juga memberi kredit pada kontribusi terbaru mereka untuk vLLM, yang mempercepat inferensi adapter low-rank, serta encoder ucapan yang ditempatkan dalam satu lokasi.

Dalam perbandingan yang dipublikasikan tim, Granite-Switch-4.1-30B, yang menjalankan basis Granite beku dengan empat aLoRA khusus, menyelesaikan alur kerja retrieval-augmented generation lima langkah jauh lebih cepat dibandingkan Jev-27B, yang memasangkan basis Qwen beku dengan satu LoRA keputusan generik. Pengembang juga berpendapat bahwa adapter granitelib khusus mereka dapat mengungguli model keputusan generalis pada tugas klasifikasi yang sempit.

Bangun model sendiri

Model yang dirilis hadir dengan sekumpulan adapter yang telah ditentukan, tetapi pengguna dapat menyusun model Granite Switch kustom dari repositori Granite Libraries. Tim berencana merilis Adapter SDK untuk melatih adapter di Mellea, beserta tutorialnya. Sebagai demonstrasi, tim menyebut bahwa model Granite Switch kustom berparameter 3 miliar memainkan Doom dengan kecepatan 60 hingga 100 keputusan per detik, dibandingkan 10 per detik yang dilaporkan untuk Jev, sambil juga menarasikan permainannya.

Pendekatan ini menyasar organisasi yang menginginkan moderasi, transkripsi, dan fitur percakapan tanpa menjalankan model terpisah di GPU yang berbeda. Angka performa tersebut berasal dari pengujian pengembang sendiri, dan tim menyatakan detail serta data lebih lanjut akan menyusul dalam beberapa minggu mendatang.