IBM-এর Granite Switch 4.1 একটি মডেলে চ্যাট, সিদ্ধান্ত ও বক্তৃতা একত্র করল

IBM-এর Granite মডেল পরিবারের পেছনের দল ১৫ অক্টোবর, ২০২৬ তারিখে Granite Switch 4.1 প্রকাশ করেছে। নতুন দুটি মডেল, Granite-Switch-4.1-8B ও Granite-Switch-4.1-30B, একটি মাত্র হোস্টেড এন্ডপয়েন্ট থেকে প্রাকৃতিক ভাষার চ্যাট, সাধারণ ও বিশেষায়িত সিদ্ধান্ত গ্রহণের কাজ এবং বক্তৃতা প্রতিলিপিকরণ সামলাতে তৈরি করা হয়েছে।

ডেভেলপারদের মতে, প্রতিটি মডেলে তিনটি উপাদান রয়েছে: সাধারণ উদ্দেশ্যের সিদ্ধান্তের জন্য একটি নতুন Decision aLoRA, নিরাপত্তা-সংক্রান্ত শ্রেণীবিভাগের লক্ষ্যে তৈরি একটি Guardian aLoRA, এবং Granite-Speech-5.0-Turbo-CTC, যাকে দলটি OpenASR লিডারবোর্ডের সবচেয়ে দ্রুত স্পিচ রিকগনিশন মডেল বলে বর্ণনা করেছে। দলের দাবি, Guardian অ্যাডাপ্টার নিরাপত্তা সিদ্ধান্তের কাজে গড়ে Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions এবং Clef-Flash-কে ছাড়িয়ে যায়।

একই হার্ডওয়্যারে বেশি সক্ষমতা

ডেভেলপারদের ভাষ্য অনুযায়ী, সম্মিলিত মডেলটি প্রায় একই পরিমাণ GPU মেমরি ব্যবহার করে যতটা শুধু বেস মডেল ব্যবহার করে। অ্যাডাপ্টারগুলো Activated LoRA হিসেবে তৈরি হওয়ায়, বেস মডেলের জেনারেশনের সময় তৈরি হওয়া key-value cache পরবর্তী অ্যাডাপ্টার-ভিত্তিক সিদ্ধান্তে পুনর্ব্যবহার করা যায়, ফলে বারবার একই হিসাব করতে হয় না। দলটি তাদের vLLM-এ সাম্প্রতিক অবদানের কথাও উল্লেখ করেছে, যা low-rank অ্যাডাপ্টার ইনফারেন্সের গতি বাড়ায়, এবং একটি পাশাপাশি বসানো স্পিচ এনকোডারের কথাও বলেছে।

দলের প্রকাশিত একটি তুলনায় দেখা গেছে, Granite-Switch-4.1-30B, যেখানে একটি ফ্রোজেন Granite বেসের সঙ্গে চারটি বিশেষায়িত aLoRA চালানো হয়েছে, পাঁচ ধাপের একটি retrieval-augmented generation ওয়ার্কফ্লো Jev-27B-এর চেয়ে অনেক দ্রুত শেষ করেছে। Jev-27B একটি ফ্রোজেন Qwen বেসের সঙ্গে একটি সাধারণ সিদ্ধান্ত LoRA জোড়া বাঁধে। ডেভেলপারদের আরও দাবি, তাদের বিশেষায়িত granitelib অ্যাডাপ্টার সংকীর্ণ শ্রেণীবিভাগের কাজে সাধারণ-উদ্দেশ্যের সিদ্ধান্ত মডেলের চেয়ে ভালো ফল দিতে পারে।

নিজের মডেল তৈরির সুযোগ

প্রকাশিত মডেলগুলো একটি নির্ধারিত অ্যাডাপ্টার সেট নিয়ে আসে, তবে ব্যবহারকারীরা Granite Libraries রিপোজিটরি থেকে নিজস্ব Granite Switch মডেল গঠন করতে পারেন। দল Mellea-তে অ্যাডাপ্টার প্রশিক্ষণের জন্য একটি Adapter SDK এবং টিউটোরিয়াল প্রকাশের পরিকল্পনা করছে। একটি প্রদর্শনী হিসেবে দল জানিয়েছে, একটি কাস্টম ৩-বিলিয়ন-প্যারামিটারের Granite Switch মডেল প্রতি সেকেন্ডে ৬০ থেকে ১০০টি সিদ্ধান্তের গতিতে Doom খেলেছে, যেখানে Jev-এর জন্য প্রতি সেকেন্ডে ১০টির কথা জানানো হয়েছে, আর পাশাপাশি সে নিজের খেলার ধারাবিবরণীও দিয়েছে।

এই পদ্ধতিটি সেইসব প্রতিষ্ঠানের জন্য, যারা আলাদা GPU-তে আলাদা মডেল না চালিয়ে মডারেশন, প্রতিলিপিকরণ ও কথোপকথনভিত্তিক ফিচার চায়। কর্মক্ষমতার এই পরিসংখ্যানগুলো ডেভেলপারদের নিজস্ব পরীক্ষা থেকে এসেছে, এবং দল জানিয়েছে আগামী সপ্তাহগুলোতে আরও বিস্তারিত তথ্য ও ডেটা প্রকাশ করা হবে।