StepFun-এর Step 5 Preview ওপেন-ওয়েটস হিসেবে প্রকাশ, ৬০০ বিলিয়ন প্যারামিটারের MoE মডেল

চীনের কৃত্রিম বুদ্ধিমত্তা স্টার্টআপ StepFun তাদের Step 5 Preview ভাষা মডেলটি ওপেন ওয়েটস হিসেবে প্রকাশ করেছে। ২০২৬ সালের ১৭ অক্টোবর থেকে FP8 ও BF16, দুই প্রিসিশনের চেকপয়েন্টই Hugging Face ও ModelScope-এ ডাউনলোডের জন্য পাওয়া যাচ্ছে।

মডেলটি একটি স্পার্স Mixture-of-Experts (MoE) কাঠামো ব্যবহার করে। এর মোট প্যারামিটার ৬০০ বিলিয়ন, তবে যেকোনো নির্দিষ্ট টোকেনের জন্য সক্রিয় হয় মাত্র ২৭ বিলিয়ন। Step 5 Preview ১ মিলিয়ন টোকেন পর্যন্ত কনটেক্সট উইন্ডোও সমর্থন করে।

দীর্ঘ পরিসরের এজেন্টের জন্য তৈরি

StepFun মডেলটিকে দীর্ঘ পরিসরের এজেন্টিক কাজের জন্য বিশেষভাবে তৈরি বলে বর্ণনা করেছে। এ ধরনের কাজে AI সিস্টেমকে টুল কল করতে হয়, মধ্যবর্তী ফলাফলের হিসাব রাখতে হয় এবং দীর্ঘ, বহু-ধাপের কর্মপ্রবাহ জুড়ে সঙ্গতি বজায় রাখতে হয়। বড় কনটেক্সট উইন্ডোর লক্ষ্য হলো মডেলটি যেন একসঙ্গে বিশাল নথি বা দীর্ঘ মিথস্ক্রিয়ার ইতিহাস মাথায় রাখতে পারে।

MoE কাঠামোয় প্রতিটি ইনপুটের জন্য বিশেষায়িত উপ-নেটওয়ার্কের একটি অংশই চালু হয়। ফলে অনেক বড় মোট ধারণক্ষমতার একটি মডেলও ইনফারেন্সের গণনাকে অনেক ছোট ডেন্স মডেলের কাছাকাছি রাখতে পারে। BF16-এর পাশাপাশি FP8 চেকপয়েন্ট দেওয়ায় এটি পরিবেশনে প্রয়োজনীয় মেমরিও কমে।

ওপেন মডেল প্রতিযোগিতায় নতুন সংযোজন

"Preview" লেবেল বোঝায় এটি চূড়ান্ত সংস্করণ নয়। পূর্ণাঙ্গ সংস্করণের সময়সূচি বা বিস্তারিত বেঞ্চমার্ক তুলনা এখনো জানানো হয়নি, তাই প্রতিযোগী মডেলের তুলনায় এর অবস্থান নিয়ে দাবিগুলো স্বাধীন মূল্যায়নের মাধ্যমে যাচাই করতে হবে।

সাংহাইভিত্তিক StepFun বড় ভাষা মডেল তৈরি করছে এমন বেশ কয়েকটি চীনা স্টার্টআপের একটি। ফ্রন্টিয়ার-স্কেলের মডেল ওপেন ওয়েটস সহ প্রকাশ করা চীনা AI ডেভেলপারদের মধ্যে এখন একটি সাধারণ কৌশলে পরিণত হয়েছে। এতে গবেষক ও প্রতিষ্ঠানগুলো শুধু হোস্টেড API-এর ওপর নির্ভর না করে নিজেদের অবকাঠামোতে সিস্টেমটি চালাতে ও প্রয়োজন অনুযায়ী মানিয়ে নিতে পারে।