Ant Group Ling-3.1-flash ওজন প্রকাশ করেছে, কনটেক্সট উইন্ডো ১০ লাখ টোকেন

চীনের প্রযুক্তি কোম্পানি Ant Group ২০২৬ সালের ১৬ অক্টোবর থেকে তাদের Ling-3.1-flash কৃত্রিম বুদ্ধিমত্তা মডেলের ওজন জনসাধারণের জন্য উন্মুক্ত করেছে। এর ফলে ডেভেলপাররা হোস্টেড সেবার উপর নির্ভর না করে নিজেদের নিয়ন্ত্রণাধীন অবকাঠামোতে মডেলটি চালাতে পারবেন।

কোম্পানির ভাষ্য অনুযায়ী, Ling-3.1-flash-এ মোট প্রায় ৫৬০ বিলিয়ন প্যারামিটার রয়েছে, তবে প্রতিটি টোকেন প্রক্রিয়াকরণে ব্যবহৃত হয় মাত্র প্রায় ২৫ বিলিয়ন। মডেলটি এক লাখ নয়, বরং সর্বোচ্চ ১০ লাখ টোকেনের কনটেক্সট উইন্ডো সামলাতে পারে, ফলে একবারে অত্যন্ত দীর্ঘ ইনপুট প্রক্রিয়া করা সম্ভব।

কোডিং ও এজেন্টের জন্য তৈরি

Ant Group এই মডেলকে প্রোগ্রামিং, এজেন্ট-ভিত্তিক কর্মপ্রবাহ এবং দীর্ঘ নথি ও বাইরের টুল ব্যবহারের প্রয়োজন হয় এমন পেশাদার কাজের জন্য উপযোগী হিসেবে তুলে ধরছে। মডেলটি আগেই পরিচিত করানো হয়েছিল, এবং ওজন প্রকাশের সঙ্গে SGLang ও vLLM সহ ইনফারেন্স ফ্রেমওয়ার্কের জন্য ডিপ্লয়মেন্ট সহায়তাও দেওয়া হচ্ছে।

গবেষক দলটি একটি মিক্সড-প্রিসিশন ডিপ্লয়মেন্ট পদ্ধতিরও বর্ণনা দিয়েছে। Ant Group জানিয়েছে, এতে মডেল ওজনের জন্য প্রয়োজনীয় মেমরি প্রায় ৫৩৪ গিগাবাইট থেকে কমে ২৯২ গিগাবাইট হয়। কোম্পানির জানানো Hopper GPU সেটআপে এতে হার্ডওয়্যারের প্রয়োজনীয়তা আট টি GPU থেকে অর্ধেক কমে চারটিতে নেমে আসে।

কেন এটি গুরুত্বপূর্ণ

মোট ও সক্রিয় প্যারামিটারের বড় ব্যবধান থেকে বোঝা যায় মডেলটি মিক্সচার-অব-এক্সপার্টস ডিজাইনে তৈরি, যা অত্যন্ত বড় মডেল চালানোর খরচ কমানোর একটি পদ্ধতি। প্রয়োজনীয় GPU-র সংখ্যা অর্ধেক হওয়ায় এত বড় মডেল নিজেদের সার্ভারে চালানো আরও অনেক প্রতিষ্ঠান ও গবেষণা দলের জন্য বাস্তবসম্মত হতে পারে।

Alipay পরিচালনাকারী হিসেবে সুপরিচিত Ant Group ওপেন ওজনসহ বড় মডেল প্রকাশকারী ক্রমবর্ধমান চীনা প্রতিষ্ঠানের তালিকায় যুক্ত হলো। তবে কোম্পানির লক্ষ্য করা কোডিং, এজেন্ট ও দীর্ঘ নথি-ভিত্তিক কাজে Ling-3.1-flash কেমন পারফর্ম করে, তা দেখাতে স্বতন্ত্র মূল্যায়ন প্রয়োজন হবে।