LLM কী? বড় ভাষা মডেল (large language model) ব্যাখ্যা (২০২৬)

বড় ভাষা মডেল (LLM) হলো এমন একটি নিউরাল নেটওয়ার্ক, যাকে বিপুল পরিমাণ টেক্সটের ওপর প্রশিক্ষণ দেওয়া হয় যাতে সে একটি ক্রমের পরের টোকেন অনুমান করতে পারে। এই একটিমাত্র লক্ষ্য থেকেই চ্যাটবটের সব কাজের উৎস: প্রশ্নের উত্তর দেওয়া, কোড লেখা, নথির সারসংক্ষেপ তৈরি এবং অনুবাদ। ChatGPT, Claude ও Gemini-এর মতো টুলগুলো এই ধরনের মডেলের ওপর ভিত্তি করে তৈরি।

এই গাইডে ধারাবাহিকভাবে মূল উপাদানগুলো আলোচনা করা হয়েছে: টোকেন, প্রশিক্ষণ, প্যারামিটার, কনটেক্সট উইন্ডো, হ্যালুসিনেশন এবং ওপেন ও ক্লোজড মডেলের পার্থক্য। মডেলের নাম, দাম ও সীমা দ্রুত বদলায়। তাই নিচের সংখ্যাগুলোর সঙ্গে তারিখ দেওয়া আছে, এবং বর্তমান তথ্যের জন্য বিক্রেতাদের নিজস্ব ডকুমেন্টেশন দেখে নিন।

LLM কী, এবং একে “বড়” বলা হয় কেন?

“বড়” শব্দটি দুটি জিনিস বোঝায়। প্রথমটি হলো প্রশিক্ষণ ডেটার পরিমাণ। দ্বিতীয়টি হলো প্যারামিটার নামে পরিচিত অভ্যন্তরীণ সমন্বয়যোগ্য মানের সংখ্যা। ব্যাপ্তি বোঝাতে বলা যায়, Meta ২০২৪ সালের এপ্রিলে জানিয়েছিল যে Llama 3 ১৫ ট্রিলিয়নেরও বেশি টোকেনে প্রশিক্ষিত হয়েছে।

আধুনিক প্রায় সব LLM Transformer স্থাপত্যের ওপর ভিত্তি করে তৈরি। Google-এর গবেষকরা ২০১৭ সালের জুনে “Attention Is All You Need” শীর্ষক গবেষণাপত্রে এটি প্রবর্তন করেন। এর মূল ধারণা হলো সেল্ফ-অ্যাটেনশন, যার মাধ্যমে মডেল প্রতিটি অংশ প্রক্রিয়া করার সময় টেক্সটের অন্য প্রতিটি অংশ কতটা প্রাসঙ্গিক, তা ওজন করে দেখতে পারে।

LLM-এ টোকেন কী?

মডেল শব্দ পড়ে না। সে পড়ে টোকেন, যা বাইট-পেয়ার এনকোডিং (BPE)-এর মতো অ্যালগরিদমে তৈরি সাবওয়ার্ড খণ্ড। একটি সাধারণ শব্দ একটিমাত্র টোকেন হতে পারে, আর বিরল শব্দ কয়েকটি টুকরোয় ভাগ হতে পারে।

OpenAI ইংরেজির জন্য একটি মোটামুটি হিসাব দিয়েছে: একটি টোকেন প্রায় চার অক্ষরের সমান, বা প্রায় তিন-চতুর্থাংশ শব্দ। এই হিসাবে ১০০ টোকেন মানে প্রায় ৭৫ শব্দ।

ভাষাভেদে এই অনুপাত আলাদা। তুরস্কের ভাষার মতো আঠালো ভাষা (agglutinative language), যেখানে লম্বা শব্দ বহু প্রত্যয় যোগ করে তৈরি হয়, সেগুলোকে একই অর্থের ইংরেজি লেখার চেয়ে সাধারণত বেশি টোকেনে ভাগ করা হয়। Petrov প্রমুখের (২০২৩) মতো গবেষণায় ভাষার মধ্যে এই টোকেনাইজার-বৈষম্যের কথা নথিভুক্ত হয়েছে, যদিও নতুন টোকেনাইজারগুলো ব্যবধান কিছুটা কমিয়ে এনেছে।

টোকেন গুরুত্বপূর্ণ, কারণ API ব্যবহারের বিল সাধারণত প্রতি দশ লক্ষ ইনপুট ও আউটপুট টোকেনের হিসাবে হয়, এবং আউটপুটের দাম ইনপুটের চেয়ে বেশি। টোকেন বেশি মানে খরচ বেশি এবং কনটেক্সট উইন্ডো দ্রুত ভরে যায়। দাম প্রায়ই বদলায়, তাই বর্তমান হারের জন্য OpenAI, Anthropic বা Google-এর মূল্য নির্ধারণের পৃষ্ঠা দেখুন।

বড় ভাষা মডেলগুলো কীভাবে প্রশিক্ষিত হয়?

প্রশিক্ষণ সাধারণত ধাপে ধাপে হয়। প্রথম ধাপ প্রি-ট্রেনিং। এখানে মডেল ওয়েব টেক্সট, বই ও কোডের ট্রিলিয়ন ট্রিলিয়ন টোকেন জুড়ে পরের টোকেন অনুমান করে শেখে; এই পদ্ধতিকে সেল্ফ-সুপারভাইজড লার্নিং বলা হয়। ফলাফল হলো মডেল ভাষা বোঝে, কিন্তু তখনও সহকারীর মতো আচরণ করে না।

এরপর আসে ফাইন-টিউনিং বা ইনস্ট্রাকশন টিউনিং, যেখানে মডেলকে ভালো উত্তরের উদাহরণ দেখানো হয়। তারপর অ্যালাইনমেন্ট। সবচেয়ে পরিচিত অ্যালাইনমেন্ট পদ্ধতি হলো রিইনফোর্সমেন্ট লার্নিং ফ্রম হিউম্যান ফিডব্যাক (RLHF), যা OpenAI-এর ২০২২ সালের InstructGPT গবেষণাপত্রের মাধ্যমে জনপ্রিয় হয়। Anthropic-এর Constitutional AI, যা একই বছরের, এই পদ্ধতিরই একটি রূপ।

২০২৪ সালের শেষের দিক থেকে রিজনিং মডেলও এই ধারায় যুক্ত হয়েছে। উদাহরণ হলো OpenAI o1 এবং ২০২৫ সালের জানুয়ারিতে প্রকাশিত DeepSeek-R1। এই মডেলগুলোকে রিইনফোর্সমেন্ট লার্নিং দিয়ে প্রশিক্ষণ দেওয়া হয়, যাতে উত্তর দেওয়ার আগে তারা সমস্যাটি ধাপে ধাপে বিশ্লেষণ করতে পারে, এবং এজন্য উত্তর দেওয়ার সময় অতিরিক্ত কম্পিউটিং ব্যবহার করে।

প্রশিক্ষণের খরচ সঠিকভাবে নির্ধারণ করা কঠিন। শীর্ষ পর্যায়ের প্রশিক্ষণে কয়েক দশ থেকে কয়েকশ মিলিয়ন ডলার খরচ হয়েছে বলে জানানো হয়, তবে এগুলো আনুমানিক হিসাব, সরকারি সংখ্যা নয়। DeepSeek V3-এর জন্য প্রায়ই উদ্ধৃত প্রায় ৫.৬ মিলিয়ন ডলারের হিসাবে শুধু চূড়ান্ত প্রশিক্ষণ রানের GPU ঘণ্টার খরচ ধরা হয়েছে, মোট খরচ নয়, এবং এই হিসাব বিতর্কিত।

প্যারামিটার কী, এবং বড় মানেই কি ভালো?

প্যারামিটার হলো প্রশিক্ষণের সময় মডেল যে সংখ্যাসূচক ওজন শেখে। কিছু তুলনামূলক তথ্য: GPT-2-এর ছিল ২০১৯ সালে ১.৫ বিলিয়ন, এবং GPT-3-এর ছিল ২০২০ সালে ১৭৫ বিলিয়ন। Meta-এর Llama 3.1, যা ২০২৪ সালের জুলাইয়ে প্রকাশিত হয়, এসেছিল ৮B, ৭০B ও ৪০৫B আকারে।

কিছু মডেল মিক্সচার-অফ-এক্সপার্টস (MoE) নকশা ব্যবহার করে, যেখানে প্রতিটি টোকেনের জন্য নেটওয়ার্কের শুধু একটি অংশ চলে। DeepSeek-V3-এর মোট প্যারামিটার ৬৭১ বিলিয়ন, কিন্তু প্রতি টোকেনে সক্রিয় থাকে মাত্র প্রায় ৩৭ বিলিয়ন।

OpenAI, Anthropic ও Google তাদের শীর্ষ মডেলের প্যারামিটার সংখ্যা প্রকাশ করে না। “GPT-4-এর ১.৭৬ ট্রিলিয়ন প্যারামিটার আছে” এ ধরনের সংখ্যা নিশ্চিত নয়, এগুলো অসমর্থিত ফাঁস।

আকারই সব নয়, কারণ ডেটার মান ও প্রশিক্ষণ পদ্ধতিও অনেক গুরুত্বপূর্ণ। ২০২২ সালের “Chinchilla” গবেষণায় দেখা যায়, কম্পিউট-অপটিমাল প্রশিক্ষণে প্রতি প্যারামিটারে প্রায় ২০ টোকেন ব্যবহার হয়। আজকের মডেলগুলো ইচ্ছাকৃতভাবে এই অনুপাতের অনেক বেশি টোকেনে প্রশিক্ষিত হয়।

কনটেক্সট উইন্ডো কী?

কনটেক্সট উইন্ডো হলো একবারে একটি মডেল সর্বোচ্চ যতগুলো টোকেন বিবেচনা করতে পারে। এর মধ্যে থাকে আপনার প্রম্পট, এতক্ষণের কথোপকথন এবং মডেলের উত্তর। একে দীর্ঘমেয়াদি স্মৃতি নয়, বরং কর্মক্ষম স্মৃতি (working memory) হিসেবে ভাবুন।

উইন্ডোর আকার দ্রুত বেড়েছে। GPT-3 ২,০৪৮ টোকেন সামলাতে পারত, এবং মূল GPT-4-এর ছিল ৮K ও ৩২K সংস্করণ। পরবর্তী প্রকাশগুলোতে Claude-এর জন্য ২০০K (কিছু সংস্করণে ১M পর্যন্ত), Gemini 1.5 ও 2.x-এর জন্য ১–২ মিলিয়ন এবং GPT-4.1-এর জন্য ১ মিলিয়ন ঘোষণা করা হয়েছে। ২০২৫ সালের এপ্রিলে Meta দাবি করে Llama 4 Scout-এর উইন্ডো ১ কোটি টোকেন। এই সংখ্যাগুলো প্রতিটি নতুন প্রকাশের সঙ্গে বদলায়, তাই বর্তমান ডকুমেন্টেশন দেখে নিন।

বড় ঘোষিত উইন্ডো মানেই মডেল তা ভালোভাবে পুরোটা ব্যবহার করতে পারবে, এমন নিশ্চয়তা নেই। Liu প্রমুখের ২০২৩ সালের “Lost in the Middle” গবেষণায় দেখা যায়, দীর্ঘ ইনপুটের মাঝখানে লুকানো তথ্যের ক্ষেত্রে নির্ভুলতা কমে যেতে পারে।

LLM কেন হ্যালুসিনেট করে?

হ্যালুসিনেশন হলো এমন আউটপুট, যা শুনতে সাবলীল কিন্তু মিথ্যা বা বানানো, যেমন ভুয়া উদ্ধৃতি, ভুল তথ্য বা অস্তিত্বহীন আদালত মামলা। এটি ঘটে কারণ মডেল তথ্য খুঁজে দেখার বদলে বিশ্বাসযোগ্য টেক্সট তৈরি করে। ২০২৫ সালের সেপ্টেম্বরের একটি OpenAI গবেষণাপত্র বলে, প্রশিক্ষণ ও মূল্যায়ন অনিশ্চয়তা স্বীকার করার চেয়ে অনুমান করাকে পুরস্কৃত করে।

একটি পরিচিত ঘটনা হলো Mata v. Avianca (যুক্তরাষ্ট্র, ২০২৩)। ওই মামলায় ChatGPT-র বানানো মামলার উদ্ধৃতি জমা দেওয়ার কারণে আইনজীবীদের শাস্তি দেওয়া হয়, এবং এরপর এ ধরনের আরও অনেক ঘটনা ঘটেছে।

রিট্রিভাল-অগমেন্টেড জেনারেশন (RAG), ওয়েব-সার্চ ভিত্তিক গ্রাউন্ডিং, উদ্ধৃতি ও রিজনিং মডেল, সবই সমস্যা কমায়, কিন্তু কোনোটিই একে পুরোপুরি দূর করে না। এমনকি OpenAI-এর ২০২৫ সালের এপ্রিলের o3 ও o4-mini-এর সিস্টেম কার্ডে তাদের PersonQA পরীক্ষায় কিছু রিজনিং মডেলের বেশি হ্যালুসিনেশন হারের কথা জানানো হয়। হার বেঞ্চমার্কভেদে আলাদা এবং বিতর্কিত, তাই একক সংখ্যার দাবিতে সতর্ক থাকুন।

ওপেন বনাম ক্লোজড LLM: পার্থক্য কী?

ক্লোজড বা মালিকানাধীন মডেলের ক্ষেত্রে ওয়েট প্রকাশ করা হয় না, তাই আপনি শুধু অ্যাপ বা API-এর মাধ্যমে ব্যবহার করতে পারেন। OpenAI-এর GPT সিরিজ, Anthropic-এর Claude, Google-এর Gemini এবং xAI-এর Grok এই দলে পড়ে। তবে xAI কিছু পুরনো Grok ওয়েট প্রকাশ করেছে।

ওপেন-ওয়েট মডেল ডাউনলোড করে নিজের কম্পিউটারে চালানো ও ফাইন-টিউন করা যায়। উদাহরণ হলো Meta Llama, Mistral, DeepSeek, Alibaba Qwen, Google Gemma এবং OpenAI-এর gpt-oss, যা ২০২৫ সালের আগস্টে Apache 2.0 লাইসেন্সে প্রকাশিত হয়।

ওপেন-ওয়েট আর ওপেন সোর্স এক নয়। Open Source Initiative-এর ২০২৪ সালের অক্টোবরে প্রকাশিত Open Source AI Definition 1.0 অনেক বেশি উন্মুক্ততা দাবি করে, প্রশিক্ষণ ডেটা সম্পর্কেও। OSI বলে, Llama-র লাইসেন্স ওপেন সোর্স হিসেবে যোগ্য নয়।

বাস্তবে ওপেন-ওয়েট মডেল গোপনীয়তা, স্থানীয় নিয়ন্ত্রণ ও কাস্টমাইজেশনের সুবিধা দেয়। ক্লোজড মডেলগুলো সাধারণত কাঁচা সক্ষমতায় এগিয়ে ছিল, যদিও ২০২৫ সালে এই ব্যবধান কমেছে। LMArena-র মতো লিডারবোর্ড মাসে মাসে অবস্থান বদলায়।

নিয়ন্ত্রণও দ্রুত এগোচ্ছে। EU AI Act-এর অধীনে সাধারণ-উদ্দেশ্য AI মডেলের বাধ্যবাধকতা ২০২৫ সালের ২ আগস্ট থেকে প্রযোজ্য। তুরস্কের KVKK-এর মতো ডেটা সুরক্ষা আইন এখনও প্রম্পটে আপনার পেস্ট করা যেকোনো ব্যক্তিগত ডেটার ওপর প্রযোজ্য।