LLM क्या है? बड़े भाषा मॉडल (Large Language Models) को सरल भाषा में समझें (2026)

लार्ज लैंग्वेज मॉडल (LLM) एक न्यूरल नेटवर्क है, जिसे अपार मात्रा में टेक्स्ट पर प्रशिक्षित किया जाता है ताकि वह अनुक्रम में अगला टोकन अनुमानित कर सके। इसी एक लक्ष्य से चैटबॉट की सभी क्षमताएँ निकलती हैं: सवालों के जवाब देना, कोड लिखना, दस्तावेज़ों का सारांश बनाना और अनुवाद करना। ChatGPT, Claude और Gemini जैसे टूल इसी तरह के मॉडलों पर आधारित हैं।

यह गाइड बुनियादी घटकों को क्रम से समझाती है: टोकन, प्रशिक्षण, पैरामीटर, कॉन्टेक्स्ट विंडो, हैल्यूसिनेशन, और ओपन व क्लोज़्ड मॉडल का अंतर। मॉडल के नाम, कीमतें और सीमाएँ तेज़ी से बदलती हैं, इसलिए नीचे दिए आँकड़ों के साथ तारीखें दी गई हैं। ताज़ा आँकड़ों के लिए संबंधित कंपनियों के अपने दस्तावेज़ देखें।

LLM क्या है, और इसे “लार्ज” क्यों कहते हैं?

“लार्ज” शब्द दो बातों की ओर इशारा करता है। पहली, प्रशिक्षण डेटा की विशाल मात्रा। दूसरी, मॉडल के भीतर समायोजित होने वाले आंतरिक मानों की संख्या, जिन्हें पैरामीटर कहते हैं। पैमाने का अंदाज़ा देने के लिए, Meta ने अप्रैल 2024 में कहा था कि Llama 3 को 15 ट्रिलियन से अधिक टोकन पर प्रशिक्षित किया गया था।

आज लगभग हर आधुनिक LLM Transformer आर्किटेक्चर पर बना है। इसे Google के शोधकर्ताओं ने जून 2017 के पेपर “Attention Is All You Need” में पेश किया था। इसका मूल विचार सेल्फ-अटेंशन है, जिससे मॉडल हर हिस्से को प्रोसेस करते समय पूरे टेक्स्ट के बाकी हिस्सों की प्रासंगिकता तौल सकता है।

LLM में टोकन क्या होते हैं?

मॉडल शब्दों को सीधे नहीं पढ़ते, बल्कि टोकन पढ़ते हैं। ये सबवर्ड के छोटे हिस्से होते हैं, जो byte-pair encoding (BPE) जैसे एल्गोरिदम से बनते हैं। कोई आम शब्द एक ही टोकन हो सकता है, जबकि दुर्लभ शब्द कई टुकड़ों में बँट जाता है।

OpenAI का अंग्रेज़ी के लिए सामान्य अनुमान है कि एक टोकन लगभग चार अक्षरों के बराबर होता है, या लगभग तीन-चौथाई शब्द। इस हिसाब से 100 टोकन लगभग 75 शब्दों के बराबर होते हैं।

यह अनुपात भाषा के अनुसार बदलता है। तुर्की जैसी एग्लूटिनेटिव भाषाओं में, जहाँ लंबे शब्द कई प्रत्ययों से बनते हैं, उसी अर्थ के अंग्रेज़ी पाठ की तुलना में आम तौर पर अधिक टोकन लगते हैं। Petrov et al. (2023) जैसे शोध में भाषाओं के बीच टोकनाइज़र की इस असमानता का दस्तावेज़ीकरण हुआ है, हालाँकि नए टोकनाइज़र ने अंतर कुछ कम किया है।

टोकन मायने रखते हैं क्योंकि API उपयोग आम तौर पर प्रति दस लाख इनपुट और आउटपुट टोकन के हिसाब से बिलिंग होता है, और आउटपुट की कीमत इनपुट से अधिक होती है। ज़्यादा टोकन का मतलब ज़्यादा लागत और तेज़ी से भरती कॉन्टेक्स्ट विंडो है। कीमतें अक्सर बदलती हैं, इसलिए ताज़ा दरों के लिए OpenAI, Anthropic या Google के प्राइसिंग पेज देखें।

लार्ज लैंग्वेज मॉडल कैसे प्रशिक्षित होते हैं?

प्रशिक्षण आम तौर पर चरणों में होता है। पहला चरण प्री-ट्रेनिंग है। इसमें मॉडल वेब टेक्स्ट, किताबों और कोड के खरबों टोकन में अगला टोकन अनुमानित करना सीखता है, जिसे सेल्फ-सुपरवाइज़्ड लर्निंग कहा जाता है। इससे मॉडल भाषा समझने लगता है, पर अभी वह सहायक की तरह व्यवहार नहीं करता।

इसके बाद फाइन-ट्यूनिंग या इंस्ट्रक्शन ट्यूनिंग आती है, जिसमें मॉडल को अच्छे जवाबों के उदाहरण दिखाए जाते हैं। फिर एलाइनमेंट आता है। सबसे प्रसिद्ध एलाइनमेंट तरीका है रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF), जिसे OpenAI के 2022 के InstructGPT पेपर ने लोकप्रिय बनाया। Anthropic का Constitutional AI, जो भी 2022 का है, इसी दृष्टिकोण का एक रूप है।

2024 के अंत से रीज़निंग मॉडल भी इस श्रेणी में शामिल हो गए हैं। उदाहरण हैं OpenAI o1 और जनवरी 2025 में जारी DeepSeek-R1। ये मॉडल रीइन्फोर्समेंट लर्निंग से प्रशिक्षित होते हैं ताकि जवाब देने से पहले समस्या पर विचार कर सकें, और इसके लिए जवाब के समय अतिरिक्त कंप्यूट खर्च करते हैं।

प्रशिक्षण की लागत का सटीक अनुमान लगाना कठिन है। बताया जाता है कि फ्रंटियर रन की लागत दस से सौ मिलियन डॉलर के बीच होती है, लेकिन ये अनुमान हैं, आधिकारिक आँकड़े नहीं। DeepSeek V3 के लिए व्यापक रूप से उद्धृत लगभग 5.6 मिलियन डॉलर का आँकड़ा केवल अंतिम प्रशिक्षण रन के GPU घंटों को शामिल करता है, कुल लागत को नहीं, और यह विवादित है।

पैरामीटर क्या हैं, और क्या बड़ा मतलब बेहतर होता है?

पैरामीटर वे संख्यात्मक वेट हैं जिन्हें मॉडल प्रशिक्षण के दौरान सीखता है। कुछ संदर्भ बिंदु: GPT-2 में 2019 में 1.5 अरब पैरामीटर थे, और GPT-3 में 2020 में 175 अरब। Meta का Llama 3.1, जो जुलाई 2024 में आया, 8B, 70B और 405B आकारों में था।

कुछ मॉडल Mixture-of-Experts (MoE) डिज़ाइन का उपयोग करते हैं, जिसमें हर टोकन के लिए नेटवर्क का केवल एक हिस्सा चलता है। DeepSeek-V3 में कुल 671 अरब पैरामीटर हैं, लेकिन प्रति टोकन केवल लगभग 37 अरब सक्रिय होते हैं।

OpenAI, Anthropic और Google अपने फ्लैगशिप मॉडलों की पैरामीटर संख्या सार्वजनिक नहीं करते। “GPT-4 में 1.76 ट्रिलियन पैरामीटर हैं” जैसे आँकड़े अपुष्ट लीक हैं।

आकार ही सब कुछ नहीं है, क्योंकि डेटा की गुणवत्ता और प्रशिक्षण के तरीके भी बहुत मायने रखते हैं। 2022 के “Chinchilla” अध्ययन ने पाया कि कंप्यूट के लिए अनुकूलित प्रशिक्षण में लगभग 20 टोकन प्रति पैरामीटर का अनुपात आता है। आज के मॉडल जानबूझकर इस अनुपात से कहीं आगे तक प्रशिक्षित किए जाते हैं।

कॉन्टेक्स्ट विंडो क्या है?

कॉन्टेक्स्ट विंडो वह अधिकतम टोकन संख्या है जिस पर मॉडल एक साथ विचार कर सकता है। इसमें आपका प्रॉम्प्ट, अब तक की बातचीत और मॉडल का जवाब शामिल होता है। इसे दीर्घकालिक स्मृति के बजाय कार्यशील स्मृति की तरह समझें।

विंडो तेज़ी से बढ़ी हैं। GPT-3 2,048 टोकन संभालता था, और मूल GPT-4 में 8K और 32K संस्करण थे। बाद के रिलीज़ में Claude के लिए 200K (कुछ संस्करणों में 1M तक), Gemini 1.5 और 2.x के लिए 1–2 मिलियन, और GPT-4.1 के लिए 1 मिलियन का दावा किया गया। अप्रैल 2025 में Meta ने Llama 4 Scout के लिए 10 मिलियन का दावा किया। ये संख्याएँ हर रिलीज़ के साथ बदलती हैं, इसलिए ताज़ा दस्तावेज़ देखें।

बड़ी घोषित विंडो का मतलब यह नहीं कि मॉडल उसका पूरा उपयोग अच्छी तरह कर पाता है। Liu et al. के 2023 के “Lost in the Middle” अध्ययन में पाया गया कि लंबे इनपुट के बीच में दबी जानकारी के लिए सटीकता गिर सकती है।

LLM हैल्यूसिनेट क्यों करते हैं?

हैल्यूसिनेशन ऐसा आउटपुट है जो धाराप्रवाह लगता है, पर गलत या गढ़ा हुआ होता है, जैसे नकली उद्धरण, गलत तथ्य या न मौजूद अदालती मामले। ऐसा इसलिए होता है क्योंकि मॉडल तथ्यों को खोजने के बजाय विश्वसनीय लगने वाला टेक्स्ट बनाता है। सितंबर 2025 का एक OpenAI पेपर तर्क देता है कि प्रशिक्षण और मूल्यांकन अनिश्चितता स्वीकारने के बजाय अनुमान लगाने को पुरस्कृत करते हैं।

एक प्रसिद्ध उदाहरण है Mata v. Avianca (अमेरिका, 2023)। उस मामले में वकीलों पर प्रतिबंध लगाया गया था, क्योंकि उन्होंने ऐसे केस उद्धरण दाखिल किए थे जो ChatGPT ने गढ़े थे। इसके बाद ऐसी कई घटनाएँ सामने आई हैं।

Retrieval-augmented generation (RAG), वेब-सर्च ग्राउंडिंग, उद्धरण और रीज़निंग मॉडल, ये सभी समस्या को कम करते हैं, पर कोई भी इसे पूरी तरह खत्म नहीं करता। OpenAI के o3 और o4-mini के लिए अप्रैल 2025 के सिस्टम कार्ड में उसने अपने PersonQA टेस्ट पर कुछ रीज़निंग मॉडलों के लिए अधिक हैल्यूसिनेशन दर भी दर्ज की। दरें बेंचमार्क के अनुसार बदलती हैं और विवादित हैं, इसलिए एक-संख्या वाले दावों को सावधानी से लें।

ओपन बनाम क्लोज़्ड LLM: क्या अंतर है?

क्लोज़्ड, या प्रोप्राइटरी, मॉडलों के वेट जारी नहीं किए जाते, इसलिए आप उन्हें केवल ऐप या API के ज़रिए इस्तेमाल कर सकते हैं। OpenAI की GPT श्रृंखला, Anthropic का Claude, Google का Gemini और xAI का Grok इसी श्रेणी में आते हैं। हालाँकि xAI ने कुछ पुराने Grok वेट जारी किए हैं।

ओपन-वेट मॉडल डाउनलोड किए जा सकते हैं, स्थानीय रूप से चलाए जा सकते हैं और फाइन-ट्यून किए जा सकते हैं। उदाहरण हैं Meta Llama, Mistral, DeepSeek, Alibaba Qwen, Google Gemma और OpenAI का gpt-oss, जो अगस्त 2025 में Apache 2.0 लाइसेंस के तहत जारी हुआ।

ओपन-वेट का मतलब ओपन सोर्स नहीं है। Open Source Initiative की Open Source AI Definition 1.0, जो अक्टूबर 2024 में प्रकाशित हुई, कहीं अधिक व्यापक खुलेपन की माँग करती है, जिसमें प्रशिक्षण डेटा के बारे में जानकारी भी शामिल है। OSI का कहना है कि Llama का लाइसेंस ओपन सोर्स की श्रेणी में नहीं आता।

व्यवहार में, ओपन-वेट मॉडल गोपनीयता, स्थानीय नियंत्रण और अनुकूलन की सुविधा देते हैं। क्लोज़्ड मॉडल आम तौर पर कच्ची क्षमता में आगे रहे हैं, हालाँकि 2025 में यह अंतर कम हुआ है। LMArena जैसे लीडरबोर्ड हर महीने क्रम बदलते रहते हैं।

नियमन भी पीछे नहीं है। EU AI Act के तहत सामान्य-उद्देश्य AI मॉडलों के दायित्व 2 अगस्त 2025 से लागू हैं। तुर्की के KVKK जैसा डेटा संरक्षण कानून अब भी उस व्यक्तिगत डेटा पर लागू होता है जिसे आप प्रॉम्प्ट में चिपकाते हैं।