什么是大语言模型（LLM）？2026年全面解读

大语言模型（LLM）是一种神经网络，它通过海量文本训练，学会预测序列中的下一个词元。正是这一个基本目标，支撑起聊天机器人的各种能力：回答问题、编写代码、总结文档和翻译。ChatGPT、Claude和Gemini等工具都建立在这类模型之上。

本指南将按顺序介绍其基本构成：词元、训练、参数、上下文窗口、幻觉，以及开源与闭源模型之间的区别。模型名称、价格和限制变化很快，因此以下数据均标注了日期，最新数字请以各厂商官方文档为准。

什么是LLM？它的“大”体现在哪里？

“大”体现在两个方面。一是训练数据的规模，二是模型中可调整的内部数值，即参数的数量。以规模为例，Meta在2024年4月表示，Llama 3的训练数据超过15万亿个词元。

几乎所有现代大语言模型都基于Transformer架构。该架构由谷歌研究人员在2017年6月发表的论文《Attention Is All You Need》中提出。其核心思想是自注意力机制，使模型在处理每一部分内容时，能够权衡文本中其他所有部分与之的相关程度。

大语言模型中的词元是什么？

模型并不是按单词阅读文本，而是按词元处理。词元是由字节对编码（BPE）等算法切分出的子词片段。常见词可能只是一个词元，而生僻词则会被拆成几个片段。

OpenAI给出的英文经验法则是：一个词元约等于四个字符，或约四分之三个单词。据此计算，100个词元大约相当于75个单词。

不同语言的换算比例并不相同。土耳其语等黏着语通过大量后缀构成长词，表达相同含义时通常比英语需要更多词元。Petrov等人（2023）等研究已记录了这类语言之间分词器的不公平性，不过较新的分词器已缩小了这一差距。

词元之所以重要，是因为API通常按每百万输入和输出词元计费，且输出价格高于输入。词元越多，成本越高，上下文窗口也会被更快占满。价格经常调整，当前费率请查阅OpenAI、Anthropic或谷歌的定价页面。

大语言模型是如何训练的？

训练通常分阶段进行。第一阶段是预训练，模型通过在数万亿个词元的网页文本、书籍和代码中预测下一个词元进行学习，这种方法被称为自监督学习。训练结果使模型理解语言，但还不会像助手那样表现。

接下来是微调，即指令微调，向模型展示优质答案的示例。然后是对齐。最知名的对齐方法是基于人类反馈的强化学习（RLHF），由OpenAI在2022年的InstructGPT论文中推广开来。同样出自2022年的Anthropic“宪法AI”，则是这一方法的一个变体。

大约从2024年底起，推理模型加入了这一行列，例如OpenAI o1和2025年1月发布的DeepSeek-R1。这类模型通过强化学习训练，学会在作答前先梳理问题，并为此在推理时投入额外的计算资源。

训练成本很难准确估算。据报道，前沿模型的训练成本达数千万至数亿美元，但这些都是估计值，并非官方数据。广为流传的DeepSeek V3约560万美元的数字，只涵盖最终训练运行的GPU小时成本，而非全部成本，且存在争议。

什么是参数？参数越多是否就越好？

参数是模型在训练过程中学习到的数值权重。一些参考数据：GPT-2在2019年拥有15亿个参数，GPT-3在2020年拥有1750亿个参数。Meta于2024年7月发布的Llama 3.1提供80亿、700亿和4050亿三种规模。

一些模型采用专家混合（MoE）设计，即每个词元只激活网络的一部分。DeepSeek-V3的参数总量为6710亿，但每个词元仅激活约370亿个。

OpenAI、Anthropic和谷歌并未公开其旗舰模型的参数数量。诸如“GPT-4拥有1.76万亿个参数”之类的说法，都是未经证实的泄露消息。

规模也并非一切，数据质量和训练方法同样至关重要。2022年的“Chinchilla”研究发现，计算最优的训练大约需要每个参数对应20个词元。如今的模型则刻意在这一比例之上进行远超其的训练。

什么是上下文窗口？

上下文窗口是模型一次能够考虑的最大词元数量，包括你的提示词、此前的对话内容以及模型的回复。可以把它理解为工作记忆，而非长期记忆。

上下文窗口增长迅速。GPT-3可处理2048个词元，最初的GPT-4提供8K和32K两个版本。之后的发布中，Claude宣传为20万词元（部分版本可达100万），Gemini 1.5和2.x为100万至200万词元，GPT-4.1为100万词元。2025年4月，Meta宣称Llama 4 Scout可达1000万词元。这些数字随每次发布而变化，请查阅最新文档。

宣传的窗口很大，并不意味着模型能很好地利用其中的全部内容。Liu等人于2023年发表的“迷失在中间”研究发现，对于埋在长输入中间位置的信息，模型的准确率可能会下降。

为什么大语言模型会产生幻觉？

幻觉是指输出的内容读起来流畅，实则虚假或凭空捏造，例如伪造的引用、错误的事实或不存在的法院判例。它的产生原因在于，模型生成的是看似合理的文本，而非查证事实。OpenAI于2025年9月发表的一篇论文指出，训练和评估机制奖励的是猜测，而非承认不确定。

一个广为人知的案例是Mata诉Avianca案（美国，2023年）。该案中的律师因提交了ChatGPT虚构的判例引用而受到制裁，此后类似事件屡有发生。

检索增强生成（RAG）、网络搜索辅助、引用标注和推理模型都能缓解这一问题，但没有一种能彻底消除。OpenAI于2025年4月发布的o3和o4-mini系统说明卡甚至显示，在其PersonQA测试中，部分推理模型的幻觉率更高。幻觉率因基准测试而异，且存在争议，因此对单一数字的说法应保持谨慎。

开源与闭源大语言模型有何不同？

对于闭源（或专有）模型，权重不对外公开，你只能通过应用或API使用。OpenAI的GPT系列、Anthropic的Claude、谷歌的Gemini和xAI的Grok都属于这一类。不过，xAI已公开了部分较早版本Grok的权重。

开放权重模型可以下载、在本地运行并进行微调。例子包括Meta的Llama、Mistral、DeepSeek、阿里巴巴的通义千问（Qwen）、谷歌的Gemma，以及OpenAI于2025年8月以Apache 2.0许可证发布的gpt-oss。

开放权重并不等同于开源。开源促进组织（OSI）于2024年10月发布的《开源AI定义1.0》要求更广泛的开放性，包括训练数据方面的开放。OSI认为Llama的许可证不符合开源标准。

实际来看，开放权重模型在隐私、本地控制和定制化方面具有优势。闭源模型通常在原始能力上处于领先，不过2025年间两者差距有所缩小。LMArena等排行榜每月都会出现排名变动。

监管也在跟进。根据欧盟《人工智能法案》，通用人工智能模型的相关义务自2025年8月2日起已开始适用。数据保护法律，例如土耳其的《个人数据保护法》（KVKK），仍然适用于你在提示词中输入的任何个人数据。