Что такое LLM? Большие языковые модели простым языком (2026)

Большая языковая модель (LLM) — это нейронная сеть, обученная на огромных объёмах текста предсказывать следующий токен в последовательности. Именно эта единственная задача стоит за всем, что умеет чат-бот: отвечать на вопросы, писать код, пересказывать документы и переводить. Такие инструменты, как ChatGPT, Claude и Gemini, построены на моделях этого типа.

Этот гид последовательно разбирает основные элементы: токены, обучение, параметры, контекстные окна, галлюцинации и разницу между открытыми и закрытыми моделями. Названия моделей, цены и ограничения меняются быстро, поэтому приведённые цифры привязаны к датам. Актуальные значения лучше уточнять в официальной документации разработчиков.

Что такое LLM и почему её называют «большой»?

Слово «большая» относится к двум вещам. Первая — объём обучающих данных. Вторая — количество настраиваемых внутренних значений, которые называются параметрами. Для масштаба: в апреле 2024 года Meta сообщила, что Llama 3 обучали на более чем 15 триллионах токенов.

Почти все современные LLM построены на архитектуре Transformer. Её представили исследователи Google в статье «Attention Is All You Need», опубликованной в июне 2017 года. Её ключевая идея — самовнимание (self-attention), которое позволяет модели при обработке каждого фрагмента текста оценивать, насколько relevant каждая другая его часть.

Что такое токены в LLM?

Модели не читают слова. Они работают с токенами — фрагментами слов, которые создаются такими алгоритмами, как байтовое парное кодирование (BPE). Частое слово может быть одним токеном, а редкое разбивается на несколько частей.

Правило OpenAI для английского языка такое: один токен — примерно четыре символа, или около трёх четвертей слова. Исходя из этого, 100 токенов соответствуют примерно 75 словам.

Соотношение зависит от языка. Агглютинативные языки, например турецкий, где длинные слова строятся из множества суффиксов, обычно делятся на больше токенов, чем английский текст с тем же смыслом. Исследования, такие как работа Petrov et al. (2023), задокументировали такую несправедливость токенизаторов между языками, хотя новые токенизаторы сократили разрыв.

Токены важны, потому что использование API обычно тарифицируется за миллион входных и выходных токенов, причём выходные стоят дороже входных. Больше токенов — выше стоимость и быстрее заполняется контекстное окно. Цены часто меняются, поэтому актуальные тарифы стоит проверять на страницах с ценами OpenAI, Anthropic или Google.

Как обучают большие языковые модели?

Обучение обычно проходит в несколько этапов. Первый — предобучение. На нём модель учится предсказывать следующий токен на триллионах токенов веб-текстов, книг и кода; такой метод известен как самообучение с учителем (self-supervised learning). Результат понимает язык, но ещё не ведёт себя как ассистент.

Далее идёт дообучение, или инструктивная настройка (instruction tuning), когда модели показывают примеры хороших ответов. Затем следует выравнивание (alignment). Самый известный метод выравнивания — обучение с подкреплением на основе обратной связи от людей (RLHF), популяризированное статьёй OpenAI InstructGPT 2022 года. Constitutional AI от Anthropic, также 2022 года, — вариант этого подхода.

С конца 2024 года к этой схеме добавились модели рассуждений. Примеры — OpenAI o1 и DeepSeek-R1, выпущенная в январе 2025 года. Эти модели обучают с помощью обучения с подкреплением, чтобы они прорабатывали задачу перед ответом, и на этот процесс тратятся дополнительные вычислительные ресурсы во время ответа.

Стоимость обучения сложно определить точно. Сообщается, что обучение самых передовых моделей обходится в десятки и сотни миллионов долларов, но это оценки, а не официальные данные. Широко цитируемая цифра около 5,6 миллиона долларов для DeepSeek V3 учитывает только часы работы GPU на финальном запуске обучения, а не полные расходы, и оспаривается.

Что такое параметры и всегда ли больше значит лучше?

Параметры — это числовые веса, которые модель осваивает в процессе обучения. Несколько ориентиров: GPT-2 имела 1,5 миллиарда параметров в 2019 году, а GPT-3 — 175 миллиардов в 2020 году. Llama 3.1 от Meta, выпущенная в июле 2024 года, вышла в размерах 8B, 70B и 405B.

Некоторые модели используют архитектуру «смеси экспертов» (Mixture-of-Experts, MoE), в которой для каждого токена работает только часть сети. У DeepSeek-V3 всего 671 миллиард параметров, но на каждый токен активны лишь около 37 миллиардов.

OpenAI, Anthropic и Google не раскрывают количество параметров своих флагманских моделей. Цифры вроде «у GPT-4 1,76 триллиона параметров» — неподтверждённые утечки.

Размер — не всё, ведь большое значение имеют качество данных и методы обучения. Исследование «Chinchilla» 2022 года показало, что оптимальное по вычислениям обучение использует примерно 20 токенов на параметр. Современные модели намеренно обучают заметно сверх этого соотношения.

Что такое контекстное окно?

Контекстное окно — это максимальное количество токенов, которое модель может учитывать одновременно. Сюда входят ваш запрос, предыдущая часть разговора и ответ модели. Его лучше представлять как рабочую память, а не как долговременную.

Окна быстро выросли. GPT-3 работала с 2048 токенами, а исходная GPT-4 предлагала версии на 8K и 32K. Позже в анонсах появились 200K для Claude (в некоторых версиях до 1M), 1–2 миллиона для Gemini 1.5 и 2.x и 1 миллион для GPT-4.1. В апреле 2025 года Meta заявила о 10 миллионах токенов для Llama 4 Scout. Эти цифры меняются с каждым релизом, поэтому проверяйте актуальную документацию.

Большое заявленное окно не гарантирует, что модель хорошо использует весь его объём. Исследование «Lost in the Middle» 2023 года, проведённое Liu et al., показало, что точность может падать для информации, находящейся в середине длинных входных данных.

Почему LLM галлюцинируют?

Галлюцинация — это вывод, который звучит гладко, но неверен или выдуман, например поддельные ссылки, ошибочные факты или несуществующие судебные дела. Это происходит потому, что модель генерирует правдоподобный текст вместо поиска фактов. Статья OpenAI от сентября 2025 года утверждает, что обучение и оценка поощряют угадывание, а не признание неуверенности.

Известный случай — Mata v. Avianca (США, 2023). Адвокатов по этому делу оштрафовали за подачу ссылок на судебные дела, которые придумал ChatGPT, и с тех пор подобных случаев было много.

Генерация с дополнением извлечённых данных (RAG), привязка к веб-поиску, цитирование и модели рассуждений — всё это снижает проблему, но ни один из методов её не устраняет полностью. Системная карта OpenAI для o3 и o4-mini от апреля 2025 года даже сообщала о более высоком уровне галлюцинаций у некоторых моделей рассуждений на тесте PersonQA. Показатели зависят от бенчмарка и оспариваются, поэтому к утверждениям с одной цифрой стоит относиться осторожно.

Открытые и закрытые LLM: в чём разница?

У закрытых, или проприетарных, моделей веса не публикуются, поэтому пользоваться ими можно только через приложение или API. К этой группе относятся серия GPT от OpenAI, Claude от Anthropic, Gemini от Google и Grok от xAI. Однако xAI выпустила веса некоторых более старых версий Grok.

Модели с открытыми весами можно скачать, запустить локально и дообучить. Примеры — Llama от Meta, Mistral, DeepSeek, Qwen от Alibaba, Gemma от Google и gpt-oss от OpenAI, выпущенная в августе 2025 года под лицензией Apache 2.0.

Открытые веса — не то же самое, что открытый исходный код. Определение открытого ИИ (Open Source AI Definition 1.0), опубликованное Open Source Initiative в октябре 2024 года, требует гораздо более широкой открытости, в том числе в отношении обучающих данных. OSI заявляет, что лицензия Llama не соответствует открытому исходному коду.

На практике модели с открытыми весами дают конфиденциальность, локальный контроль и возможность кастомизации. Закрытые модели обычно лидировали по чистым возможностям, хотя в течение 2025 года разрыв сократился. Рейтинги вроде LMArena меняются от месяца к месяцу.

Регулирование тоже догоняет технологии. По закону ЕС об ИИ (EU AI Act) обязательства для моделей ИИ общего назначения действуют с 2 августа 2025 года. Законы о защите данных, например турецкий KVKK, по-прежнему распространяются на любые персональные данные, которые вы вставляете в запрос.