Що таке LLM? Великі мовні моделі простими словами (2026)

Велика мовна модель (LLM) — це нейронна мережа, навчена на величезних обсягах тексту, щоб передбачати наступний токен у послідовності. Саме ця єдина задача лежить в основі всього, що вміє чат-бот: відповідати на запитання, писати код, підсумовувати документи та перекладати. Такі інструменти, як ChatGPT, Claude та Gemini, побудовані на моделях саме цього типу.

У цьому посібнику послідовно розглянуто основні складові: токени, навчання, параметри, контекстні вікна, галюцинації та поділ на відкриті й закриті моделі. Назви моделей, ціни та обмеження швидко змінюються. Тому наведені нижче цифри мають дати, а актуальні показники варто перевіряти в офіційній документації компаній.

Що таке LLM і що робить її «великою»?

Слово «велика» стосується двох речей. Перша — обсяг навчальних даних. Друга — кількість налаштовуваних внутрішніх значень, які називаються параметрами. Для уявлення про масштаб: у квітні 2024 року Meta повідомила, що Llama 3 навчали на понад 15 трильйонах токенів.

Майже всі сучасні LLM побудовані на архітектурі Transformer. Її представили дослідники Google у статті «Attention Is All You Need» у червні 2017 року. Ключова ідея — самоувага (self-attention), яка дозволяє моделі оцінювати, наскільки кожна частина тексту важлива для обробки кожного фрагмента.

Що таке токени в LLM?

Моделі не читають слова. Вони працюють із токенами — фрагментами слів, які створюють такі алгоритми, як кодування байтових пар (BPE). Поширене слово може становити один токен, а рідкісне розбивається на кілька частин.

Правило OpenAI для англійської мови: один токен — це приблизно чотири символи, або близько трьох чвертей слова. За цим правилом 100 токенів дорівнюють приблизно 75 словам.

Співвідношення залежить від мови. Агглютинативні мови, як турецька, де довгі слова утворюються з багатьох суфіксів, зазвичай розбиваються на більшу кількість токенів, ніж англійський текст з тим самим змістом. Дослідження, зокрема Petrov та ін. (2023), задокументували такий тип нерівності токенізаторів між мовами, хоча новіші токенізатори частково скоротили цей розрив.

Токени важливі, адже використання API зазвичай тарифікується за мільйон вхідних і вихідних токенів, причому вихідні коштують дорожче. Більше токенів означає вищу вартість і швидше заповнене контекстне вікно. Ціни часто змінюються, тому актуальні тарифи варто перевіряти на сторінках цін OpenAI, Anthropic або Google.

Як навчаються великі мовні моделі?

Навчання зазвичай відбувається етапами. Перший — попереднє навчання (pre-training). Тут модель вчиться передбачати наступний токен на трильйонах токенів веб-тексту, книжок і коду; цей метод відомий як самокероване навчання (self-supervised learning). Результат розуміє мову, але ще не поводиться як асистент.

Далі йде донавчання, або інструкційне тонке налаштування (instruction tuning), під час якого моделі показують приклади якісних відповідей. Потім настає етап узгодження з людськими цінностями (alignment). Найвідоміший метод — навчання з підкріпленням на основі відгуків людей (RLHF), популяризоване статтею OpenAI InstructGPT у 2022 році. Constitutional AI від Anthropic, також з 2022 року, є варіантом цього підходу.

Приблизно з кінця 2024 року до цього набору долучилися моделі міркування. Прикладами є OpenAI o1 та DeepSeek-R1, випущена у січні 2025 року. Ці моделі навчаються з підкріпленням, щоб перед відповіддю опрацювати задачу, і для цього витрачають додаткові обчислювальні ресурси під час генерації відповіді.

Вартість навчання важко визначити точно. Повідомляється, що найпередовіші запуски коштують від десятків до сотень мільйонів доларів, але це оцінки, а не офіційні дані. Широко цитована цифра близько 5,6 мільйона доларів для DeepSeek V3 охоплює лише години роботи GPU в останньому запуску навчання, а не повні витрати, і її оскаржують.

Що таке параметри і чи означає більше краще?

Параметри — це числові ваги, які модель вивчає під час навчання. Для орієнтиру: GPT-2 мала 1,5 мільярда параметрів у 2019 році, а GPT-3 — 175 мільярдів у 2020-му. Llama 3.1 від Meta, випущена у липні 2024 року, мала версії на 8B, 70B і 405B.

Деякі моделі використовують архітектуру «суміш експертів» (Mixture-of-Experts, MoE), у якій для кожного токена працює лише частина мережі. DeepSeek-V3 має загалом 671 мільярд параметрів, але на кожен токен активні лише близько 37 мільярдів.

OpenAI, Anthropic і Google не розкривають кількість параметрів своїх флагманських моделей. Цифри на кшталт «GPT-4 має 1,76 трильйона параметрів» є непідтвердженими витоками.

Розмір також не все вирішує, адже велике значення мають якість даних і методи навчання. Дослідження «Chinchilla» 2022 року показало, що оптимальне за обчисленнями навчання використовує приблизно 20 токенів на параметр. Сучасні моделі навмисно навчають значно понад це співвідношення.

Що таке контекстне вікно?

Контекстне вікно — це максимальна кількість токенів, які модель може враховувати одночасно. Сюди входять ваш запит, попередня частина розмови та відповідь моделі. Його варто уявляти як робочу пам'ять, а не як довготривалу.

Вікна стрімко зростають. GPT-3 обробляла 2048 токенів, а початкова GPT-4 пропонувала версії на 8K і 32K. Пізніші релізи анонсували 200K для Claude (у деяких версіях до 1M), від 1 до 2 мільйонів для Gemini 1.5 і 2.x та 1 мільйон для GPT-4.1. У квітні 2025 року Meta заявила про 10 мільйонів для Llama 4 Scout. Ці цифри змінюються з кожним релізом, тому перевіряйте актуальну документацію.

Велике заявлене вікно не гарантує, що модель добре використовує весь його обсяг. Дослідження «Lost in the Middle» Liu та ін. (2023) показало, що точність може падати щодо інформації, розташованої в середині довгих вхідних текстів.

Чому LLM галюцинують?

Галюцинація — це результат, який звучить переконливо, але є хибним або вигаданим, наприклад фальшиві цитати, неправильні факти чи неіснуючі судові справи. Це відбувається тому, що модель генерує правдоподібний текст замість пошуку фактів. Стаття OpenAI за вересень 2025 року стверджує, що навчання й оцінювання заохочують вгадування, а не визнання невпевненості.

Відомий приклад — справа Mata v. Avianca (США, 2023). Адвокатів у цій справі було санкціоновано за подання цитат судових справ, які вигадав ChatGPT, і після того з'явилося багато подібних випадків.

Генерація з пошуком (RAG), прив'язка до веб-пошуку, цитування та моделі міркування зменшують проблему, але жоден із цих підходів її повністю не усуває. Системна картка OpenAI для o3 і o4-mini від квітня 2025 року навіть повідомила про вищу частоту галюцинацій у деяких моделей міркування на тесті PersonQA. Показники залежать від бенчмарку й оспорюються, тож до заяв з одним числом варто ставитися обережно.

Відкриті й закриті LLM: у чому різниця?

У випадку закритих, або пропрієтарних, моделей ваги не публікуються, тож ними можна користуватися лише через застосунок або API. До цієї групи належать серія GPT від OpenAI, Claude від Anthropic, Gemini від Google та Grok від xAI. Водночас xAI опублікувала ваги деяких старіших версій Grok.

Моделі з відкритими вагами можна завантажити, запустити локально і донавчати. Прикладами є Meta Llama, Mistral, DeepSeek, Qwen від Alibaba, Gemma від Google та gpt-oss від OpenAI, випущена у серпні 2025 року за ліцензією Apache 2.0.

Відкриті ваги — не те саме, що відкритий код. Визначення відкритого ШІ 1.0 (Open Source AI Definition), опубліковане Open Source Initiative у жовтні 2024 року, вимагає набагато ширшої відкритості, зокрема щодо навчальних даних. OSI стверджує, що ліцензія Llama не відповідає критеріям відкритого коду.

На практиці моделі з відкритими вагами пропонують приватність, локальний контроль і можливість налаштування. Закриті моделі зазвичай лідирували за чистими можливостями, хоча протягом 2025 року розрив зменшився. Рейтинги на кшталт LMArena змінюються від місяця до місяця.

Регулювання також наздоганяє. Згідно з Законом ЄС про ШІ, вимоги до моделей ШІ загального призначення діють з 2 серпня 2025 року. Законодавство про захист даних, як турецький KVKK, усе ще поширюється на будь-які персональні дані, які ви вставляєте в запит.