Czym jest LLM? Duże modele językowe wyjaśnione (2026)

Duży model językowy (LLM) to sieć neuronowa wytrenowana na ogromnych zbiorach tekstu, by przewidywać kolejny token w sekwencji. To jedno zadanie stoi za wszystkim, co potrafi chatbot: odpowiadaniem na pytania, pisaniem kodu, streszczaniem dokumentów i tłumaczeniem. Narzędzia takie jak ChatGPT, Claude czy Gemini opierają się na modelach tego typu.

Ten przewodnik omawia po kolei podstawowe elementy: tokeny, trening, parametry, okna kontekstowe, halucynacje oraz podział na modele otwarte i zamknięte. Nazwy modeli, ceny i limity szybko się zmieniają. Podane poniżej liczby są więc opatrzone datami, a aktualne wartości warto sprawdzić w dokumentacji dostawców.

Czym jest LLM i co sprawia, że jest „duży”?

Określenie „duży” odnosi się do dwóch rzeczy. Pierwsza to objętość danych treningowych. Druga to liczba regulowanych wewnętrznych wartości, zwanych parametrami. Dla przybliżenia skali: Meta podała w kwietniu 2024 roku, że Llama 3 została wytrenowana na ponad 15 bilionach tokenów.

Niemal każdy współczesny LLM opiera się na architekturze Transformer. Wprowadzili ją badacze Google w czerwcu 2017 roku w artykule „Attention Is All You Need”. Jej główna idea to samouwaga (self-attention), dzięki której model przy przetwarzaniu każdego fragmentu tekstu ocenia, jak istotne są wszystkie pozostałe jego części.

Czym są tokeny w LLM?

Modele nie czytają słów. Czytają tokeny, czyli fragmenty wyrazów powstałe dzięki algorytmom takim jak kodowanie par bajtów (BPE). Popularne słowo może być pojedynczym tokenem, a rzadkie zostanie rozbite na kilka części.

Zasada kciuka podawana przez OpenAI dla języka angielskiego mówi, że jeden token to około cztery znaki, czyli mniej więcej trzy czwarte słowa. Na tej podstawie 100 tokenów to około 75 słów.

Proporcje zależą od języka. Języki aglutynacyjne, takie jak turecki, w których długie wyrazy powstają z wielu przyrostków, zwykle dzielą się na więcej tokenów niż tekst angielski o tym samym znaczeniu. Badania, na przykład Petrov i in. (2023), udokumentowały tego typu nierówności tokenizerów między językami, choć nowsze tokenizery nieco je zmniejszyły.

Tokeny mają znaczenie, ponieważ użycie API jest zwykle rozliczane za milion tokenów wejściowych i wyjściowych, przy czym wyjściowe kosztują więcej. Więcej tokenów oznacza wyższy koszt i szybciej zapełnione okno kontekstowe. Ceny często się zmieniają, więc aktualne stawki warto sprawdzić na stronach cennikowych OpenAI, Anthropic lub Google.

Jak trenuje się duże modele językowe?

Trening zwykle przebiega etapami. Pierwszy to wstępny trening (pre-training). Model uczy się wtedy przewidywać kolejny token na podstawie bilionów tokenów z tekstów internetowych, książek i kodu, w metodzie znanej jako uczenie samonadzorowane. Efekt rozumie język, ale nie zachowuje się jeszcze jak asystent.

Następnie przychodzi dostrajanie (fine-tuning), a dokładniej instruktażowe, w którym model widzi przykłady dobrych odpowiedzi. Potem następuje dopasowywanie do oczekiwań ludzi (alignment). Najbardziej znaną metodą jest uczenie ze wzmocnieniem na podstawie ludzkiej opinii (RLHF), spopularyzowane przez artykuł OpenAI o InstructGPT z 2022 roku. Constitutional AI firmy Anthropic, również z 2022 roku, jest wariantem tego podejścia.

Od około końca 2024 roku do tego grona dołączyły modele wnioskujące (reasoning). Przykładami są OpenAI o1 oraz DeepSeek-R1, wydany w styczniu 2025 roku. Modele te trenuje się uczeniem ze wzmocnieniem, by przed udzieleniem odpowiedzi przechodziły przez rozwiązywanie problemu, a w tym celu zużywają dodatkową moc obliczeniową podczas odpowiadania.

Koszty treningu trudno ustalić. Dla czołowych przebiegów podaje się, że kosztują od dziesiątek do setek milionów dolarów, ale są to szacunki, a nie oficjalne dane. Powszechnie cytowana kwota około 5,6 miliona dolarów dla DeepSeek V3 obejmuje wyłącznie godziny pracy GPU ostatniego przebiegu treningowego, a nie łączne koszty, i jest kwestionowana.

Czym są parametry i czy większe znaczy lepsze?

Parametry to wagi liczbowe, których model uczy się podczas treningu. Kilka punktów odniesienia: GPT-2 miał 1,5 miliarda parametrów w 2019 roku, a GPT-3 miał 175 miliardów w 2020 roku. Llama 3.1 firmy Meta, wydana w lipcu 2024 roku, występowała w wersjach 8B, 70B i 405B.

Niektóre modele stosują architekturę Mixture-of-Experts (MoE), w której dla każdego tokenu działa tylko część sieci. DeepSeek-V3 ma łącznie 671 miliardów parametrów, ale na jeden token aktywnych jest około 37 miliardów.

OpenAI, Anthropic i Google nie ujawniają liczby parametrów swoich flagowych modeli. Podawane liczby, jak „GPT-4 ma 1,76 biliona parametrów”, to niepotwierdzone przecieki.

Rozmiar to nie wszystko, bo ogromne znaczenie mają jakość danych i metody treningu. Badanie „Chinchilla” z 2022 roku wykazało, że trening optymalny pod względem mocy obliczeniowej wymaga mniej więcej 20 tokenów na parametr. Dzisiejsze modele są celowo trenowane wyraźnie ponad ten współczynnik.

Czym jest okno kontekstowe?

Okno kontekstowe to maksymalna liczba tokenów, jaką model może uwzględnić jednocześnie. Obejmuje ono twój prompt, dotychczasową rozmowę i odpowiedź modelu. Traktuj je jak pamięć roboczą, a nie długotrwałą.

Okna szybko się powiększały. GPT-3 obsługiwał 2048 tokenów, a oryginalny GPT-4 oferował wersje z 8K i 32K. Późniejsze wydania reklamowały 200K dla Claude (w niektórych wersjach do 1M), 1–2 miliony dla Gemini 1.5 i 2.x oraz 1 milion dla GPT-4.1. W kwietniu 2025 roku Meta podała 10 milionów dla Llama 4 Scout. Liczby zmieniają się z każdym wydaniem, więc sprawdź aktualną dokumentację.

Duże reklamowane okno nie gwarantuje, że model dobrze wykorzysta całość. Badanie „Lost in the Middle” z 2023 roku, autorstwa Liu i in., wykazało, że dokładność może spadać przy informacjach ukrytych w środku długich tekstów.

Dlaczego LLM-y halucynują?

Halucynacja to wynik brzmiący płynnie, ale fałszywy lub zmyślony, na przykład wymyślone cytowania, błędne fakty czy nieistniejące sprawy sądowe. Dzieje się tak, ponieważ model generuje wiarygodnie brzmiący tekst zamiast sprawdzać fakty. Artykuł OpenAI z września 2025 roku twierdzi, że trening i ewaluacja nagradzają zgadywanie zamiast przyznawania się do niepewności.

Głośny przypadek to Mata v. Avianca (USA, 2023). Prawnicy w tej sprawie zostali ukarani za złożenie cytowań orzeczeń, które ChatGPT wymyślił, a podobne incydenty pojawiały się później wielokrotnie.

Generowanie wspomagane wyszukiwaniem (RAG), oparcie odpowiedzi o wyniki z sieci, cytowania i modele wnioskujące ograniczają problem, ale żadne z tych rozwiązań go nie eliminuje. Karta systemowa OpenAI dla o3 i o4-mini z kwietnia 2025 roku wykazała nawet wyższe wskaźniki halucynacji u niektórych modeli wnioskujących w teście PersonQA. Wskaźniki zależą od benchmarku i są kwestionowane, więc jednoliczbowe deklaracje warto traktować ostrożnie.

Modele otwarte i zamknięte: jaka jest różnica?

W przypadku modeli zamkniętych, czyli własnościowych, wagi nie są udostępniane, więc korzysta się z nich wyłącznie przez aplikację lub API. Do tej grupy należą seria GPT firmy OpenAI, Claude firmy Anthropic, Gemini Google oraz Grok firmy xAI. xAI udostępniło jednak wagi niektórych starszych wersji Grok.

Modele z otwartymi wagami można pobrać, uruchomić lokalnie i dostroić. Przykłady to Meta Llama, Mistral, DeepSeek, Qwen firmy Alibaba, Gemma Google oraz gpt-oss firmy OpenAI, wydany w sierpniu 2025 roku na licencji Apache 2.0.

Otwarte wagi to nie to samo co open source. Definicja Open Source AI 1.0 Open Source Initiative, opublikowana w październiku 2024 roku, wymaga znacznie szerszej otwartości, w tym w zakresie danych treningowych. OSI twierdzi, że licencja Llamy nie kwalifikuje się jako open source.

W praktyce modele z otwartymi wagami oferują prywatność, lokalną kontrolę i możliwość dostosowania. Modele zamknięte zwykle prowadziły pod względem czystych możliwości, choć dystans zmniejszył się w 2025 roku. Rankingi takie jak LMArena zmieniają się z miesiąca na miesiąc.

Regulacje też nadrabiają dystans. Na mocy unijnego AI Act obowiązki dotyczące modeli AI ogólnego przeznaczenia obowiązują od 2 sierpnia 2025 roku. Prawo ochrony danych, na przykład turecka KVKK, nadal obejmuje wszelkie dane osobowe wklejane do promptu.