Was ist ein LLM? Large Language Models einfach erklärt (2026)

Ein Large Language Model (LLM) ist ein neuronales Netz, das mit enormen Textmengen trainiert wurde, um das nächste Token in einer Sequenz vorherzusagen. Aus diesem einen Ziel ergibt sich alles, was ein Chatbot tut: Fragen beantworten, Code schreiben, Dokumente zusammenfassen und übersetzen. Werkzeuge wie ChatGPT, Claude und Gemini basieren auf solchen Modellen.

Dieser Leitfaden behandelt die Grundbausteine der Reihe nach: Tokens, Training, Parameter, Kontextfenster, Halluzinationen und die Trennung zwischen offenen und geschlossenen Modellen. Modellnamen, Preise und Limits ändern sich schnell. Die folgenden Angaben tragen deshalb Datumsangaben; aktuelle Werte sollten Sie in der eigenen Dokumentation der Anbieter prüfen.

Was ist ein LLM, und was macht es „groß“?

„Groß“ bezieht sich auf zwei Dinge. Das erste ist der Umfang der Trainingsdaten. Das zweite ist die Anzahl der anpassbaren internen Werte, die Parameter genannt werden. Zur Einordnung: Meta erklärte im April 2024, dass Llama 3 mit mehr als 15 Billionen Tokens trainiert wurde.

Nahezu jedes moderne LLM basiert auf der Transformer-Architektur. Forscher von Google stellten sie im Juni 2017 in der Arbeit „Attention Is All You Need“ vor. Ihre Kernidee ist die Selbstaufmerksamkeit, mit der das Modell bei der Verarbeitung jedes Textteils gewichtet, wie relevant alle anderen Teile des Textes sind.

Was sind Tokens in einem LLM?

Modelle lesen keine Wörter. Sie verarbeiten Tokens, also Teilwortstücke, die Algorithmen wie Byte-Pair-Encoding (BPE) erzeugen. Ein gängiges Wort kann ein einziges Token sein, während ein seltenes Wort in mehrere Teile zerlegt wird.

OpenAI nennt als Faustregel für Englisch: Ein Token entspricht etwa vier Zeichen oder ungefähr drei Vierteln eines Wortes. Demnach entsprechen 100 Tokens etwa 75 Wörtern.

Das Verhältnis unterscheidet sich je nach Sprache. Agglutinierende Sprachen wie Türkisch, in denen lange Wörter aus vielen Suffixen gebildet werden, werden für denselben Inhalt in der Regel in mehr Tokens zerlegt als englischer Text. Untersuchungen wie die von Petrov et al. (2023) haben diese ungleiche Behandlung von Sprachen durch Tokenizer belegt, auch wenn neuere Tokenizer die Lücke verkleinert haben.

Tokens sind wichtig, weil die API-Nutzung in der Regel pro einer Million Input- und Output-Tokens abgerechnet wird, wobei Output teurer ist als Input. Mehr Tokens bedeuten höhere Kosten und ein Kontextfenster, das sich schneller füllt. Da sich Preise häufig ändern, sollten Sie die aktuellen Tarife auf den Preisseiten von OpenAI, Anthropic oder Google prüfen.

Wie werden Large Language Models trainiert?

Das Training erfolgt meist in Stufen. Die erste ist das Pre-Training. Dabei lernt das Modell, über Billionen Tokens aus Webtexten, Büchern und Code das nächste Token vorherzusagen, eine Methode, die als selbstüberwachtes Lernen bekannt ist. Das Ergebnis versteht Sprache, verhält sich aber noch nicht wie ein Assistent.

Danach folgt das Fine-Tuning bzw. Instruction-Tuning, bei dem dem Modell Beispiele guter Antworten gezeigt werden. Anschließend kommt das Alignment. Die bekannteste Methode dafür ist Reinforcement Learning from Human Feedback (RLHF), das durch die InstructGPT-Arbeit von OpenAI aus dem Jahr 2022 populär wurde. Constitutional AI von Anthropic, ebenfalls aus dem Jahr 2022, ist eine Variante dieses Ansatzes.

Seit etwa Ende 2024 gehören auch Reasoning-Modelle dazu. Beispiele sind OpenAI o1 und DeepSeek-R1, das im Januar 2025 veröffentlicht wurde. Diese Modelle werden mit Reinforcement Learning darauf trainiert, ein Problem vor der Antwort Schritt für Schritt durchzuarbeiten, und sie benötigen dafür zur Antwortzeit zusätzliche Rechenleistung.

Die Trainingskosten sind schwer zu beziffern. Für Spitzenmodelle werden Kosten im zweistelligen bis dreistelligen Millionen-Dollar-Bereich genannt, das sind jedoch Schätzungen und keine offiziellen Zahlen. Die häufig zitierten rund 5,6 Millionen Dollar für DeepSeek V3 decken nur die GPU-Stunden des letzten Trainingslaufs ab, nicht die Gesamtkosten, und sind umstritten.

Was sind Parameter, und ist größer automatisch besser?

Parameter sind die numerischen Gewichte, die ein Modell während des Trainings lernt. Einige Anhaltspunkte: GPT-2 hatte 2019 1,5 Milliarden, GPT-3 hatte 2020 175 Milliarden. Metas Llama 3.1, im Juli 2024 veröffentlicht, gab es in den Größen 8B, 70B und 405B.

Manche Modelle nutzen ein Mixture-of-Experts-Design (MoE), bei dem für jedes Token nur ein Teil des Netzes arbeitet. DeepSeek-V3 hat insgesamt 671 Milliarden Parameter, pro Token sind jedoch nur etwa 37 Milliarden aktiv.

OpenAI, Anthropic und Google geben die Parameterzahlen ihrer Spitzenmodelle nicht preis. Angaben wie „GPT-4 hat 1,76 Billionen Parameter“ sind nicht bestätigte Leaks.

Auch die Größe allein entscheidet nicht, denn Datenqualität und Trainingsmethoden sind entscheidend. Die „Chinchilla“-Studie von 2022 ergab, dass ein rechenoptimales Training etwa 20 Tokens pro Parameter nutzt. Heutige Modelle werden bewusst weit über dieses Verhältnis hinaus trainiert.

Was ist ein Kontextfenster?

Das Kontextfenster ist die maximale Anzahl an Tokens, die ein Modell gleichzeitig berücksichtigen kann. Dazu gehören Ihr Prompt, der bisherige Gesprächsverlauf und die Antwort des Modells. Man kann es eher als Arbeitsspeicher denn als Langzeitgedächtnis verstehen.

Die Kontextfenster sind rasant gewachsen. GPT-3 verarbeitete 2.048 Tokens, das ursprüngliche GPT-4 bot Versionen mit 8K und 32K. Spätere Veröffentlichungen warben mit 200K für Claude (in manchen Versionen bis zu 1M), 1 bis 2 Millionen für Gemini 1.5 und 2.x sowie 1 Million für GPT-4.1. Im April 2025 gab Meta für Llama 4 Scout 10 Millionen an. Diese Zahlen ändern sich mit jeder Version, prüfen Sie daher die aktuelle Dokumentation.

Ein großes beworbenes Fenster garantiert nicht, dass das Modell es auch gut ausnutzt. Die Studie „Lost in the Middle“ von Liu et al. aus dem Jahr 2023 ergab, dass die Trefferquote bei Informationen in der Mitte langer Eingaben sinken kann.

Warum halluzinieren LLMs?

Eine Halluzination ist eine Ausgabe, die flüssig klingt, aber falsch oder erfunden ist, etwa gefälschte Quellenangaben, falsche Fakten oder nicht existierende Gerichtsurteile. Sie entsteht, weil das Modell plausibel klingenden Text erzeugt, statt Fakten nachzuschlagen. Ein OpenAI-Paper vom September 2025 argumentiert, dass Training und Evaluierung das Raten belohnen, statt das Eingeständnis von Unsicherheit.

Ein bekannter Fall ist Mata v. Avianca (USA, 2023). Anwälte in diesem Verfahren wurden sanktioniert, weil sie von ChatGPT erfundene Urteile als Belege eingereicht hatten. Seitdem sind viele ähnliche Vorfälle bekannt geworden.

Retrieval-Augmented Generation (RAG), die Anbindung an Websuchen, Quellenangaben und Reasoning-Modelle verringern das Problem, beseitigen es aber nicht. Die Systemkarte von OpenAI für o3 und o4-mini vom April 2025 meldete sogar höhere Halluzinationsraten bei einigen Reasoning-Modellen im eigenen PersonQA-Test. Die Werte variieren je nach Benchmark und sind umstritten, daher sollten Sie Behauptungen mit einer einzigen Zahl mit Vorsicht begegnen.

Offene versus geschlossene LLMs: Was ist der Unterschied?

Bei geschlossenen, also proprietären Modellen werden die Gewichte nicht veröffentlicht, sodass sie nur über eine App oder API nutzbar sind. Dazu gehören die GPT-Reihe von OpenAI, Claude von Anthropic, Gemini von Google und Grok von xAI. xAI hat allerdings einige ältere Grok-Gewichte veröffentlicht.

Open-Weight-Modelle können heruntergeladen, lokal betrieben und feinabgestimmt werden. Beispiele sind Meta Llama, Mistral, DeepSeek, Alibaba Qwen, Google Gemma und OpenAIs gpt-oss, das im August 2025 unter Apache 2.0 erschien.

Open Weight ist nicht dasselbe wie Open Source. Die Open Source Initiative (OSI) verlangt mit ihrer im Oktober 2024 veröffentlichten Open Source AI Definition 1.0 deutlich mehr Offenheit, unter anderem auch bei den Trainingsdaten. Die OSI erklärt, dass die Lizenz von Llama nicht als Open Source gilt.

In der Praxis bieten Open-Weight-Modelle Datenschutz, lokale Kontrolle und Anpassbarkeit. Geschlossene Modelle lagen bei der reinen Leistung meist vorn, wobei sich der Abstand im Laufe von 2025 verringert hat. Ranglisten wie LMArena verändern sich von Monat zu Monat.

Auch die Regulierung holt auf. Nach dem EU-KI-Gesetz gelten Pflichten für KI-Modelle mit allgemeinem Verwendungszweck seit dem 2. August 2025. Datenschutzrecht, etwa das türkische KVKK, gilt weiterhin für alle personenbezogenen Daten, die Sie in einen Prompt einfügen.