Cos'è un LLM? I modelli linguistici di grandi dimensioni spiegati (2026)

Un large language model (LLM) è una rete neurale addestrata su enormi quantità di testo per prevedere il token successivo in una sequenza. Da quest'unico obiettivo deriva tutto ciò che un chatbot sa fare: rispondere a domande, scrivere codice, riassumere documenti e tradurre. Strumenti come ChatGPT, Claude e Gemini si basano su modelli di questo tipo.

Questa guida illustra in ordine i componenti fondamentali: token, addestramento, parametri, finestre di contesto, allucinazioni e la distinzione tra modelli aperti e chiusi. Nomi dei modelli, prezzi e limiti cambiano rapidamente. Le cifre riportate qui sotto sono quindi datate, e conviene verificare i numeri aggiornati nella documentazione dei fornitori.

Cos'è un LLM e perché è “grande”?

“Grande” si riferisce a due aspetti. Il primo è il volume dei dati di addestramento. Il secondo è il numero di valori interni regolabili, chiamati parametri. Per dare un'idea della scala, nell'aprile 2024 Meta ha dichiarato che Llama 3 è stato addestrato su oltre 15 trilioni di token.

Quasi tutti gli LLM moderni si basano sull'architettura Transformer. Introdotta dai ricercatori di Google nell'articolo “Attention Is All You Need” del giugno 2017, la sua idea centrale è l'auto-attenzione, che permette al modello di valutare quanto ogni altra parte del testo sia rilevante mentre elabora ciascun elemento.

Cosa sono i token in un LLM?

I modelli non leggono parole, ma token, cioè frammenti di parole prodotti da algoritmi come il byte-pair encoding (BPE). Una parola comune può essere un singolo token, mentre una parola rara viene divisa in più frammenti.

La regola pratica di OpenAI per l'inglese è che un token equivale a circa quattro caratteri, ovvero a circa tre quarti di una parola. Su questa base, 100 token corrispondono a circa 75 parole.

Il rapporto cambia a seconda della lingua. Le lingue agglutinanti come il turco, in cui le parole lunghe si costruiscono con molti suffissi, vengono in genere suddivise in più token rispetto a un testo inglese con lo stesso significato. Ricerche come quella di Petrov et al. (2023) hanno documentato questo tipo di disparità dei tokenizzatori tra lingue, anche se i tokenizzatori più recenti hanno ridotto il divario.

I token sono importanti perché l'uso delle API viene in genere fatturato per milione di token in input e in output, con il prezzo dell'output più alto di quello dell'input. Più token significano costi più elevati e una finestra di contesto che si riempie più rapidamente. I prezzi cambiano spesso, quindi conviene controllare le pagine dei prezzi di OpenAI, Anthropic o Google per le tariffe aggiornate.

Come vengono addestrati i grandi modelli linguistici?

L'addestramento avviene di solito in fasi. La prima è il pre-addestramento. Qui il modello impara prevedendo il token successivo su migliaia di miliardi di token tratti da testi web, libri e codice, con un metodo noto come apprendimento auto-supervisionato. Il risultato comprende il linguaggio, ma non si comporta ancora come un assistente.

Segue il fine-tuning, o instruction tuning, in cui al modello vengono mostrati esempi di buone risposte. Poi arriva l'allineamento. Il metodo di allineamento più noto è il reinforcement learning from human feedback (RLHF), reso popolare dall'articolo InstructGPT di OpenAI del 2022. La Constitutional AI di Anthropic, anch'essa del 2022, è una variante di questo approccio.

Dalla fine del 2024 circa, ai processi si sono aggiunti i modelli di ragionamento. Tra gli esempi ci sono OpenAI o1 e DeepSeek-R1, rilasciato nel gennaio 2025. Questi modelli vengono addestrati con il reinforcement learning a ragionare su un problema prima di rispondere, e per farlo impiegano risorse di calcolo extra al momento della risposta.

I costi di addestramento sono difficili da stabilire con precisione. Si riferisce che le sessioni di addestramento dei modelli di frontiera costino decine o centinaia di milioni di dollari, ma si tratta di stime e non di cifre ufficiali. La cifra molto citata di circa 5,6 milioni di dollari per DeepSeek V3 copre solo le ore di GPU della sessione di addestramento finale, non i costi complessivi, ed è contestata.

Cosa sono i parametri e più grande significa migliore?

I parametri sono i pesi numerici che un modello apprende durante l'addestramento. Alcuni punti di riferimento: GPT-2 nel 2019 ne aveva 1,5 miliardi, mentre GPT-3 nel 2020 ne aveva 175 miliardi. Llama 3.1 di Meta, rilasciato nel luglio 2024, era disponibile nelle dimensioni 8B, 70B e 405B.

Alcuni modelli usano un'architettura Mixture-of-Experts (MoE), in cui per ogni token viene attivata solo una parte della rete. DeepSeek-V3 ha 671 miliardi di parametri in totale, ma per ogni token ne sono attivi solo circa 37 miliardi.

OpenAI, Anthropic e Google non rendono pubblico il numero di parametri dei loro modelli di punta. Cifre come “GPT-4 ha 1,76 trilioni di parametri” sono fughe di notizie non confermate.

Anche le dimensioni non sono tutto, perché la qualità dei dati e i metodi di addestramento contano moltissimo. Lo studio “Chinchilla” del 2022 ha rilevato che l'addestramento ottimale in termini di calcolo utilizza circa 20 token per parametro. I modelli attuali vengono addestrati deliberatamente ben oltre questo rapporto.

Cos'è una finestra di contesto?

La finestra di contesto è il numero massimo di token che un modello può considerare contemporaneamente. Comprende il prompt, la conversazione fino a quel momento e la risposta del modello. Va intesa come una memoria di lavoro, non come memoria a lungo termine.

Le finestre sono cresciute rapidamente. GPT-3 gestiva 2.048 token, e la versione originale di GPT-4 offriva le varianti da 8K e 32K. Le versioni successive hanno pubblicizzato 200K per Claude (fino a 1M in alcune versioni), da 1 a 2 milioni per Gemini 1.5 e 2.x e 1 milione per GPT-4.1. Nell'aprile 2025 Meta ha dichiarato 10 milioni per Llama 4 Scout. Questi numeri cambiano con ogni rilascio, quindi conviene consultare la documentazione aggiornata.

Una finestra molto ampia dichiarata non garantisce che il modello la sfrutti bene per intero. Lo studio “Lost in the Middle” di Liu et al. del 2023 ha rilevato che l'accuratezza può calare per le informazioni collocate al centro di input lunghi.

Perché gli LLM hanno le allucinazioni?

Un'allucinazione è un output che suona fluido ma è falso o inventato, come citazioni fittizie, fatti errati o sentenze giudiziarie inesistenti. Accade perché il modello genera testo plausibile invece di cercare i fatti. Un articolo di OpenAI del settembre 2025 sostiene che addestramento e valutazione premiano l'indovinare piuttosto che ammettere l'incertezza.

Un caso noto è Mata v. Avianca (USA, 2023). Gli avvocoati coinvolti in quella causa furono sanzionati per aver depositato citazioni giurisprudenziali inventate da ChatGPT, e da allora si sono verificati molti episodi simili.

La retrieval-augmented generation (RAG), l'ancoraggio alla ricerca web, le citazioni e i modelli di ragionamento riducono tutti il problema, ma nessuno lo elimina del tutto. La system card di OpenAI per o3 e o4-mini, pubblicata nell'aprile 2025, ha perfino riportato tassi di allucinazione più elevati per alcuni modelli di ragionamento nel test PersonQA. I tassi variano in base al benchmark e sono contestati, quindi è meglio essere cauti con le affermazioni basate su un unico numero.

Modelli aperti contro chiusi: qual è la differenza?

Con i modelli chiusi, o proprietari, i pesi non vengono rilasciati, quindi si possono usare solo tramite un'app o un'API. Rientrano in questa categoria la serie GPT di OpenAI, Claude di Anthropic, Gemini di Google e Grok di xAI. xAI ha tuttavia rilasciato alcuni pesi di vecchie versioni di Grok.

I modelli con pesi aperti possono essere scaricati, eseguiti in locale e sottoposti a fine-tuning. Tra gli esempi ci sono Llama di Meta, Mistral, DeepSeek, Qwen di Alibaba, Gemma di Google e gpt-oss di OpenAI, rilasciato nell'agosto 2025 con licenza Apache 2.0.

Pesi aperti non significa open source. La Open Source AI Definition 1.0 dell'Open Source Initiative, pubblicata nell'ottobre 2024, richiede un grado di apertura molto più ampio, anche riguardo ai dati di addestramento. L'OSI afferma che la licenza di Llama non può essere considerata open source.

In pratica, i modelli con pesi aperti offrono privacy, controllo locale e personalizzazione. I modelli chiusi, invece, di solito hanno guidato per capacità pura, anche se il divario si è ridotto nel corso del 2025. Le classifiche come LMArena cambiano posizione di mese in mese.

Anche la regolamentazione sta recuperando terreno. Con l'AI Act dell'UE, gli obblighi per i modelli di IA per finalità generali si applicano dal 2 agosto 2025. La normativa sulla protezione dei dati, come il KVKK turco, continua a coprire qualsiasi dato personale inserito in un prompt.