O que é um LLM? Modelos de linguagem de grande porte explicados (2026)

Um grande modelo de linguagem (LLM, na sigla em inglês) é uma rede neural treinada com enormes volumes de texto para prever o próximo token em uma sequência. Esse único objetivo está por trás de tudo o que um chatbot faz: responder perguntas, escrever código, resumir documentos e traduzir. Ferramentas como ChatGPT, Claude e Gemini são construídas sobre modelos desse tipo.

Este guia apresenta os componentes básicos em ordem: tokens, treinamento, parâmetros, janelas de contexto, alucinação e a divisão entre modelos abertos e fechados. Nomes de modelos, preços e limites mudam rapidamente. Por isso, os números abaixo têm data, e vale consultar a documentação oficial dos fornecedores para os valores atuais.

O que é um LLM e por que ele é “grande”?

O termo “grande” se refere a duas coisas. A primeira é o volume de dados de treinamento. A segunda é a quantidade de valores internos ajustáveis, chamados parâmetros. Para dar uma ideia da escala, a Meta afirmou em abril de 2024 que o Llama 3 foi treinado com mais de 15 trilhões de tokens.

Quase todos os LLMs modernos são baseados na arquitetura Transformer. Pesquisadores do Google a apresentaram no artigo “Attention Is All You Need”, publicado em junho de 2017. Sua ideia central é a autoatenção, que permite ao modelo avaliar a relevância de cada parte do texto em relação às demais ao processar cada trecho.

O que são tokens em um LLM?

Os modelos não leem palavras. Eles leem tokens, que são fragmentos de palavras gerados por algoritmos como a codificação por pares de bytes (BPE, em inglês). Uma palavra comum pode ser um único token, enquanto uma palavra rara é dividida em vários pedaços.

A regra prática da OpenAI para o inglês é que um token corresponde a cerca de quatro caracteres, ou aproximadamente três quartos de uma palavra. Nesse critério, 100 tokens equivalem a cerca de 75 palavras.

A proporção varia conforme o idioma. Línguas aglutinantes, como o turco, em que palavras longas são formadas por muitos sufixos, costumam ser divididas em mais tokens do que um texto em inglês com o mesmo significado. Pesquisas como a de Petrov et al. (2023) documentaram essa desigualdade de tokenizadores entre idiomas, embora tokenizadores mais recentes tenham reduzido a diferença.

Os tokens importam porque o uso de APIs costuma ser cobrado por milhão de tokens de entrada e de saída, sendo o preço da saída geralmente mais alto. Mais tokens significam custo maior e uma janela de contexto que se esgota mais rápido. Como os preços mudam com frequência, consulte as páginas de preços da OpenAI, da Anthropic ou do Google para as tarifas atuais.

Como os grandes modelos de linguagem são treinados?

O treinamento geralmente acontece em etapas. A primeira é o pré-treinamento. Nele, o modelo aprende prevendo o próximo token em trilhões de tokens de textos da web, livros e código, em um método conhecido como aprendizado autossupervisionado. O resultado compreende a linguagem, mas ainda não se comporta como um assistente.

Em seguida vem o ajuste fino, ou ajuste por instruções, em que o modelo recebe exemplos de boas respostas. Depois vem o alinhamento. O método de alinhamento mais conhecido é o aprendizado por reforço com feedback humano (RLHF), popularizado pelo artigo do InstructGPT, da OpenAI, em 2022. A IA Constitucional da Anthropic, também de 2022, é uma variante dessa abordagem.

Desde cerca do final de 2024, os modelos de raciocínio passaram a fazer parte desse conjunto. Exemplos incluem o OpenAI o1 e o DeepSeek-R1, lançado em janeiro de 2025. Esses modelos são treinados com aprendizado por reforço para trabalhar em um problema antes de responder e gastam poder computacional extra no momento da resposta para isso.

Os custos de treinamento são difíceis de determinar. Relata-se que as execuções de ponta custam dezenas a centenas de milhões de dólares, mas esses são valores estimados, e não números oficiais. O valor amplamente citado de cerca de US$ 5,6 milhões para o DeepSeek V3 cobre apenas as horas de GPU da execução final de treinamento, e não os custos totais, além de ser contestado.

O que são parâmetros, e maior significa melhor?

Parâmetros são os pesos numéricos que um modelo aprende durante o treinamento. Alguns pontos de referência: o GPT-2 tinha 1,5 bilhão em 2019, e o GPT-3 tinha 175 bilhões em 2020. O Llama 3.1 da Meta, lançado em julho de 2024, veio nos tamanhos de 8B, 70B e 405B.

Alguns modelos usam um design de Mistura de Especialistas (MoE), em que apenas parte da rede é executada para cada token. O DeepSeek-V3 tem 671 bilhões de parâmetros no total, mas apenas cerca de 37 bilhões são ativados por token.

OpenAI, Anthropic e Google não divulgam a quantidade de parâmetros de seus modelos principais. Números como “o GPT-4 tem 1,76 trilhão de parâmetros” são vazamentos não confirmados.

Tamanho também não é tudo, pois a qualidade dos dados e os métodos de treinamento importam muito. O estudo “Chinchilla”, de 2022, concluiu que o treinamento otimizado para o cômputo usa cerca de 20 tokens por parâmetro. Os modelos atuais são treinados deliberadamente bem acima dessa proporção.

O que é uma janela de contexto?

A janela de contexto é o número máximo de tokens que um modelo pode considerar de uma só vez. Ela inclui o seu prompt, a conversa até aquele momento e a resposta do modelo. Pense nela como memória de trabalho, e não como memória de longo prazo.

As janelas cresceram rapidamente. O GPT-3 processava 2.048 tokens, e o GPT-4 original oferecia versões de 8K e 32K. Lançamentos posteriores anunciaram 200K para o Claude (até 1M em algumas versões), de 1 a 2 milhões para o Gemini 1.5 e 2.x, e 1 milhão para o GPT-4.1. Em abril de 2025, a Meta afirmou 10 milhões para o Llama 4 Scout. Esses números mudam a cada lançamento, então consulte a documentação atual.

Uma janela anunciada grande não garante que o modelo use bem todo o espaço. O estudo “Lost in the Middle”, de 2023, de Liu et al., constatou que a precisão pode cair para informações posicionadas no meio de entradas longas.

Por que os LLMs alucinam?

Alucinação é uma saída que soa fluente, mas é falsa ou inventada, como citações fictícias, fatos errados ou processos judiciais inexistentes. Ela acontece porque o modelo gera texto plausível em vez de consultar fatos. Um artigo da OpenAI de setembro de 2025 argumenta que o treinamento e a avaliação recompensam o chute em vez de admitir incerteza.

Um caso conhecido é Mata v. Avianca (EUA, 2023). Advogados desse caso foram sancionados por apresentar citações de jurisprudência que o ChatGPT havia inventado, e muitos incidentes semelhantes se seguiram.

A geração aumentada por recuperação (RAG), a fundamentação com busca na web, as citações e os modelos de raciocínio reduzem o problema, mas nenhum o elimina. O cartão de sistema do o3 e do o4-mini, publicado pela OpenAI em abril de 2025, chegou a relatar taxas mais altas de alucinação em alguns modelos de raciocínio no seu teste PersonQA. As taxas variam conforme o benchmark e são contestadas, então é preciso cautela com afirmações baseadas em um único número.

LLMs abertos versus fechados: qual é a diferença?

Nos modelos fechados, ou proprietários, os pesos não são divulgados, então só é possível usá-los por meio de um aplicativo ou de uma API. A série GPT da OpenAI, o Claude da Anthropic, o Gemini do Google e o Grok da xAI pertencem a esse grupo. A xAI, no entanto, já liberou os pesos de alguns Grok mais antigos.

Modelos de pesos abertos podem ser baixados, executados localmente e ajustados. Exemplos incluem o Llama da Meta, o Mistral, o DeepSeek, o Qwen da Alibaba, o Gemma do Google e o gpt-oss da OpenAI, lançado em agosto de 2025 sob a licença Apache 2.0.

Pesos abertos não são o mesmo que código aberto. A Definição de IA de Código Aberto 1.0 da Open Source Initiative (OSI), publicada em outubro de 2024, exige uma abertura muito maior, inclusive sobre os dados de treinamento. A OSI afirma que a licença do Llama não se qualifica como código aberto.

Na prática, modelos de pesos abertos oferecem privacidade, controle local e personalização. Já os modelos fechados costumam liderar em capacidade bruta, embora a diferença tenha diminuído ao longo de 2025. Rankings como o LMArena mudam de posição mês a mês.

A regulação também está alcançando a tecnologia. Pelo AI Act da União Europeia, as obrigações para modelos de IA de uso geral se aplicam desde 2 de agosto de 2025. A legislação de proteção de dados, como a KVKK da Turquia, continua valendo para quaisquer dados pessoais que você cole em um prompt.