LLM là gì? Giải thích mô hình ngôn ngữ lớn (2026)

Mô hình ngôn ngữ lớn (LLM) là một mạng nơ-ron được huấn luyện trên lượng văn bản khổng lồ để dự đoán token tiếp theo trong một chuỗi. Chính mục tiêu duy nhất này tạo nên mọi thứ mà chatbot có thể làm: trả lời câu hỏi, viết mã, tóm tắt tài liệu và dịch thuật. Các công cụ như ChatGPT, Claude và Gemini đều được xây dựng trên những mô hình thuộc loại này.

Bài viết này lần lượt trình bày các thành phần cơ bản: token, huấn luyện, tham số, cửa sổ ngữ cảnh, ảo giác, và sự phân chia giữa mô hình mở và mô hình đóng. Tên mô hình, giá và giới hạn thay đổi nhanh chóng. Vì vậy, các con số dưới đây đều có kèm thời điểm, và bạn nên kiểm tra tài liệu chính thức của nhà cung cấp để có số liệu hiện hành.

LLM là gì, và điều gì khiến nó “lớn”?

Chữ “lớn” đề cập đến hai yếu tố. Yếu tố thứ nhất là khối lượng dữ liệu huấn luyện. Yếu tố thứ hai là số lượng giá trị nội bộ có thể điều chỉnh, gọi là tham số. Để hình dung quy mô, Meta cho biết vào tháng 4 năm 2024 rằng Llama 3 được huấn luyện trên hơn 15 nghìn tỷ token.

Hầu hết LLM hiện đại đều được xây dựng trên kiến trúc Transformer. Các nhà nghiên cứu của Google giới thiệu kiến trúc này trong bài báo “Attention Is All You Need” tháng 6 năm 2017. Ý tưởng cốt lõi của nó là tự chú ý (self-attention), cho phép mô hình đánh giá mức độ liên quan của mọi phần khác trong văn bản khi xử lý từng phần.

Token trong LLM là gì?

Mô hình không đọc từng từ. Chúng đọc token, tức là các đoạn con của từ được tạo ra bởi những thuật toán như mã hóa cặp byte (BPE). Một từ thông dụng có thể là một token, trong khi một từ hiếm sẽ bị tách thành nhiều phần.

Quy tắc ước lượng của OpenAI cho tiếng Anh là một token tương đương khoảng bốn ký tự, hoặc khoảng ba phần tư một từ. Theo cách tính này, 100 token tương đương khoảng 75 từ.

Tỷ lệ này khác nhau tùy ngôn ngữ. Các ngôn ngữ chắp dính như tiếng Thổ Nhĩ Kỳ, nơi các từ dài được tạo thành từ nhiều hậu tố, thường bị tách thành nhiều token hơn so với văn bản tiếng Anh có cùng ý nghĩa. Các nghiên cứu như của Petrov và cộng sự (2023) đã ghi nhận sự bất công này của bộ mã hóa giữa các ngôn ngữ, mặc dù các bộ mã hóa mới hơn đã thu hẹp khoảng cách.

Token quan trọng vì việc sử dụng API thường được tính phí theo mỗi triệu token đầu vào và đầu ra, trong đó token đầu ra có giá cao hơn. Nhiều token hơn đồng nghĩa với chi phí cao hơn và cửa sổ ngữ cảnh đầy nhanh hơn. Giá thay đổi thường xuyên, vì vậy hãy kiểm tra trang giá của OpenAI, Anthropic hoặc Google để biết mức hiện hành.

Các mô hình ngôn ngữ lớn được huấn luyện như thế nào?

Quá trình huấn luyện thường diễn ra theo nhiều giai đoạn. Giai đoạn đầu là tiền huấn luyện. Ở đây, mô hình học bằng cách dự đoán token tiếp theo trên hàng nghìn tỷ token từ văn bản web, sách và mã nguồn, một phương pháp được gọi là học tự giám sát. Kết quả là mô hình hiểu ngôn ngữ nhưng chưa hoạt động như một trợ lý.

Tiếp theo là tinh chỉnh, hay tinh chỉnh theo hướng dẫn, trong đó mô hình được cho xem các ví dụ về câu trả lời tốt. Sau đó là căn chỉnh. Phương pháp căn chỉnh nổi tiếng nhất là học tăng cường từ phản hồi của con người (RLHF), được phổ biến nhờ bài báo InstructGPT của OpenAI năm 2022. Constitutional AI của Anthropic, cũng ra đời năm 2022, là một biến thể của cách tiếp cận này.

Từ khoảng cuối năm 2024, các mô hình suy luận đã gia nhập danh sách. Ví dụ gồm OpenAI o1 và DeepSeek-R1, được phát hành vào tháng 1 năm 2025. Các mô hình này được huấn luyện bằng học tăng cường để suy nghĩ qua một vấn đề trước khi trả lời, và chúng dùng thêm tài nguyên tính toán ở thời điểm trả lời để làm điều đó.

Chi phí huấn luyện khó xác định chính xác. Các lần huấn luyện mô hình hàng đầu được báo cáo tốn từ vài chục đến vài trăm triệu USD, nhưng đó là ước tính chứ không phải số liệu chính thức. Con số khoảng 5,6 triệu USD được trích dẫn rộng rãi cho DeepSeek V3 chỉ bao gồm số giờ GPU của lần huấn luyện cuối cùng, không phải tổng chi phí, và con số này còn gây tranh cãi.

Tham số là gì, và lớn hơn có nghĩa là tốt hơn không?

Tham số là các trọng số số học mà mô hình học được trong quá trình huấn luyện. Một vài mốc tham khảo: GPT-2 có 1,5 tỷ tham số vào năm 2019, còn GPT-3 có 175 tỷ vào năm 2020. Llama 3.1 của Meta, ra mắt tháng 7 năm 2024, có các kích thước 8B, 70B và 405B.

Một số mô hình sử dụng thiết kế Hỗn hợp chuyên gia (MoE), trong đó chỉ một phần mạng chạy cho mỗi token. DeepSeek-V3 có tổng cộng 671 tỷ tham số, nhưng chỉ khoảng 37 tỷ tham số hoạt động cho mỗi token.

OpenAI, Anthropic và Google không công bố số lượng tham số cho các mô hình hàng đầu của họ. Những con số như “GPT-4 có 1,76 nghìn tỷ tham số” là thông tin rò rỉ chưa được xác nhận.

Kích thước cũng không phải là tất cả, vì chất lượng dữ liệu và phương pháp huấn luyện có vai trò rất lớn. Nghiên cứu “Chinchilla” năm 2022 cho thấy huấn luyện tối ưu theo tài nguyên tính toán sử dụng khoảng 20 token trên mỗi tham số. Các mô hình ngày nay được huấn luyện có chủ đích vượt xa tỷ lệ đó.

Cửa sổ ngữ cảnh là gì?

Cửa sổ ngữ cảnh là số lượng token tối đa mà một mô hình có thể xem xét cùng lúc. Nó bao gồm câu lệnh của bạn, cuộc trò chuyện trước đó và phản hồi của mô hình. Hãy hình dung nó như bộ nhớ làm việc chứ không phải bộ nhớ dài hạn.

Cửa sổ ngữ cảnh đã tăng rất nhanh. GPT-3 xử lý được 2.048 token, còn GPT-4 bản gốc có các phiên bản 8K và 32K. Các bản phát hành sau đó quảng bá 200K cho Claude (có bản lên tới 1M), 1–2 triệu cho Gemini 1.5 và 2.x, và 1 triệu cho GPT-4.1. Vào tháng 4 năm 2025, Meta tuyên bố 10 triệu cho Llama 4 Scout. Những con số này thay đổi theo từng bản phát hành, vì vậy hãy kiểm tra tài liệu hiện hành.

Cửa sổ lớn được quảng bá không đảm bảo mô hình sử dụng tốt toàn bộ phần đó. Nghiên cứu “Lost in the Middle” năm 2023 của Liu và cộng sự cho thấy độ chính xác có thể giảm đối với thông tin nằm ở giữa các đầu vào dài.

Vì sao LLM bị ảo giác?

Ảo giác là đầu ra nghe trôi chảy nhưng sai hoặc được bịa ra, chẳng hạn trích dẫn giả, thông tin sai hoặc vụ án không tồn tại. Hiện tượng này xảy ra vì mô hình tạo ra văn bản nghe hợp lý thay vì tra cứu sự thật. Một bài báo của OpenAI tháng 9 năm 2025 lập luận rằng quá trình huấn luyện và đánh giá khuyến khích việc đoán hơn là thừa nhận sự không chắc chắn.

Một trường hợp nổi tiếng là Mata v. Avianca (Mỹ, 2023). Các luật sư trong vụ này đã bị xử phạt vì nộp các trích dẫn án lệ do ChatGPT bịa ra, và nhiều sự cố tương tự đã xảy ra sau đó.

Tạo sinh tăng cường truy xuất (RAG), căn cứ bằng tìm kiếm web, trích dẫn và các mô hình suy luận đều giúp giảm vấn đề, nhưng không mô hình nào loại bỏ hoàn toàn. Thẻ hệ thống (system card) của OpenAI tháng 4 năm 2025 cho o3 và o4-mini thậm chí còn ghi nhận tỷ lệ ảo giác cao hơn ở một số mô hình suy luận trong bài kiểm tra PersonQA của hãng. Tỷ lệ thay đổi tùy theo bộ đánh giá và còn gây tranh cãi, vì vậy hãy thận trọng với các con số đơn lẻ.

LLM mở và LLM đóng: khác nhau ở đâu?

Với mô hình đóng, hay mô hình độc quyền, trọng số không được công bố, vì vậy bạn chỉ có thể sử dụng qua ứng dụng hoặc API. Dòng GPT của OpenAI, Claude của Anthropic, Gemini của Google và Grok của xAI thuộc nhóm này. Tuy nhiên, xAI đã phát hành một số trọng số Grok cũ.

Mô hình trọng số mở có thể được tải xuống, chạy cục bộ và tinh chỉnh. Ví dụ gồm Llama của Meta, Mistral, DeepSeek, Qwen của Alibaba, Gemma của Google và gpt-oss của OpenAI, được phát hành tháng 8 năm 2025 theo giấy phép Apache 2.0.

Trọng số mở không đồng nghĩa với mã nguồn mở. Định nghĩa AI Mã nguồn mở 1.0 của Open Source Initiative (OSI), công bố tháng 10 năm 2024, đòi hỏi mức độ công khai rộng hơn nhiều, bao gồm cả dữ liệu huấn luyện. OSI cho biết giấy phép của Llama không đủ điều kiện là mã nguồn mở.

Trên thực tế, mô hình trọng số mở mang lại tính riêng tư, khả năng kiểm soát cục bộ và tùy biến. Mô hình đóng thường dẫn đầu về năng lực thô, dù khoảng cách đã thu hẹp trong năm 2025. Các bảng xếp hạng như LMArena thay đổi thứ hạng hàng tháng.

Pháp luật cũng đang theo kịp. Theo Đạo luật AI của EU, các nghĩa vụ đối với mô hình AI đa dụng đã được áp dụng từ ngày 2 tháng 8 năm 2025. Luật bảo vệ dữ liệu, như KVKK của Thổ Nhĩ Kỳ, vẫn áp dụng cho mọi dữ liệu cá nhân bạn dán vào câu lệnh.