LLM이란 무엇인가? 대규모 언어 모델 완벽 해설 (2026)

대규모 언어 모델(LLM)은 방대한 양의 텍스트로 학습해 문장에서 다음 토큰을 예측하도록 만들어진 신경망입니다. 이 단일한 목표에서 챗봇이 보여주는 모든 기능이 나옵니다. 질문에 답하고, 코드를 작성하고, 문서를 요약하고, 번역하는 것이 모두 여기서 비롯됩니다. ChatGPT, Claude, Gemini 같은 도구도 이런 모델을 기반으로 만들어졌습니다.

이 가이드는 토큰, 학습, 매개변수, 컨텍스트 윈도우, 환각, 그리고 오픈 모델과 클로즈드 모델의 차이를 순서대로 다룹니다. 모델 이름, 가격, 한도는 빠르게 바뀝니다. 그래서 아래 수치에는 기준 시점을 표시했으며, 최신 정보는 각 업체의 공식 문서에서 확인하시기 바랍니다.

LLM이란 무엇이며, 무엇이 “대규모”를 만드는가?

“대규모”에는 두 가지 의미가 있습니다. 첫째는 학습 데이터의 양이고, 둘째는 매개변수라고 불리는 조정 가능한 내부 값의 개수입니다. 규모를 가늠하기 위해 말하자면, Meta는 2024년 4월 Llama 3가 15조 개가 넘는 토큰으로 학습되었다고 밝혔습니다.

현대의 거의 모든 LLM은 트랜스포머(Transformer) 구조를 기반으로 합니다. 이 구조는 구글 연구진이 2017년 6월 논문 “Attention Is All You Need”에서 처음 소개했습니다. 핵심 아이디어는 셀프 어텐션으로, 모델이 각 부분을 처리할 때 텍스트의 다른 모든 부분이 얼마나 관련 있는지 가중치를 두어 살펴볼 수 있게 해 줍니다.

LLM에서 토큰이란 무엇인가?

모델은 단어를 읽지 않습니다. 바이트 페어 인코딩(BPE) 같은 알고리즘으로 만들어진 하위 단어 단위인 토큰을 읽습니다. 흔한 단어는 토큰 하나가 되기도 하지만, 드문 단어는 여러 조각으로 나뉩니다.

OpenAI가 영어에 대해 제시한 대략적인 기준은 토큰 하나가 약 4글자, 즉 단어의 약 4분의 3에 해당한다는 것입니다. 이 기준에 따르면 100토큰은 약 75단어입니다.

언어마다 이 비율은 다릅니다. 터키어처럼 여러 접미사를 붙여 긴 단어를 만드는 교착어는, 같은 의미의 영어 텍스트보다 보통 더 많은 토큰으로 나뉩니다. Petrov 등(2023)의 연구처럼 언어 간 토크나이저의 불공정성을 기록한 연구도 있으며, 최신 토크나이저들은 이 격차를 줄였습니다.

토큰은 중요합니다. API 사용량은 보통 입력과 출력 토큰 100만 개 단위로 과금되며, 출력 가격이 입력보다 높게 책정됩니다. 토큰이 많을수록 비용이 늘고 컨텍스트 윈도우도 더 빨리 찹니다. 가격은 자주 바뀌므로 OpenAI, Anthropic, Google의 가격 페이지에서 최신 요금을 확인하시기 바랍니다.

대규모 언어 모델은 어떻게 학습되는가?

학습은 보통 여러 단계로 진행됩니다. 첫 단계는 사전 학습입니다. 여기서 모델은 웹 텍스트, 책, 코드 등 수조 개의 토큰에서 다음 토큰을 예측하며 학습합니다. 이 방식은 자기지도 학습으로 알려져 있습니다. 이 단계를 거치면 모델은 언어를 이해하지만 아직 어시스턴트처럼 행동하지는 않습니다.

다음은 미세 조정, 즉 지시 튜닝입니다. 이 단계에서 모델은 좋은 답변의 예시를 보게 됩니다. 그다음은 정렬입니다. 가장 잘 알려진 정렬 기법은 OpenAI의 2022년 InstructGPT 논문으로 대중화된 인간 피드백 기반 강화학습(RLHF)입니다. 같은 2022년에 발표된 Anthropic의 헌법적 AI(Constitutional AI)는 이 접근법의 변형입니다.

2024년 말부터는 추론 모델도 합류했습니다. 2025년 1월 공개된 OpenAI o1과 DeepSeek-R1이 대표적입니다. 이 모델들은 강화학습으로 학습되어, 답변하기 전에 문제를 단계적으로 풀어 나가며 이를 위해 답변 시점에 추가 연산을 사용합니다.

학습 비용은 정확히 파악하기 어렵습니다. 최첨단 학습은 수천만 달러에서 수억 달러가 들었다고 보도되지만, 이는 공식 수치가 아닌 추정치입니다. 널리 인용되는 DeepSeek V3의 약 560만 달러라는 수치는 최종 학습 실행에 사용된 GPU 시간만 포함한 것이며 전체 비용이 아니고, 그 수치 자체도 논쟁 중입니다.

매개변수란 무엇이며, 클수록 좋은가?

매개변수는 학습 과정에서 모델이 배우는 수치 가중치입니다. 몇 가지 기준점을 보면, GPT-2는 2019년 15억 개, GPT-3는 2020년 1,750억 개의 매개변수를 가졌습니다. Meta의 Llama 3.1은 2024년 7월 공개되었으며 8B, 70B, 405B 크기로 나왔습니다.

일부 모델은 전문가 혼합(MoE) 설계를 사용합니다. 이 방식에서는 토큰마다 네트워크의 일부만 작동합니다. DeepSeek-V3는 총 6,710억 개의 매개변수를 가지지만, 토큰당 활성화되는 것은 약 370억 개뿐입니다.

OpenAI, Anthropic, Google은 주력 모델의 매개변수 수를 공개하지 않습니다. “GPT-4는 1.76조 개의 매개변수를 가진다” 같은 수치는 확인되지 않은 유출 정보입니다.

규모가 전부는 아닙니다. 데이터 품질과 학습 방법도 매우 중요합니다. 2022년 “친칠라(Chinchilla)” 연구는 연산 효율이 최적인 학습이 매개변수 하나당 약 20개의 토큰을 사용한다는 것을 밝혔습니다. 오늘날의 모델은 그 비율을 훨씬 넘어서도록 의도적으로 학습됩니다.

컨텍스트 윈도우란 무엇인가?

컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 토큰 수입니다. 여기에는 프롬프트, 지금까지의 대화, 그리고 모델의 답변이 모두 포함됩니다. 장기 기억이 아니라 작업 기억에 가깝다고 생각하면 됩니다.

윈도우 크기는 빠르게 커져 왔습니다. GPT-3는 2,048토큰을 처리했고, 최초의 GPT-4는 8K와 32K 버전을 제공했습니다. 이후 출시된 모델들은 Claude 200K(일부 버전 최대 1M), Gemini 1.5와 2.x 1~2백만, GPT-4.1 1백만 토큰을 내세웠습니다. 2025년 4월 Meta는 Llama 4 Scout가 1천만 토큰을 지원한다고 주장했습니다. 이 수치는 출시마다 바뀌므로 최신 문서를 확인하시기 바랍니다.

광고된 윈도우가 크다고 해서 모델이 그 전체를 잘 활용한다는 보장은 없습니다. Liu 등이 2023년 발표한 “Lost in the Middle” 연구는 긴 입력의 중간에 묻힌 정보에 대해 정확도가 떨어질 수 있음을 밝혔습니다.

LLM은 왜 환각을 일으키는가?

환각이란 그럴듯하게 들리지만 사실이 아니거나 지어낸 출력을 말합니다. 가짜 인용, 잘못된 사실, 존재하지 않는 판례 등이 그 예입니다. 모델이 사실을 찾아보는 대신 그럴듯한 텍스트를 생성하기 때문에 발생합니다. OpenAI가 2025년 9월 발표한 논문은 학습과 평가 방식이 불확실성을 인정하기보다 추측에 보상을 준다고 주장합니다.

잘 알려진 사례는 Mata v. Avianca 사건(미국, 2023)입니다. 이 사건에서 변호사들은 ChatGPT가 지어낸 판례 인용을 법원에 제출해 제재를 받았으며, 이와 비슷한 사건이 이후에도 많이 이어졌습니다.

검색 증강 생성(RAG), 웹 검색 기반 근거 제시, 출처 표기, 추론 모델은 모두 문제를 줄이지만 완전히 없애지는 못합니다. OpenAI가 2025년 4월 공개한 o3 및 o4-mini 시스템 카드는 PersonQA 테스트에서 일부 추론 모델의 환각률이 더 높았다고 보고하기도 했습니다. 환각률은 벤치마크에 따라 다르며 논쟁적이므로, 단일 수치로 된 주장은 주의해서 보시기 바랍니다.

오픈 vs 클로즈드 LLM: 차이는 무엇인가?

클로즈드, 즉 독점 모델은 가중치가 공개되지 않아 앱이나 API를 통해서만 사용할 수 있습니다. OpenAI의 GPT 시리즈, Anthropic의 Claude, Google의 Gemini, xAI의 Grok이 이 범주에 속합니다. 다만 xAI는 일부 구형 Grok의 가중치를 공개한 바 있습니다.

오픈 웨이트 모델은 내려받아 로컬에서 실행하고 미세 조정할 수 있습니다. 예로는 Meta Llama, Mistral, DeepSeek, 알리바바 Qwen, Google Gemma, 그리고 2025년 8월 Apache 2.0 라이선스로 공개된 OpenAI의 gpt-oss가 있습니다.

오픈 웨이트와 오픈 소스는 같지 않습니다. 2024년 10월 발표된 오픈소스 이니셔티브(OSI)의 Open Source AI Definition 1.0은 학습 데이터에 대한 공개 등 훨씬 폭넓은 개방성을 요구합니다. OSI는 Llama의 라이선스가 오픈 소스 자격을 갖추지 못했다고 밝혔습니다.

실제로 오픈 웨이트 모델은 프라이버시, 로컬 통제, 맞춤화의 장점을 제공합니다. 클로즈드 모델은 대체로 순수 성능에서 앞서 왔지만, 그 격차는 2025년 동안 줄어들었습니다. LMArena 같은 리더보드의 순위는 매달 바뀝니다.

규제도 따라잡고 있습니다. EU AI법에 따라 범용 AI 모델에 대한 의무는 2025년 8월 2일부터 적용되고 있습니다. 또한 터키의 KVKK 같은 개인정보 보호법은 프롬프트에 붙여 넣는 모든 개인정보에 여전히 적용됩니다.