LLMとは？大規模言語モデルの仕組みを解説（2026年版）

大規模言語モデル（LLM）とは、膨大な量のテキストで学習させたニューラルネットワークで、文中の次のトークンを予測するよう訓練されています。この単純な目的から、チャットボットが質問への回答、コード作成、文書の要約、翻訳などを行えるようになっています。ChatGPT、Claude、Geminiといったツールも、このタイプのモデルを基盤にしています。

本ガイドでは、トークン、学習、パラメータ、コンテキストウィンドウ、ハルシネーション、そしてオープンモデルとクローズドモデルの違いを順に解説します。モデル名、価格、上限値は急速に変わるため、以下の数値には日付を付けています。最新の数値は各社の公式ドキュメントでご確認ください。

LLMとは何か、そして何が「大規模」なのか？

「大規模」には二つの意味があります。一つは学習データの量、もう一つは調整可能な内部の数値であるパラメータの数です。規模感を示すと、Metaは2024年4月に、Llama 3が15兆トークン以上で学習されたと発表しました。

現在のLLMのほぼすべては、Transformerアーキテクチャに基づいています。これはGoogleの研究者が2017年6月の論文「Attention Is All You Need」で発表したものです。その中核は自己注意機構（セルフアテンション）で、モデルが各部分を処理する際に、文中の他のすべての部分がどれだけ関連するかを重み付けできます。

LLMにおけるトークンとは何か？

モデルは単語をそのまま読むのではなく、トークンを読みます。トークンは、バイト対符号化（BPE）などのアルゴリズムで作られるサブワード単位の断片です。よく使われる単語は一つのトークンになることがある一方、珍しい単語は複数の断片に分割されます。

OpenAIが英語について示している目安では、1トークンはおよそ4文字、または単語の約4分の3に相当します。この前提では、100トークンはおよそ75語になります。

この比率は言語によって異なります。トルコ語のように、多くの接尾辞を重ねて長い単語を作る膠着語は、同じ意味の英語の文章と比べて一般に多くのトークンに分割されます。Petrovら（2023）などの研究は、言語間でのトークナイザーの不公平さを記録していますが、新しいトークナイザーではその差は縮まりつつあります。

トークンが重要なのは、APIの利用料金が通常、入力と出力それぞれ100万トークン単位で課金され、出力の方が入力より高いためです。トークンが多いほどコストが上がり、コンテキストウィンドウも早く埋まります。価格は頻繁に変わるため、最新の料金はOpenAI、Anthropic、Googleの料金ページでご確認ください。

大規模言語モデルはどのように学習されるのか？

学習は通常、段階を踏んで行われます。第一段階は事前学習です。ここでは、ウェブテキスト、書籍、コードなど数兆トークンにわたって次のトークンを予測することでモデルが学習します。これは自己教師あり学習と呼ばれる手法です。その結果、モデルは言語を理解しますが、まだアシスタントのようには振る舞いません。

次に、ファインチューニング、つまり指示チューニングが行われます。ここでは良い回答の例を示して学習させます。その後、アライメントが行われます。最もよく知られたアライメント手法は、OpenAIの2022年のInstructGPT論文で広まった、人間のフィードバックによる強化学習（RLHF）です。同じく2022年に発表されたAnthropicのConstitutional AIは、このアプローチの一種です。

2024年後半頃から、推論モデルも加わるようになりました。例としては、2025年1月に公開されたOpenAIのo1とDeepSeek-R1があります。これらのモデルは、強化学習によって答える前に問題を段階的に検討するよう訓練されており、そのために回答時に追加の計算資源を使います。

学習コストは特定が難しいものです。フロンティアモデルの学習には数千万から数億ドルかかったと報じられていますが、それらは公式な数字ではなく推定値です。DeepSeek V3について広く引用されている約560万ドルという数字は、最終的な学習実行に使われたGPU時間分のみで、総費用ではありません。また、その数字には異論もあります。

パラメータとは何か、そして大きいほど良いのか？

パラメータとは、学習中にモデルが獲得する数値の重みのことです。参考になる例を挙げると、GPT-2は2019年時点で15億、GPT-3は2020年時点で1750億のパラメータを持っていました。Metaが2024年7月に公開したLlama 3.1は、8B、70B、405Bの3つのサイズで提供されました。

一部のモデルは、トークンごとにネットワークの一部だけを動かす混合エキスパート（MoE）設計を採用しています。DeepSeek-V3の総パラメータ数は6710億ですが、トークンごとに有効になるのは約370億だけです。

OpenAI、Anthropic、Googleは、主力モデルのパラメータ数を公表していません。「GPT-4は1.76兆パラメータを持つ」といった数字は、確認されていない流出情報です。

規模がすべてではありません。データの質や学習手法も非常に重要だからです。2022年の「Chinchilla」研究では、計算資源に対して最適な学習は、パラメータ1つあたりおよそ20トークンであることがわかりました。現在のモデルは、この比率をあえて大きく上回る量で学習されています。

コンテキストウィンドウとは何か？

コンテキストウィンドウとは、モデルが一度に考慮できるトークンの最大数です。これには、プロンプト、それまでの会話、モデルの返答が含まれます。長期記憶ではなく、作業記憶のようなものだと考えるとわかりやすいでしょう。

ウィンドウのサイズは急速に拡大してきました。GPT-3は2,048トークンを扱え、最初のGPT-4には8Kと32Kの版がありました。その後のリリースでは、Claudeは20万（一部版では最大100万）、Gemini 1.5と2.xは100万から200万、GPT-4.1は100万と宣伝されました。2025年4月には、MetaがLlama 4 Scoutで1,000万と発表しました。この数字はリリースごとに変わるため、最新のドキュメントでご確認ください。

大きなウィンドウを謳っていても、それをすべて適切に使えるとは限りません。Liuらによる2023年の「Lost in the Middle」研究では、長い入力の途中に埋もれた情報については正確性が低下しうることが示されました。

LLMがハルシネーションを起こすのはなぜか？

ハルシネーションとは、流暢に聞こえるものの、誤っていたり作り上げられたりした出力のことです。例としては、架空の引用文献、誤った事実、存在しない判例などがあります。モデルが事実を調べるのではなく、もっともらしい文章を生成するために起こります。2025年9月のOpenAIの論文は、学習と評価が、不確実性を認めることよりも推測を優遇していると指摘しています。

有名な事例としては、Mata対Avianca事件（米国、2023年）があります。この事件では、ChatGPTが作り出した判例を提出した弁護士が制裁を受けました。その後も同様の事例が数多く起きています。

検索拡張生成（RAG）、ウェブ検索による根拠付け、引用、推論モデルはいずれも問題を軽減しますが、完全に解消するものはありません。OpenAIが2025年4月に公表したo3とo4-miniのシステムカードでは、一部の推論モデルでPersonQAテストのハルシネーション率がむしろ高かったと報告されています。率はベンチマークによって異なり、議論もあるため、単一の数値による主張には注意が必要です。

オープンとクローズドのLLM：違いは何か？

クローズド（プロプライエタリ）モデルでは重みが公開されないため、アプリやAPIを通じてしか利用できません。OpenAIのGPTシリーズ、AnthropicのClaude、GoogleのGemini、xAIのGrokがこれに当たります。ただし、xAIは一部の旧版Grokの重みを公開しています。

オープンウェイトモデルは、ダウンロードしてローカルで動かし、ファインチューニングすることができます。例としては、Meta Llama、Mistral、DeepSeek、Alibaba Qwen、Google Gemma、そして2025年8月にApache 2.0ライセンスで公開されたOpenAIのgpt-ossがあります。

オープンウェイトはオープンソースと同じではありません。Open Source Initiative（OSI）が2024年10月に公表したOpen Source AI Definition 1.0は、学習データに関するものを含め、はるかに広い公開性を求めています。OSIは、Llamaのライセンスはオープンソースの基準を満たさないとしています。

実際には、オープンウェイトモデルはプライバシー、ローカルでの管理、カスタマイズ性を提供します。クローズドモデルは、素の性能で先行することが多かったものの、その差は2025年中に縮まりました。LMArenaなどのリーダーボードは月ごとに順位が入れ替わります。

規制も追いつきつつあります。EUのAI法の下では、汎用AIモデルに関する義務が2025年8月2日から適用されています。また、トルコのKVKKのようなデータ保護法は、プロンプトに貼り付けた個人データにも引き続き適用されます。