Apa itu LLM? Penjelasan large language model (2026)

Large language model (LLM) adalah jaringan saraf yang dilatih dengan teks dalam jumlah sangat besar untuk memprediksi token berikutnya dalam sebuah urutan. Tujuan tunggal inilah yang menjadi dasar dari semua yang bisa dilakukan chatbot: menjawab pertanyaan, menulis kode, merangkum dokumen, dan menerjemahkan. Alat seperti ChatGPT, Claude, dan Gemini dibangun di atas model semacam ini.

Panduan ini membahas unsur-unsur dasarnya secara berurutan: token, pelatihan, parameter, jendela konteks, halusinasi, serta perbedaan antara model terbuka dan tertutup. Nama model, harga, dan batasannya berubah dengan cepat. Karena itu, angka-angka di bawah ini memiliki tanggal, dan sebaiknya Anda memeriksa dokumentasi resmi penyedia untuk data terbaru.

Apa itu LLM, dan apa yang membuatnya “besar”?

Kata “besar” merujuk pada dua hal. Pertama, volume data pelatihan. Kedua, jumlah nilai internal yang dapat disesuaikan, yang disebut parameter. Sebagai gambaran skalanya, Meta menyatakan pada April 2024 bahwa Llama 3 dilatih dengan lebih dari 15 triliun token.

Hampir semua LLM modern dibangun di atas arsitektur Transformer. Peneliti Google memperkenalkannya dalam makalah “Attention Is All You Need” pada Juni 2017. Gagasan intinya adalah self-attention, yang memungkinkan model menilai seberapa relevan setiap bagian teks lainnya saat memproses setiap bagian.

Apa itu token dalam LLM?

Model tidak membaca kata. Mereka membaca token, yaitu potongan subkata yang dihasilkan oleh algoritma seperti byte-pair encoding (BPE). Kata yang umum mungkin hanya menjadi satu token, sedangkan kata yang jarang digunakan akan terpecah menjadi beberapa bagian.

Aturan praktis OpenAI untuk bahasa Inggris menyebutkan bahwa satu token kira-kira sama dengan empat karakter, atau sekitar tiga perempat kata. Dengan demikian, 100 token setara dengan sekitar 75 kata.

Rasionya berbeda antarbahasa. Bahasa aglutinatif seperti Turki, yang kata-katanya panjang karena dibentuk dari banyak sufiks, biasanya terpecah menjadi lebih banyak token dibandingkan teks bahasa Inggris dengan makna yang sama. Penelitian seperti Petrov dkk. (2023) telah mendokumentasikan ketidakadilan tokenizer semacam ini antarbahasa, meskipun tokenizer yang lebih baru telah mempersempit kesenjangannya.

Token penting karena penggunaan API biasanya ditagih per sejuta token input dan output, dengan harga output yang lebih tinggi daripada input. Semakin banyak token, semakin tinggi biayanya dan semakin cepat jendela konteks terisi. Harga sering berubah, jadi periksa halaman harga OpenAI, Anthropic, atau Google untuk tarif terkini.

Bagaimana large language model dilatih?

Pelatihan biasanya berlangsung dalam beberapa tahap. Tahap pertama adalah pra-pelatihan. Di sini model belajar dengan memprediksi token berikutnya dari triliunan token teks web, buku, dan kode, sebuah metode yang dikenal sebagai self-supervised learning. Hasilnya, model memahami bahasa tetapi belum berperilaku seperti asisten.

Selanjutnya adalah fine-tuning, atau instruction tuning, di mana model diperlihatkan contoh jawaban yang baik. Kemudian datang tahap alignment. Metode alignment yang paling terkenal adalah reinforcement learning from human feedback (RLHF), yang dipopulerkan oleh makalah InstructGPT dari OpenAI pada 2022. Constitutional AI dari Anthropic, yang juga muncul pada 2022, merupakan variasi dari pendekatan ini.

Sejak sekitar akhir 2024, model penalaran ikut meramaikan lanskap. Contohnya adalah OpenAI o1 dan DeepSeek-R1, yang dirilis pada Januari 2025. Model-model ini dilatih dengan reinforcement learning untuk menelaah suatu masalah sebelum menjawab, dan mereka menggunakan komputasi tambahan saat menjawab untuk melakukannya.

Biaya pelatihan sulit dipastikan. Pelatihan model frontier dilaporkan menelan biaya puluhan hingga ratusan juta dolar AS, tetapi itu merupakan estimasi, bukan angka resmi. Angka sekitar 5,6 juta dolar AS untuk DeepSeek V3 yang sering dikutip hanya mencakup jam GPU untuk putaran pelatihan terakhir, bukan total biaya, dan angka ini diperdebatkan.

Apa itu parameter, dan apakah lebih besar berarti lebih baik?

Parameter adalah bobot numerik yang dipelajari model selama pelatihan. Beberapa acuan: GPT-2 memiliki 1,5 miliar parameter pada 2019, dan GPT-3 memiliki 175 miliar pada 2020. Llama 3.1 dari Meta, yang dirilis pada Juli 2024, hadir dalam ukuran 8B, 70B, dan 405B.

Beberapa model menggunakan desain Mixture-of-Experts (MoE), di mana hanya sebagian jaringan yang berjalan untuk setiap token. DeepSeek-V3 memiliki total 671 miliar parameter, tetapi hanya sekitar 37 miliar yang aktif per token.

OpenAI, Anthropic, dan Google tidak mengungkapkan jumlah parameter untuk model unggulan mereka. Angka seperti “GPT-4 memiliki 1,76 triliun parameter” adalah kebocoran yang belum dikonfirmasi.

Ukuran juga bukan segalanya, karena kualitas data dan metode pelatihan sangat berpengaruh. Studi “Chinchilla” tahun 2022 menemukan bahwa pelatihan yang optimal secara komputasi menggunakan sekitar 20 token per parameter. Model masa kini sengaja dilatih jauh melampaui rasio tersebut.

Apa itu jendela konteks?

Jendela konteks adalah jumlah maksimum token yang dapat dipertimbangkan model sekaligus. Ini mencakup prompt Anda, percakapan sejauh ini, dan balasan model. Anggaplah ini sebagai memori kerja, bukan memori jangka panjang.

Jendela konteks berkembang pesat. GPT-3 menangani 2.048 token, dan GPT-4 versi awal menawarkan varian 8K dan 32K. Rilis berikutnya mengiklankan 200K untuk Claude (hingga 1M pada beberapa versi), 1–2 juta untuk Gemini 1.5 dan 2.x, dan 1 juta untuk GPT-4.1. Pada April 2025, Meta mengklaim 10 juta untuk Llama 4 Scout. Angka-angka ini berubah setiap rilis, jadi periksa dokumentasi terbaru.

Jendela yang besar belum tentu berarti model memanfaatkannya dengan baik. Studi “Lost in the Middle” tahun 2023 oleh Liu dkk. menemukan bahwa akurasi dapat turun untuk informasi yang berada di tengah input yang panjang.

Mengapa LLM berhalusinasi?

Halusinasi adalah keluaran yang terdengar lancar tetapi salah atau dikarang, seperti sitasi palsu, fakta keliru, atau kasus pengadilan yang tidak ada. Ini terjadi karena model menghasilkan teks yang tampak masuk akal alih-alih mencari fakta. Makalah OpenAI pada September 2025 berpendapat bahwa pelatihan dan evaluasi justru memberi imbalan pada tebakan dibandingkan pengakuan ketidakpastian.

Kasus terkenal adalah Mata v. Avianca (AS, 2023). Pengacara dalam kasus tersebut dijatuhi sanksi karena mengajukan sitasi kasus yang dikarang oleh ChatGPT, dan banyak insiden serupa telah menyusul.

Retrieval-augmented generation (RAG), grounding melalui pencarian web, sitasi, dan model penalaran semuanya mengurangi masalah ini, tetapi tidak ada yang menghilangkannya sepenuhnya. Kartu sistem OpenAI untuk o3 dan o4-mini pada April 2025 bahkan melaporkan tingkat halusinasi yang lebih tinggi untuk beberapa model penalaran pada tes PersonQA miliknya. Tingkatnya bervariasi menurut benchmark dan diperdebatkan, jadi bersikaplah hati-hati terhadap klaim yang hanya berupa satu angka.

LLM terbuka vs tertutup: apa bedanya?

Pada model tertutup, atau proprietary, bobot model tidak dirilis, sehingga Anda hanya dapat menggunakannya melalui aplikasi atau API. Seri GPT dari OpenAI, Claude dari Anthropic, Gemini dari Google, dan Grok dari xAI termasuk dalam kelompok ini. Namun, xAI telah merilis beberapa bobot Grok lama.

Model open-weight dapat diunduh, dijalankan secara lokal, dan di-fine-tune. Contohnya adalah Llama dari Meta, Mistral, DeepSeek, Qwen dari Alibaba, Gemma dari Google, dan gpt-oss dari OpenAI yang dirilis pada Agustus 2025 di bawah lisensi Apache 2.0.

Open-weight tidak sama dengan open source. Open Source AI Definition 1.0 dari Open Source Initiative (OSI), yang dipublikasikan pada Oktober 2024, mensyaratkan keterbukaan yang jauh lebih luas, termasuk tentang data pelatihan. OSI menyatakan bahwa lisensi Llama tidak memenuhi syarat sebagai open source.

Dalam praktiknya, model open-weight menawarkan privasi, kendali lokal, dan kustomisasi. Model tertutup biasanya unggul dalam kemampuan mentah, meskipun kesenjangannya menyempit sepanjang 2025. Papan peringkat seperti LMArena berubah setiap bulan.

Regulasi juga semakin mengejar. Berdasarkan EU AI Act, kewajiban untuk model AI tujuan umum telah berlaku sejak 2 Agustus 2025. Hukum perlindungan data, seperti KVKK di Türkiye, tetap berlaku untuk data pribadi apa pun yang Anda tempelkan ke dalam prompt.