Topik:
 

Memahami Tokenisasi: Bagaimana Teks Berubah Menjadi Token yang Dilihat oleh LLM

Oleh: Hobon.id (16/11/2026)
Memahami Tokenisasi: Bagaimana Teks Berubah Menjadi Token yang Dilihat oleh LLMSaat kita mengetik kalimat ke dalam chatbot, wajar jika kita berasumsi bahwa model tersebut membacanya seperti cara kita membacanya, yaitu kata demi kata dan huruf demi huruf. Padahal, tidak demikian. Large language model (LLM) sama sekali tidak melihat karakter yang kita ketik. Sebelum satu pun perhitungan dilakukan di dalam neural network, teks kita dipecah menjadi bagian-bagian kecil yang disebut token, dan setiap bagian tersebut digantikan oleh sebuah bilangan bulat. Apa yang sebenarnya diterima oleh model hanyalah deretan angka, dan segala pengetahuannya tentang bahasa dinyatakan dalam bentuk angka-angka tersebut.

Proses konversi ini disebut tokenisasi, dan ini merupakan salah satu bagian yang paling tidak mencolok namun paling berpengaruh dalam keseluruhan alur kerja model bahasa. Tokenisasi menentukan berapa biaya suatu permintaan, seberapa banyak teks yang dapat dimuat ke dalam context window, mengapa sebuah model mampu menulis esai yang sempurna tetapi justru kesulitan menghitung jumlah huruf dalam sebuah kata, mengapa kalimat yang sama bisa membutuhkan jumlah token yang jauh lebih banyak dalam satu bahasa dibandingkan bahasa lain, serta mengapa operasi aritmetika pada angka yang panjang bisa menghasilkan jawaban yang keliru secara aneh. Banyak perilaku yang dianggap sebagai keunikan atau kegagalan misterius pada AI sebenarnya berakar langsung dari proses tokenisasi ini.
Advertisement:

Apa Itu Token?


Token adalah unit teks yang diperlakukan oleh model sebagai satu simbol yang tidak dapat dibagi lagi. Token tidak sama dengan kata. Kata-kata pendek yang umum dalam suatu bahasa sering kali dianggap sebagai satu token, sementara kata yang lebih panjang atau jarang digunakan akan dipecah menjadi beberapa bagian. Kata seperti unbelievably mungkin dipecah menjadi awalan, kata dasar, dan akhiran—meskipun pembagian pastinya sangat bergantung pada tokenizer (alat pemecah teks) yang digunakan. Tanda baca, angka, spasi, bahkan potongan kode, masing-masing diperlakukan secara khusus; satu emoji atau karakter yang tidak lazim pun bisa mencakup beberapa token sekaligus.

Satu hal yang sering mengejutkan banyak orang adalah bahwa dalam sebagian besar tokenizer modern, spasi sebelum sebuah kata biasanya dianggap sebagai bagian dari token yang mengikuti kata tersebut. Artinya, kata "hello" di awal teks dan kata yang sama di tengah kalimat—yang didahului oleh spasi—biasanya direpresentasikan oleh token yang berbeda dengan ID numerik yang berbeda pula. Bagi model, keduanya dianggap sebagai entitas yang sepenuhnya berbeda, meskipun bagi pembaca manusia, keduanya tampak hampir identik.

Untuk teks dalam bahasa Inggris, aturan praktis yang umum digunakan adalah satu token setara dengan sekitar empat karakter, atau kira-kira tiga perempat dari satu kata. Dengan demikian, satu paragraf yang terdiri dari seratus kata akan berjumlah sekitar seratus tiga puluh token. Perlu diingat bahwa ini hanyalah perkiraan. Teks yang memuat kosakata teknis, kode, nama-nama yang tidak lazim, atau bahasa selain bahasa Inggris bisa memiliki karakteristik yang sangat berbeda. Satu-satunya cara akurat untuk mengetahui jumlah token adalah dengan memproses teks tersebut melalui tokenizer yang memang digunakan oleh model yang bersangkutan.


Mengapa Tidak Menggunakan Kata atau Karakter Saja?


Wajar jika muncul pertanyaan mengapa model tidak sekadar membaca kata secara utuh atau karakter demi karakter, mengingat kedua cara tersebut terasa lebih alami. Jawabannya terletak pada kompromi antara ukuran kosakata dan panjang urutan; kedua pendekatan ekstrem ini memiliki kelemahan yang serius.

Pendekatan berbasis kata menetapkan satu ID untuk setiap kata yang berbeda. Cara ini menghasilkan urutan yang pendek, namun kosakatanya menjadi sangat besar karena setiap bentuk infleksi, bentuk jamak, kesalahan ejaan, nama, dan istilah teknis dianggap sebagai entri terpisah. Lebih buruk lagi, kata apa pun yang belum pernah ditemui oleh tokenizer tidak dapat direpresentasikan sama sekali—masalah yang dikenal sebagai out-of-vocabulary (di luar kosakata). Jika model harus mengganti kata yang tidak dikenal dengan simbol umum untuk sesuatu yang "tidak diketahui", informasi yang justru sering kali paling penting akan hilang.

Pendekatan berbasis karakter dapat mengatasi masalah kata yang tidak dikenal, karena alfabet yang terbatas pun dapat menyusun kata apa saja. Namun, pendekatan ini membuat urutan menjadi sangat panjang; satu paragraf saja bisa berubah menjadi ratusan atau ribuan simbol. Karena biaya komputasi mekanisme attention dalam model transformer meningkat pesat seiring dengan bertambahnya panjang urutan, pemrosesan urutan yang panjang menjadi sangat mahal. Selain itu, model harus menghabiskan kapasitasnya untuk menyusun kembali karakter-karakter tersebut menjadi unit yang bermakna sebelum dapat mulai melakukan penalaran terhadapnya.

Subword tokenization (tokenisasi subkata) hadir sebagai jalan tengah di antara kedua ekstrem tersebut. Pendekatan ini mempertahankan kata-kata yang sering muncul dalam bentuk utuh, memecah kata-kata yang jarang muncul menjadi bagian-bagian yang dapat digunakan kembali, serta mampu beralih ke fragmen yang lebih kecil saat menemui sesuatu yang tidak dikenal. Kompromi ini menghasilkan kosakata yang dapat dikelola, urutan yang relatif pendek, serta kemampuan untuk menangani kata-kata baru dengan menyusunnya dari bagian-bagian yang sudah diketahui. Itulah sebabnya metode ini menjadi standar dalam model bahasa modern.


Alur Kerja Tokenisasi


Tokenisasi biasanya digambarkan sebagai satu langkah tunggal, namun dalam praktiknya, proses ini terdiri dari serangkaian tahapan. Tahap pertama adalah normalisasi, di mana teks dibersihkan—misalnya dengan menstandarkan representasi karakter Unicode, atau dalam beberapa jenis tokenisasi, dengan mengubah huruf menjadi huruf kecil (lowercasing) atau menghilangkan aksen. Banyak alat tokenisasi modern yang dirancang untuk percakapan (chat) meminimalkan normalisasi agar teks asli dapat direkonstruksi kembali dengan tepat.

Tahap kedua adalah pra-tokenisasi, di mana teks dipecah menjadi bagian-bagian kasar berdasarkan aturan tertentu—sering kali menggunakan pola yang memisahkan kata, angka, tanda baca, dan spasi. Langkah ini jauh lebih penting daripada yang terlihat, karena alat tokenisasi umumnya tidak akan menggabungkan bagian-bagian yang terpisah oleh batas-batas tersebut. Aturan yang ditetapkan di sini menentukan, misalnya, apakah angka boleh digabungkan dengan huruf di sekitarnya, atau apakah spasi akan disertakan bersama kata yang mengikutinya.

Tahap ketiga adalah model tokenisasi itu sendiri, yang mengambil setiap bagian kasar tadi lalu memecahnya menjadi unit-unit yang lebih kecil (subword) menggunakan kosakata dan algoritma yang dipelajari selama proses pelatihan tokenisasi. Tahap terakhir adalah pasca-pemrosesan, di mana token-token khusus ditambahkan—seperti penanda untuk awal dan akhir urutan, atau penanda batas antara peran yang berbeda dalam sebuah percakapan. Hasil akhirnya adalah deretan ID berupa bilangan bulat (integer), dengan satu ID untuk setiap token, yang siap untuk dimasukkan ke dalam model.


Penjelasan tentang Byte Pair Encoding


Algoritme yang paling banyak digunakan untuk menyusun kosakata berbasis subkata (subword) adalah byte pair encoding, yang biasanya disingkat BPE. Algoritme ini memiliki sejarah yang cukup panjang; pertama kali muncul pada tahun 1994 sebagai teknik kompresi data, sebelum akhirnya diadaptasi oleh para peneliti untuk keperluan penerjemahan mesin berbasis saraf (neural machine translation) pada pertengahan dekade 2010-an. Teknik ini kemudian diadopsi oleh keluarga model GPT dan berbagai large language models lainnya.

Konsep ini paling mudah dipahami melalui sebuah eksperimen pemikiran sederhana. Bayangkan sebuah korpus pelatihan yang memuat kata-kata seperti low, lower, newest, dan widest. Algoritme ini bekerja dengan memperlakukan setiap kata sebagai urutan karakter individual. Selanjutnya, algoritme menghitung frekuensi kemunculan setiap pasangan simbol yang bersebelahan di seluruh korpus, lalu menggabungkan pasangan yang paling sering muncul menjadi satu simbol baru. Jika huruf "e" dan "s" muncul berdampingan lebih sering daripada pasangan lainnya, keduanya akan digabungkan menjadi satu simbol, yaitu "es". Penghitungan diperbarui, dan proses ini diulang kembali. Pasangan berikutnya yang paling sering muncul mungkin adalah "es" yang diikuti oleh "t", yang kemudian digabungkan menjadi "est", dan seterusnya.

Setiap penggabungan akan menambah satu entri baru ke dalam kosakata, dan algoritme akan berhenti ketika kosakata tersebut mencapai ukuran target yang telah ditentukan sebelumnya. Hasil akhirnya berupa daftar aturan penggabungan yang tersusun secara berurutan. Untuk melakukan tokenisasi pada teks baru, tokenizer akan memulai dari karakter atau byte individual, lalu menerapkan aturan-aturan penggabungan tersebut sesuai dengan urutan saat aturan itu dipelajari. Kata-kata yang umum digunakan akan tergabung sepenuhnya menjadi satu token, sementara kata-kata yang jarang muncul hanya akan tergabung sebagian, sehingga menyisakan beberapa bagian yang lebih kecil.

Ada dua karakteristik dari proses ini yang perlu ditekankan. Pertama, pelatihan tokenizer terpisah dari pelatihan model bahasa dan dilakukan lebih awal dengan menggunakan sampel teks. Setelah itu, tokenizer dibekukan, dan model bahasa dilatih menggunakan tokenizer tersebut. Kedua, BPE tidak melibatkan neural network maupun parameter yang dipelajari dalam pengertian konvensional. BPE merupakan prosedur deterministik yang didorong oleh frekuensi; artinya, kualitas kosakata yang dihasilkan sangat bergantung pada teks yang digunakan selama proses pelatihan.


Byte-Level BPE


BPE standar dimulai dari karakter, namun terdapat jumlah karakter yang sangat banyak dalam berbagai sistem penulisan di dunia, sehingga daftar karakter tetap apa pun yang digunakan pada akhirnya akan menemui simbol yang tidak tercakup di dalamnya. Byte-level BPE mengatasi masalah ini dengan memulai dari byte mentah. Setiap teks, dalam bahasa atau sistem penulisan apa pun, dapat dinyatakan sebagai urutan byte menggunakan penyandian UTF-8, dan hanya terdapat 256 kemungkinan nilai byte. Dengan menggunakan 256 nilai ini sebagai alfabet dasar, sebuah tokeniser berbasis byte dapat merepresentasikan input apa pun tanpa perlu menggunakan token "tidak dikenal" (unknown token).

Desain ini, yang dipopulerkan oleh GPT-2, kini umum digunakan dalam large language model. Pendekatan ini mampu menangani emoji, sistem penulisan yang jarang digunakan, simbol matematika, bahkan teks yang rusak atau tidak lazim dengan baik. Konsekuensinya, karakter di luar rentang umum mungkin direpresentasikan oleh beberapa token berbasis byte jika proses penggabungan (merging) belum mempelajari karakter tersebut sebagai satu kesatuan. Dengan demikian, satu karakter yang terdiri dari beberapa byte dalam UTF-8 dapat memakan lebih dari satu token; hal ini menjadi salah satu akar penyebab masalah keadilan bahasa (language fairness) yang dibahas di bawah.


WordPiece, Unigram, dan SentencePiece


BPE bukanlah satu-satunya metode subword. WordPiece, yang diperkenalkan dalam penelitian terkait ucapan (speech) dan digunakan dalam keluarga model BERT, menyusun kosakata melalui proses iteratif serupa. Namun, alih-alih menggunakan frekuensi mentah, WordPiece memilih penggabungan (merges) berdasarkan opsi mana yang paling meningkatkan kemungkinan data pelatihan. Metode ini biasanya menandai kelanjutan kata dengan prefiks khusus, sehingga jika suatu kata dipecah menjadi beberapa bagian, dapat diketahui bagian mana yang merupakan awal kata dan bagian mana yang merupakan kelanjutannya.

Pendekatan model bahasa Unigram bekerja dengan cara sebaliknya. Metode ini dimulai dengan kosakata kandidat yang sangat besar, kemudian secara bertahap memangkas entri-entri yang memberikan kontribusi paling kecil dalam memodelkan teks pelatihan. Karena bersifat probabilistik, metode ini dapat menghasilkan beberapa cara yang masuk akal untuk memecah untaian teks yang sama; dalam beberapa pengaturan pelatihan, dilakukan pengambilan sampel di antara berbagai kemungkinan tersebut untuk membuat model menjadi lebih tangguh.

SentencePiece bukanlah sebuah algoritma tunggal, melainkan library yang digunakan secara luas. SentencePiece mengimplementasikan BPE maupun Unigram dan memperlakukan input sebagai aliran karakter mentah—termasuk spasi, yang direpresentasikan dengan simbol penanda khusus. Karena tidak bergantung pada aturan prapemrosesan yang spesifik untuk bahasa tertentu, metode ini sangat praktis untuk bahasa-bahasa yang tidak menggunakan spasi sebagai pemisah antar kata. Alat lain, seperti tiktoken dari OpenAI dan library tokenizers dari Hugging Face, merupakan implementasi yang dirancang untuk mengutamakan kecepatan serta kompatibilitas dengan keluarga model tertentu.


Dari ID Token menuju Makna


Setelah teks diubah menjadi ID token, angka-angka bulat tersebut belum memiliki makna apa pun. Langkah selanjutnya adalah melakukan pencarian dalam tabel penyematan (embedding table), yaitu sebuah matriks besar dengan satu baris untuk setiap entri dalam kosakata. Setiap ID akan memilih satu baris—yang berupa vektor angka dengan panjang bisa mencapai ribuan nilai—untuk merepresentasikan token tersebut. Awalnya, vektor-vektor ini bersifat acak, namun akan disesuaikan selama proses pelatihan hingga token-token yang memiliki perilaku serupa dalam teks akan memiliki vektor yang juga serupa.

Mulai dari tahap ini, model transformer hanya bekerja menggunakan vektor-vektor tersebut. Model ini tidak lagi melihat ejaan, melainkan hanya representasi token yang telah dipelajari dalam konteks tertentu. Inilah kunci untuk memahami berbagai keunikan yang akan dijelaskan kemudian. Jika suatu informasi—seperti huruf-huruf penyusun sebuah kata—tidak dapat dengan mudah diperoleh kembali dari vektor token tersebut, maka model harus mempelajarinya secara tidak langsung melalui pola-pola dalam data pelatihan, alih-alih membacanya secara langsung.

Pada tahap keluaran, model menghasilkan skor untuk setiap token dalam kosakata, dan token berikutnya dipilih berdasarkan skor-skor tersebut. Oleh karena itu, ukuran lapisan keluaran berbanding lurus dengan ukuran kosakata; inilah salah satu alasan mengapa penentuan ukuran kosakata menjadi keputusan desain yang sangat penting.


Pertimbangan dalam Menentukan Ukuran Kosakata


Menentukan ukuran kosakata memerlukan keseimbangan yang cermat. Kosakata yang lebih besar berarti lebih banyak kata dan frasa yang dianggap sebagai satu token, sehingga teks yang sama dapat direpresentasikan dengan jumlah token yang lebih sedikit. Urutan yang lebih pendek lebih hemat untuk diproses dan memungkinkan lebih banyak teks dimuat ke dalam context window yang tersedia. Namun, kosakata yang lebih besar juga berarti matriks penyematan (embedding) dan matriks keluaran (output) yang lebih besar. Selain itu, banyak entri tambahan tersebut merupakan token langka yang hanya sesekali muncul selama pelatihan, sehingga representasinya tidak dapat dipelajari dengan optimal.

Tokenizer yang tersedia untuk publik menunjukkan keragaman serta tren umum ke arah penggunaan kosakata yang lebih besar. GPT-2 menggunakan kosakata dengan sekitar lima puluh ribu entri, Llama 2 menggunakan sekitar tiga puluh dua ribu entri, sementara model yang lebih baru seperti Llama 3 beralih ke sekitar seratus dua puluh delapan ribu entri. Bahkan, beberapa model terkini dari berbagai developer menggunakan kosakata dengan jumlah mencapai dua ratus ribu entri atau lebih. Tren ini mencerminkan upaya untuk mencapai efisiensi yang lebih baik, terutama bagi bahasa dan domain yang kurang terakomodasi dengan baik oleh kosakata yang lebih kecil.


Token Khusus dan Template Obrolan


Tokeniser juga mencakup token khusus yang tidak merepresentasikan teks biasa. Token ini berfungsi sebagai penanda, misalnya untuk menunjukkan awal atau akhir suatu urutan, padding, serta—dalam model obrolan—sebagai pembatas antara pesan sistem, pesan pengguna, dan balasan dari asisten. Template obrolan merupakan format yang disepakati untuk menyusun penanda-penanda tersebut di sekeliling teks percakapan.

Model dilatih menggunakan template tertentu; oleh karena itu, penggunaan template yang keliru dapat menurunkan kualitas respons secara diam-diam, meskipun sekilas tidak tampak ada masalah. Bagi developer yang menjalankan model terbuka (open model) secara lokal atau melakukan fine-tuning terhadap model tersebut, memastikan template dan token khusus sudah tepat merupakan aspek krusial yang sering kali terlewatkan, padahal sering menjadi sumber masalah.


Mengapa Tokenisasi Penting dalam Praktik


Konsekuensi yang paling langsung berkaitan dengan biaya dan kapasitas. Layanan model bahasa komersial biasanya mengenakan biaya berdasarkan jumlah token, dan context window diukur dalam satuan token, bukan kata atau karakter. Segala sesuatu yang menyebabkan teks menggunakan lebih banyak token—seperti format yang bertele-tele, pengulangan teks standar (boilerplate), atau kosakata yang tidak umum—akan meningkatkan biaya sekaligus menghabiskan lebih banyak kapasitas konteks.

Konsekuensi lainnya adalah perlakuan yang tidak setara terhadap berbagai bahasa. Karena sebagian besar tokenizer dilatih menggunakan data yang didominasi oleh bahasa Inggris dan segelintir bahasa lain yang banyak digunakan, teks dalam bahasa-bahasa lain sering kali dipecah menjadi bagian yang lebih banyak dan lebih kecil. Makna yang sama bisa membutuhkan jumlah token yang jauh lebih banyak dalam bahasa tertentu dibandingkan dalam bahasa Inggris; hal ini berakibat pada biaya yang lebih tinggi, efektivitas konteks yang berkurang, dan terkadang performa yang lebih lemah bagi penutur bahasa tersebut. Ini merupakan masalah keadilan yang telah didokumentasikan dengan baik, dan menjadi salah satu alasan mengapa tokenizer yang lebih baru dirancang dengan kosakata yang lebih luas dan mencakup lebih banyak bahasa.

Angka merupakan aspek ketiga yang menimbulkan kesulitan. Beberapa tokenizer memecah angka menjadi digit-digit terpisah, sementara yang lain mengelompokkan digit ke dalam blok yang terdiri dari hingga tiga angka—dengan pengelompokan yang bergantung pada bagaimana angka tersebut selaras dengan aturan yang ada. Ketika kuantitas yang sama dapat dipecah dengan cara yang tidak konsisten, model akan lebih sulit mempelajari operasi aritmetika yang andal. Inilah sebabnya mengapa model bahasa sering kali tidak akurat dalam melakukan perhitungan yang melibatkan banyak digit, kecuali jika model tersebut diberikan alat bantu atau diminta untuk melakukan penalaran langkah demi langkah.

Kesalahan pengejaan yang sering terjadi pun berakar dari masalah yang sama. Pertanyaan seperti "berapa kali huruf tertentu muncul dalam sebuah kata" menanyakan informasi yang tersembunyi di dalam sebuah token. Jika sebuah kata yang panjang direpresentasikan sebagai satu token, model tidak dapat melihat huruf-huruf penyusunnya secara langsung; ia harus mengandalkan pengetahuan tentang ejaan yang telah dipelajari dari teks. Itulah sebabnya pertanyaan semacam ini menjadi hambatan klasik bahkan bagi model yang canggih, dan mengapa tugas-tugas yang berkaitan dengan karakter sebaiknya diserahkan kepada kode program agar hasilnya lebih dapat diandalkan.

Spasi dan pemformatan juga memiliki peran penting. Karena spasi sering kali melekat pada token, keberadaan spasi yang tidak disengaja di awal atau akhir prompt dapat mengubah tokenisasi teks dan secara halus memengaruhi perilaku model. Indentasi dalam kode, jeda baris, dan pengaturan spasi yang tidak lazim dapat menghabiskan token dengan cara yang tidak terlihat secara langsung saat membaca teks tersebut. Kesalahan ketik kecil pun dapat memberikan dampak serupa; kata yang salah eja mungkin dipecah menjadi bagian-bagian yang sangat berbeda dibandingkan dengan ejaan yang benar, sehingga membuat input yang diterima model tampak sangat berbeda dari data yang ia temui selama masa pelatihan.

Terakhir, terdapat fenomena yang disebut sebagai glitch tokens (token bermasalah). Jika tokenizer dilatih menggunakan sekumpulan teks tertentu sementara model bahasa dilatih menggunakan kumpulan teks yang berbeda, beberapa token mungkin tetap ada dalam kosakata meskipun sangat jarang atau bahkan tidak pernah muncul selama pelatihan model. Embedding untuk token-token ini tidak terlatih dengan baik, sehingga ketika muncul dalam sebuah perintah, model dapat memberikan respons yang aneh atau tidak relevan. Contoh yang paling dikenal berasal dari model-model di era awal GPT, di mana token yang berasal dari nama pengguna yang tidak umum memicu perilaku yang ganjil. Pelajaran yang dapat dipetik adalah bahwa tokenizer dan model merupakan komponen yang saling terikat erat.


Panduan Praktis bagi Developer dan Penulis Prompt


Kebiasaan pertama yang paling bermanfaat adalah melakukan pengukuran alih-alih sekadar menebak. Keluarga model yang berbeda menggunakan tokenizer yang berbeda pula; oleh karena itu, jumlah token tidak dapat disamakan antar penyedia layanan. Bahkan, versi yang berbeda dari penyedia yang sama pun bisa melakukan tokenisasi dengan cara yang berbeda untuk teks yang sama. Menggunakan tokenizer resmi atau perangkat penghitung token yang disediakan oleh penyedia layanan akan memberikan angka yang akurat untuk keperluan penganggaran biaya dan pengelolaan konteks.

Selain itu, penting untuk memperhatikan struktur *prompt* secara cermat. Menghapus spasi yang tidak perlu serta bagian teks berulang (*boilerplate*) dapat menghemat jumlah token, sementara format yang konsisten akan membuat perilaku model lebih mudah diprediksi. Saat bekerja dengan berbagai bahasa, ada baiknya mengalokasikan lebih banyak token untuk bahasa yang diproses dengan efisiensi lebih rendah, serta melakukan pengujian kualitas alih-alih berasumsi bahwa hasilnya akan setara dengan bahasa Inggris.

Untuk tugas-tugas yang bergantung pada karakter atau perhitungan aritmetika yang presisi—seperti menghitung jumlah huruf, membalik urutan karakter (string), atau melakukan komputasi dengan angka yang panjang—jauh lebih andal untuk membiarkan model menjalankan kode atau menggunakan kalkulator, daripada mengharapkan model menyelesaikannya secara internal. Bagi siapa pun yang melakukan fine-tuning atau menerapkan model terbuka (open model), penggunaan tokenizer dan chat template yang sama persis dengan yang digunakan saat pelatihan model tersebut adalah hal yang mutlak; menggantinya dengan komponen lain dapat merusak hasil secara diam-diam tanpa disadari.
Advertisement:

Masa Depan Tokenisasi


Karena tokenisasi menimbulkan banyak efek samping yang kurang ideal, para peneliti mulai menjajaki alternatif dan penyempurnaan. Salah satu pendekatan tetap mempertahankan penggunaan tokenizer namun membuatnya lebih cerdas. Sebuah makalah penelitian tahun 2025 memperkenalkan SuperBPE, yang memungkinkan tokenizer mempelajari token yang mencakup spasi—setelah terlebih dahulu mempelajari subkata (subwords) biasa—sehingga frasa yang terdiri dari beberapa kata dapat diwakili oleh satu token saja. Dalam eksperimen penulis menggunakan model bahasa dengan delapan miliar parameter, metode ini mampu menyandikan teks dengan jumlah token yang berkurang hingga sekitar sepertiganya (pada ukuran kosakata yang tetap), serta memberikan peningkatan performa pada berbagai tugas hilir (downstream tasks). Secara terpisah, sebuah penelitian dalam bentuk preprint pada awal 2026 menunjukkan bahwa sebagian besar token dalam kosakata yang umum digunakan ternyata hanyalah sisa dari proses penggabungan yang jarang dipakai; hal ini mengindikasikan adanya peluang untuk membuat kosakata yang lebih efisien.

Pendekatan yang lebih radikal adalah dengan meniadakan tokenizer sepenuhnya. Meta bersama mitra kolaborasinya memperkenalkan Byte Latent Transformer, yang membaca byte mentah dan mengelompokkannya secara dinamis ke dalam segmen-segmen (patches). Sistem ini mengalokasikan lebih banyak daya komputasi untuk bagian yang sulit diprediksi, dan lebih sedikit untuk bagian yang mudah diprediksi. Para peneliti melaporkan bahwa, untuk pertama kalinya, desain tanpa tokenizer mampu menyamai performa model berbasis tokenisasi dalam skala besar, sekaligus meningkatkan efisiensi inferensi dan ketangguhan model. Pendekatan semacam ini berpotensi mengurangi atau bahkan menghilangkan masalah yang muncul akibat penggunaan kosakata tetap, seperti ketidakmampuan model dalam mengenali ejaan (spelling blindness) serta perlakuan yang tidak setara terhadap berbagai bahasa.

Saat ini, tokenisasi subkata masih menjadi metode yang dominan dalam sistem produksi. Setiap alternatif baru harus mampu membuktikan kinerjanya di seluruh spektrum tugas dan infrastruktur yang menjadi landasan bagi model-model bahasa saat ini. Meski demikian, pesatnya perkembangan penelitian menunjukkan bahwa tokenizer—yang selama ini dianggap sekadar detail prapemrosesan yang bersifat tetap—kini semakin dipandang sebagai pilihan desain yang layak untuk dioptimalkan.


Jadi, tokenisasi merupakan jembatan antara teks manusia dan angka-angka yang dipahami oleh model bahasa. Algoritme seperti byte pair encoding menyusun kosakata yang terdiri dari potongan-potongan kata (subword) berdasarkan data pelatihan. Setiap input diubah menjadi urutan potongan-potongan tersebut, lalu dikonversi menjadi vektor embedding sebelum model melakukan penalaran apa pun. Rancangan jembatan ini—termasuk algoritme yang digunakan, ukuran kosakata, serta aturan pra-tokenisasi—menentukan biaya, panjang konteks, performa dalam berbagai bahasa, kemampuan aritmetika, bahkan kemampuan mengeja dasar.
Artikel Terkait: