5-dars: Token — matn qanday bo'linadi

2-blokTil modellari ichida5–8 darslar

HayotdaNarx

AI xizmatlari “1000 token” hisobida pul oladi. Bir xil ma’noli so’rovni inglizcha yozsangiz 9 token, o’zbekcha yozsangiz 13 token ketadi — ya’ni bir xil ish uchun ko’proq to’lanadi va kontekst oynasi tezroq to’ladi. Sababi tilda emas, tokenlovchida.

Bu darsdan keyin siz

• token nima va u so’zdan nimasi bilan farq qilishini tushuntirasiz
• o’zbekcha matnning token narxini o’lchaysiz
• token chegarasi so’rovni qanday cheklashini bilasiz

Nazariya

Model harfni ham, so’zni ham ko’rmaydi

Til modeli matnni token deb ataladigan bo’laklarga ajratib qabul qiladi. Token ba’zan butun so’z, ba’zan bo’g’in, ba’zan bitta harf bo’ladi — chegara ma’noga qarab emas, statistikaga qarab qo’yiladi.

tokentoken

Modelning eng kichik ish birligi. Matn tokenlarga bo’linadi, har token raqamga aylanadi va model faqat shu raqamlar bilan ishlaydi.

Bo’linish qanday qilinadi? Tokenlovchi ko’p uchraydigan harf birikmalarini bitta token qilib saqlaydi. Inglizcha weather juda ko’p uchraydi — bitta token. O’zbekcha yaxshi kamroq uchraydi — bir necha bo’lakka tushadi.

Nega o’zbek tili qimmat

Ikki sabab birlashadi. Birinchisi — internetdagi o’zbekcha matn kam, demak tokenlovchi o’zbekcha birikmalarni kamroq “yodlab” olgan. Ikkinchisi — o’zbek tili qo’shimchalarni so’z oxiriga yopishtiradi: maktab + imiz + dagi bitta so’z bo’lib yoziladi, lekin model uni to’rt bo’lak deb ko’radi.

Natija: bir xil ma’no o’zbekchada ko’pincha 1,5–3 barobar ko’p tokenga tushadi. Bu uch narsaga ta’sir qiladi: narx, tezlik va kontekst oynasiga sig’adigan matn hajmi.

◆Asosiy g'oya

Model matnni siz kabi o’qimaydi. Siz so’z ko’rasiz, u token ko’radi — va aynan shu farq nega u ba’zan harflarni sanashda adashishini ham izohlaydi.

Token va harf — bir narsa emas

Modeldan “«dasturchi» so’zida nechta harf bor?” deb so’rasangiz, u xato javob berishi mumkin. Sabab oddiy: u so’zni harflar ketma-ketligi sifatida ko’rmaydi, uning uchun bu bir-ikki token. o' esa alohida masala — u CF 4-darsda ko’rgan tutuq belgisi bilan keladi va ko’p tokenlovchida ikkiga bo’linadi.

Sinab ko’r

Uch jumla juftligini ko’rib chiqing va uchinchi raqamga — “har so’zga” — diqqat qiling. “Maktabdagi uchrashuv” juftligida farq eng aniq ko’rinadi.

Tokenlovchi

Jumlani tanlang va ikki tilning token sonini solishtiring.

Bu simulyatorda bir ma'noli jumla o'zbekcha va inglizcha tokenlarga bo'linadi. Model so'zni emas, tokenni ko'radi — va bir xil ma'no o'zbekchada ko'proq tokenga tushadi.

JavaScript'siz mashq: «Maktabimizdagi» so'zini bo'g'inlarga emas, model bo'ladigan bo'laklarga ajratib ko'ring: Mak · tab · imiz · dagi. Bitta so'z — to'rt bo'lak. Inglizcha «school» esa bitta.

Havo haqidaKitob berdimMaktabdagi uchrashuv

O'zbekchaBugun havo juda yaxshi.

Bugun␣havo␣juda␣yaxshi.

so'z: 4token: 11har so'zga: 2.8

InglizchaThe weather is very nice today.

The␣weather␣is␣very␣nice␣today.

so'z: 6token: 7har so'zga: 1.2

O'zbekchaKitobni do'stimga berdim.

Kitobni␣do'stimga␣berdim.

so'z: 3token: 12har so'zga: 4.0

InglizchaI gave the book to my friend.

I␣gave␣the␣book␣to␣my␣friend.

so'z: 7token: 8har so'zga: 1.1

O'zbekchaMaktabimizdagi o'quvchilar bilan uchrashdim.

Maktabimizdagi␣o'quvchilar␣bilan␣uchrashdim.

so'z: 4token: 15har so'zga: 3.8

InglizchaI met with the students at our school.

I␣met␣with␣the␣students␣at␣our␣school.

so'z: 8token: 9har so'zga: 1.1

Bir xil ma'no, ikki xil narx. O'zbek tilida qo'shimchalar so'z oxiriga yopishadi — «maktab + imiz + dagi» — va model har bo'lakni alohida token deb ko'radi. Shuning uchun o'zbekcha so'rov ko'proq tokenga tushadi: bu pul, tezlik va kontekst oynasi degani.

Simulyatordagi bo’linishlar haqiqiy tokenlovchining tipik natijasiga yaqinlashtirilgan: aniq bo’linish modelga qarab farq qiladi. Muhimi aniq son emas, nisbat — va nisbat har doim o’zbek tilining zarariga.

Tuzoqni ushlang

▲Tuzoq — xatoni toping

5 / 20

SizAI dan so'radim: «Mening so'rovim nechta token bo'ladi?»

AI javobi

1. 1Sizning so'rovingizda 12 so'z bor.
2. 2Token soni so'z soniga teng, ya'ni 12 token.
3. 3O'zbek tilida qo'shimchalar ko'p bo'lgani uchun token soni odatda so'z sonidan ko'proq bo'ladi.
4. 4Aniq sonni tokenlovchi hisoblab beradi.

Bu javobning 2-qismi noto'g'ri. Token va so'z bir narsa emas — buni ikkinchi gap aytadi, uchinchi gap esa darhol rad etadi. Javob o'zi bilan o'zi ziddiyatga tushgan, lekin ohangi bir xil bo'lgani uchun sezilmaydi. Modelning ichida «rost gapirish» degan tekshiruv yo'q: u ravon davom ettiradi, ziddiyatni esa siz topishingiz kerak.

Javobning qaysi qismi noto'g'ri? Bosib belgilang.

Javobni ko'rsatish

O’zingizni sinang

1Token nima?

Javobni ko'rish

Modelning eng kichik ish birligi. Butun so’z, bo’g’in yoki bitta harf bo’lishi mumkin — chegara statistikaga qarab qo’yiladi.

2Nega «maktabimizdagi» so'zi bir necha tokenga bo'linadi?

Javobni ko'rish

Chunki o’zbek tili qo’shimchalarni so’zga qo’shib yozadi va tokenlovchi bu uzun shaklni kamdan-kam ko’rgan. Natijada uni bo’laklarga ajratadi.

3Token soni nimaga ta'sir qiladi?

Javobni ko'rish

Uchta narsaga: narx (token hisobida to’lanadi), tezlik va kontekst oynasiga sig’adigan matn hajmi.

4Model «dasturchi» so'zidagi harflarni nega xato sanashi mumkin?

Javobni ko'rish

U so’zni harflar ketma-ketligi sifatida ko’rmaydi — uning uchun bu bir-ikki token. Harf sanash modelning tabiiy ishi emas.

5So'rovni qisqartirish nega foyda beradi?

Javobni ko'rish

Kamroq token — kamroq narx, tezroq javob va kontekst oynasida ko’proq joy. Lekin kerakli kontekstni tashlab yuborish javob sifatini pasaytiradi, demak qisqartirish ham o’lchov bilan.

Topshiriq

Topshiriq — darajangizni tanlang

Asos5–7-sinfMustahkam8–9-sinfChuqur10–11-sinf

Asos · 5–7-sinf — Vizual va aniq ko'rsatmali

Uchta o’zbekcha jumla yozing va har birida so’zlarni sanang. Keyin har so’zni “o’zak + qo’shimchalar” ga ajratib, bo’laklar sonini hisoblang. Qaysi jumlada bo’lak soni so’z sonidan eng ko’p oshdi?

Mustahkam · 8–9-sinf — Matnli masala, o'zingiz tuzasiz

Bitta so’rovni ikki xil yozing: uzun (100 so’zdan ko’p) va qisqa (25 so’zgacha), lekin ikkalasida ham kerakli shart saqlanib qolsin. Ikkalasining bo’lak sonini hisoblab, jadval tuzing va xulosa yozing: qaysi qismni qisqartirish javobga zarar qilmadi?

Chuqur · 10–11-sinf — Algoritmik, chegara holatlari bilan

O’zbekcha matnning token narxi haqida bitta o’lchov o’ylab toping: qanday qilib bu narxni tekshirib bo’ladi? Keyin uchta tavsiya yozing — o’zbek tilida so’rov yozganda tokenni tejash yo’llari. Har tavsiyaga qarshi dalil ham toping: bu tejash qayerda javob sifatini pasaytiradi?

Ko’proq o’rganish

Tiktokenizer

tiktokenizer.vercel.app~10 daqiqaingliz tilida

Matnni haqiqiy tokenlovchi bilan bo’lib ko’rsatadigan sahifa. O’zbekcha jumla yozib, token sonini o’zingiz o’lchang.

24 soat ichida

~15 daqiqaoson

Bugun Tiktokenizer sahifasiga bir xil ma’noli ikki jumlani kiriting: bittasi o’zbekcha, bittasi inglizcha. Ikki token sonini va so’z sonini yozib oling, nisbatni hisoblang. Natijani AI Jurnaliga yozing va sinfdoshingizga bitta savol bering: bir xil ish uchun kim ko’p to’laydi?

Darsni belgilash uchun JavaScript kerak. Bu progressni saqlash uchun ishlatiladi — darslikning o'zi JavaScript'siz ham to'liq o'qiladi.

Darsni tugatdim