Oʻzbek tili spetsifikatsiyasining etalon tatbiqi · ULS 1.0.0 · 1-daraja
Oʻzbek matnini normallashtiradi, xatoliklarini tuzatadi va sifatini oʻlchaydi
Hujjatni yuklaysiz. TilSifat uni oʻn bosqichdan oʻtkazadi: xatoliklar tuzatiladi, sifat oʻlchanadi. Natija — Maʼlumotlar pasporti va AI uchun tayyor toʻplam.
Har bir bosqich nima oʻzgarganini yozib boradi. Taxmin qilinmaydi.
Bitta misol
Oldin
0'zbeklston
'U+0027
Keyin
Oʻzbekiston
ʻU+02BB
- bosqich
- 13bosqich
- kirish formati
- 8kirish formati
- sifat oʻlchami
- 9sifat oʻlchami
- eksport formati
- 5eksport formati
Qabul qilinadi: PDF · DOCX · TXT · HTML · CSV · JSON · XML · Markdown
Oʻzbek matni AI uchun tayyor emas
Muammo matnning kamligida emas — uning bir xil emasligida.
Bir tovush, toʻrt belgi
Bir tovushni toʻrt xil belgi bilan yozishadi. Ular ekranda bir xil koʻrinadi, lekin boshqacha kodlanadi — qidiruv ham, tokenlarga ajratish ham buziladi.
Har kim oʻzicha tozalaydi
Har bir jamoa oʻz skriptini yozadi. Natijada ikkita korpusni solishtirib boʻlmaydi va bir xil ish qayta-qayta bajariladi.
Sifatni oʻlchaydigan meʼyor yoʻq
Korpus yaxshimi yoki yomonmi — buni aytadigan umumiy oʻlchov mavjud emas edi.
TilSifat shu uchta muammoni bitta pipeline bilan hal qiladi.
Hujjat qanday yoʻl bosadi
Oʻn uchta bosqich belgilangan. Standart pipeline ularning oʻntasini ishga tushiradi: yuklash va tekshirish undan oldin bajariladi, eksport esa talab boʻyicha.
Pipeline boshlanishidan oldin
Yuklash
Fayl qabul qilinadi va saqlanadi.
Tekshirish
Format, hajm va butunlik tekshiriladi. Shubhali arxiv karantinga tushadi.
Pipeline ichida
Matn ajratish
Fayldan matn va tuzilma olinadi.
Artefakt: Xom matn
Normallashtirish
Unicode, imlo belgilari, boʻshliq va tinish belgilari bir meʼyorga keltiriladi.
Artefakt: Normallashtirilgan matn
Tozalash
OCR xatoliklari, sahifa artefaktlari va koʻchirilgan defis tuzatiladi.
Artefakt: Tozalangan matn
Til aniqlash
Til, yozuv va aralash belgili soʻzlar oʻlchanadi.
Artefakt: Til profili
Metamaʼlumot
Sarlavha, muallif, sana va manba — har biri qayerdan kelgani bilan.
Artefakt: Hujjat metamaʼlumoti
Takrorlarni aniqlash
Bir xil hujjatlar guruhlanadi. Hech narsa oʻchirilmaydi.
Artefakt: Takrorlar hisoboti
RAG boʼlaklari
Matn sarlavha yoʻli va kesishuvi bilan boʻlaklarga ajratiladi.
Artefakt: RAG boʻlaklari
Sifat bahosi
Toʻqqizta oʻlcham va har birining qamrovi hisoblanadi.
Artefakt: Sifat hisoboti
Toʼplam pasporti
Sifat, ishonch va tayyorlik alohida qayd etiladi.
Artefakt: Maʼlumotlar toʻplami pasporti
SFT toʼplami
Hujjat boʻlimlaridan koʻrsatma-javob juftliklari tuziladi.
Artefakt: SFT toʻplami
Talab boʻyicha
Eksport
Tanlangan formatda korpus va uning manifesti yoziladi.
Artefakt: Eksport fayllari
Har bir bosqich oʻzgarmas artefakt yozadi. Har bir artefakt SHA-256 bilan tekshiriladi va oʻzidan oldingisiga bogʻlanadi — shuning uchun natijani boshidan oxirigacha kuzatish mumkin.
Oldin va keyin
Quyidagi misollar sinov korpusiga ataylab kiritilgan nuqsonlar. Ular test bilan tekshiriladi — koʻrsatish uchun tanlab olinmagan.
Oldin
Ta’lim tizimida sun’iy intellekt
Keyin
Taʼlim tizimida sunʼiy intellekt
UTF-8 matn boshqa kodlash sifatida oʻqilgan va qayta yozilgan. Tutuq belgisi oʻrniga uchta begona belgi paydo boʻlgan.
Oldin
Ta' Iim vazirligi Ma' n o va Sun' iy
Keyin
Taʼlim vazirligi Maʼno va Sunʼiy
Tanish dasturi nol raqamini O harfi deb, bosh I harfini kichik l deb oʻqigan va soʻzlarni boʻlib yuborgan.
Oldin
hisob- lanadi
Keyin
hisoblanadi
Satr oxiridagi defis — soʻzning qismi emas, sahifa tartibining izi. Soʻz qayta birlashtiriladi.
Oldin
umumma'lum
Keyin
umumma'lum
Lugʻat bu soʻzni tanimadi. Matn oʻzgartirilmadi va ogohlantirish yozildi — ikkala tomon ataylab bir xil.
Toʻrtinchisi eng muhimi. Lugʻat soʻzni tanimasa, TilSifat matnni oʻzgarishsiz qoldiradi va ogohlantirish yozadi. Taxmin bilan tuzatilgan xatolikni keyin hech kim topa olmaydi.
Ikkita belgi, ikkita maʼno
Oʻzbek lotin yozuvida ikkita belgi bor. Ular deyarli bir xil koʻrinadi va butunlay boshqa vazifani bajaradi. Haqiqiy matnda esa koʻpincha ikkalasi ham emas, uchinchi bir belgi yoziladi.
Matnda uchraydigan belgilar
- '
U+0027 - ‘
U+2018 - ’
U+2019 - `
U+0060
Toʻgʻri belgilar
- ʻ
U+02BBoʻ va gʻ harflarining qismiOʻzbekiston - ʼ
U+02BCTutuq belgisimaʼlumot
Uch qoida, shu tartibda
Oʻrin boʻyicha
o yoki g harfidan keyingi belgi har doim harf qismi boʻladi.
Lugʻat boʻyicha
Qolgan holatlarda lugʻat qaraladi.
Javob boʻlmasa
Matn oʻzgartirilmaydi, ogohlantirish yoziladi. Taxmin qilinmaydi.
Lugʻatda hozircha 240 ta soʻz bor va u toʻliq emas. Uchinchi qoida shuning uchun kerak: lugʻat oʻsgani sayin natija yaxshilanadi, lekin hech qachon buzilmaydi.
Buzilgan matnni tuzatish
Kodlash
Notoʻgʻri kodlangan matn aniqlanadi va asl holiga qaytariladi. Bu bosqich matnni bir yozuvdan boshqasiga oʻgirmaydi — u faqat buzilgan kodlashni tuzatadi.
OCR
Tanish xatoliklari ikki darajada tuzatiladi. Bir belgilik chalkashliklar darhol taklif qilinadi; bir nechta belgini qamragan almashtirish esa faqat lugʻat natijani tasdiqlasa qoʻllanadi.
Masalan, rn koʻpincha m deb notoʻgʻri oʻqiladi. Lekin qorni, arna va zarnigor — haqiqiy oʻzbek soʻzlari. Shuning uchun bu almashtirish faqat lugʻat tasdiqlaganda qoʻllanadi.
TilSifat OCR dasturi emas
U rasmdan matn ajratmaydi. Matn qatlami bor faylni qabul qiladi va undagi tanish xatoliklarini tuzatadi. Matn qatlami boʻlmagan sof rasm nusxasini avval boshqa vosita bilan matnga oʻgirish kerak.
Nimalar bor
Har bir imkoniyat ishlaydigan bosqichga bogʻlangan. Rejalashtirilganlari alohida koʻrsatilgan.
Qabul
Yuklash va tekshirish
Format, hajm va butunlik tekshiriladi. Shubhali arxiv karantinga olinadi, oʻchirilmaydi.
Matn ajratish
Sakkizta format oilasidan matn va tuzilma olinadi.
Normallashtirish
Unicode normallashtirish
Belgilar bir meʼyorga keltiriladi va NFC shakliga oʻtkaziladi.
Imlo belgilari
Har bir belgi harf qismimi yoki tutuq belgisimi — oʻrin va lugʻat boʻyicha aniqlanadi.
Kodlash tuzatish
Buzilgan kodlash aniqlanadi va matn asl holiga qaytariladi.
OCR tozalash
Tanish xatoliklari lugʻat tasdigʻi bilan tuzatiladi.
Tahlil
Tuzilma aniqlash
Sarlavha, band, roʻyxat va jadval ajratiladi; sahifa artefaktlari olib tashlanadi.
Til aniqlash
Oʻzbek, rus, ingliz va aralash matn — yozuv taqsimoti bilan.
Metamaʼlumot
Har bir maydon qayerdan kelgani bilan yoziladi: berilgan, ajratilgan, hosil qilingan yoki taxmin qilingan.
Takrorlarni aniqlash
Bir xil hujjatlar guruhlanadi va hisobotga yoziladi. Hech narsa oʻchirilmaydi.
Yetkazish
RAG boʻlaklari
Sarlavha yoʻli, kesishuv va oʻrni bilan boʻlaklar.
SFT juftliklari
Hujjat boʻlimlaridan koʻrsatma-javob juftliklari tuziladi.
Sifat bahosi
Toʻqqizta oʻlcham, har biri qamrovi bilan.
Maʼlumotlar pasporti
Sifat, ishonch va tayyorlik alohida koʻrsatiladi.
Eksport
Besh format, uch toʻplam turi — manifest bilan.
Rejalashtirilgan
Transliteratsiya (lotin va kirill oʻrtasida), grammatikani normallashtirish, nomlangan obyektlarni ajratish, yaqin takrorlarni oʻlchash.
Nimani qabul qiladi, nimani qaytaradi
Kirish formatlari
- DOCX
- TXT
- HTML
- CSV
- JSON
- XML
- Markdown
Arxiv fayllari (ZIP) yuklanadi va tekshiriladi, lekin ichidagi hujjatlar hozircha ajratilmaydi.
Bitta fayl uchun chegara 100 MB, bitta maʼlumotlar toʻplami uchun 1 GB.
Chiqish formatlari
- JSONL
- Parquet
- CSV
- Matn
- Markdown
Toʻplam turlari
- Asosiy korpus
- Har bir yozuv — bitta hujjat: tozalangan matn, oʻlchangan til va provenansiyali metamaʼlumot.
- RAG boʻlaklari
- Har bir yozuv — bitta boʻlak: sarlavha yoʻli, kesishuv va oʻrni bilan. Faqat 12-bosqich ishlagan versiyalarda.
- SFT juftliklari
- Har bir yozuv — bitta koʻrsatma-javob suhbati. Faqat 13-bosqich ishlagan versiyalarda.
Sifat oʻlchanadi va qamrovi koʻrsatiladi
Har bir maʼlumotlar toʻplami Maʼlumotlar pasporti bilan chiqadi. Unda uchta narsa alohida yoziladi: sifat, ishonch va tayyorlik. Ular bitta raqamga birlashtirilmaydi.
Toʻqqizta oʻlcham
- Unicode sifati
- Kodlash sifati
- Boʻshliq sifati
- OCR sifati
- Tuzilma sifati
- Til sifati
- Metadata sifati
- Takrorlanmaslik
- Boʻlaklash sifati
Ishonch
Artefakt butunligi, manba versiyalari, litsenziya va xavfsizlik topilmalari — har biri alohida eʼtiroz sifatida yoziladi.
Tayyorlik
Beshta foydalanish yoʻnalishi uchun alohida baholanadi.
- Korpus oʻqitish
- RAG
- SFT
- Qidiruv indeksi
- Arxiv
Har bir baho yonida qamrov koʻrsatiladi. Oʻlchanmagan oʻlcham nolga tenglashtirilmaydi — u oʻlchanmagan, va pasport buni aytadi.
Kimlar uchun
AI muhandisi
- Vaziyat
- Model uchun oʻzbekcha korpus yigʻyapsiz, lekin manbalar har xil.
- Natija
- Bir xil normallashtirilgan korpus va uning sifat bahosi.
Maʼlumot muhandisi
- Vaziyat
- Har hafta yangi hujjatlar keladi va ularni qoʻlda tozalash kerak.
- Natija
- Takrorlanadigan pipeline: bir marta sozlanadi, har safar bir xil ishlaydi.
Raqamlashtirish mutaxassisi
- Vaziyat
- Arxiv hujjatlari raqamlashtirilgan, lekin matn sifati past.
- Natija
- Tuzatilgan matn va har bir oʻzgarish yozib borilgan hisobot.
Tadqiqotchi
- Vaziyat
- Ilmiy ish uchun korpus kerak va u qayta takrorlanadigan boʻlishi shart.
- Natija
- Versiyalangan maʼlumotlar toʻplami — manbasi va manifesti bilan.
TilSifat nima qilmaydi
- Model oʻrgatmaydi.
- Tarjima qilmaydi.
- Vektor bazasi emas.
- OCR dasturi emas — rasmdan matn ajratmaydi.
- Lotin va kirill oʻrtasida oʻgirmaydi.
- Yaqin takrorlarni oʻlchamaydi.
- Nomlangan obyektlarni ajratmaydi.
Buning evaziga: har bir bosqich almashtirilishi mumkin, har bir natija qayta takrorlanadi, va har bir daʼvo oʻlchangan.
Savollar
Yuklagan maʼlumotlarim model oʻqitish uchun ishlatiladimi?
Yoʻq. Platformaga birorta ham AI provayderi ulanmagan — barcha bosqichlar qoidaga asoslangan va bir xil kiritishga har doim bir xil natija beradi. Model oʻrgatish mahsulot chegarasidan tashqarida.
Fayllarim qayerda saqlanadi?
Obyekt xotirasida, zonalarga ajratilgan holda: kelgan fayllar, karantin, artefaktlar va eksportlar alohida turadi. Har bir artefakt SHA-256 bilan tekshiriladi va faqat sizning ish maydoningizdan koʻrinadi.
Qaysi formatlarni qabul qiladi?
PDF, DOCX, TXT, HTML, CSV, JSON, XML va Markdown. Arxiv fayllari yuklanadi, lekin ichidagi hujjatlar hozircha ajratilmaydi.
Kirill yozuvi bilan ishlaydimi?
Kirill matni aniqlanadi, til profilida qayd etiladi va aralash yozuvli soʻzlar sanaladi. Lekin lotin va kirill oʻrtasida oʻgirish hozircha yoʻq — u rejalashtirilgan.
Skanerdan oʻtgan PDF bilan ishlaydimi?
Matn qatlami bor PDF toʻliq ishlanadi va OCR xatoliklari tuzatiladi. Matn qatlami boʻlmagan sof rasm nusxasini avval boshqa vosita bilan matnga oʻgirish kerak.
Sifat qanday oʻlchanadi?
Toʻqqizta oʻlcham boʻyicha, har biri qamrovi bilan. Oʻlchanmagan oʻlcham nolga tenglashtirilmaydi. Natija Maʼlumotlar pasportida yoziladi.
API bormi?
Platforma ichida OpenAPI bilan tavsiflangan interfeys bor, lekin mijozlar uchun ochiq API va kalitlar hozircha yoʻq.
Ochiq kodlimi?
Platforma dasturi yopiq litsenziya ostida. Oʻzbek tili spetsifikatsiyasi va uning lugʻatlari esa Apache-2.0 ostida ochiq — chunki hech kim qoʻllay olmaydigan standart standart emas.
Bitta hujjat bilan boshlang
Fayl yuklash uchun hisob kerak: har bir fayl sizning shaxsiy ish maydoningizda saqlanadi va faqat sizga koʻrinadi.
Roʻyxatdan oʻtganingizda hisob va shaxsiy ish maydoni yaratiladi. Soʻng loyiha ochasiz, maʼlumotlar toʻplami yaratasiz va birinchi faylni yuklaysiz.