KAM RESURSLI TILLAR UChUN VEB-SAYTLARDAN MATNLI MA’LUMOTLARNI YIGʻISh - Uteuliev, Nietbay Uteulievich; Abdalieva, Gulistan Rafikovna; Kalmuratov, Bekbos Kushkinbaevich; Asenbaeva, Dalloris Adilbay qizi (SCIENCE and SOCIETY, 2026)
Maqola kam resursli tillar uchun veb-saytlardan matnli ma’lumotlarni avtomatik yigʻish masalasiga bagʻishlangan boʻlib, qoraqalpoq tili misolida koʻrib chiqiladi. Tadqiqotda Python dasturlash tili, Requests va BeautifulSoup kutubxonalari yordamida kknews.uz, yuz.uz va joqargikenes.uz portallaridan maqola matnlarini yigʻish metodologiyasi ishlab chiqildi. Natijada 1 386 ta navigatsiya sahifasi tahlil qilinib, 18 784 ta maqola va 6 090 553 ta soʻzdan iborat birlamchi xom matnlar bazasi shakllantirildi. Ushbu dastlabki xom korpus kelgusida preprocessing bosqichlaridan oʻtkazilib, qoraqalpoq tili uchun NLP tizimlari, mashinali tarjima va Transformer modellarini yaratishda boshlangʻich manba sifatida xizmat qilishi mumkin.