Kam resursli tillar uchun veb-saytlardan matnli ma’lumotlarni yig‘ish

Mualliflar

  • Nietbay Uteulievich Uteuliev

    Nukus davlat texnika universiteti

  • Gulistan Rafikovna Abdalieva

    Nukus davlat texnika universiteti

  • Bekbos Kushkinbaevich Kalmuratov

    Nukus davlat texnika universiteti

  • Dalloris Adilbay qizi Asenbaeva

    Tashkent University of Information Technology image/svg+xml

Kalit so‘zlar: qoraqalpoq tili, web scraping, elektron korpus, kam resursli tillar, NLP

Annotatsiya

Maqola kam resursli tillar uchun veb-saytlardan matnli ma’lumotlarni avtomatik yigʻish masalasiga bagʻishlangan boʻlib, qoraqalpoq tili misolida koʻrib chiqiladi. Tadqiqotda Python dasturlash tili, Requests va BeautifulSoup kutubxonalari yordamida kknews.uz, yuz.uz va joqargikenes.uz portallaridan maqola matnlarini yigʻish metodologiyasi ishlab chiqildi. Natijada 1 386 ta navigatsiya sahifasi tahlil qilinib, 18 784 ta maqola va 6 090 553 ta soʻzdan iborat birlamchi xom matnlar bazasi shakllantirildi. Ushbu dastlabki xom korpus kelgusida preprocessing bosqichlaridan oʻtkazilib, qoraqalpoq tili uchun NLP tizimlari, mashinali tarjima va Transformer modellarini yaratishda boshlangʻich manba sifatida xizmat qilishi mumkin.

Foydalanilgan adabiyotlar

1. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser Ł., Polosukhin I. Attention is All You Need. // Advances in Neural Information Processing Systems, 2017, 30. – Р. 5998-6008.

2. Devlin J., Chang M.W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. // arXiv preprint arXiv:1810.04805. 2018.

3. Joshi P., Santy S., Budhiraja R., Bali K., Choudhury M. The State and Fate of Linguistic Diversity in the NLP World. // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020. – Р. 6282-6293.

4. Linder L., Jungo M., Hennebert J., Musat C., Fischer A. Automatic Creation of Text Corpora for Low-Resource Languages from the Internet: The Case of Swiss German. Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020), 2020. – Р. 2706-2711.

5. Laippala V., Rönnqvist S., Hellström S., Luotolahti J., Repo L., Salmela A., Skantsi V., Pyysalo S. From Web Crawl to Clean Register-Annotated Corpora. Proceedings of the 12th Web as Corpus Workshop, 2020. – Р. 14-22.

6. Kahlon N.K., Singh W. Comparative Analysis of Web Scraping Tools for Low-Resource Language Text. // International Journal of Engineering Trends and Technology, 72(1), 2024. – Р. 284-299.