СБОР ТЕКСТОВЫХ ДАННЫХ С ВЕБ-САЙТОВ ДЛЯ ЯЗЫКОВ С ОГРАНИЧЕННЫМИ РЕСУРСАМИ - Утеулиев, Ниетбай Утеулиевич; Абдалиева, Гулистан Рафиковна; Калмуратов, Бекбос Кушкинбаевич; Асенбаева, Даллорис Адилбаевна (НАУКА и ОБЩЕСТВО, 2026)
Статья посвящена автоматическому сбору текстовых данных с веб-сайтов для языков с ограниченными ресурсами на примере каракалпакского языка. В исследовании с помощью Python, Requests и BeautifulSoup была разработана методология сбора текстов статей с порталов kknews.uz, yuz.uz и joqargikenes.uz. В результате были проанализированы 1 386 навигационных страниц и сформирована первичная необработанная текстовая база, включающая 18 784 статьи и 6 090 553 слова. Данный первичный необработанный корпус после дальнейшей предварительной обработки может быть использован как начальный ресурс при разработке NLP-систем, машинного перевода и трансформерных моделей для каракалпакского языка.
Keywords: каракалпакский язык; веб-скрейпинг; электронный корпус; языки с ограниченными ресурсами; NLP