ФОРМАЛЬНЫЕ МЕТОДЫ ОПРЕДЕЛЕНИЯ СЕМАНТИЧЕСКОГО ПОДОБИЯ ПРИ ОБРАБОТКЕ ЕСТЕСТВЕННОГО ЯЗЫКА

Авторы

  • Абдуллаев Элмурод Зайлобидинович

    Andijan State University image/svg+xml

Ключевые слова: обработка естественного языка, семантическое сходство, формальные методы, векторное представление, алгоритмический анализ

Аннотация

В статье рассматриваются формальные методы определения семантического сходства в обработке естественного языка. Понятие семантического сходства анализируется с позиций математических и алгоритмических моделей, включая векторные, вероятностные и графовые подходы. Разрабатываются формальные критерии оценки семантического сходства и обосновывается их связь с обобщающей способностью и вычислительными свойствами алгоритмов NLP. Полученные результаты могут быть использованы для теоретической оценки и совершенствования алгоритмов обработки естественного языка.

Библиографические ссылки

1. Salton G. Automatic Text Processing: The Transformation, Analysis, and Retrieval of Information by Computer. Reading (MA): Addison-Wesley, 1989.

2. Jurafsky D., Martin J.H. Speech and Language Processing. 3rd ed. – Pearson Education, 2023.

3. Mikolov T., Chen K., Corrado G., Dean J. Distributed Representations of Words and Phrases and their Compositionality. // Advances in Neural Information Processing Systems. 2013. Vol. 26. – P. 3111-3119.

4. Goldberg Y. Neural Network Methods for Natural Language Processing. – San Rafael (CA): – Morgan & Claypool Publishers, 2017.

5. Fellbaum C. (Ed.) WordNet: An Electronic Lexical Database. – Cambridge (MA): MIT Press, 1998.

6. Vapnik V. N. Statistical Learning Theory. – New York: Wiley-Interscience, 1998.

7. Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. 2nd ed. – Cambridge (MA): MIT Press, 2018.

8. Bishop C. M. Pattern Recognition and Machine Learning. – New York: Springer, 2006.

9. Manning C. D., Raghavan P., Schütze H. Introduction to Information Retrieval. – Cambridge: Cambridge University Press, 2008.

10. Cover T. M., Thomas J. A. Elements of Information Theory. 2nd ed. – Hoboken (NJ): Wiley-Interscience, 2006.

11. Bousquet O., Elisseeff A. Stability and Generalization. // Journal of Machine Learning Research. Vol. 2, 2002. – P. 499-526.

Zhang T. Statistical Behavior and Consistency of Classification Methods. // Annals of Statistics. Vol. 32, №1, 2004. – P. 56-134.