ОБРАБОТКА ЕСТЕСТВЕННОГО ЯЗЫКА (NLP) И АНАЛИЗ ТОНАЛЬНОСТИ
DOI:
https://doi.org/10.5281/zenodo.20325187Ключевые слова:
NLP, обработка естественного языка, компьютерная лингвистика, машинное обучение, transformer, машинный перевод, анализ тональности.Аннотация
В данной статье рассматриваются теоретические основы, основные понятия и практические области применения обработки естественного языка (Natural Language Processing – NLP). NLP, как интегративное направление искусственного интеллекта и компьютерной лингвистики, направлено на решение задач автоматического анализа, понимания и генерации текста и речи. В статье обобщаются типичные задачи NLP, включая токенизацию, лемматизацию, морфологический и синтаксический анализ, распознавание именованных сущностей, анализ тональности, машинный перевод, системы вопросов и ответов, а также автоматическое реферирование текста. Кроме того, анализируются тенденции развития от классических подходов до современных методов глубокого обучения (deep learning) и архитектур transformer, а также значение NLP-решений в образовании, медицине, банковско-финансовой сфере, медиамониторинге, call-центрах и государственных услугах. В результате исследования обосновывается необходимость учета качества данных, языковых ресурсов, этических вопросов и требований безопасности при внедрении технологий NLP.Библиографические ссылки
Jurafsky D., Martin J. H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. – 3rd ed. – Draft version. – Stanford : Stanford University, 2023. – 716 p.[1:12]
Manning C. D., Schütze H. Foundations of Statistical Natural Language Processing. – Cambridge : MIT Press, 1999. – 680 p.[7:15]
Bird S., Klein E., Loper E. Natural Language Processing with Python. – Sebastopol : O‘Reilly Media, 2009. – 504 p.
Goodfellow I., Bengio Y., Courville A. Deep Learning. – Cambridge : MIT Press, 2016. – 775 p.[5:60]
Vaswani A., Shazeer N., Parmar N., et al. Attention Is All You Need // Advances in Neural Information Processing Systems (NeurIPS). – 2017. – Vol. 30. – P. 5998–6008.[4:120]
Devlin J., Chang M. W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // Proceedings of NAACL-HLT. – 2019. – P. 4171–4186.[1:78]
Goldberg Y. Neural Network Methods in Natural Language Processing. – San Rafael : Morgan & Claypool Publishers, 2017. – 309 p.[7:210]
Загрузки
Опубликован
Выпуск
Раздел
Лицензия
Copyright (c) 2026 Innovative Academy RSC
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Как цитировать
