OILAVIY DISKURSNI NLP TEXNOLOGIYALARI ASOSIDA MODELLASHTIRISH

Annotatsiya

ushbu tezisda oilaviy diskursni nlp texnologiyalari asosida modellashtirish xususida tadqiq etilgan. Oila diskursi korpusini shakllantirish va uni keyingi lingvistik tahlilga tayyorlash jarayoni korpusni oldindan qayta ishlash bilan bog’liq usullarni qamrab oladi. Ular sarasiga: tokenizatsiya dialog matnlarini alohida so’z va tokenlarga ajratish, lemmatizatsiya so’zlarning lug’aviy shaklini aniqlash, morfologik va sintaktik tahlil esa so’z turkumlari hamda gaplarning grammatik tuzilishini belgilash kabi vazifalarni o’z ichiga oladi. Shuningdek, nomlangan obyektlarni aniqlash (Named Entity Recognition – NER) yordamida matnda uchraydigan shaxs nomlari, joy nomlari va boshqa nomlangan birliklar alohida qilib yoritib berilgan.