Есть эта статья об анализе настроений в арабском языке.
В начале страницы 5 написано, что:
«Эксперименты также показывают, что определение корней слов перед выделением признаков и классификацией почти всегда ухудшает результаты».
Позже на той же странице они заявляют, что:
"...и для образования корней слов используется арабский светлый стеммер"
Эм, я думал, что стеммер/лемматизатор всегда использовался перед классификацией текста, почему он говорит, что это ухудшает результаты?
Спасибо :)
Я не знаю арабского языка, возможно он специфичен во многих аспектах, мой ответ касается английского.
Хм, я думал, что стеммер/лемматизатор всегда использовался перед классификацией текста, почему он говорит, что это ухудшает результаты?
Нет, это полностью зависит от задачи. Если вы хотите извлечь какую-то общую концепцию из текста, то создание стемминга/лематизация — хороший шаг. Но при анализе коротких фрагментов, где ценно каждое слово, выделение корней просто уничтожает его значение. В частности, при анализе тональности стемминг может разрушить тональность слова.
