Статистический анализ текстов, классификация текстов

Доброго времени суток, дорогие знатоки!
Возникла передо мной задача, идеи по решению есть, но костыльные, хотелось бы узнать мнение экспертов и понять в правильном ли направлении я движусь.
Задача:
Даны две кучи текстовых документов, каждый из которых содержит в себе новостную статью. Две кучи это два класса, на которые я буду классифицировать тексты в будущем. Класс 1 = 1, класс 2 = 2.
Необходимо построить классификатор, который на основе данных выборок будет обучаться и делать вывод о принадлежности поступающей на вход статьи к тому или иному классу. То есть я учу его на основе данных куч текстовиков, а потом на вход подаю другой документ, содержащий некий текст и он должен определить класс 1 это или 2.
Преподаватель подсказал, что следует идти в направлении частоты появления ключевых слов того или иного класса в классифицируемом тексте. То есть взять 10 слов к примеру, самых значимых в классе 1 и 10 самых значимых и часто встречающихся в классе 2. Ввести какое-то пороговое значение, относительно которого классификатор будет принимать решение.
Что уже сделано:
Все статьи из отдельных TXT файлов перенесены в один большой DataFrame pandas, а затем сохранены в .cvs файлы. Два файла по каждому классу и олин общий. (на всякий случай) В этих файлах уже удалены стоп-слова и знаки препинания, а все слова преобразованы в единый вид: все буквы строчные. Получены облака слов. (файлы прикрепленные к теме).
ВОПРОСЫ:
Догадываюсь, что нужно определить значимость самых популярных N слов, определить статистику их появления в каждом классе, а может в обоих классах сразу.
1. В каждом отдельно или в обоих сразу?
2. Как получить статистику слов? (желательно хотя бы методы, библиотеки, теоретический материал на эту тему)
2.1. Методом регулярных выражений, может быть Наивный Байес, или К ближайших соседей?
3. Как лучше провести анализ входного текста и каким методом?
4. Какие советы могут дать опытные программисты в этой теме? Буду рад хорошей литературе.

НАДЕЮСЬ НА ВАШУ ПОМОЩЬ, УВЕРЕН МНОГИЕ УЖЕ СТАЛКИВАЛИСЬ С ТАКОЙ ЗАДАЧЕЙ!
СПАСИБО ЗА ВНИМАНИЕ И ПОНИМАНИЕ!

Миниатюры

   

0