Классификация текстов

Привет всем!
Заинтересовался темой обработки текстов, а в частности классификацией/кластеризацией.
В большинстве примеров решения подобных задач на вход классификатора (в реальном времени) подают какой-то стек текстов, обучают модель и затем подсовывают новый документ, чтобы предсказать к какой группе отнести текст/найти процент сходства.

Перед постановкой вопроса попробую описать свою задачу:
Есть набор текстов (допустим худ. литература), этих текстов достаточно много. По факту, этот материал можно использовать для модели "с учителем".
Сама задача состоит в определении принадлежности новых документов к худ. литературе. (применять собираюсь sklearn)

Как я понимаю, можно поступить как минимум двумя способами:

Способ 1
Тупо кластеризовать какой-то значительный объем новых документов, чтобы (допустим с помощью k-means) выделить группы схожих текстов и потом уже в ручном режиме посмотреть эти кластеры, чтобы принять решение о группировке с уже имеющейся базой книг.

Способ 2
Обучить модель на уже имеющихся книгах и на основе этого принимать решение для каждого нового документа/группы
Как в таком случае обучить модель на большом объеме данных (более 1 млн. книг), сохранить конфигурацию этой модели и потом применять для новых документов?

Что посоветуете? Может кто-то уже решал подобные задачи?
Заранее спасибо!

0

Сообщение от monahoff стек текстов,

Хм, вы уверены, что именно "стек"? Или так, ради красивого словца?

Сообщение от monahoff обучают модель и затем подсовывают новый документ, чтобы предсказать к какой группе отнести текст/найти процент сходства.

Да, именно так, оба приведенных вами "способа" вполне укладываются в эту схему.

Сообщение от monahoff Сама задача состоит в определении принадлежности новых документов к худ. литературе. (применять собираюсь sklearn)

Уточняю. Определяем принадлежность к художественной литературе, а если не подтверждается - то к какой? Просто вот это "к какой" может быть разным, например - у вас есть "техническая", "юридическая", "медицинская" и пр, и разница между "художественной" и - например - "научно-популярной" может оказаться на много меньше, чем между разными образчиками "художественной"

Сообщение от monahoff Как я понимаю, можно поступить как минимум двумя способами:

Оба варианта имеют право на жизнь. Классификацию применяют, когда есть размеченный набор учебных данных. Для разметки можно использовать китайцев :-). Я серьезно, в Китае есть фирмы, специализирующиеся на разметке наборов данных для последующего обучения по ним систем ML. И те наборы лиц, текстов, звуков и пр, на которых обучают сегодня нейросети именно так и созданы.
Кластеризация - помимо других прикладных задач - решает и задачу, "а что делать, если денег заплатить китайцам нет". Т.е. она в принципе может решить как-то задачу разметки. Понятно, что качество будет хуже, чем при ручной разметке, но зато дешевле и быстрее. Иногда этого достаточно. Ну и интерпретировать результат придется самому.

Оба подхода имеют право на существование. Что применять - выбирать вам. Примеры в сети имеются, можно погуглить. Но разделение на "художественную" и прочую литературу задача, конечно, надуманная и мало кому интересная. Гораздо чаще задачу используют,например, информационные агенства, которые уже давно научились автоматически относить текст к той или иной рубрике. При кажущейся несерьезности задача позволяет им (информагенствам) экономить существенные деньги на выполнении работы, которые ранее выполнялись целыми отделами людей. Ищите в этом направлении.

0

Сообщение от passant Сама задача состоит в определении принадлежности новых документов к худ. литературе

Оба подхода будут так или иначе ошибочно относить к художественным тексты других жанров\направлений. Так как граница очень тонкая, о чем вам уже написали.
Хороший датасет размеченных данных (для классификации) способен, конечно, сильно повысить точность.
Но вручную размечать довольно непросто.
Хотя, можно и нарыть какой-нить интернет ресурс с книгами и выпарсить его - при наличии уже готовой разметки\рубрикации на сайте получаем размеченный датасет...
Ну или все-таки нанять гастарбайтеров :-) как предложили выше.

Вот у меня обученная по размеченным данным модель K-NN (ближайших соседей) определяла новые документы вот так:
Вроде все точно. За исключением того, что Novaia bibleiskaia entciclopediia.txt это на самом деле художественная книжка в стиле Нового завета.
Но если начать моей модели скармливать реально большое кол-во текстов для предсказания - думаю будет все гораздо хуже, так как обучающий датасет был игрушечным.

Сообщение от monahoff обучить модель на большом объеме данных (более 1 млн. книг)

Вы себе уже представили сколько у вас уйдет времени на предварительную программную обработку текстов?
Это, кстати, самая важная задача в ML - подготовить данные.
В случае текстов обработка это создание bag of words: токенизация (вариантов как именно - масса), нормализация(канонизация токенов до нормальной словарной формы), удаление стоп-слов и прочего мусора, и, наконец, векторизация списков слов в вектора чиселок.
Для миллиона документов, где каждый это целая книга, это весьма долгоиграющий процесс.

А ведь вектор еще и в ОЗУ должен поместиться, чтобы модель смогла с ним работать. Хотя, какие-то модели в sklearn вроде позволяют работать с батчами данных (кроме алгоритмов которым нужна матрица попарных расстояний между объектами) - не пробовал пока.

Сообщение от monahoff сохранить конфигурацию этой модели и потом применять для новых документов?

pickle или любой другой способ сериализации обученной модели и мешков слов.

1

Добавлено через 9 минут

Сообщение от Garry Galler pickle или любой другой способ сериализации обученной модели и мешков слов

с этим понял!

Сообщение от Garry Galler Вы себе уже представили сколько у вас уйдет времени на предварительную программную обработку текстов?

я хочу сделать выборочное обучение, то есть я определенно знаю книги по "темам" (размеченный датасет): про войну, романы, приключения..и хочу взять из каждой группы часть книг, весь лям потрошить не вижу смысла, только бы понять какой процент брать (хотя все это видимо чисто экспериментально)

0

Сообщение от monahoff Только бы понять какой процент брать

Для классификации у вас должны быть размечены по условным жанрам все документы. Какой процент брать от всей вашей коллекции я вам сказать не могу, главное чтобы число книг в каждой подгруппе было равномерным, без перекосов. Попробуйте для начала на небольшой выборке, скажем в 1000 книг, где при наличии, к примеру 10 групп, в каждой будет по 100 представителей своего жанра. Если сможете написать правильный код для обработки этих данных - далее будет несложным построить модель и по большей выборке. Скормить готовый (и векторизованный) bag-of-words классификатору дело нехитрое и несколько строк. А вот создать его - совсем другой вопрос.

0