Классификация текстов

@Rodmistar · Регистрация: 07.05.2014

Студворк — интернет-сервис помощи студентам

Привет всем, подскажите пожалуйста, как и с чего начать для построения классификатора текста, то есть я я хочу разделить на два класса, является ли статья научной или нет ?

@Zedta · 26.01.2018, 16:39

Копай machine learning, там это стандартная задача

@Rodmistar · 30.01.2018, 16:46 **[ТС]**

Привет ещё раз, я так понимаю, чтобы реализовать такую задачу надо составить корпус слов....а что дальше?

Добавлено через 23 секунды
Вот сделал я словарь уникальных слов, в нормальной форме

@passant · 31.01.2018, 15:36

Сообщение от Rodmistar

Привет ещё раз, я так понимаю, чтобы реализовать такую задачу надо составить корпус слов....а что дальше?

А дальше, как и сказали применяется один из методов классификации или кластеризации. Какой именно - зависит от особенности задачи. "Копать" как и посоветовали - в сторону machine learning, основные разделы в внутри его - я указал выше. И да, есть куча книг-учебников по анализу текстов. А во многих книгах по machine learning отдельные разделы посвящены этой теме. Только вот разделы это практически последние в таких книгах, т.е. сначала изучаем методы ML, а уж потом их применяем для анализа текста.
Удачи.

@alex white · 31.01.2018, 21:11

На классификацию категорий текста хорошо наивный Байес ложится. Но это не значит, что нужно обо всем другом забыть. Распространённые библиотеки позволяют достаточно легко экспериментировать с разными методами классификации и сравнивать результаты.

Новые блоги и статьи Все статьи Все блоги /
Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .

@Rodmistar 4 / 4 / 2 Регистрация: 07.05.2014 Сообщений: 489

	Классификация текстов 26.01.2018, 16:36. Показов 2536. Ответов 4 Метки нет (Все метки) Привет всем, подскажите пожалуйста, как и с чего начать для построения классификатора текста, то есть я я хочу разделить на два класса, является ли статья научной или нет ? 0

@Zedta 97 / 97 / 38 Регистрация: 30.11.2017 Сообщений: 180
	26.01.2018, 16:39
	Копай machine learning, там это стандартная задача 0

@Rodmistar 4 / 4 / 2 Регистрация: 07.05.2014 Сообщений: 489
	30.01.2018, 16:46 [ТС]
	Привет ещё раз, я так понимаю, чтобы реализовать такую задачу надо составить корпус слов....а что дальше? Добавлено через 23 секунды Вот сделал я словарь уникальных слов, в нормальной форме 0

@alex white 277 / 226 / 93 Регистрация: 27.06.2016 Сообщений: 639
	31.01.2018, 21:11
	На классификацию категорий текста хорошо наивный Байес ложится. Но это не значит, что нужно обо всем другом забыть. Распространённые библиотеки позволяют достаточно легко экспериментировать с разными методами классификации и сравнивать результаты. 0