Автоматическая кластеризация текстов

Сижу тут, думаю об алгоритме автоматической кластеризации текстов... но без тематических словарей и без предустановленных возможных названий кластера.

То есть у меня есть некий текст, величиной x*1000 символов, и мне, применив к нему получившийся алгоритм, необходимо выделить название кластера, под который бы подходил текст.

В алгоритм я уже включил:
1) Статистический анализ + небольшая предварительная подготовка текста (повторяемость слов и словоформ, выделение предложений, исключение "стоп-слов" - предлоги, междометия и т.д., исключение глаголов.)
2) Распознавания вида текста по КЛР (коэффициенту лексического разнообразия) и средней длине слов.
3) Составление морфологического словаря - словаря 1го уровня.
4) Составление словаря корневых слов и устойчивых словосочетаний - словаря 2го уровня.
5) Составление преренормированного словаря на основе встречаемости слов в предложении попарно. Увеличение веса слова или словосочетания происходит за счет связи с соседними словами, пропорционально весу соседних слов. Таким образом можно вычислить слова и словосочетания, стягивающие на себя наибольшую смысловую нагрузку. Так мы получаем словарь 3го уровня.
6) Как вариант, по принципу автореферирования выделить наиболее весомые предложения и применить для них пункты 1, 3, 4, 5 заново.
7) На основе словаря 3го уровня выделить название кластера, к которому относится данный текст.

Пока это все, что я смог надумать.. Может у кого-нибудь есть интересные идеи на эту тему? Может кто-то работал или интересовался в этом направлении? Буду искренне благодарен за советы.)

0

Хм. Все Ваши навороты - скорее всего имеют смысл только для задачи называния кластера.
А автоматическую классификацию можно делать и после шага 1 - вернее, на построенных по "отнормализованным" (без стоп-слов и прочего, с коррекцией времён и единственных/множественных чисел) текстам частотных словарях.
По крайней мере, так очень хорошо можно было раскидывать патентные тексты (которые более-менее формальны, т.е. могут мало отличаться по признакам типа средней длины предложения) на тематические группы (просто в патентной классификации есть такие коды/рубрики, где действительно содержатся патенты из разных тем или областей науки). Ну и новостные тексты - тоже по темам разделялись хорошо (журналюг обычно начальство дрессирует под более-менее одинаковый корпоративный стиль написания новостей). А вот обозвать полученные кластера - это да, задача.

0

У меня сейчас основная проблема и заключается в автоматическом назывании кластеров.

Для меня пока неразрешимая проблема - как работать автоматически с художественными текстами... Ведь заставить алгоритм выдать кластер "описание природы" не так-то просто, мне кажется. На ум приходили уже и варианты со словарями синонимов, и словарями морфем, и, даже, толковый словарь Даля вспомнил..

0