@TrustNo1

Стоит задача посчитать количество уникальных слов, которые использовали русские писатели и разделить их по частям речи.

В итоге должно получится так:
Глаголов 51264684 шт.
Прилагательных 56487787 шт.

Вопросы:
1) как организовать базу данных, чтобы поиск совпадений слов занимал минимальное количество времени?
2) как отличить словоформы? (например: слова "писатель" и "писателем" - это одно и тоже слово, два раза записывать его не имеет смысла, потому что нужны только уникальные слова).
3) может есть уже готовые базы данных со словами и словоформами (а еще лучше с синонимами), чтобы я мог посмотреть как у них организована структура? дайте ссылку, где можно скачать

_

Лучшее, что я смог придумать, это создать отдельную таблицу для каждой части речи, и в ней первая строка - это мог бы быть префикс в виде буквы, чтобы было проще искать.
Например так:

Таблица "Глаголы"
ID:1 | word_prefix: л | word: лететь | root: лет | wordforms: -еть, -ать, -ят

Первый индекс по word_prefix, второй по word. Должно же быстро работать?
Но в одной только книжке Война и Мир 500 тыс слов. А что будет, если я загружу в базу 1000 книжек? Поиск станет очень медленным.

Посоветуйте, пожалуйста, как организовать базу

0

@полудух

ставьте postgresql и юзайте их full text search

0

@TrustNo1

А чем он отличается от такого же поиска в mysql или другой базы данных? объясните, пожалуйста

0

@полудух

в mysql нет FTS

0

@TrustNo1

а это что тогда? https://dev.mysql.com/doc/refm... earch.html

0

@полудух

рукожопный закос

0

@TrustNo1

Понятненько

А по структуре таблицы посоветуете что-нибудь? Например как хранить 1 млрд слов так, чтобы можно было за 0,01 сек найти нужное?

0

@полудух

Для более точного определения количества слов в русском языке используются классические виды словарей. Чаще всего обращаются к таким видам собраний русскоязычных словоопределений: БАС – Большой Академический словарь насчитывает 131 257 слов. Словарь В. И. Даля – более 200 тысяч слов.

0

@TrustNo1

Ну я же не об этом спрашивал

Я хочу знать как сделать максимально быстрый поиск по таблице, если слов будет 1 млрд

0

@полудух

в таблицах принято мерить кол-вом строк, если вы говорите про слова, то ассоциации со словарём
делать как обычно: отдельную индексированную колонку под tsvector, индексы (GIN/GiST), разбивать на актуальные/неактуальные данные, анализировать explain analyze и править архитектуру/запросы
остальное сам FTS сделает

0