Разработка и оптимизация поискового алгоритма

Доброго времени суток.
У меня есть куча файлов, в каждом файле по 1 статье. Именем файла является id стать. Я индексирую каждую статью, разбивая ее на слова, и заношу в хэш таблицу с типом цепочка. Слово является ключом, а id статей, в которых встречается это слово, хранимыми данными. Я ввожу некое одно слово ("цветок"), происходит расчет ключа и я получаю id статей, где содержится это слово. Все просто. Основная проблема (то, что я не могу понять), как все это обыграть, когда я ввел "цветок ромашка". Получается, в вверху выдачи должны быть статьи, где встречаются эти 2 слова(их взаимное расположение относительно друг друга тоже хотелось бы учесть, если это возможно), потом 1 (тут тоже я не знаю), а потом 2. Алгоритм сразу усложняется в примерно в раза 2 (очень важно время поиска). Когда мы нашли статьи с одним словом, потом с другим, придется смотреть по id в каких статьях встречаются сразу 2 слова, а если мы введем целое предложение? То это займет массу времени.
Надеюсь на Ваши подсказки по данной проблеме. Спасибо.

Добавлено через 12 часов 56 минут
Есть кто в теме?

0

Допилить - распараллелить. Переделать - изменить алгоритм выборки в базу данных не только по словам, но и по словосочетаниям, предложениям. Разработать хеш функцию, дающую один результат вне зависимости от порядка следования слов. Например hash("John Smith") == hash(hash("John") + hash("Smith")). Сложнее будет разбивать текст на смысловые последовательности, но это уже твоя головная боль.

0