@robotnic

Здравствуйте,
У меня есть данные, которые собирает скрипт с разных сайтов.
Данные представляют из себя папки в каждой из которых лежит файл, несколько фото, текстовый файл и несколько файлов с различными ссылками.
Для того, чтобы не было повторов и двойных скачиваний у меня есть тестовый файл со списком уже посещенных ссылок на эти данные. Каждый раз при запуске скрипта из этого файле берутся все ссылки и сверяются с рабочей ссылкой. Если таковая уже есть, то скрипт останавливается.

Долго такая жизнь продолжаться не может. Файл с посещенными ссылками растет и, рано или поздно, будет невозможно большим.
Я хочу построить базу данных, чтобы обращаться не к файлу, а к таблице. Есть вопрос по архитектуре.
Для ускорения индексинга, надо ли мне все свойства данных из папок иметь в одной большой таблице или правильно будет иметь отдельную таблицу со списком посещенных ссылок и связанные с этим другие таблицы с другими свойствами данных?
Еще вопрос. Текстовую информацию правильнее держать в самой базе или в виде ссылки на файл?
Заранее спасибо за ответ.

0