Парсинг сайтов

@mgaranov · Регистрация: 10.08.2015

Author24 — интернет-сервис помощи студентам

Добрый день, такая ситуация:

делаю парсер нескольких сайтов. парсю с помощью simple_html_dom.php

при открытии сайта берем с нескольких сайтов несколько страниц, потом выбираю оттуда нужную мне инфу и просто загоняю в массив.

т.е. вся нужная мне инфа хранится в массивах
типа:

PHP

$info=array();
foreach ($content as $temp){
          push_array($info,$temp->>innertext);
}

потом просто вывожу это где-то на странице.

вопрос:
чую нутром что что-то делаю не так. Получается при каждом открытии сайта идет куча запросов на сайты доноры. И все долго обрабатывается.
Может как-то иначе нужно поступать? хранить в базе данных и переодически обновлять её ?

как вообще это делают грамотные люди ?

@alexsamos33 · 27.08.2015, 07:28

Ну да. Можно для ускорения при первом запросе сохранить все данные у себя и при последующих запросах брать данные уже сохранённые. Потом через какое-то время опять заново сохранить...

@alexsamos33 669 / 640 / 335 Регистрация: 26.04.2014 Сообщений: 2,122
	27.08.2015, 07:28	2
	Ну да. Можно для ускорения при первом запросе сохранить все данные у себя и при последующих запросах брать данные уже сохранённые. Потом через какое-то время опять заново сохранить... 0

Опции темы