Парсинг сайтов

@mgaranov · Регистрация: 10.08.2015

Студворк — интернет-сервис помощи студентам

Добрый день, такая ситуация:

делаю парсер нескольких сайтов. парсю с помощью simple_html_dom.php

при открытии сайта берем с нескольких сайтов несколько страниц, потом выбираю оттуда нужную мне инфу и просто загоняю в массив.

т.е. вся нужная мне инфа хранится в массивах
типа:

PHP
1
2
3
4
$info=array();
foreach ($content as $temp){
          push_array($info,$temp->>innertext);
}

потом просто вывожу это где-то на странице.

вопрос:
чую нутром что что-то делаю не так. Получается при каждом открытии сайта идет куча запросов на сайты доноры. И все долго обрабатывается.
Может как-то иначе нужно поступать? хранить в базе данных и переодически обновлять её ?

как вообще это делают грамотные люди ?

@alexsamos33 · 27.08.2015, 07:28

Ну да. Можно для ускорения при первом запросе сохранить все данные у себя и при последующих запросах брать данные уже сохранённые. Потом через какое-то время опять заново сохранить...

Новые блоги и статьи Все статьи Все блоги /
Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .

@alexsamos33 669 / 640 / 335 Регистрация: 26.04.2014 Сообщений: 2,122
	27.08.2015, 07:28
	Ну да. Можно для ускорения при первом запросе сохранить все данные у себя и при последующих запросах брать данные уже сохранённые. Потом через какое-то время опять заново сохранить... 0