Оптимизировать код парсинга страниц. Используется SimpleHtmlDom

@volodia-h · Регистрация: 02.03.2010

Студворк — интернет-сервис помощи студентам

Как оптимизировать подобное:

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
$url2=('http://cайт1/');
$table2 = array();
$data2 = file_get_html($url2, false, $context);
 
 foreach($data2->find('tr') as $row2) {
 
     $users2 = $row2->find('td',9)->plaintext;
 
     $table2[$users2] = $users2;
    
     }
 
$url=('http://сайт2/');
$table = array();
$data = file_get_html($url, false, $context);
 
 foreach($data->find('tr') as $row) {
 
     $users = $row->find('td',9)->plaintext;
 
     $table[$users] = $users;
    
     }

@wingblack · 14.02.2014, 13:57

Наверное, нужно сказать в чем конкретно просматривается проблема.
И написать чем вы пользуетесь для поиска в DOM.
Оптимизация по поиску - наверно, только пробовать разные инструменты и сравнить. Интересно, будет ли поиск с помощью обычных функций поиска в строке быстрее чем использовать такой специальный инструмент, тем более особо сложных запросов по поиску у вас в примере не показано (хотя так будет не столь гибко).
По скачиванию - сделать функцию-обертку над CURL, и с пустой опцией CURLOPT_ENCODING (если сайт может передавать страницы сжатыми - тогда качается гораздо быстрее).
В $table2[$users2] = $users2; записывать значение $users2 в ключ считаю излишним.

@volodia-h · 14.02.2014, 15:22 **[ТС]**

В моем варианте оптимизация состоит только в том, что б место двух

PHP
1
2
3
4
5
6
7
 foreach($data->find('tr') as $row) {
 
     $users = $row->find('td',9)->plaintext;
 
     $table[$users] = $users;
    
     }

этих блоков сделать один, который умеет парсить сайт1 и сайт2.

@wingblack · 14.02.2014, 15:47

Как-то так.

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
$urls = array();
$urls[]=('http://cайт1/');
$urls[]=('http://сайт2/');
$table = array();
foreach($urls as $key => $url){
 
     $data = file_get_html($url, false, $context);
 
     foreach($data->find('tr') as $row) {
 
        $table[$key][] = $row->find('td',9)->plaintext;
   
     }
}

Текста меньше, но по производительности прироста не будет.

Добавлено через 6 минут
Кстати, если мне не изменяет память, то когда я работал с SimpleHtmlDom последний раз то порой наблюдались проблемы с загрузкой страницы, и мне советовали модифицировать его чтобы он использовал CURL вместо file_get_contents, но тот проект я приостановил, так что так и не взялся переделать.

KOPOJI · 14.02.2014, 15:51

SimpleHtmlDom не принуждает использовать file_get_html. Используйте cURL, передавайте код через str_get_html. Но использование cURL не обязательно даст прирост по скорости.

Новые блоги и статьи Все статьи Все блоги /
Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а привычная функция main(). . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом	http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/

@wingblack 294 / 265 / 48 Регистрация: 09.04.2013 Сообщений: 1,038
	14.02.2014, 13:57
	Наверное, нужно сказать в чем конкретно просматривается проблема. И написать чем вы пользуетесь для поиска в DOM. Оптимизация по поиску - наверно, только пробовать разные инструменты и сравнить. Интересно, будет ли поиск с помощью обычных функций поиска в строке быстрее чем использовать такой специальный инструмент, тем более особо сложных запросов по поиску у вас в примере не показано (хотя так будет не столь гибко). По скачиванию - сделать функцию-обертку над CURL, и с пустой опцией CURLOPT_ENCODING (если сайт может передавать страницы сжатыми - тогда качается гораздо быстрее). В $table2[$users2] = $users2; записывать значение $users2 в ключ считаю излишним. 1

KOPOJI Почетный модератор 16844 / 6724 / 880 Регистрация: 12.06.2012 Сообщений: 19,967
	14.02.2014, 15:51
	SimpleHtmlDom не принуждает использовать file_get_html. Используйте cURL, передавайте код через str_get_html. Но использование cURL не обязательно даст прирост по скорости. 0