Парсинг большой html таблицы в mysql

@bombording · Регистрация: 21.11.2013

Author24 — интернет-сервис помощи студентам

Добрый день.

Задача:
Имеется html таблица на удаленном ресурсе... нужно сделать парсинг td элементов этой таблицы в mysql.

Структура таблицы:

HTML5

<table>
<tr><td></td><td></td><td></td><td></td><td></td></tr>
.....
+1600 строк

Собственно для парсинга я использовал библиотеку simple_html_dom.php
Написал следующий скрипт:

PHP

set_time_limit(300);
require ('simple_html_dom.php');
 
$url = file_get_contents("http://site/region&type_export=table");
$html = str_get_html($url);
 
 foreach($html->find('tr') as $a){
       if (@$a->find('td',0)->plaintext) {
             $cell1=mysql_real_escape_string(@$a->find('td',0)->plaintext);
             $cell2=mysql_real_escape_string($a->find('td',1)->plaintext);
             $cell3=mysql_real_escape_string($a->find('td',2)->plaintext);
 
        $ins="INSERT INTO `tabless`.`all`
        (`id`,
        `date`,
        `app_id`)
       VALUES
        ('$cell1',
         '$cell2',
         '$cell3')";
 
        $query = mysql_query($ins);
        if(!$query){
            die('error');
        }
             
        }
}

Вопрос:
Скрипт работает и пишет в базу данные. Но выполняется данный скрипт 140 секунд....это довольно много для меня. Я так полагаю отрабатывает долго из за str_get_html($url).
Возможно ли как то оптимизировать скрипт, что бы он выполнялся быстрее?
Спасибо!

@V@D!k · 21.11.2013, 17:01

попробуйте вместо file_get_contents и str_get_html использовать file_get_html('http://site/region&type_export=table'); и ещё, много зависит от соединения, возможно этот сайт долго грузится и из-за этого скрипт так долго работает

@bombording · 21.11.2013, 17:23 **[ТС]**

Сообщение от V@D!k

попробуйте вместо file_get_contents и str_get_html использовать file_get_html('http://site/region&type_export=table'); и ещё, много зависит от соединения, возможно этот сайт долго грузится и из-за этого скрипт так долго работает

Пробовал file_get_html('http://site/region&type_export=table'); скрипт работает 140 секунд...

По поводу соединения не думаю...удаленный сервер находится рядом. Да и если сделать:

PHP

1 2	$a = file_get_content('http://site/region&type_export=table'); echo $a;

То скрипт выполняется за 1-2 секунды и отображает всю таблицу.

@V@D!k · 21.11.2013, 17:34

функции str_get_html и fike_get_html строят dom дерево, так как у вас большая html страница, возможно поэтому это происходит так долго, я бы посоветовал вам использовать регулярные выражения и функцию preg_match(), она намного быстрее

@V@D!k 249 / 249 / 98 Регистрация: 26.07.2010 Сообщений: 1,685
	21.11.2013, 17:01	2
	попробуйте вместо file_get_contents и str_get_html использовать file_get_html('http://site/region&type_export=table'); и ещё, много зависит от соединения, возможно этот сайт долго грузится и из-за этого скрипт так долго работает 0

@V@D!k 249 / 249 / 98 Регистрация: 26.07.2010 Сообщений: 1,685
	21.11.2013, 17:34	4
	функции str_get_html и fike_get_html строят dom дерево, так как у вас большая html страница, возможно поэтому это происходит так долго, я бы посоветовал вам использовать регулярные выражения и функцию preg_match(), она намного быстрее 0