Форум программистов, компьютерный форум, киберфорум
PHP: сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 18.11.2015
Сообщений: 1

CURL(HTTPS)+SIMPLEHTMLDOM

18.11.2015, 17:35. Показов 846. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет!
Написал парсер контента, всё работает, только вот очень медленно. Предполагаю проблема в инициализации(CURL).
Контент извлекаю из формы поиска, прогоняю значения параметров в цикле, при каждом прогоне 1-го значения запускаю новую инициализацию....
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
function post_content($url,$search){
    $useragent = "Mozilla/5.0 (Windows NT 6.0; rv:41.0) Gecko/20100101 Firefox/41.0";
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_ENCODING, "");
    curl_setopt($ch, CURLOPT_USERAGENT, $useragent);
    curl_setopt($ch, CURLOPT_TIMEOUT, 120);
    curl_setopt($ch, CURLOPT_POST, 1);
    curl_setopt($ch, CURLOPT_POSTFIELDS, $search);
    curl_setopt($ch, CURLOPT_COOKIEFILE, $_SERVER['DOCUMENT_ROOT'].'/cookiefile.txt');
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, true);
 
    $content = curl_exec($ch);
    $error = curl_errno($ch);
    $errmsg = curl_error($ch);
    $header = curl_getinfo($ch);
    curl_close($ch);
    
    $header['errno'] = $err;
    $header['errmsg'] = $errmsg;
    $header['content'] = $content;
    return $header;
}
 
try
{
  $sql = "SELECT item_name,id FROM item_db";
  $result = $pdo->query($sql);
}
catch (PDOException $e)
{
  $error = 'Ошибка извлечения данных: ' . $e->getMessage();
  include 'error.html.php';
  exit();
}
 
foreach ($result as $row){
  $items[] = array(
    'id' => $row['id'],
    'item_name' => $row['item_name']);
$url = 'https://.........';
$server = 5;
$name = $row['item_name'];
$type = 0;
$area_id = -1;
$search = 'server='.$server.'&name='.$name.'&type='.$type.'&area_id='.$area_id;
$result = post_content($url,$search);
set_time_limit(0);
$html = str_get_html($result['content']);
foreach($html->find('tr') as $a){
    if (@$a->find('td',0)->plaintext AND @$a->find('td',1)->plaintext) {
        $cell1=mysql_real_escape_string(@$a->find('td',0)->plaintext);
        $cell1sec = trim("$cell1");
        $cell2=mysql_real_escape_string($a->find('td',1)->plaintext);
        $cell2sec = trim(str_replace(" ", "", "$cell2"));
        $cell3=mysql_real_escape_string($a->find('td',2)->plaintext);
        $cell3sec = trim(str_replace(" ", "", "$cell3"));
        $cell4=mysql_real_escape_string($a->find('td',3)->plaintext);
        $cell4sec = trim("$cell4");
        try{
            $sql = "INSERT INTO market(item_type_id,item_name,price_sell,trader,quantity)
            values('$row[id]','$cell1sec',$cell2sec,'$cell4sec','$cell3sec')";
            $pdo->exec($sql);
            }
        catch (PDOException $e){
            $error = 'Ошибка при вставке данных в таблицу: ' . $e->getMessage();
            include 'error.html.php';
            exit();
            }
        
 
}}}
Как ускорить процесс выполнения скрипта? Слышал про rolling-curl, но можно ли его использовать при работе с одним сайтом?
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
18.11.2015, 17:35
Ответы с готовыми решениями:

Не работает curl с HTTPS. Как быть?
Всем привет! Есть код curl для авторизации. Код работает, но возникла проблема с https. Пытаюсь авторизоваться на сайте с https, но выдает...

Очень долго выполняется curl + https
Вот этот код выполняется 20 секунд! <?php $api_login = '...'; // Логин $api_password = '...'; // Пароль $api_request =...

Curl & cookies & https
Добрый день! Такая проблемка с куками и курлом. Есть некий сайт(site) для получения полного доступа к одному разделу требуется...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
18.11.2015, 17:35
Помогаю со студенческими работами здесь

CURL и https
Ситуация такая. Есть скрипт который должен производить авторизацию на сайте. Но он почему то не срабатывает. И вместо админ панели браузер...

Curl и HTTPS ничего не работает
Пишу авторизацию для вк. Я не понимаю в чем дело.. вот код headerlist = curl_slist_append(headerlist, "Host:login.vk.com"); ...

Curl авторизация на https сайте
Добрый день подскажите как в bash через curl залогиниться на сайте. #curl -u...

Как сделать авторизацию на сайте http/https CURL
Здраствуйте, хочу сделать авторизацию на github, но пока не знаю как ее сделать. Пишу на c помощью curl, C++. Вот приблизительный код...

curl https post - похоже чтото не так в этом SSL
Доброго времени суток! Есть форма заказа товара которую граблю с забугорного сайта без изменений! единственно правлю action на то чтобы...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru