Сделать парсер

@igor3310 · Регистрация: 16.02.2011

Студворк — интернет-сервис помощи студентам

Здравствуйте!
Решил сделать себе парсер - и несовсем определился на чем его делать - сейчас делаю при помощи функции php file_get_contents(); ,и установив параметр ini_set('max_execution_time',600); - интересно этот параметр и на хостинге будет увеличивать время работы?
Интересно услышать слышал лучше сделать парсер на curl чем при помоши функции file_get_contents(); - подскажите на чем лучше и/или существует еще покруче решение?

@Para bellum · 08.07.2012, 14:43

Ну CURL быстрее работает (лично не проверял, но читал), поддерживает редиректы, умеет прикидываться браузером и ещё много функций.

@igor3310 · 08.07.2012, 14:45 **[ТС]**

Сообщение от Lyodik

Ну CURL быстрее работает (лично не проверял, но читал), поддерживает редиректы, умеет прикидываться браузером и ещё много функций.

Спасибо !!!
А неподскажите где почитать можнопро curl?
и скажите пожалуйста время работы как увеличить мона - такая функция ini_set('max_execution_time',600); будет серверу указывать макс время или надо в php.ini сервера лезть?

@Para bellum · 08.07.2012, 14:50

Сообщение от igor3310

А неподскажите где почитать можнопро curl?

http://www.php.net/ru/curl

Добавлено через 57 секунд

Сообщение от igor3310

и скажите пожалуйста время работы как увеличить мона

set_time_limit();

Vovan-VE · 08.07.2012, 14:57

Сообщение от Lyodik

Ну CURL ... поддерживает редиректы, умеет прикидываться браузером

На самом деле и file_get_contents тоже может такие вещи делать через параметр $context. http://php.net/manual/ru/context.http.php

@igor3310 · 08.07.2012, 17:29 **[ТС]**

А это бывает ошибку выдает это наверное блокировка какаято на сайте?

Warning: file_get_contents(http://site.ru) [function.file-get-contents]: failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found in V:\home\localhost\www\parser\index.php on line 124

@vixa · 10.07.2012, 01:30

PHP
1
2
3
4
$file = fopen("text.txt","wb");
$content = fread(url);
$res = fputs($file,$content);
fclose($file);

@Para bellum · 10.07.2012, 06:42

Сообщение от igor3310

А это бывает ошибку выдает это наверное блокировка какаято на сайте?
Warning: file_get_contents(http://site.ru) [function.file-get-contents]: failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found in V:\home\localhost\www\parser\index.php on line 124

Бывает сервер требует от клиента какую-то информацию, без которой он не пропустит на сайт. Например, он может требовать какую-то информацию о браузере. В таком случае нужно скрипт по максимуму нужно представить как браузер.

@vixa · 10.07.2012, 16:09

Я чуть не правильно написал пример скрипта
вот хочу переделать

PHP
1
2
3
4
$file = fopen('file.txt','w');
$cont = file("https://www.cyberforum.ru/php-beginners/thread620872.html");
fputs($file,$cont,strlen($cont));
fclose($file);

Вот так скрипт более вероятнее принесет вам результат=))

Если вы хотите скачать сразу много страниц используйте цыклы

Новые блоги и статьи Все статьи Все блоги /
Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .	Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .

@igor3310 3 / 3 / 4 Регистрация: 16.02.2011 Сообщений: 270

	Сделать парсер 08.07.2012, 13:46. Показов 3356. Ответов 8 Метки нет (Все метки) Здравствуйте! Решил сделать себе парсер - и несовсем определился на чем его делать - сейчас делаю при помощи функции php file_get_contents(); ,и установив параметр ini_set('max_execution_time',600); - интересно этот параметр и на хостинге будет увеличивать время работы? Интересно услышать слышал лучше сделать парсер на curl чем при помоши функции file_get_contents(); - подскажите на чем лучше и/или существует еще покруче решение? 0

@Para bellum 5755 / 4134 / 1508 Регистрация: 06.01.2011 Сообщений: 11,276
	08.07.2012, 14:43
	Ну CURL быстрее работает (лично не проверял, но читал), поддерживает редиректы, умеет прикидываться браузером и ещё много функций. 1

@igor3310 3 / 3 / 4 Регистрация: 16.02.2011 Сообщений: 270
	08.07.2012, 17:29 [ТС]
	А это бывает ошибку выдает это наверное блокировка какаято на сайте? Warning: file_get_contents(http://site.ru) [function.file-get-contents]: failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found in V:\home\localhost\www\parser\index.php on line 124 0