Вывести содержимое 5 000 000 страниц, а парсер останавливается на 400

@mihon1 · Регистрация: 02.09.2013

Студворк — интернет-сервис помощи студентам

Значит так проблема состоит в том, что мне нужно вывести содержимое 5 000 000 ов страниц, а парсер останавливается на 400 страницах иногда выводит 300 страниц иногда 500 страниц но ни как не 5 млн.
Подскажите пожалуйста в чем проблема?
вот парсер

PHP
1
2
3
4
5
6
7
8
<?php
$cont = array();
for($i=1;$i<=5000000;$i++)
{
 
        $data = file_get_contents("http://site.ru/page/".$i);
    echo $data;
?>

@silent_ · 19.01.2014, 19:05

скрипт работает вроде только 30 секунд. По дефолту, если не ошибаюсь. Не помню как это ерунда называется. В общем за это время скрипт до конца не выполняется и останавливается его выполнение.

@mihon1 · 19.01.2014, 19:07 **[ТС]**

нет нет время работы скрипта я изменил с 30 секунд до 300000000

@esculap_ra · 19.01.2014, 19:10

Сообщение от silent_

скрипт работает вроде только 30 секунд. По дефолту, если не ошибаюсь. Не помню как это ерунда называется.

Временной лимит работы скрипта. Изменять его хостингер не позволит. Поэтому нужно организовать многократный перезапуск скрипта. Только зачем нужно выводить 5 млн страниц?

@ostgals · 19.01.2014, 19:12

Проблема в том, что скрипт прерывает свое исполнение либо по таймауту, либо по истощению отведенной памяти.

Если не менять подход, то можно поиграться с set_time_limit(0), или настройками сервера и PHP, чтобы увеличить объем памяти, доступной скрипту. Но судя по тому, что успешно читаемое количество страниц на много порядков меньше нужного (500 от 5000000 - это 0,01%), то это не поможет.

Принципиально правильное решение - это разбить ваш цикл на отдельные подзапросы с помощью самописного клиентского приложения или веб-приложения + кэшировать результаты.

@mihon1 · 19.01.2014, 19:17 **[ТС]**

все спасибо. понятно

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@silent_ 0 / 0 / 0 Регистрация: 20.12.2011 Сообщений: 24
	19.01.2014, 19:05
	скрипт работает вроде только 30 секунд. По дефолту, если не ошибаюсь. Не помню как это ерунда называется. В общем за это время скрипт до конца не выполняется и останавливается его выполнение. 0

@mihon1 0 / 0 / 2 Регистрация: 02.09.2013 Сообщений: 237
	19.01.2014, 19:07 [ТС]
	нет нет время работы скрипта я изменил с 30 секунд до 300000000 0

@ostgals 886 / 681 / 101 Регистрация: 23.01.2009 Сообщений: 1,582
	19.01.2014, 19:12
	Проблема в том, что скрипт прерывает свое исполнение либо по таймауту, либо по истощению отведенной памяти. Если не менять подход, то можно поиграться с set_time_limit(0), или настройками сервера и PHP, чтобы увеличить объем памяти, доступной скрипту. Но судя по тому, что успешно читаемое количество страниц на много порядков меньше нужного (500 от 5000000 - это 0,01%), то это не поможет. Принципиально правильное решение - это разбить ваш цикл на отдельные подзапросы с помощью самописного клиентского приложения или веб-приложения + кэшировать результаты. 1

@mihon1 0 / 0 / 2 Регистрация: 02.09.2013 Сообщений: 237
	19.01.2014, 19:17 [ТС]
	все спасибо. понятно 0