Вывести содержимое 5 000 000 страниц, а парсер останавливается на 400

@mihon1 · Регистрация: 02.09.2013

Студворк — интернет-сервис помощи студентам

Значит так проблема состоит в том, что мне нужно вывести содержимое 5 000 000 ов страниц, а парсер останавливается на 400 страницах иногда выводит 300 страниц иногда 500 страниц но ни как не 5 млн.
Подскажите пожалуйста в чем проблема?
вот парсер

PHP
1
2
3
4
5
6
7
8
<?php
$cont = array();
for($i=1;$i<=5000000;$i++)
{
 
        $data = file_get_contents("http://site.ru/page/".$i);
    echo $data;
?>

@silent_ · 19.01.2014, 19:05

скрипт работает вроде только 30 секунд. По дефолту, если не ошибаюсь. Не помню как это ерунда называется. В общем за это время скрипт до конца не выполняется и останавливается его выполнение.

@mihon1 · 19.01.2014, 19:07 **[ТС]**

нет нет время работы скрипта я изменил с 30 секунд до 300000000

@esculap_ra · 19.01.2014, 19:10

Сообщение от silent_

скрипт работает вроде только 30 секунд. По дефолту, если не ошибаюсь. Не помню как это ерунда называется.

Временной лимит работы скрипта. Изменять его хостингер не позволит. Поэтому нужно организовать многократный перезапуск скрипта. Только зачем нужно выводить 5 млн страниц?

@ostgals · 19.01.2014, 19:12

Проблема в том, что скрипт прерывает свое исполнение либо по таймауту, либо по истощению отведенной памяти.

Если не менять подход, то можно поиграться с set_time_limit(0), или настройками сервера и PHP, чтобы увеличить объем памяти, доступной скрипту. Но судя по тому, что успешно читаемое количество страниц на много порядков меньше нужного (500 от 5000000 - это 0,01%), то это не поможет.

Принципиально правильное решение - это разбить ваш цикл на отдельные подзапросы с помощью самописного клиентского приложения или веб-приложения + кэшировать результаты.

@mihon1 · 19.01.2014, 19:17 **[ТС]**

все спасибо. понятно

Новые блоги и статьи Все статьи Все блоги /
Валидация и контроль данных табличной части документа перед записью Maks 22.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в КА2. Задача: контроль и валидация данных табличной части документа перед записью с учетом регламента компании. . .	Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .	Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .

@silent_ 0 / 0 / 0 Регистрация: 20.12.2011 Сообщений: 24
	19.01.2014, 19:05
	скрипт работает вроде только 30 секунд. По дефолту, если не ошибаюсь. Не помню как это ерунда называется. В общем за это время скрипт до конца не выполняется и останавливается его выполнение. 0

@mihon1 0 / 0 / 2 Регистрация: 02.09.2013 Сообщений: 237
	19.01.2014, 19:07 [ТС]
	нет нет время работы скрипта я изменил с 30 секунд до 300000000 0

@ostgals 886 / 681 / 101 Регистрация: 23.01.2009 Сообщений: 1,582
	19.01.2014, 19:12
	Проблема в том, что скрипт прерывает свое исполнение либо по таймауту, либо по истощению отведенной памяти. Если не менять подход, то можно поиграться с set_time_limit(0), или настройками сервера и PHP, чтобы увеличить объем памяти, доступной скрипту. Но судя по тому, что успешно читаемое количество страниц на много порядков меньше нужного (500 от 5000000 - это 0,01%), то это не поможет. Принципиально правильное решение - это разбить ваш цикл на отдельные подзапросы с помощью самописного клиентского приложения или веб-приложения + кэшировать результаты. 1

@mihon1 0 / 0 / 2 Регистрация: 02.09.2013 Сообщений: 237
	19.01.2014, 19:17 [ТС]
	все спасибо. понятно 0

Опции темы