Пагинация при парсинге (phpQuery)

@Rei555 · Регистрация: 28.11.2013

Студворк — интернет-сервис помощи студентам

Добрый день Всем!
Народ, подскажите, значит есть на сайте пагинация.

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<div class="right toolbar__pages">
                <div class="pager">
                  <ul class="pagination pagination-sm">
                  
          
                <li class="active"><a href=".html?limit=100&amp;no_cache=true&amp;p=1">1</a></li>
                <li><a href=".html?limit=100&amp;no_cache=true&amp;p=2">2</a></li>
                
                 
                <li>
            <a title="След." href=".html?limit=100&amp;no_cache=true&amp;p=2" class="next"><i class="fa fa-chevron-right"></i></a>
        </li>
              </ul>
    </div>
            </div>

вот этим парсю последнее значение(по последнему значению, столько раз цикл будет работать)

HTML5
1
$pagesCount = pq('div.toolbar__pages ul.pagination-sm a:last')->html();

Но как видите по коду , что там тег А это стрелка.
Вообщем подскажите, как вычислить количество страниц с товаром в категории.
Спасибо

@Para bellum · 28.04.2015, 12:37

Вычислять количество не нужно. Просто при каждом запросе проверяйте, есть ли ссылка на следующую страницу. Если есть - получайте её адрес и вперёд.

@Trukl · 28.04.2015, 12:39

Сообщение от Rei555

Но как видите по коду , что там тег А это стрелка.

не видим...
Зато видим &p=2 что даёт основание ПРЕдПОЛОГАТь что там всего две ссылки.
А гадать не нужно. Надо проанализировать страницу.

F57 · 28.04.2015, 12:42

Получаешь href последней ссылки. Определяешь чему равен p

@Trukl · 28.04.2015, 12:44

Сообщение от Para bellum

Вычислять количество не нужно. Просто при каждом запросе проверяйте, есть ли ссылка на следующую страницу.

Раз уж идти по такому пути также надо проверять не парсилась ли страница уже. Так как некоторые пагинаторы организованы так что ссылки идут как бы по кругу.

@Para bellum · 28.04.2015, 12:46

Сообщение от Trukl

Раз уж идти по такому пути также надо проверять не парсилась ли страница уже. Так как некоторые пагинаторы организованы так что ссылки идут как бы по кругу.

А я что-то против сказал?

Я объяснил алгоритм, а как его реализует Rei555 - уже другое дело.
Да и пути другого нет.

@Trukl · 28.04.2015, 12:50

Сообщение от Para bellum

Вычислять количество не нужно.

Иногда как раз проще получить общей количество и спарсить в цикле. Но всё зависит от организации сайта который грабят.

@Rei555 · 28.04.2015, 12:51 **[ТС]**

Получаешь href последней ссылки. Определяешь чему равен p

Последняя ссылка имеет

HTML5
1
2
3
<a class="next" title="След." href="http:///c-186.html?p=2">
<i class="fa fa-chevron-right"></i>
</a>

Всегда стрелка (типо вперед или назад)

Вычислять количество не нужно. Просто при каждом запросе проверяйте, есть ли ссылка на следующую страницу. Если есть - получайте её адрес и вперёд.

Можно примерчик. А то что я только не перебрал. Пытался тупо получить предпоследнее число в пагинации, и столько раз крутнуть цикл.. но что то не выходит.

F57 · 28.04.2015, 12:53

Сообщение от Rei555

Всегда стрелка (типо вперед или назад)

Какая разница? Стрелочка, кругляшка. href

@Rei555 · 28.04.2015, 12:55 **[ТС]**

Сообщение от F57

Какая разница? Стрелочка, кругляшка. href

HTML5
1
2
3
<a class="next" title="След." href="http:///c-186.html?p=2">
<i class="fa fa-chevron-right"></i>
</a>

И тут я получу 2 , а страниц на самом деле 123.

F57 · 28.04.2015, 12:56

Какой пример указал. Так и помогаем.

@Para bellum · 28.04.2015, 12:57

Rei555, просто заместо вот этого:

PHP
1
pq('div.toolbar__pages ul.pagination-sm a:last')->html();

Напишите, чтобы выбирался не вложенный html, а атрибут ссылки "href".
Для парсига в данном случае лучше сделать рекурсивную функцию (которая сама себя вызывает). Что-то вроде этого:

PHP
1
2
3
4
5
6
7
8
9
function parse( $url ){
    # Тут код
    # ...
 
    # Если ссылка на следующую страницу найдена
    if( ... )
        # Вызываем функцию парсинга
        parse( $ссылка );
}

@Trukl · 28.04.2015, 13:00

Сообщение от Rei555

Последняя ссылка имеет

Сообщение от Trukl

А гадать не нужно. Надо проанализировать страницу.

Если ты проходишь по ссылке (на стрелочку) страницы заканчиваются? Их всего две? Если всего две значит можно считать двойку последней страницей (и соответственно добавлять этот параметр к твоему циклу). Если же страниц больше то стрелочка указывает лишь на следующию страницу. А значит надо идти по пути предложенному Para bellum,

@Rei555 · 28.04.2015, 13:11 **[ТС]**

Сообщение от Para bellum

Rei555, просто заместо вот этого:
Код PHP
1
pq('div.toolbar__pages ul.pagination-sm a:last')->html();
Напишите, чтобы выбирался не вложенный html, а атрибут ссылки "href".

HTML5
1
$pagesCount = pq('div.toolbar__pages ul.pagination-sm a')->attr('href');

Но это дает просто Ссылку, а цикл не может работать с условием URL. Ему то число надо)
Или я вас не правильно понял.

Сообщение от Trukl

Если ты проходишь по ссылке (на стрелочку) страницы заканчиваются? Их всего две? Если всего две значит можно считать двойку последней страницей (и соответственно добавлять этот параметр к твоему циклу). Если же страниц больше то стрелочка указывает лишь на следующию страницу. А значит надо идти по пути предложенному Para bellum,

Второй вариант.

F57 · 28.04.2015, 13:26

омг. дай уже ссылку на сайт который парсишь
* или правилами нельзя?

Добавлено через 8 минут
ок. получил ссылку.

твой чудо парсер разве не может получить пред-последний href?
ну или просто вылови его по class="last"

@Rei555 · 28.04.2015, 13:38 **[ТС]**

Сообщение от F57

твой чудо парсер разве не может получить пред-последний href?
ну или просто вылови его по class="last"

Внатуре Чудо))

Выловил по классу., но выводит цифру в классе last столько кол-во раз , сколько значение самой цифры. Значение из класса Ласт получается, в цикле же . Как его из цикла то убрать!? Получил значение за первый цикл и в сторону.

F57 · 28.04.2015, 13:59

Убирай цикл. Либо забей и просто бери в цикле. Комп от перенагрузки не помрёт.

аля

PHP
1
2
3
4
5
6
7
8
9
10
11
12
$end=0;
 
foreach(??)
{
   $end=$last;
}
 
 
if ($end!=0)
{
   ///
}

Новые блоги и статьи Все статьи Все блоги /
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Ниже машинный перевод статьи The Thinkpad X220 Tablet is the best budget school laptop period . Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы,. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .

@Para bellum 5755 / 4134 / 1508 Регистрация: 06.01.2011 Сообщений: 11,276
	28.04.2015, 12:37
	Вычислять количество не нужно. Просто при каждом запросе проверяйте, есть ли ссылка на следующую страницу. Если есть - получайте её адрес и вперёд. 0

F57 68 / 68 / 23 Регистрация: 17.02.2015 Сообщений: 397
	28.04.2015, 12:42
	Получаешь href последней ссылки. Определяешь чему равен p 0

F57 68 / 68 / 23 Регистрация: 17.02.2015 Сообщений: 397
	28.04.2015, 12:56
	Какой пример указал. Так и помогаем. 0

F57 68 / 68 / 23 Регистрация: 17.02.2015 Сообщений: 397
	28.04.2015, 13:26
	омг. дай уже ссылку на сайт который парсишь * или правилами нельзя? Добавлено через 8 минут ок. получил ссылку. твой чудо парсер разве не может получить пред-последний href? ну или просто вылови его по class="last" 0