Форум программистов, компьютерный форум CyberForum.ru

Python: Сети

Войти
Регистрация
Восстановить пароль
 
kak_ivan
0 / 0 / 0
Регистрация: 03.02.2015
Сообщений: 15
#1

Python Парсинг Ajax - Python

10.01.2017, 23:32. Просмотров 154. Ответов 1

Есть сайт, на нем выполняются переходы по страницам без обновления самого адреса, вот HTML блока:
HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<div class="paginate">
<ul>
<li><a class="active">1</a></li>
<li><a href="javascript:nextPage(100);">2</a></li>
<li><a href="javascript:nextPage(200);">3</a></li> 
<li><a href="javascript:nextPage(300);">4</a></li> 
<li><a href="javascript:nextPage(400);">5</a></li> 
<li><a href="javascript:nextPage(500);">6</a></li> 
<li><a href="javascript:nextPage(600);">7</a></li> 
<li><a href="javascript:nextPage(700);">8</a></li> 
<li><a href="javascript:nextPage(800);">9</a></li> 
<li><a href="javascript:nextPage(900);">10</a></li>  
<a href="javascript:nextPage(100);">&gt;</a>
</ul>
</div>
Как и с помощью чего можно организовать поиск последней страницы ну и дальнейший переход по ним для парсинга?
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
10.01.2017, 23:32     Python Парсинг Ajax
Посмотрите здесь:

Python Парсинг с помощью Python
Парсинг с авторизацией в Python. Python
Python Python socket telnet, потоки и ответ сервера
Python Парсинг xml на Python 3
Python Написать скрипт на языке Python
Функции python совместимость с с telnetlib Python
Python Windows socket server python + socket client js
Как в Python 3 получить icmp пакет Python
Парсинг документов Python 3 Python
Python Сокеты Python
Python Python подключение по ssh с автоматическим вводом пароля
HTTP. Python 27 Python

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Wi0M
 Аватар для Wi0M
24 / 24 / 10
Регистрация: 26.10.2013
Сообщений: 320
13.01.2017, 02:52     Python Парсинг Ajax #2
ну так вы страницу эту продрузите и парсите список, вообще лучше бы ссылку на сайт. а так селениум вам в помощь. и попробуйте в селениуме выполнить js код javascript:nextPage(900); только не так а просто nextPage(900); в ответ вернется html скорее всего или json запрошенной страницы.

Добавлено через 1 минуту
или посмотрите что в консоле творится когда выполняется пагинация. там в закладке сеть, полюбому есть запросы на сервер, используя эту информацию вполне возможно даже селениум не понадобится и хватит requests
Yandex
Объявления
13.01.2017, 02:52     Python Парсинг Ajax
Ответ Создать тему
Опции темы

Текущее время: 00:34. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru