Python Парсинг Ajax

@kak_ivan · Регистрация: 03.02.2015

Author24 — интернет-сервис помощи студентам

Есть сайт, на нем выполняются переходы по страницам без обновления самого адреса, вот HTML блока:

HTML5

<div class="paginate">
<ul>
<li><a class="active">1</a></li>
<li><a href="javascript:nextPage(100);">2</a></li>
<li><a href="javascript:nextPage(200);">3</a></li> 
<li><a href="javascript:nextPage(300);">4</a></li> 
<li><a href="javascript:nextPage(400);">5</a></li> 
<li><a href="javascript:nextPage(500);">6</a></li> 
<li><a href="javascript:nextPage(600);">7</a></li> 
<li><a href="javascript:nextPage(700);">8</a></li> 
<li><a href="javascript:nextPage(800);">9</a></li> 
<li><a href="javascript:nextPage(900);">10</a></li>  
<a href="javascript:nextPage(100);">&gt;</a>
</ul>
</div>

Как и с помощью чего можно организовать поиск последней страницы ну и дальнейший переход по ним для парсинга?

@Wi0M · 13.01.2017, 02:52

ну так вы страницу эту продрузите и парсите список, вообще лучше бы ссылку на сайт. а так селениум вам в помощь. и попробуйте в селениуме выполнить js код javascript:nextPage(900); только не так а просто nextPage(900); в ответ вернется html скорее всего или json запрошенной страницы.

Добавлено через 1 минуту
или посмотрите что в консоле творится когда выполняется пагинация. там в закладке сеть, полюбому есть запросы на сервер, используя эту информацию вполне возможно даже селениум не понадобится и хватит requests

@Wi0M 394 / 122 / 48 Регистрация: 26.10.2013 Сообщений: 734
	13.01.2017, 02:52	2
	ну так вы страницу эту продрузите и парсите список, вообще лучше бы ссылку на сайт. а так селениум вам в помощь. и попробуйте в селениуме выполнить js код javascript:nextPage(900); только не так а просто nextPage(900); в ответ вернется html скорее всего или json запрошенной страницы. Добавлено через 1 минуту или посмотрите что в консоле творится когда выполняется пагинация. там в закладке сеть, полюбому есть запросы на сервер, используя эту информацию вполне возможно даже селениум не понадобится и хватит requests 0