Как использовать urllib в post запросах. Ошибка выходит

@dmitrymakarow · Регистрация: 18.08.2010

Студворк — интернет-сервис помощи студентам

Всем привет.

Вот нужно чекать ip на blacklist.

Пытаюсь получить страницу с ответом. Но получаю ответ не дождавшись окончательной загрузки.

Вот код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
  import urllib
    import urllib2
    
    headers = {'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'}
    values = {'fd%5Bt%5D':'dnsbl-lookup','fd%5Bq%5D':'117.168.58.63', 'fd%5Bsubmit%5D':'Send'}
    
    
    data = urllib.urlencode(values)
    
    
    req = urllib2.Request('http://multirbl.valli.org/index.php',data, headers)
    response = urllib2.urlopen(req)
    print(response.read())

Вот что как страницу получаю в итоге - http://multirbl.valli.org/.
А нужно - http://multirbl.valli.org/dnsb... 58.63.html

Как получить полную страницу, когда закончат свою работу все скрипты?

Спасибо

@alex925 · 21.04.2015, 17:11

dmitrymakarow, Если страница генерируется с помощью js, тебе надо использовать совсем другие инструменты.
На пример: http://jeanphix.me/Ghost.py/

@dmitrymakarow · 21.04.2015, 17:17 **[ТС]**

Это наподобие селениум, эмуляция браузера?
И смогу ли в 100 потоков чекать? Проксей много 8 млн...)

Спасибо

Добавлено через 46 секунд

Сообщение от alex925

dmitrymakarow, Если страница генерируется с помощью js, тебе надо использовать совсем другие инструменты.
На пример: http://jeanphix.me/Ghost.py/

Это наподобие селениум, эмуляция браузера?
И смогу ли в 100 потоков чекать? Проксей много 8 млн...)

Спасибо

@alex925 · 21.04.2015, 17:43

Сообщение от dmitrymakarow

Это наподобие селениум, эмуляция браузера

Не совсем, selenium это способ управлять каким либо из браузеров, а ghost это реализация клиента webkit. То есть он может не только получать данные по http, но и выполнять js код.

Новые блоги и статьи Все статьи Все блоги /
Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .	Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	21.04.2015, 17:11
	dmitrymakarow, Если страница генерируется с помощью js, тебе надо использовать совсем другие инструменты. На пример: http://jeanphix.me/Ghost.py/ 1