Форум программистов, компьютерный форум, киберфорум
Python
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.60/25: Рейтинг темы: голосов - 25, средняя оценка - 4.60
1 / 1 / 0
Регистрация: 03.03.2016
Сообщений: 39

Разбор ответа на POST запрос

19.07.2016, 18:51. Показов 4858. Ответов 26
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый вечер!
Подскажите пожалуйста, сравниваю ответы на запрос полученные мной и из отладчика firefox, питон вернул не весь html.
Что я делаю не так?
Задача: с сайта гос.закупок получить список тендеров с 1 страницы.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import urllib2
import urllib
site = 'http://zakupki.gov.ru/epz/order/quicksearch/search.html'
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0'}
values = {
'searchString' : '',
'&morphology' : 'on',
'&pageNumber' : '1',
'&sortDirection' : 'false',
'&recordsPerPage' : '_10',
'&showLotsInfoHidden' : 'false',
'&fz44' : 'on',
'&fz223' : 'on',
'&af' : 'on',
'&ca' : 'on',
'&regions' : '',
'&priceFrom' : '0',
'&priceTo' : '200000000000',
'&currencyId' : '1',
'&publishDateFrom' : '',
'&publishDateTo' :  '',
'&updateDateFrom' : '',
'&updateDateTo' : '',
'&sortBy' : 'UPDATE_DATE'}
data = urllib.urlencode(values)
req = urllib2.Request(site, data, headers)
response = urllib2.urlopen(req)
s = response.read()
print (s)
Видимо есть еще перенаправление?
0
Лучшие ответы (1)
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
19.07.2016, 18:51
Ответы с готовыми решениями:

Как сохранить cookies из ответа на POST-запрос?
### httpPost def httpPost(url, _params): bot = atape_http_client() print u'Найдены параметры\n' a = bot.httpPost(url, _params) ...

Кодировка ответа на POST запрос
Делаю POST запрос к 1С: url = 'http://'some_url' headers = { "Accept": "application/json", ...

Как получить данный ответа на POST запрос в Python?
Достаточно конкретная проблема. Имеется некий сайт игры: ...

26
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
19.07.2016, 19:05
Вангую, что часть сайта рендеретится js, а js исполнять может только браузер.
Нет браузера, нет куска сайта.
0
1 / 1 / 0
Регистрация: 03.03.2016
Сообщений: 39
19.07.2016, 19:08  [ТС]
а есть решение средствами python?
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
19.07.2016, 19:14
Лучший ответ Сообщение было отмечено Дмитрий Л как решение

Решение

Дмитрий Л, pyqt.qwebkit, selenium
0
1 / 1 / 0
Регистрация: 03.03.2016
Сообщений: 39
19.07.2016, 19:15  [ТС]
Спасибо.
0
1 / 1 / 0
Регистрация: 03.03.2016
Сообщений: 39
25.09.2016, 19:17  [ТС]
Вечер добрый. Подскажите пожалуйста, как получить значение атрибута тега с помощью BeautifulSoup?
Пример: <a href="Вот это содержимое необходимо сложить в массив" target="_blank">

Добавлено через 2 минуты
Python
1
2
3
4
5
6
7
8
9
import urllib2
from bs4 import BeautifulSoup
 
res = urllib2.urlopen('file:///C:/Users/maxim/PycharmProjects/untitled4/1.html')
 
soup = BeautifulSoup(res)
"""for row in soup.find_all("dt"):"""
for href_tags in soup.findAll(name ='a', attrs =dict(target='_blank')):
    print href_tags.contents
получаю строку вида: [u'\u041b\u0438\u0447\u043d\u044b\u0439 \u043a\u0430\u0431\u0438\u043d\u0435\u04 42 44-\u0424\u0417']
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
25.09.2016, 20:49
Потому, что это python2. Вообще им давно пора перестать пользоваться
Python
1
2
3
4
5
6
7
8
9
import urllib2
from bs4 import BeautifulSoup
 
res = urllib2.urlopen('file:///C:/Users/maxim/PycharmProjects/untitled4/1.html')
 
soup = BeautifulSoup(res)
"""for row in soup.find_all("dt"):"""
for href_tags in soup.findAll(name ='a', attrs =dict(target='_blank')):
    print href_tags.contents[0]
0
1 / 1 / 0
Регистрация: 03.03.2016
Сообщений: 39
26.09.2016, 07:06  [ТС]
Вся разница только в [0]?
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
26.09.2016, 07:38
да.
0
1 / 1 / 0
Регистрация: 03.03.2016
Сообщений: 39
26.09.2016, 19:10  [ТС]
Спасибо, разобрался.
А подскажите регулярку для поиска содержимого <a href="/qwe/rerr/rece/ztr/vitrw/crtmmon-info.html?regNumber=0116300041116000007" target="_blank">
необходимо получить /qwe/rerr/rece/ztr/vitrw/crtmmon-info.html?regNumber=0116300041116000007.
или может soap то умеет?
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
26.09.2016, 19:31
Для парсинга используют html парсеры, а не регулярки. Если нравится BeautifulSoup используй его, а вообще лучше lxml используй, удобное и быстрое решение.
0
1 / 1 / 0
Регистрация: 03.03.2016
Сообщений: 39
26.09.2016, 20:13  [ТС]
Спасиб, почитаю
0
1 / 1 / 0
Регистрация: 03.03.2016
Сообщений: 39
28.09.2016, 19:00  [ТС]
alex925, а подскажите еще пожалуйста
установил 3.5
Python
1
2
3
4
5
data = urllib.parse.urlencode(query_args)
data = data.encode('ascii') # data should be bytes
req = urllib.request.Request(url, data, headers)
with urllib.request.urlopen(req) as response:
   the_page = response.read()
результатом такого запроса является: \'\xd0\x95\xd0\xb2\xd1\x80\xd0\xb5\xd0\x b9\xd1\x81\xd0\xba\xd0\xb0\xd1\x8f
Как привести в читаемый вид?
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
28.09.2016, 19:20
Декодируй в строку и радуйся жизни (.decode), а вообще не понимаю зачем эти мучения, когда есть requests.
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
28.09.2016, 19:22
Цитата Сообщение от alex925 Посмотреть сообщение
а вообще не понимаю зачем эти мучения, когда есть requests.
Не понимаю зачем это когда есть curl
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
28.09.2016, 19:41
Avazart, curl сишное решение и тебе как сишнику оно приятно, вот и все.
Сейчас посмотрел примеры на curl они выглядят не очень с эстетической точки зрения и показались мне более многословными.
Requests же написанна на чистом Python и она больше Python way во всех смыслах.
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
28.09.2016, 22:50
Цитата Сообщение от alex925 Посмотреть сообщение
Avazart, curl сишное решение и тебе как сишнику оно приятно, вот и все.
Сейчас посмотрел примеры на curl они выглядят не очень с эстетической точки зрения и показались мне более многословными.
Requests же написанна на чистом Python и она больше Python way во всех смыслах.
Я вообще то пишу не на Си а на плюсах, в плюсах тоже нет нормальной либы (если не считать то что есть в фреймворках Qt и VCL). Почему так в C++ мне более или менее понятно.
Но мне не понятно почему родные либы Python имеют такой непонятный и уродливый вид.
Curl все же более очевиден да и отлажен очень хорошо.
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
28.09.2016, 22:58
Цитата Сообщение от Avazart Посмотреть сообщение
Я вообще то пишу не на Си а на плюсах
Я имел ввиду си подобные языки
Цитата Сообщение от Avazart Посмотреть сообщение
Но мне не понятно почему родные либы Python имеют такой непонятный и уродливый вид.
Curl все же более очевиден да и отлажен очень хорошо.
Это все очень субьективно. На вкус и цвет все фломастеры разные.
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
28.09.2016, 23:34
Вопрос не в языке а в реализации апи и вообще работы по HTTP
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
29.09.2016, 08:30
Да нет, язык оказывает достаточно большое влияние на api библиотеки. Потому, что сам язык оказывает влияние на api (своими ограничениями, парадигмой программирования, своими правилами хорошего тона и т д). Тебе не нравится requests, потому что просто тебе не близок python, вот и все. У тебя глазу приятней си подобный синтаксис и привычней подходы используемые в программировании там, вот и все.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
29.09.2016, 08:30
Помогаю со студенческими работами здесь

Получение ответа на POST запрос
Привет ребят. Чет совсем завис. Отправляю Post запрос. public string http_post(string url, string filepath) { ...

GET/POST запрос/обработка ответа
Добрый день! Хочу начать работу с API, ранее совсем этим не занимался. Нашел кусок кода в интернете, вроде как запросы доходят,...

POST запрос - получаю ? вместо ответа
Отправлял post запрос на сервер, все нормально работало, когда отслеживал запросы через BurpSuite, при его отключении вместо ответа...

Post запрос к серверу и получение ответа
Здравствуйте, мне нужно, чтобы программа отправляла запрос серверу, получала данные в виде строки и присваивала его TextView. Несколько...

POST запрос - нет ответа от сервера
Есть этот код для отправки POST запросов с#. До сих пор все впринципе работало нормально. Но вот почему-то сервер не отвечает на этот...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
Автозаполнение реквизита при выборе элемента справочника
Maks 27.03.2026
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .
Сумматор с применением элементов трёх состояний.
Hrethgir 26.03.2026
Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
Автозаполнение реквизитов при создании документа
Maks 26.03.2026
Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .
Команды формы и диалоговое окно
Maks 26.03.2026
1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .
Кому нужен AOT?
DevAlt 26.03.2026
Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .
Отправка уведомления на почту при изменении наименования справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .
модель ЗдравоСохранения 5. Меньше увольнений- больше дохода!
anaschu 24.03.2026
Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .
Midnight Chicago Blues
kumehtar 24.03.2026
Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru