Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 Аватар для Wi0M
395 / 123 / 48
Регистрация: 26.10.2013
Сообщений: 734

Grab складывает url

05.12.2016, 09:55. Показов 680. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет никак понять не могу с чего это вдруг Grab начал складывать урлы в запросе. К примеру:
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from grab import Grab
import logging
logger = logging.getLogger('grab')
logger.addHandler(logging.StreamHandler())
logger.setLevel(logging.DEBUG)
 
XPATH = [".//strong[@class='accountUsername']",
         ".//*[@id='ConversationsMenu_Counter']/span[1]",
         ".//*[@id='AlertsMenu_Counter']/span[1]"]
#
URL = 'http://mysite.ru/login/login'
#
POST_DATA = {"login": "login",
             "register": "0",
             "password": "pass",
             "cookie_check": "1",
             "_xfToken": "",
             "redirect": "https://mysite.ru/"}
 
g = Grab(
    log_dir='/home',
    cookiefile='mysite.cookie',
    headers={
    'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
})
g.go(URL, post=POST_DATA)
g.go('mysite.ru')
в итоге в консоль сыпится следующее
Кликните здесь для просмотра всего текста

Вот что за дела такие?
плюс в лог файлах следующее содержимое
01.log - первый запрос
Кликните здесь для просмотра всего текста
Request headers:

Request body:


Response headers:
HTTP/1.1 301 Moved Permanently
Date: Mon, 05 Dec 2016 06:41:21 GMT
Transfer-Encoding: chunked
Connection: keep-alive
Location: https://mysite.ru/login/login
Server: cloudflare-nginx
CF-RAY: 30c5830f61da3732-ARN

HTTP/1.1 405 Method Not Allowed
Date: Mon, 05 Dec 2016 06:41:22 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-control: private, max-age=0
X-Frame-Options: SAMEORIGIN
Allow: POST
Vary: Accept-Encoding
Strict-Transport-Security: max-age=2592000; includeSubDomains
Server: cloudflare-nginx
CF-RAY: 30c58311dc583768-ARN


02.log - второй запрос
Кликните здесь для просмотра всего текста
Request headers:

Request body:


Response headers:
HTTP/1.1 301 Moved Permanently
Date: Mon, 05 Dec 2016 06:41:22 GMT
Transfer-Encoding: chunked
Connection: keep-alive
Location: https://mysite.ru/login/mysite.ru
Server: cloudflare-nginx
CF-RAY: 30c58314d3803732-ARN

HTTP/1.1 404 Not Found
Date: Mon, 05 Dec 2016 06:41:22 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-control: private, max-age=0
X-Frame-Options: SAMEORIGIN
Vary: Accept-Encoding
Strict-Transport-Security: max-age=2592000; includeSubDomains
Server: cloudflare-nginx
CF-RAY: 30c583155d163768-ARN
Content-Encoding: gzip


как видно нет информации об отправленных post данных и headers. Я не знаю уже что делать. пробовал пинижать версию Grab толку нет. Думаю что что с pycurl. может есть возможность сменить transfer?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
05.12.2016, 09:55
Ответы с готовыми решениями:

Открыть URL (там ссылка, которая совершает переход на другой URL) и вытянуть новый URL
Стоит задача по одному URL получить другой Пробовал открывать URL через webbrowser, но это не совсем то, что нужно, в идеале вообще не...

Как спуститься на url уровнем ниже, или перейти из url одного приложения в url другого?
Допустим есть приложение cat и приложение dog. В корневом urls.py прописанно: from django.contrib import admin from django.urls...

Grab не работает
Только что скачал Grab, прописал простейший код, как в примере: http://docs.grablib.org/ru/latest/grab/tutorial.html (не реклама). Пытаюсь...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
05.12.2016, 09:55
Помогаю со студенческими работами здесь

Python+grab
При попытке авторизоваться на mail.ru при помощи библиотеки grab. Логин указаны верно. Всю голову сломал. При попытке выполнить скрипт ...

Клик grab
Приветствую читающих, возник вопрос по библиотеке Grab. Предположим, у меня есть элемент (кнопка, например). Мне надо сделать клик по ней....

Grab -- pycurl
Обновил Ubuntu с 14 до 16, и при подключении Grab стала вылетать ошибка: libcurl link-time version (7.47.0) is older than...

Парсер Grab
Не смог установить в Windows XP. C:\gr>pip install lxml-4.3.1-cp34-cp34m-win32.whl Processing c:\gr\lxml-4.3.1-cp34-cp34m-win32.whl ...

Grab Python 3
Привет. Python 3.4. Установил Grab. Пытаюсь получить код любой странички( в примере жж) и вот что выходит. Код: from grab...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Автозаполнение реквизита при выборе элемента справочника
Maks 27.03.2026
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .
Сумматор с применением элементов трёх состояний.
Hrethgir 26.03.2026
Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
Автозаполнение реквизитов при создании документа
Maks 26.03.2026
Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .
Команды формы и диалоговое окно
Maks 26.03.2026
1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .
Кому нужен AOT?
DevAlt 26.03.2026
Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .
Отправка уведомления на почту при изменении наименования справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .
модель ЗдравоСохранения 5. Меньше увольнений- больше дохода!
anaschu 24.03.2026
Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .
Midnight Chicago Blues
kumehtar 24.03.2026
Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru