Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
 
 
Рейтинг 4.62/21: Рейтинг темы: голосов - 21, средняя оценка - 4.62
1 / 1 / 3
Регистрация: 10.03.2018
Сообщений: 150

Python unicode и urlencoded

22.02.2019, 11:48. Показов 5006. Ответов 22
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день.
Подскажите по следующему вопросу.
Отправляю POST запросом сообщение.
Если отправляю на сайте в браузере, то слово "Привет" отправляется как unicode %u041F%u0440%u0438%u0432%u0435%u0442. У получателя отображается "Привет".
Если отправляю из приложения на Python3, то слово "Привет" отправляется как urlencoded %D0%9F%D1%80%D0%B8%D0%B2%D0%B5%D1%82. У получателя отображается " ???????²???? ".
Как это исправить?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
22.02.2019, 11:48
Ответы с готовыми решениями:

Строка с unicode символами (Python 2.7)
Без лишних слов, есть строка stroka = '\u041f\u0440\u0438\u0432\u0435\u0442' Как ее перевести в unicode?

Python приведение unicode к нормальному виду str
пусть есть словарь d и строка s, значение которой берется из какого либо файла в виде unicode строки, это значение - ключ словаря : d...

Перевести UTF-8 в URLEncoded
Как перевести строку string str = "текст"; в %D1%82%D0%B5%D0%BA%D1%81%D1%82 ?

22
1 / 1 / 3
Регистрация: 10.03.2018
Сообщений: 150
23.02.2019, 13:05  [ТС]
Студворк — интернет-сервис помощи студентам
Цитата Сообщение от Garry Galler Посмотреть сообщение
А почему вы не отправляете сообщение непосредственно через форму?
Связка requests +lxml умеет это делать. (это не имитация ввода как в selenium)
В вашем примере вы делаете через AJAX запрос, который скорей всего является вторичным.
Могли бы набросать небольшой пример?
Я недавно изучаю Python. Не все нюансы мне известны.
0
Эксперт Python
5439 / 3860 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
23.02.2019, 14:08
Я не знаю какая у вас там форма ввода. А примеры использования отправки через форму я уже давал на форуме неоднократно:

POST запросы
P.S. Если пользоваться поиском по форуму, да еще и с указанием моего ника (а там есть фильтр по никам) можно найти немало примеров.
0
1 / 1 / 3
Регистрация: 10.03.2018
Сообщений: 150
24.02.2019, 13:30  [ТС]
Цитата Сообщение от Garry Galler Посмотреть сообщение
Связка requests +lxml умеет это делать. (это не имитация ввода как в selenium)
Где можно почитать про это?
В документации lxml не нашел про отправку форм.

Добавлено через 1 час 8 минут
Цитата Сообщение от Garry Galler Посмотреть сообщение
"{}{}".format(url,form.action)
Не совсем понятен этот момент, поэтому и хотелось бы почитать документацию по этому вопросу.

Добавлено через 4 часа 5 минут
Делаю так (requests):

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
        #Адрес страницы авторизации
        self.url = 'http://www.nn.ru/auth/'
        #Заголовки запроса
        self.headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
            'Accept-Language': 'en-US,en;q=0.5',
            'Accept-Encoding': 'gzip, deflate',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
            'Upgrade-Insecure-Requests': '1'
        }
        #Запрос
        self.pg = self.s.get(self.url, headers=self.headers, proxies = User.proxi, verify=False)
        #Получение токена
        self.pattern = re.compile('(?<=<input type="hidden" name="csrf_token" value=")[^"]+?(?=")')
        self.token_nn = self.pattern.search(self.pg.text)
        if (self.token_nn != None):
            self.token_nn = self.token_nn.group(0)
        else:
            return User.stateAuth_nn(self)
        #Данные для авторизации на nn.ru
        self.url = 'https://www.nn.ru/auth/?backUrl='
        self.d = {'users_do' : 'login', 'csrf_token' : self.token_nn, 'login' : self.login.GetValue(), 'password' : self.password.GetValue(), 'kod' : 'код'}
        self.headers['Referer'] = 'https://www.nn.ru/auth/'
        del self.headers['Upgrade-Insecure-Requests']
        #Авторизация на nn.ru
        self.pp = self.s.post(self.url, data=self.d, headers=self.headers, proxies = User.proxi, verify=False)
        #Проверка авторизации на nn.ru
        self.pattern = re.compile('Авторизация прошла успешно')
        if (self.pattern.search(self.pp.text) != None):
            User.updateCookie(self)
            return True
        else:
            return False
Получаю такие заголовки:

GET https://www.nn.ru/auth/ HTTP/1.1
Host: www.nn.ru
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36
Accept-Encoding: gzip, deflate
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Connection: keep-alive
Accept-Language: en-US,en;q=0.5
Upgrade-Insecure-Requests: 1

POST https://www.nn.ru/auth/?backUrl= HTTP/1.1
Host: www.nn.ru
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36
Accept-Encoding: gzip, deflate
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Connection: keep-alive
Accept-Language: en-US,en;q=0.5
Referer: https://www.nn.ru/auth/
Cookie: SessIDNNRU=ht20k53fafofhidq9
Content-Length: 117
Content-Type: application/x-www-form-urlencoded

users_do=login&csrf_token=3281acbb02d254 45a1e9638b52bc4c8c&login=login&password= password=%D0%BA%D0%BE%D0%B4

Авторизация проходит успешно.

Делаю так(requests+lxml):

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
login = 'login'
password = 'password'
proxi ={
        'http': 'http://127.0.0.1:8888',
        'https': 'http://127.0.0.1:8888',
    }
headers = {
                'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
                'Accept-Language':'en-US,en;q=0.5',
                'Accept-Encoding':'gzip, deflate',
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
                'Upgrade-Insecure-Requests': '1'
        }
# отправляем первичный запрос главной страницы
url = 'http://www.nn.ru/auth/'
session = requests.Session()
resp = session.get(url, headers=headers, verify=False, proxies = proxi)
page = lxml.html.fromstring(resp.text)  # получаем разобранное дерево элементов
form = page.forms[0]  # берем  по индексу нужную форму  - она необязательно будет по индексу 0
form.fields['login'] = login
form.fields['password'] = password
# отправляем запрос на аутентификацию
url = 'https://www.nn.ru'
headers['Referer'] = 'https://www.nn.ru/auth/'
del headers['Upgrade-Insecure-Requests']
r = session.post('{}{}'.format(url, form.action), data=form.form_values(), proxies = proxi, verify=False)
print(resp.text)
Получаю следующие заголовки:

GET https://www.nn.ru/auth/ HTTP/1.1
Host: www.nn.ru
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36
Accept-Encoding: gzip, deflate
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Connection: keep-alive
Accept-Language: en-US,en;q=0.5
Upgrade-Insecure-Requests: 1

POST https://www.nn.ru/auth/?backUrl= HTTP/1.1
Host: www.nn.ru
User-Agent: python-requests/2.21.0
Accept-Encoding: gzip, deflate
Accept: */*
Connection: keep-alive
Accept-Language: en-US,en;q=0.5
Referer: https://www.nn.ru/auth/
Cookie: SessIDNNRU=ht20k53fafej58j4tofhidq9
Content-Length: 117
Content-Type: application/x-www-form-urlencoded

users_do=login&csrf_token=3281acbb02d254 45a1e9638b52bc4c8c&login=login&password= password&kod=%D0%BA%D0%BE%D0%B4

Авторизация не успешно.

Причина.
Во втором случае(requests+lxml) почему то заменяются заголовки:

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36
на
User-Agent: python-requests/2.21.0

и

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
на
Accept: */*

Почему так? В чем может быть причина?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
24.02.2019, 13:30

Спецификация application/x-www-form-urlencoded
Нужно описания формата кодирование application/x-www-form-urlencoded. Нужно его реализовать для С# NET2.0. Интересует применение этого...

Как сделать application/x-www-form-urlencoded
Подскажите библиотеку или встроенные средства С# Net3.5 чтобы кодировать строку так как здесь https://ru.wikipedia.org/wiki/POST_(HTTP) ...

Распарсить ответ в форме application / x-www-form-urlencoded
Доброго времени суток! Прошу помощи в следующем вопросе. С сайта получаю ответ в виде application / x-www-form-urlencoded. Не могу найти...

Как Консольное-приложение в Lazarus сдружить c кодировкой Unicode или Unicode Big Endian или UTF-8
Нужно чтобы Lazarus отображал символы псевдографики желательно все, но в основном вот эти......

CURL как передать заголовок Content-Type: application/x-www-form-urlencoded
Подскажите как на С++ в POST запросе передать заголовок Content-Type: application/x-www-form-urlencoded , используя curl библиотеку


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
23
Ответ Создать тему
Новые блоги и статьи
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого
zorxor 21.09.2026
Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .
Мобильное приложение ColorStep
pavlinmavlin 17.09.2026
Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .
Запрет дублирования строк в табличной части
Maks 13.09.2026
Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Jin X 06.09.2026
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .
Программа опроса у.з. расходомера SLS-720F
Argus19 02.09.2026
Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .
Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0.
Maks 31.08.2026
При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .
Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм
anaschu 30.08.2026
Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .
Оттачиваю умение писать js программы.
russiannick 30.08.2026
Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман. Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru