Ошибка кодировки при парсере веб страницы, содержащей кирилицу

@pashamt8 · Регистрация: 16.08.2013

Студворк — интернет-сервис помощи студентам

Привет.

Пишу свой первый парсер.

Проблема в том, что часть адреса страницы содержит кириллицу.

Я пробовал кодировать и туда, и сюда. но получается ошибка UnicodeEncodeError: 'ascii' codec can't encode characters in position 25-31: ordinal not in range(128)

Отображается в консоли нормально - http://hh.ru/search/vacancy?te... ue&salary=

Пробовал так же через urllib.parse.urlencode(), но что-то не выходит

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
query='инженер'
salary_condition=0 # salary not less
vacancy_description=r'' # which words should be mentioned 
 
base_url='http://hh.ru/search/vacancy?text='+query+'&only_with_salary=false&area=1&enable_snippets=true&clusters=true&salary='
print(base_url)
 
base_url=str(base_url)
 
print(base_url)
def get_html(url):  
    response=urllib.request.urlopen(url)
    return response.read()
 
def parse(html):
    soup=BeautifulSoup(urlopen(html), "html.parser")
    table=soup.find('table', class_='l l_auto')
    print(table.prettify())
 
def main():
    print(parse(base_url))
    
if __name__=='__main__':
    main()

Что мне нужно сделать?

@kariber · 27.08.2015, 03:28

Как вариант проблема в переменной query:

Python
1
base_url='http://hh.ru/search/vacancy?text='+query+'&only_with_salary=false&area=1&enable_snippets=true&clusters=true&salary='

https://docs.python.org/3.3/li... rl-quoting

Использовать именно BeautifulSoup критично? Также возможно баг именно в нем.

@Vigi · 27.08.2015, 04:42

use requests в место urllib

@alex925 · 27.08.2015, 10:44

pashamt8, выложи полный traceback ошибки.

@pashamt8 · 27.08.2015, 14:10 **[ТС]**

*
Проблему решил.

Вместо urllib использую requests. Спасибо всем!

@alex925 · 27.08.2015, 15:44

Сообщение от pashamt8

Вместо urllib использую requests. Спасибо всем!

Ну requests бесспорно крутая библиотека, но по сути это просто надстройка на urllib и другими библиотеками. Переход на более простую библиотеку это побег от реальной проблемы, вызванной не знанием основ. Так делать не правильно.

Суть твоей проблемы, что url не может содержать не ascii символы, по этому твой запрос нужно было закодировать специальной кодировкой и тогда ошибки ушли бы)

Python
1
2
3
4
5
6
7
8
9
10
11
12
import urllib.parse
import urllib.request
 
query = 'инженер'
 
url = ('http://hh.ru/search/vacancy?text={}&'
       'only_with_salary=false&area=1&enable_snippets=true&'
       'clusters=true&salary='.format(urllib.parse.quote(query)))
 
response = urllib.request.urlopen(url)
 
print(response.read().decode('utf8'))

@pashamt8 · 27.08.2015, 16:29 **[ТС]**

Да, ты прав.

Буду знать

Новые блоги и статьи Все статьи Все блоги /
http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Первый деплой lagorue 16.01.2026 Не спеша развернул своё 1ое приложение в kubernetes. А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит: токи, напряжения и их 1 и 2 производные при t = 0;. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Изучаю kubernetes lagorue 13.01.2026 А пригодятся-ли мне знания kubernetes в России?	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .

Ошибка кодировки при парсере веб страницы, содержащей кирилицу

Решение

Решение

@Vigi 641 / 481 / 179 Регистрация: 28.05.2012 Сообщений: 1,419
	27.08.2015, 04:42
	Сообщение было отмечено pashamt8 как решение Решение use requests в место urllib 1

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	27.08.2015, 10:44
	pashamt8, выложи полный traceback ошибки. 0

@pashamt8 1 / 1 / 0 Регистрация: 16.08.2013 Сообщений: 18
	27.08.2015, 14:10 [ТС]
	* Проблему решил. Вместо urllib использую requests. Спасибо всем! 0

@pashamt8 1 / 1 / 0 Регистрация: 16.08.2013 Сообщений: 18
	27.08.2015, 16:29 [ТС]
	Да, ты прав. Буду знать 0