Grab: кодировка текста

@Leshkin · Регистрация: 22.10.2012

Студворк — интернет-сервис помощи студентам

Накидал парсер новостей с lenta.ru и gazeta.ru.
Использовал grab 0.4.13.
python 3.3.5 под w8.1
Проблема такая:
Текст вытаскивается из grab.response.body. С ленты вытаскивается нормально, с газеты.ру вытаскиваются только знаки препинания, текст не тащиться. Насколько знаю, grab.response.body возвращает текст в utf-8, на газеты charset=cp1251.
Пробовал читать body_as_bytes() (побайтово), тогда с ленты грабятся иероглифы, а с газеты нормальный, нужный текст..
Кто сталкивался?Что делать?
.encode(),.decode() не помогают..

При body_as_bytes():

@alex925 · 25.04.2014, 10:14

Leshkin, попробуй считывать с помощью body_as_bytes() и потом к полученым данным примени метод .decode('cp1251'). Ну кодировку естественно применяй к каждому сайту свою.

@Leshkin · 25.04.2014, 10:27 **[ТС]**

Сообщение от tsar925

body_as_bytes() и потом к полученым данным примени метод .decode('cp1251').

не вариант так делать, так как парсер для разных сайтов будет использоваться.
при граббинге с ленты.ру вылетает ошибка:UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 124: character maps to <undefined>

@alex925 · 25.04.2014, 10:33

Leshkin, газета.ру таким образом нормально парсится?

@Leshkin · 25.04.2014, 10:40 **[ТС]**

tsar925, газета.ру и без decode() прсто body_as_bytes() хорошо парсится.
причем с mail.ru тоже нормально парсится.

@alex925 · 25.04.2014, 10:46

Я ни когда grab не пользовался, могу показать как тоже самое сделать с помощью другой библиотеки.

Python
1
2
3
4
import requests
 
data = requests.get('http://lenta.ru/news/2014/04/13/afghanistan/')
print(data.text)

Python
1
2
3
4
import requests
 
data = requests.get('http://www.gazeta.ru/')
print(data.text)

С помощью этой библиотеки без проблем получаются страницы обоих сайтов. Агетировать бросать grab не буду, решайте сами. Как решить проблему с grab не могу, потому как не работал с ним.

Новые блоги и статьи Все статьи Все блоги /
моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом	http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	25.04.2014, 10:14
	Leshkin, попробуй считывать с помощью body_as_bytes() и потом к полученым данным примени метод .decode('cp1251'). Ну кодировку естественно применяй к каждому сайту свою. 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	25.04.2014, 10:33
	Leshkin, газета.ру таким образом нормально парсится? 0

@Leshkin 6 / 6 / 1 Регистрация: 22.10.2012 Сообщений: 36
	25.04.2014, 10:40 [ТС]
	tsar925, газета.ру и без decode() прсто body_as_bytes() хорошо парсится. причем с mail.ru тоже нормально парсится. 0

Grab: кодировка текста

Решение