Grab: кодировка текста

@Leshkin · Регистрация: 22.10.2012

Студворк — интернет-сервис помощи студентам

Накидал парсер новостей с lenta.ru и gazeta.ru.
Использовал grab 0.4.13.
python 3.3.5 под w8.1
Проблема такая:
Текст вытаскивается из grab.response.body. С ленты вытаскивается нормально, с газеты.ру вытаскиваются только знаки препинания, текст не тащиться. Насколько знаю, grab.response.body возвращает текст в utf-8, на газеты charset=cp1251.
Пробовал читать body_as_bytes() (побайтово), тогда с ленты грабятся иероглифы, а с газеты нормальный, нужный текст..
Кто сталкивался?Что делать?
.encode(),.decode() не помогают..

При body_as_bytes():

@alex925 · 25.04.2014, 10:14

Leshkin, попробуй считывать с помощью body_as_bytes() и потом к полученым данным примени метод .decode('cp1251'). Ну кодировку естественно применяй к каждому сайту свою.

@Leshkin · 25.04.2014, 10:27 **[ТС]**

Сообщение от tsar925

body_as_bytes() и потом к полученым данным примени метод .decode('cp1251').

не вариант так делать, так как парсер для разных сайтов будет использоваться.
при граббинге с ленты.ру вылетает ошибка:UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 124: character maps to <undefined>

@alex925 · 25.04.2014, 10:33

Leshkin, газета.ру таким образом нормально парсится?

@Leshkin · 25.04.2014, 10:40 **[ТС]**

tsar925, газета.ру и без decode() прсто body_as_bytes() хорошо парсится.
причем с mail.ru тоже нормально парсится.

@alex925 · 25.04.2014, 10:46

Я ни когда grab не пользовался, могу показать как тоже самое сделать с помощью другой библиотеки.

Python
1
2
3
4
import requests
 
data = requests.get('http://lenta.ru/news/2014/04/13/afghanistan/')
print(data.text)

Python
1
2
3
4
import requests
 
data = requests.get('http://www.gazeta.ru/')
print(data.text)

С помощью этой библиотеки без проблем получаются страницы обоих сайтов. Агетировать бросать grab не буду, решайте сами. Как решить проблему с grab не могу, потому как не работал с ним.

Новые блоги и статьи Все статьи Все блоги /
Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	25.04.2014, 10:14
	Leshkin, попробуй считывать с помощью body_as_bytes() и потом к полученым данным примени метод .decode('cp1251'). Ну кодировку естественно применяй к каждому сайту свою. 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	25.04.2014, 10:33
	Leshkin, газета.ру таким образом нормально парсится? 0

@Leshkin 6 / 6 / 1 Регистрация: 22.10.2012 Сообщений: 36
	25.04.2014, 10:40 [ТС]
	tsar925, газета.ру и без decode() прсто body_as_bytes() хорошо парсится. причем с mail.ru тоже нормально парсится. 0

Grab: кодировка текста

Решение