Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.50/4: Рейтинг темы: голосов - 4, средняя оценка - 4.50
5 / 3 / 3
Регистрация: 02.08.2016
Сообщений: 39

Ошибка: Не работает парсинг vk, что за ошибки не могу понять.

01.03.2017, 16:38. Показов 909. Ответов 6
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Не работает парсинг vk, что за ошибки не могу понять. Помогите пожалуйста.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
import requests
from bs4 import BeautifulSoup
import csv
 
def get_html(url):
    request = requests.get(url)
    return request
 
def make_files(base):
    with open('D:/python/vk_parcer.csv', 'a') as file:
        writer = csv.writer(file)
 
        writer.writerow( (
                base['name'],
                base['school'],
                base['massege']
            ))
 
def parse (html):
    soup = BeautifulSoup(html, 'lxml')
    search = soup.find('div', id = 'list_content')
    result = search.find_all('div', class_ = 'friends_list_bl').find_all('div', class_ = 'friends_user_row clear_fix')
    for i in result:
        try:
            name = i.find_all('div', class_ = 'friends_user_info').find('div', class_ = 'friends_field friends_field_title').find('a').text
        except:
            name = ''
        try:
            school = i.find_all('div', class_ = 'friends_user_info').find('div', class_ = 'friends_field').text
        except:
            school = ''
        try:
            massege = i.find_all('div', class_ = 'friends_user_info').find('a').get('href')
        except:
            massege = ''
 
        base = {
                'name':name,
                'school':school,
                'massege':massege
            }
 
        make_files(base)
 
 
def main():
    URL = 'https://vk.com/friends'
    html = get_html(URL)
    parse(html)
 
if __name__ == '__main__':
    main()
Миниатюры
Ошибка: Не работает парсинг vk, что за ошибки не могу понять.  
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
01.03.2017, 16:38
Ответы с готовыми решениями:

Не могу понять, почему программа работает неправильно( Знаю, что где-то ошибки, но не могу найти
{Ввести последовательность натуральных чисел Aj j=1...n (n<=1000). Упорядочить последовательность по неубыванию наименььшей цифры...

Не могу понять почему не работает. Создаю игру Пятнашки. И ничего у меня не работает. И ошибки при запуске выдает
Не могу понять почему не работает. Создаю игру Пятнашки. И ничего у меня не работает. И ошибки при запуске выдает. Вот, подскажите...

Не могу понять, что означают эти ошибки - Incorrect project override option?
Помимо этих ошибок, там еще куча (около 50), которые ссылаются на разные библиотеки стандартных компонентов

6
Эксперт Python
5438 / 3859 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
01.03.2017, 16:53
r = requests.get(url) возвращает объект Response, который не годится для прямого употребления.
А вот r.text уже можно класть в суп :-)
1
5 / 3 / 3
Регистрация: 02.08.2016
Сообщений: 39
01.03.2017, 17:09  [ТС]
Garry Galler, теперь такая ошибка
Миниатюры
Ошибка: Не работает парсинг vk, что за ошибки не могу понять.  
0
Эксперт Python
5438 / 3859 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
01.03.2017, 18:06
Цитата Сообщение от ELVY Посмотреть сообщение
теперь такая ошибка
Ну дак кто виноват, что в коде нет ни одной проверки на ошибки и возвращаемые значения?
Так у вас прога падать постоянно будет. Сайт не вернет ничего - упадет. Провайдер Интернет отрубит внезапно - упадет.
BS не найдет элемента - упадет. И т.д.
В данном случае search у вас None. А почему - вам виднее.
Суп я не использую. Только lxml в чистом виде.

Добавлено через 22 минуты
И, еще - find_all должна возвращать список результатов в случае успеха, либо - не помню точно - пустой список или None. Так что для того, чтобы применять цепочку вызовов find_all в функц. стиле нужно:
1) быть уверенным, что будет возвращен список
2) в нем будет хоть один элемент
3) обращаться к этому элементу по индексу.
1
5 / 3 / 3
Регистрация: 02.08.2016
Сообщений: 39
02.03.2017, 10:10  [ТС]
Garry Galler, А где можно изучить эту библиотеку(книги, курсы видео уроки). Я что-то найти толкового ничего не могу.
0
 Аватар для Ennjin
103 / 81 / 54
Регистрация: 25.11.2016
Сообщений: 278
02.03.2017, 10:22
ELVY,
Очень подробная документация на русском языке.

Добавлено через 7 минут
И по lxml
1
5 / 3 / 3
Регистрация: 02.08.2016
Сообщений: 39
02.03.2017, 13:41  [ТС]
Ennjin, Спасибо.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
02.03.2017, 13:41
Помогаю со студенческими работами здесь

Скрипт не работает. Не могу понять, что не так
По нажатию кнопки должен обновляться счётчики стоимости и количества купленного <div id = "total">0.00$</div>...

Рандом на javascript, не могу понять что не работает
Здравствуйте форумчане, нежна помощь в js, задание следующие: создать рандом, задаю начало промежутка и конец промежутка, так же необходимо...

НЕ могу понять, что за ошибка
Есть программа: domains i = integer s = o;x кубик = куб(s Left,s Right,s Up,s Down,s Front,s Back) клетка = кл(i X,i Y,s)...

Не могу понять, что за ошибка
Добрый день! В веб программировании мало понимаю, но задали написать веб сервис в институте. Нашел пример. Но браузер выдает ошибку. Вот...

Не могу понять, что не работает в моём решении ЗЛП
На 15 маткаде пишет, что переменная не определена, хотя я её определил...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
7
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&d=1772460536 Одним из. . .
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru