Парсинг html страницы не работает

@Dobrodeetel · Регистрация: 16.02.2019

Студворк — интернет-сервис помощи студентам

https://www.youtube.com/watch?... x=2&t=696s
в этом видео парень рассказывает как спарсить страницу картинок и выдрать себе ссылки на картинки
это его код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import requests
from bs4 import BeautifulSoup as bs
import random
import json
import lxml.html
 
ua = "Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 58.0.3029.110 Safari / 537.36"
 
headers = {"User-Agent": random.choice(ua)}
 
r = requests.get("https://www.google.ru/search?tbm=isch&q=яблоко", headers=headers)
 
html = r.content
 
soup = bs(html, "lxml")
 
images = soup.find_all("div", {"class": "rg_meta notranslate"})
 
images  = [i.text for i in images]
images = [json.loads(i) for i in images]

но у меня ничего не выводит кроме:
[]

Process finished with exit code 0

soup - выводит html текст а вот уже images = soup.find_all("div", {"class": "rg_meta notranslate"}) - ничего не выводит
я уже пересмотрел кучу статей и везде получается что-то найти и вывести используя find_all - у меня же ничего не получается а почему не знаю
помогите пожалуйста понять в чём дело

@Welemir1 · 10.09.2019, 13:29

Dobrodeetel, тот, кто по видео учися уже обречен, так что какой смысл? Ну покажем проблему, через 5 минут у тебя вторая вылезет, читать ведь не хочется, особенно документацию, правда?
Например , объясни -это что ? я знаю, что делает эта функция, объясни -ЗАЧЕМ?

Сообщение от Dobrodeetel

ua = "Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 58.0.3029.110 Safari / 537.36"
headers = {"User-Agent": random.choice(ua)}

Сообщение от Dobrodeetel

soup - выводит html текст а вот уже images = soup.find_all("div", {"class": "rg_meta notranslate"}) - ничего не выводит

открываем документацию БС4 и начинаем неистово читать

Сообщение от Dobrodeetel

я уже пересмотрел кучу статей и везде получается что-то найти и вывести используя find_all - у меня же ничего не получается а почему не знаю

потому что не статьи надо читать, документацию по своим инструментам

вот вариант с lxml

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
import json
 
from lxml import html
import requests
 
ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
 
headers = {"User-Agent": ua}
r = requests.get("https://www.google.ru/search?tbm=isch&q=яблоко", headers=headers)
tree = html.fromstring(r.content)
for e in tree.xpath('//div[@class="rg_meta notranslate"]'):
    json_text = json.loads(e.text)
    print(json_text['ou'])

@Fudthhh · 10.09.2019, 14:00

Не по теме:

Welemir1, ты случайно не знаешь, можно ли отменить отзыв, хотел кинуть ему негативный, а кинул позитивный. (Причина: создание одной и той же темы, ожидая получить иной ответ.)

@Welemir1 · 10.09.2019, 14:06

Не по теме:

DmFat, :) внимательнее надо, напиши модераторам, например jSmoke

@Garry Galler · 11.09.2019, 13:20

это что ?

~~Свободная касса!~~ рандомный браузер!

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
>>> ua = "Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 58.0.3029.110 Safari / 537.36"
>>> import random
>>> random.choice(ua)
' '
>>> random.choice(ua)
'/'
>>> random.choice(ua)
'i'
>>> random.choice(ua)
'x'
>>> random.choice(ua)
'T'
>>> random.choice(ua)
'i'
>>> random.choice(ua)
'G'
>>>

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! */ #include <iostream> #include <stack> #include <cctype>. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@Fudthhh
	10.09.2019, 14:00
	Не по теме: Welemir1, ты случайно не знаешь, можно ли отменить отзыв, хотел кинуть ему негативный, а кинул позитивный. (Причина: создание одной и той же темы, ожидая получить иной ответ.) 0

@Welemir1
	10.09.2019, 14:06
	Не по теме: DmFat, :) внимательнее надо, напиши модераторам, например jSmoke 0