Парсинг html страницы не работает

@Dobrodeetel · Регистрация: 16.02.2019

Студворк — интернет-сервис помощи студентам

https://www.youtube.com/watch?... x=2&t=696s
в этом видео парень рассказывает как спарсить страницу картинок и выдрать себе ссылки на картинки
это его код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import requests
from bs4 import BeautifulSoup as bs
import random
import json
import lxml.html
 
ua = "Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 58.0.3029.110 Safari / 537.36"
 
headers = {"User-Agent": random.choice(ua)}
 
r = requests.get("https://www.google.ru/search?tbm=isch&q=яблоко", headers=headers)
 
html = r.content
 
soup = bs(html, "lxml")
 
images = soup.find_all("div", {"class": "rg_meta notranslate"})
 
images  = [i.text for i in images]
images = [json.loads(i) for i in images]

но у меня ничего не выводит кроме:
[]

Process finished with exit code 0

soup - выводит html текст а вот уже images = soup.find_all("div", {"class": "rg_meta notranslate"}) - ничего не выводит
я уже пересмотрел кучу статей и везде получается что-то найти и вывести используя find_all - у меня же ничего не получается а почему не знаю
помогите пожалуйста понять в чём дело

@Welemir1 · 10.09.2019, 13:29

Dobrodeetel, тот, кто по видео учися уже обречен, так что какой смысл? Ну покажем проблему, через 5 минут у тебя вторая вылезет, читать ведь не хочется, особенно документацию, правда?
Например , объясни -это что ? я знаю, что делает эта функция, объясни -ЗАЧЕМ?

Сообщение от Dobrodeetel

ua = "Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 58.0.3029.110 Safari / 537.36"
headers = {"User-Agent": random.choice(ua)}

Сообщение от Dobrodeetel

soup - выводит html текст а вот уже images = soup.find_all("div", {"class": "rg_meta notranslate"}) - ничего не выводит

открываем документацию БС4 и начинаем неистово читать

Сообщение от Dobrodeetel

я уже пересмотрел кучу статей и везде получается что-то найти и вывести используя find_all - у меня же ничего не получается а почему не знаю

потому что не статьи надо читать, документацию по своим инструментам

вот вариант с lxml

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
import json
 
from lxml import html
import requests
 
ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
 
headers = {"User-Agent": ua}
r = requests.get("https://www.google.ru/search?tbm=isch&q=яблоко", headers=headers)
tree = html.fromstring(r.content)
for e in tree.xpath('//div[@class="rg_meta notranslate"]'):
    json_text = json.loads(e.text)
    print(json_text['ou'])

@Fudthhh · 10.09.2019, 14:00

Не по теме:

Welemir1, ты случайно не знаешь, можно ли отменить отзыв, хотел кинуть ему негативный, а кинул позитивный. (Причина: создание одной и той же темы, ожидая получить иной ответ.)

@Welemir1 · 10.09.2019, 14:06

Не по теме:

DmFat, :) внимательнее надо, напиши модераторам, например jSmoke

@Garry Galler · 11.09.2019, 13:20

это что ?

~~Свободная касса!~~ рандомный браузер!

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
>>> ua = "Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 58.0.3029.110 Safari / 537.36"
>>> import random
>>> random.choice(ua)
' '
>>> random.choice(ua)
'/'
>>> random.choice(ua)
'i'
>>> random.choice(ua)
'x'
>>> random.choice(ua)
'T'
>>> random.choice(ua)
'i'
>>> random.choice(ua)
'G'
>>>

Новые блоги и статьи Все статьи Все блоги /
Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .
Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Программное заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .

@Fudthhh
	10.09.2019, 14:00
	Не по теме: Welemir1, ты случайно не знаешь, можно ли отменить отзыв, хотел кинуть ему негативный, а кинул позитивный. (Причина: создание одной и той же темы, ожидая получить иной ответ.) 0

@Welemir1
	10.09.2019, 14:06
	Не по теме: DmFat, :) внимательнее надо, напиши модераторам, например jSmoke 0