Парсинг сайта

@Lesstrage · Регистрация: 12.09.2019

Студворк — интернет-сервис помощи студентам

Добрый день, возник вопрос, нужно спарсить с сайта цены и название товаров, при парсинге берётся только первый div, даже через перебор не получается это сделать, подскажите как исправить.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import requests
from bs4 import BeautifulSoup
import csv
 
url = "http://kazahproduct.ru/index.php?route=product/category&path=109"
 
response = requests.get(url)
 
soup = BeautifulSoup(response.text,'lxml')
 
data = soup.find_all("div", class_='product-list')
 
 
for i in data:
    name = i.find('div', class_='name').text.replace("\n","")
    price = i.find('div', class_='price').text
 
    print(name + "\n" + price)

@Lekks · 31.05.2022, 15:34

Твой div class_='product-list' выглядит как во вложении. Т.е. он один и итерировать его не получится. А вот внутри него есть куча div без классов, внутри которых как раз и содержатся нужные тебе элементы. Т.е. итерировать тебе надо по data.children.

Jabbson · 31.05.2022, 16:07

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
import requests
from bs4 import BeautifulSoup
 
url = "http://kazahproduct.ru/index.php?route=product/category&path=109"
 
response = requests.get(url)
soup = BeautifulSoup(response.text,'lxml')
 
names = soup.select('div.name')
prices = soup.select('div.price')
 
for n, p in zip(names, prices):
    print(f'name: {n.text.strip()}, price: {p.text.strip()}')

Добавлено через 12 минут

Консервы "Желудочки куриные в собственном соку" (325 гр)

Не по теме:

это вообще как?.. в желудочном соку что ли? лежат там, перевариваются? :D

@Lesstrage · 06.06.2022, 13:31 **[ТС]**

Да, всё верно

Спасибо.

Новые блоги и статьи Все статьи Все блоги /
Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .	SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .

@Lekks 243 / 178 / 73 Регистрация: 17.10.2018 Сообщений: 749
	31.05.2022, 15:34
	Твой div class_='product-list' выглядит как во вложении. Т.е. он один и итерировать его не получится. А вот внутри него есть куча div без классов, внутри которых как раз и содержатся нужные тебе элементы. Т.е. итерировать тебе надо по data.children. 0

@Lesstrage 1 / 1 / 0 Регистрация: 12.09.2019 Сообщений: 4
	06.06.2022, 13:31 [ТС]
	Да, всё верно Спасибо. 0

Опции темы

Парсинг сайта

Решение