Форум программистов, компьютерный форум, киберфорум
Python: Решение задач
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 19.12.2014
Сообщений: 42

Код для парсинга

11.11.2024, 11:13. Показов 367. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день! Не знаю, куда именно поместить тему, но думаю всё-таки здесь будет корректнее.
Я новичок в Python программировании.
Хочу сделать небольшой парсер цен с артикулами и наименованиями для работы с сайта.
Почему-то вообще ничего не отображается в итоговом xlsx файле. Укажите, пожалуйста, на ошибку и помогите исправить для корректной работы
Мне кажется, что ошибка кроется именно в CSS-селекторе для ссылок, т.к. я не очень понимаю момент с тем, как Python понимает, что ему надо провалиться в конкретный товар забрать информацию и перейти к следующему

Буду очень благодарен за помощь

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import requests
from bs4 import BeautifulSoup
import pandas as pd
 
# Базовый URL
base_url = "https://aquadom.info/catalog/statsionarnye/"
 
# Количество страниц для парсинга
pages_to_parse = 3
 
# Список для хранения данных
items = []
 
# Перебираем страницы каталога
for page in range(1, pages_to_parse + 1):
# Формируем URL для текущей страницы каталога
url = f"{base_url}?PAGEN_2={page}&SIZEN_2=12"
 
# Отправляем запрос
response = requests.get(url)
 
# Проверяем, что запрос успешен
if response.status_code == 200:
# Парсим страницу каталога
soup = BeautifulSoup(response.text, 'html.parser')
 
# Собираем ссылки на страницы товаров
product_links = soup.select(".product_item_title")  # Это предполагаемый CSS-селектор для ссылок на товары
for link in product_links:
product_url = link.get('href')
if product_url:
full_url = base_url + product_url if product_url.startswith('/') else product_url
 
# Заходим на страницу товара
product_response = requests.get(product_url)
if product_response.status_code == 200:
product_soup = BeautifulSoup(product_response.text, 'html.parser')
 
# Собираем данные о товаре
article = product_soup.select_one(".card_article").text.strip() if product_soup.select_one(".card_article") else None
name = product_soup.select_one(".product_card_title").text.strip() if product_soup.select_one(".product_card_title") else None
price = product_soup.select_one(".product-item-detail-price-current").text.strip() if product_soup.select_one(".product-item-detail-price-current") else None
 
# Добавляем информацию о товаре в список
items.append({
"Артикул": article,
"Наименование": name,
"Цена": price,
"Описание": description
})
 
else:
print(f"Ошибка при загрузке страницы {page}, код ответа: {response.status_code}")
 
# Записываем данные в Excel
df = pd.DataFrame(items)
df.to_excel("C:/users/moomin/desktop/aquadom_products_detailed.xlsx", index=False)
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
11.11.2024, 11:13
Ответы с готовыми решениями:

Исправить код для парсинга страницы
В общем сори если тема уже есть, просто, появился у меня вопрос. Подскажите почему не работает. Тупо не определяет имя news, пробовал...

Исправить код для парсинга сайта
Здравствуйте! Извините, если я не в той ветке пишу. Не могу разобраться с библиотекой Beautiful Soup. Хочу спарсить сайт...

Поправьте код для парсинга
HTML class="FacebookBM"> <a href="/r.asp?http://www.facebook.com/sharer.php ...

1
115 / 100 / 15
Регистрация: 24.07.2019
Сообщений: 314
11.11.2024, 15:44
попробуйте выполнить код в режиме отладки, по шагам-строкам, отслеживая значения переменных
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
11.11.2024, 15:44
Помогаю со студенческими работами здесь

Исправить код для парсинга
Здравствуйте! Программа должна парсить Яндекс сниппеты для заданных ключевых слов. Программа выдает сообщение что все спарсилось, но это...

Код для парсинга Olx
есть код для парсинга олх @bot.message_handler(commands=) def ask(message): input_ = bot.send_message(message.chat.id,...

Код для парсинга сайта в эксель
Доброго времени суток! Можете помочь, пожалуйста, с кодом. Хочу сделать парсер для вывода таблицы в эксель из сайта...

Дописать код для парсинга документов с сайта
День добрый и всех с праздником! Есть готовый код (сложный) на 1500 строк на PowerShell (одна из последних версий) на win10. Создатель...

Поправьте код для парсинга HTML-страницы
<tr class="itr"> <td class="itdh" align="center">4</td> <td class="itd_lb" width="33%" nowrap align="left"> <a...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
Кому нужен AOT?
DevAlt 26.03.2026
Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .
Отправка уведомления на почту при изменении наименования справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .
модель ЗдравоСохранения 5. Меньше увольнений- больше дохода!
anaschu 24.03.2026
Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .
Midnight Chicago Blues
kumehtar 24.03.2026
Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .
SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++
8Observer8 24.03.2026
Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip
Жизнь в неопределённости
kumehtar 23.03.2026
Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
Модель здравоСохранения: работники работают быстрее после её введения.
anaschu 23.03.2026
geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .
Контроль уникальности заводского номера
Maks 23.03.2026
Алгоритм контроля уникальности заводского (или серийного) номера на примере нетипового документа выдачи шин для спецтехники с табличной частью, разработанного в конфигурации КА2. Номеклатура. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru