Вывод одного и того же результата парсером

@DiZiNnEs · Регистрация: 02.01.2019

Студворк — интернет-сервис помощи студентам

Вот сайт который я пытаюсь спарсить: https://www.olx.kz/kokshetau/q-Системный-блок/

Вот сам код:

Кликните здесь для просмотра всего текста

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import requests
from bs4 import BeautifulSoup as bs
 
headers = {'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
           'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'}
 
base_url = 'https://www.olx.kz/kokshetau/q-Системный-блок/'
 
 
def olx_parser(headers, base_url):
    session = requests.Session()
    request = session.get(base_url, headers=headers)
    if request.status_code == 200:
        soup = bs(request.content, 'html.parser')
        output = soup.find_all('div', attrs={'class': 'offer-wrapper'})
        for div in output:
            name = soup.find('h3', attrs={'class': 'lheight22 margintop5'}).text
            href = soup.find('a', attrs={'class': 'marginright5 link linkWithHash detailsLink'})['href']
            price = soup.find('p', attrs={'class': 'price'}).text
            print(f'''
Название: {name}
Ссылка: {href}
Цена: {price}
--------------------------------
''')
    else:
        print('ERROR')
 
olx_parser(headers, base_url)

Вот вывод программы:

Кликните здесь для просмотра всего текста

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Название:

Компьютер системный блок i7

Ссылка: https://www.olx.kz/obyavlenie/... 7;promoted
Цена:
200 000 тг.

--------------------------------

Process finished with exit code 0

Баг кажется в

Python
1
output = soup.find_all('div', attrs={'class': 'offer-wrapper'})

ну как мне исправить это, что бы выводились остальные объявление

Извините за глупый вопрос, только вчера начал изучать и практиковать парсинг

@Welemir1 · 14.11.2019, 18:42

Сообщение от DiZiNnEs

ну как мне исправить это, что бы выводились остальные объявление

какие остальные?

@DiZiNnEs · 14.11.2019, 18:45 **[ТС]**

Все объявление на сайте

@Welemir1 · 14.11.2019, 18:57

DiZiNnEs, пиши еще короче -быстрее поможем)))
твой способ не выводит какие то объявления? какие? сколько собрал ты и сколько их есть?

@DiZiNnEs · 14.11.2019, 19:07 **[ТС]**

Смотрите, вот объявления который мне нужно вывести из сайт мне в консоль:

Вывод одного и того же результата парсером

Ну, мне лишь выводит одно объявление, вот это:

Как мне сделать так, что выводились все объявление ??

@Welemir1 · 14.11.2019, 19:37

DiZiNnEs, но у тебя вывод программы вовсе не 1 объявление.
Чтобы выводились все посмотри в верстке их атрибуты и выдергивай.

@DiZiNnEs · 14.11.2019, 19:43 **[ТС]**

Блин, таки и делаю ну ничего пока что не помогает :(

@Welemir1 · 14.11.2019, 20:16

DiZiNnEs, вот 38 элементов, по тексту вроде то, что надо

Python
1
blocks = soup.findAll('tr',{'class':'wrap'})

@DiZiNnEs · 14.11.2019, 20:23 **[ТС]**

К сожалению не помогло

, результат такой же, что же делать ?? Уже многое перепробовал

@Welemir1 · 14.11.2019, 20:29

DiZiNnEs, да что с тобой такое? какой такой же ? какие конкретно элементы тебе нужны? сколько их ? я получил именно эти 38 компов, а тебе что нужно? если будешь по два слова отвечать то решай сам

@DiZiNnEs · 14.11.2019, 20:38 **[ТС]**

Извини, я тоже получаю 38 элементов, нужны вот эти:

Ну у меня выводит одно и тоже объявление 38 раз! Как сделать что бы выводило все 38 объявление соответствующий на сайте ?

@volkomorov · 14.11.2019, 21:36

В цикле замените soup на div

@DiZiNnEs · 14.11.2019, 21:43 **[ТС]**

Благодарю за ответ!)

Добавлено через 1 минуту
Можете ли сказать, как вы поняли что нужно было поменять div на soup ?

@volkomorov · 14.11.2019, 21:50

Учитесь читать код

Cначала ищем блоки на всей странице которую вы загрузили в переменную soup. ОК, все блоки были записаны в переменную output. Теперь надо перебрать циклом каждый блок и достать из него то, что нужно нам. DIV будет нашей переменной к которой присваивается одно значение (один блок). И тут вы начинаете искать не в отдельном блоке, а опять по всей странице

Новые блоги и статьи Все статьи Все блоги /
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK сделайте это, JDK, то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Перейдите по ссылке:. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом
http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .

@DiZiNnEs 0 / 0 / 0 Регистрация: 02.01.2019 Сообщений: 57
	14.11.2019, 18:45 [ТС]
	Все объявление на сайте 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,667 Записей в блоге: 29
	14.11.2019, 18:57
	DiZiNnEs, пиши еще короче -быстрее поможем))) твой способ не выводит какие то объявления? какие? сколько собрал ты и сколько их есть? 0

@DiZiNnEs 0 / 0 / 0 Регистрация: 02.01.2019 Сообщений: 57
	14.11.2019, 19:07 [ТС]
	Смотрите, вот объявления который мне нужно вывести из сайт мне в консоль: Ну, мне лишь выводит одно объявление, вот это: Как мне сделать так, что выводились все объявление ?? 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,667 Записей в блоге: 29
	14.11.2019, 19:37
	DiZiNnEs, но у тебя вывод программы вовсе не 1 объявление. Чтобы выводились все посмотри в верстке их атрибуты и выдергивай. 0

@DiZiNnEs 0 / 0 / 0 Регистрация: 02.01.2019 Сообщений: 57
	14.11.2019, 19:43 [ТС]
	Блин, таки и делаю ну ничего пока что не помогает :( 0

@DiZiNnEs 0 / 0 / 0 Регистрация: 02.01.2019 Сообщений: 57
	14.11.2019, 20:23 [ТС]
	К сожалению не помогло, результат такой же, что же делать ?? Уже многое перепробовал 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,667 Записей в блоге: 29
	14.11.2019, 20:29
	DiZiNnEs, да что с тобой такое? какой такой же ? какие конкретно элементы тебе нужны? сколько их ? я получил именно эти 38 компов, а тебе что нужно? если будешь по два слова отвечать то решай сам 1

@DiZiNnEs 0 / 0 / 0 Регистрация: 02.01.2019 Сообщений: 57
	14.11.2019, 20:38 [ТС]
	Извини, я тоже получаю 38 элементов, нужны вот эти: Ну у меня выводит одно и тоже объявление 38 раз! Как сделать что бы выводило все 38 объявление соответствующий на сайте ? 0

@volkomorov 150 / 120 / 36 Регистрация: 01.11.2019 Сообщений: 425
	14.11.2019, 21:36
	Сообщение было отмечено DiZiNnEs как решение Решение В цикле замените soup на div 0

@DiZiNnEs 0 / 0 / 0 Регистрация: 02.01.2019 Сообщений: 57
	14.11.2019, 21:43 [ТС]
	Благодарю за ответ!) Добавлено через 1 минуту Можете ли сказать, как вы поняли что нужно было поменять div на soup ? 0

@volkomorov 150 / 120 / 36 Регистрация: 01.11.2019 Сообщений: 425
	14.11.2019, 21:50
	Учитесь читать код Cначала ищем блоки на всей странице которую вы загрузили в переменную soup. ОК, все блоки были записаны в переменную output. Теперь надо перебрать циклом каждый блок и достать из него то, что нужно нам. DIV будет нашей переменной к которой присваивается одно значение (один блок). И тут вы начинаете искать не в отдельном блоке, а опять по всей странице 0

Вывод одного и того же результата парсером

Решение