Парсит только 1 страницу из steam

@Squidy · Регистрация: 28.06.2022

Студворк — интернет-сервис помощи студентам

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from bs4 import  BeautifulSoup as BS
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh;'
                         ' Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/39.0.2171.95 Safari/537.36'}
URL = 'https://steamcommunity.com/market/search?appid=730&q='
fsb=[]
name_skins=(input('Название скина:')).replace(' ','|',1)
page=int(input('Введите страницы:'))
URL= f'{URL}{name_skins}'
for i in range(1,page+1):
    URL= f'{URL}#p{i}_popular_desc'
    print(URL)
    r=requests.get(URL,headers)
    soup = BS(r.text,'lxml')
    quotes = soup.find_all('div', class_='market_listing_row market_recent_listing_row market_listing_searchresult')
    for quote in quotes:
        fsb.append(quote)
        print(quote.text.split())
    URL= f'https://steamcommunity.com/market/search?appid=730&q={name_skins}'

Jabbson · 25.07.2022, 02:35

у Вас какой-то вопрос?

Добавлено через 3 минуты
Если вопрос сформулировать в виде вопроса, указав, что Вы хотите добиться, шансы получить ответ возрастают очень сильно

Добавлено через 45 минут
Дополнительно советую проверить не использует ли сайт javascript для пагинации.

@Vigi · 25.07.2022, 06:37

Python
1
URL = 'https://steamcommunity.com/market/search?appid=730&q=#p1_popular_desc'

@Squidy · 25.07.2022, 13:03 **[ТС]**

Мне надо парсить несколько страниц сколько пользователь захочет

Добавлено через 37 секунд
Парсится только 1-ая страница, дальше почему-то только её и парсит, иногда вылазит вторая, но роли не меняет, не парсит корректно, пробовал поработать с юрл ссылкой, не получается

@Alexarh · 25.07.2022, 14:26

Не по теме:

Хотя, наверно, я ошибся. Удалил.

Jabbson · 25.07.2022, 17:42

Сообщение от Jabbson

Дополнительно советую проверить не использует ли сайт javascript для пагинации.

проверили?

@Squidy · 25.07.2022, 18:42 **[ТС]**

Да, присутствует

Jabbson · 25.07.2022, 18:45

Сообщение от Squidy

Да, присутствует

именно!

@Squidy · 25.07.2022, 21:08 **[ТС]**

Если мы просто страницу будем заменять на другое число, то парсить не будет питон из-за того, что # не считается частью URL и обрабатывается скриптами внутри браузера. Если это невозможно через bs4, то какой другой механикой, библиотекой это можно сделать?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from bs4 import  BeautifulSoup as BS
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh;'
                         ' Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/39.0.2171.95 Safari/537.36'}
URL = 'https://steamcommunity.com/market/search?appid=730&q='
name_skins=(input('Название скина:'))
page=int(input('Введите страницы:'))
URL= f'{URL}{name_skins}'
for i in range(1,page+1):
    URL= f'{URL}#p{i}_price_asc'
    print(URL)
    r=requests.get(URL,headers)
    soup = BS(r.text,'lxml')
    quotes = soup.find_all('div', class_='market_listing_row market_recent_listing_row market_listing_searchresult')
    for quote in quotes:
        print(','.join(quote.text.split()))
    URL= f'https://steamcommunity.com/market/search?appid=730&q={name_skins}'

Jabbson · 25.07.2022, 21:57

selenium можно попробовать или requests-html

Новые блоги и статьи Все статьи Все блоги /
Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .	Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	25.07.2022, 02:35
	у Вас какой-то вопрос? Добавлено через 3 минуты Если вопрос сформулировать в виде вопроса, указав, что Вы хотите добиться, шансы получить ответ возрастают очень сильно Добавлено через 45 минут Дополнительно советую проверить не использует ли сайт javascript для пагинации. 0

@Squidy 1 / 1 / 0 Регистрация: 28.06.2022 Сообщений: 50
	25.07.2022, 13:03 [ТС]
	Мне надо парсить несколько страниц сколько пользователь захочет Добавлено через 37 секунд Парсится только 1-ая страница, дальше почему-то только её и парсит, иногда вылазит вторая, но роли не меняет, не парсит корректно, пробовал поработать с юрл ссылкой, не получается 0

@Alexarh
	25.07.2022, 14:26
	Не по теме: Хотя, наверно, я ошибся. Удалил. 0

@Squidy 1 / 1 / 0 Регистрация: 28.06.2022 Сообщений: 50
	25.07.2022, 18:42 [ТС]
	Да, присутствует 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	25.07.2022, 21:57
	selenium можно попробовать или requests-html 1