Снова парсер wildberries

@Jim_Hawkins · Регистрация: 26.10.2022

Студворк — интернет-сервис помощи студентам

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
import requests
import xlsxwriter
from time import sleep
 
 
def fetch(url, params):
    for count in range(1, 17):
        sleep(2)
        headers = params['headers']
        body = params['body']
        if params['method'] == 'GET':
            return requests.get(url, headers=headers)
        elif params['method'] == 'POST':
            return requests.post(url, headers=headers, data=body)
        psr = fetch(f"https://catalog.wb.ru/sellers/catalog?appType=1&couponsGeo=3,21&curr=rub&dest=-1216601,-103906,-331414,-331412&emp=0&lang=ru&locale=ru&page={count}&pricemarginCoeff=1.0&reg=1&regions=82,69,68,86,30,48,1,22,66&sort=popular&spp=33&sppFixGeo=4&supplier=45944", {
          "headers": {
            "accept": "*/*",
            "accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
            "sec-ch-ua": "\"Google Chrome\";v=\"107\", \"Chromium\";v=\"107\", \"Not=A?Brand\";v=\"24\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "empty",
            "sec-fetch-mode": "cors",
            "sec-fetch-site": "cross-site",
            "Referer": "https://www.wildberries.ru/seller/45944?sort=popular&page=1",
            "Referrer-Policy": "no-referrer-when-downgrade"
          },
          "body": None,
          "method": "GET"
        })
 
        things = psr.json()['data']['products']
        for thing in things:
            art = thing['id']
            skidka = thing['sale']
            return art, skidka
 
def writer_1(parametr):
    book = xlsxwriter.Workbook(r'Рабочий стол')
    page = book.add_worksheet('товар')
 
    row = 0
    column = 0
 
    page.set_column('A:A', 20)
    page.set_column('B:B', 20)
    for item in parametr():
        page.write(row, column, item[0])
        page.write(row, column + 1, item[1])
        row += 1
 
    book.close()
 
writer_1(fetch)

Выдаёт ошибку:
Traceback (most recent call last):
File "C:\Users\1\PycharmProjects\jogel_parser \main.py", line 54, in <module>
writer_1(fetch)
File "C:\Users\1\PycharmProjects\jogel_parser \main.py", line 47, in writer_1
for item in parametr():
TypeError: fetch() missing 2 required positional arguments: 'url' and 'params'

Не могу сообразить где я потерял url и params. Что надо изменить, чтобы заработало?

@Lekks · 12.11.2022, 16:19

Сообщение от Jim_Hawkins

writer_1(fetch)

Тут

@Jim_Hawkins · 12.11.2022, 16:32 **[ТС]**

Сообщение от Lekks

Тут

А что именно туда надо прописать?

@Lekks · 12.11.2022, 16:45

Ваша fetch - это функция, которая ждет при вызове два параметра - url и params. Подумайте, что вы делаете в строке writer_1(fetch).

А еще - то ли что то с отступами не то у вас, то ли это слишком для меня сложная рекурсия )) Ну и цикл в конце fetch тоже странно выглядит.

@Jim_Hawkins · 13.11.2022, 02:48 **[ТС]**

Переписал так:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
import requests
import xlsxwriter
from time import sleep
 
def fetch(url, params):
    sleep(2)
    headers = params['headers']
    body = params['body']
    if params['method'] == 'GET':
            return requests.get(url, headers=headers)
    elif params['method'] == 'POST':
            return requests.post(url, headers=headers, data=body)
 
def jogel():
    for count in range(1, 17):
        psr = fetch(f"https://catalog.wb.ru/sellers/catalog?appType=1&couponsGeo=3,21&curr=rub&dest=-1216601,-103906,-331414,-331412&emp=0&lang=ru&locale=ru&page={count}&pricemarginCoeff=1.0&reg=1&regions=82,69,68,86,30,48,1,22,66&sort=popular&spp=33&sppFixGeo=4&supplier=45944", {
          "headers": {
            "accept": "*/*",
            "accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
            "sec-ch-ua": "\"Google Chrome\";v=\"107\", \"Chromium\";v=\"107\", \"Not=A?Brand\";v=\"24\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "empty",
            "sec-fetch-mode": "cors",
            "sec-fetch-site": "cross-site",
            "Referer": f"https://www.wildberries.ru/seller/45944?sort=popular&page={count}",
            "Referrer-Policy": "no-referrer-when-downgrade"
          },
          "body": None,
          "method": "GET"
        })
        things = psr.json()['data']['products']
        for thing in things:
            art = thing['id']
            skidka = thing['sale']
            return art, skidka
 
 
 
print(jogel())

функция возвращает только первые два требуемых значения (из 99 на одной странице) + не делает перебора по страницам через range... Подскажите, пожалуйста, где ошибка?

@Lekks · 13.11.2022, 07:35

У вас return на первом же шаге второго цикла. Как думаете, что происходит?

@Jim_Hawkins · 13.11.2022, 11:57 **[ТС]**

Сообщение от Lekks

У вас return на первом же шаге второго цикла. Как думаете, что происходит?

Думаю, что функция должна возвращать по 99 значений (которые в things) с каждой из 16 страниц (которые в range), иначе бы я не писал сюда. Пробуя сдвинуть return руками, ничего не меняется, те же 2 значения (только рандомные)

@Skryp · 13.11.2022, 13:15

Вам надо создать список и заполнять его в цикле, в конце возвратить заполненный список.

Кликните здесь для просмотра всего текста

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
import requests
# import xlsxwriter
from time import sleep
 
def fetch(url, params):
    sleep(2)
    headers = params['headers']
    body = params['body']
    if params['method'] == 'GET':
        return requests.get(url, headers=headers)
    elif params['method'] == 'POST':
        return requests.post(url, headers=headers, data=body)
 
 
def jogel():
    current_data_list = []
    # for count in range(1, 17):
    for count in range(1, 2):
        psr = fetch(
            f"https://catalog.wb.ru/sellers/catalog?appType=1&couponsGeo=3,21&curr=rub&dest=-1216601,-103906,-331414,-331412&emp=0&lang=ru&locale=ru&page={count}&pricemarginCoeff=1.0&reg=1&regions=82,69,68,86,30,48,1,22,66&sort=popular&spp=33&sppFixGeo=4&supplier=45944",
            {
                "headers": {
                    "accept": "*/*",
                    "accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
                    "sec-ch-ua": "\"Google Chrome\";v=\"107\", \"Chromium\";v=\"107\", \"Not=A?Brand\";v=\"24\"",
                    "sec-ch-ua-mobile": "?0",
                    "sec-ch-ua-platform": "\"Windows\"",
                    "sec-fetch-dest": "empty",
                    "sec-fetch-mode": "cors",
                    "sec-fetch-site": "cross-site",
                    "Referer": f"https://www.wildberries.ru/seller/45944?sort=popular&page={count}",
                    "Referrer-Policy": "no-referrer-when-downgrade"
                },
                "body": None,
                "method": "GET"
            })
        things = psr.json()['data']['products']
        for thing in things:
            art = thing['id']
            skidka = thing['sale']
            current_data_list.append(
                {
                    "art": art,
                    "skidka": skidka
                }
            )
    return current_data_list
 
 
data_list_result = []
data_list_result = jogel()
 
print(data_list_result)

@Jim_Hawkins · 13.11.2022, 13:20 **[ТС]**

Сообщение от Skryp

Вам надо создать список и заполнять его в цикле, в конце возвратить заполненный список.

Спасибо за интересную идею! Вечером попробую

@Lekks · 13.11.2022, 15:41

Сообщение от Jim_Hawkins

Думаю, что функция должна возвращать по 99 значений (которые в things) с каждой из 16 страниц (которые в range), иначе бы я не писал сюда.

Есть ощущение, что вам надо подтянуть основы python. Оператор return прекращает выполнение функции, возвращая указанное значение.

@Jim_Hawkins · 13.11.2022, 20:29 **[ТС]**

Сообщение от Lekks

Оператор return прекращает выполнение функции, возвращая указанное значение.

Пробовал с оператором yield, совсем не пошло

Основы, да. Повторять и учить. Плаваю, как видите, очень сильно. Но тут поезд впереди рельсов у меня...

@Lekks · 13.11.2022, 21:16

Сообщение от Jim_Hawkins

Пробовал с оператором yield

yield тут вообще не при делах. Выше один из способов рекомендовали - и в принципе верно.

Новые блоги и статьи Все статьи Все блоги /
Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .	Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .
Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .	Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/

@Lekks 243 / 178 / 73 Регистрация: 17.10.2018 Сообщений: 749
	12.11.2022, 16:45
	Ваша fetch - это функция, которая ждет при вызове два параметра - url и params. Подумайте, что вы делаете в строке writer_1(fetch). А еще - то ли что то с отступами не то у вас, то ли это слишком для меня сложная рекурсия )) Ну и цикл в конце fetch тоже странно выглядит. 0

@Lekks 243 / 178 / 73 Регистрация: 17.10.2018 Сообщений: 749
	13.11.2022, 07:35
	У вас return на первом же шаге второго цикла. Как думаете, что происходит? 0

Опции темы