Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.73/11: Рейтинг темы: голосов - 11, средняя оценка - 4.73
2 / 1 / 1
Регистрация: 27.11.2020
Сообщений: 9

Парсер для сайтов

15.02.2021, 10:11. Показов 2310. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Здравствуйте, сегодня передо мной стала задача написать простенький парсер для сайта с использованием фреймворка Scrapy.
Нужно проследить цену товара в 3 городах. Для этого сайт запрашивает 2 параметра, которые передаются с помощью метода POST, пробовал использовать сессию, все равно парсит сайт по умолчанию. Пробовал упростить код, вот, посмотрите:
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
import scrapy
import requests
session=requests.Session()
class Spider(scrapy.Spider):
    name='quotes'
    start_urls=['Страница, которую нужно пропарсить с 3 городов .html',]
    def parse(self, response):
        url2='куда нужно отправить 2 параметра set_location.php'
        data={
        'cityId':'22378',
        'VUE':'Y'
        }
        response2=session.post(url2,data=data)
        site='Страница, которую нужно пропарсить с 3 городов .html'
        print('\n')
        profile_responce=session.get(url2,data=data).text
        print('\n')
        print('\n')
        profile_responce=session.get(site,data=data).text
        print('\n')
      #scrapy runspider cook.py -o kok.jl - run a spider and save data into json file 
        print(response2.cookies)
        print('\n')
        print (response2)
        print('\n')
        session.get(site)
        print('\n')
        print(session.cookies)
        for quote in response.css('div.p-price__main'):
                yield {
                'Price': quote.xpath('text()').get(),
                }
        for quote in response.css('h1.p-header__title.nc'):
                yield {
                    'Name':quote.xpath('text()').get(),
                }
        for quote in response.css('span.custom-anchor--element'):
            yield {
                    'City':quote.xpath('text()').get(),  
                }
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
15.02.2021, 10:11
Ответы с готовыми решениями:

Парсер динамичных сайтов
Здравствуйте. Прошу вас подсказать мне: Вчера я написал парсер для простейшего интернет-магазин, в которой пагинация устроена...

Парсер сайтов
Это правда, что Python - лучше всего подходит для парсинга? Хочеться услышать ответ от настоящих - живых Python - программистов! К примеру...

Как найти или создать парсер для создания миниатюр страниц сайтов?
Как найти или создать парсер для создания миниатюр страниц сайтов? Чтобы обойти фреймы. Хочу, чтобы все мои объявления и страницы на...

3
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,675
Записей в блоге: 29
15.02.2021, 10:23
Shitty_Prog, как по твоим предположениям мы сможем тебе помочь ничего не зная о сайте и как он передает данные? может ты не то или не туда передаешь?
0
2 / 1 / 1
Регистрация: 27.11.2020
Сообщений: 9
15.02.2021, 11:17  [ТС]
Сайту нужно 2 параметра которые он запрашивает:https://epicentrk.ua/ajax/set_location.php это sityId и VUE.
Но вообще, мне интересно правильно ли я написал код или я передаю неправильные данные
0
 Аватар для Matrix3007
198 / 164 / 41
Регистрация: 13.05.2019
Сообщений: 844
16.02.2021, 17:45
Shitty_Prog, Зачем ты даешь ссылку на скрипт? Как я пойму, что туда передается?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
16.02.2021, 17:45
Помогаю со студенческими работами здесь

Парсер сайтов
Доброй ночи, есть известные свободные (gnu) библиотеки для сабжа? Добавлено через 1 час 0 минут Нашел варианты: 1. libcurl для...

Парсер сайтов
Добрый вечер! Есть скрипт на Питоне. Парсит forebet, predictz, windrawwin, soccervista, prosoccer, vitibet . Хочу добавить туда еще сайт...

Парсер сайтов
Всем привет! Необходима консультация по написанию парсера. Добавлено через 8 минут Если можно исходники с комментариями

парсер сайтов
Добрый день. подскажите пожалуйста. нужно написать парсер который будет собирать информацыю про хайп мониторинги. и нужну ищо что бы можна...

Парсер сайтов в 1С
Добрый день! Подскажите пожалуйста книги и темы, видеоуроки для обучения программированию в 1С для разработки парсера сайтов на...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru