Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
1 / 1 / 0
Регистрация: 02.02.2020
Сообщений: 18

Проблема с куками и сессией Selenium + scrapy

02.02.2020, 13:31. Показов 872. Ответов 0

Студворк — интернет-сервис помощи студентам
Задачка следующая. Есть сайт, написанный на Ангулар. Нужно выбрать город и в этой сессии уже начать переходить по станицам и работать с данными

Возможно не верно, но я решил запустить селениум. В нём выбрать город, а после этого передать работу в скрапи. Вот только мой скрипт страпи не подхватывает сессию из селениума.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
# scrapy runspider region.py -o file/region_file.csv -t csv
 
import scrapy
from selenium import webdriver
 
 
class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    Url = 'https://moto-gk.ru'
    start_urls = [
        'https://moto-gk.ru',
    ]
 
    def __init__(self):
        self.driver = webdriver.Firefox()
 
    def parse(self, response):
        self.driver.get(self.Url)
 
        while True:
            try:
                elem_0 = self.driver.find_element_by_xpath('//div[@class="head"]//span[@dir="ltr"]')
                elem_0.click()
                next = self.driver.find_element_by_xpath('//span[@class="select2-results"]/ul/li[2]/ul/li')
 
                next.click()
                request = scrapy.Request('https://moto-gk.ru',
                                         cookies=self.driver.get_cookies(),
                                         callback=self.parse_page2,
                                         )
 
                yield request
            except:
                break
 
    def parse_page2(self, response):
 
        sel = response.xpath('//div[@class="head"]/div/div//select/optgroup/option[@selected="selected"]/text()').get()
        #должен быть Новосибирск
        yield {
            'selected': sel,
        }
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
02.02.2020, 13:31
Ответы с готовыми решениями:

Как сделать связку scrapy + selenium?
Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google Но изначально подгружаются только...

Selenium. Работа с существующими куками FireFox
Хочу что бы Silenium подтягивал существующие куки фаерфокса: var driverService = FirefoxDriverService.CreateDefaultService(); ...

Проблема с использованием библиотеки Scrapy
Всем привет, возникла проблема с библиотекой scrapy. Вкратце: при попытке создать проект, консоль выдаёт вот это scrapy : Имя...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
02.02.2020, 13:31
Помогаю со студенческими работами здесь

Проблема с куками C#
Есть конкурс, я пытаюсь проголосовать более чем 1 раз К примеру вот есть анкета - http://www.0512.com.ua/photovistavka/full/pd/102 Я...

Проблема с куками
Я качаю с помощью сокета файлы и в заголовке есть чтото вроде этого Set-Cookie: xsid=6c96618056e7f627ce7533f41dc165c0;...

проблема с куками
первый файл <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"...

проблема с сессией, session_register не срабатывает
Привет всем. Есть сайт на страницы которого можно попасть только введя логин и пароль. Причем защита внутренних страниц (на которые...

проблема с куками в мазиле и в ie
В опере и хроме норм а вот в этих пишет "Включите куки". чаво делать)? if (isset($_COOKIE) and isset($_COOKIE)) { ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru