1 / 1 / 0
Регистрация: 02.02.2020
Сообщений: 18

Проблема с куками и сессией Selenium + scrapy

02.02.2020, 13:31. Показов 878. Ответов 0

Студворк — интернет-сервис помощи студентам
Задачка следующая. Есть сайт, написанный на Ангулар. Нужно выбрать город и в этой сессии уже начать переходить по станицам и работать с данными

Возможно не верно, но я решил запустить селениум. В нём выбрать город, а после этого передать работу в скрапи. Вот только мой скрипт страпи не подхватывает сессию из селениума.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
# scrapy runspider region.py -o file/region_file.csv -t csv
 
import scrapy
from selenium import webdriver
 
 
class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    Url = 'https://moto-gk.ru'
    start_urls = [
        'https://moto-gk.ru',
    ]
 
    def __init__(self):
        self.driver = webdriver.Firefox()
 
    def parse(self, response):
        self.driver.get(self.Url)
 
        while True:
            try:
                elem_0 = self.driver.find_element_by_xpath('//div[@class="head"]//span[@dir="ltr"]')
                elem_0.click()
                next = self.driver.find_element_by_xpath('//span[@class="select2-results"]/ul/li[2]/ul/li')
 
                next.click()
                request = scrapy.Request('https://moto-gk.ru',
                                         cookies=self.driver.get_cookies(),
                                         callback=self.parse_page2,
                                         )
 
                yield request
            except:
                break
 
    def parse_page2(self, response):
 
        sel = response.xpath('//div[@class="head"]/div/div//select/optgroup/option[@selected="selected"]/text()').get()
        #должен быть Новосибирск
        yield {
            'selected': sel,
        }
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
02.02.2020, 13:31
Ответы с готовыми решениями:

Как сделать связку scrapy + selenium?
Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google Но изначально подгружаются только...

Selenium. Работа с существующими куками FireFox
Хочу что бы Silenium подтягивал существующие куки фаерфокса: var driverService = FirefoxDriverService.CreateDefaultService(); ...

Проблема с использованием библиотеки Scrapy
Всем привет, возникла проблема с библиотекой scrapy. Вкратце: при попытке создать проект, консоль выдаёт вот это scrapy : Имя...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
02.02.2020, 13:31
Помогаю со студенческими работами здесь

Проблема с куками C#
Есть конкурс, я пытаюсь проголосовать более чем 1 раз К примеру вот есть анкета - http://www.0512.com.ua/photovistavka/full/pd/102 Я...

Проблема с куками
Я качаю с помощью сокета файлы и в заголовке есть чтото вроде этого Set-Cookie: xsid=6c96618056e7f627ce7533f41dc165c0;...

проблема с куками
первый файл <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"...

проблема с сессией, session_register не срабатывает
Привет всем. Есть сайт на страницы которого можно попасть только введя логин и пароль. Причем защита внутренних страниц (на которые...

проблема с куками в мазиле и в ie
В опере и хроме норм а вот в этих пишет "Включите куки". чаво делать)? if (isset($_COOKIE) and isset($_COOKIE)) { ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Опции темы

Новые блоги и статьи
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&d=1772460536 Одним из. . .
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru