Форум программистов, компьютерный форум, киберфорум
Python: Решение задач
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 08.05.2022
Сообщений: 1

Парсер не собирает данных с сайта

08.05.2022, 17:32. Показов 801. Ответов 0

Студворк — интернет-сервис помощи студентам
всем привет. парсер Scrapy не собирает данных( делаю в pycharm), можете помочь в чем проблема? заранее спасибо

import scrapy

from dyplom.items import DyplomtwoItem
class Dyplom(scrapy.Spider):
name = "dyplom"
start_urls = ['https://www.edimdoma.ru/retsepty?tags%5Brecipe_cuisine%5D%5B%5D= %D0%B0%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0% B0%D0%BD%D1%81%D0%BA%D0%B0%D1%8F+%D0%BA% D1%83%D1%85%D0%BD%D1%8F&with_ingredient= &with_ingredient_condition=and&without_i ngredient=&user_ids=&field=&direction=&q uery=']

for i in range(2, 6):
start_urls.append("https://www.edimdoma.ru/retsepty?_=1529256600422"
"&direction=&field=&page=" + str(i) +
"&query=&tags%5Brecipe_cuisine%5D%5B%5D= &user"
"_ids=&with_ingredient=&without_ingredie nt=")


def parse(self, response):
for href in response.xpath("//article[contains(@class, 'card')]/a//@href"):
# add the scheme, eg http://
url = "https://www.edimdoma.ru" + href.extract()
yield scrapy.Request(url, callback=self.parse_dir_contents)
def parse_dir_contents(self, response):
item = DyplomtwoItem()
item['id'] = response.xpath("//div[contains(@class, 'button button_print')]"
"//a[contains(@class, 'drop-down_item')]/@href").extract()[0]
item['title'] = response.xpath("//h1[contains(@class, 'recipe-header_name')]"
"/descendant::text()").extract()
item['image'] = response.xpath("//div[contains(@class, 'content-media')]/img//@src").extract()

item['recipe'] = response.xpath("//div[contains(@class, 'content-box_content')]/div[contains"
"(@class, 'plain-text recipe_step_text')]/descendant::text()").extract()

yield item

паук связан с items.py

import scrapy

class DyplomtwoItem(scrapy.Item):
title = scrapy.Field()
image = scrapy.Field()
recipe = scrapy.Field()
id = scrapy.Field()
type = scrapy.Field()
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
08.05.2022, 17:32
Ответы с готовыми решениями:

Парсер, который собирает в базу данных всех участников чата в телеграм
Здравствуйте, ребята. У меня есть парсер, который собирает в базу данных всех участников чата в телеграм. Но я хотел бы добавить...

Парсер данных с сайта
Добрый день. Ищу так сказать идеи. Хочу написать программу, которая бы доставал с сайта данные, например parimatch.Т.е. данные по...

Парсер данных с сайта
require 'nokogiri' require 'open-uri' url = "https://www.instagram.com/explore/locations/c2490299/new-york-united-states/?page=2" ...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
08.05.2022, 17:32
Помогаю со студенческими работами здесь

Парсер данных с сайта
Нужна помощь в реализации задачи. Задача такая: Есть сайт, назовем его: site.com 1. Методом post/get пройти авторизацию на странице...

Парсер данных с сайта
шалом, помогите написать простой парсер данных с сайта oddsportal.com мне надо собрать базу коэффициентов предстоящих матчей топ...

Парсер данных сайта
Привет всем!!! Нужно написать парсер работоспособности Способов вывода из сайта платежей. Чтобы программа обновляла данные каждые...

Парсер ajax данных с сайта
Народ помогите пишу парсер некоторых данных с сайта, использую curl и фрэймворк simple dom php. Суть в том, что на сайте с которого я парсю...

Парсер данных с сайта и запись в XML
Как создать парсер для сайта который копирует нужный мне кусок кода с нужных мне стр. и записывает их в xml файл... Например с этой стр...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Программный контроль заполнения реквизита табличной части документа
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .
wmic не является внутренней или внешней командой
Maks 02.04.2026
Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/
Программная установка даты и запрет ее изменения
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .
Вывод данных в справочнике через динамический список
Maks 01.04.2026
Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Программное заполнения текстового поля в реквизите формы документа
Maks 01.04.2026
Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .
К слову об оптимизации
kumehtar 01.04.2026
Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
Идея фильтра интернета (сервер = слой+фильтр).
Hrethgir 31.03.2026
Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда
anaschu 31.03.2026
В прикрепленном документе раздумья о том, как можно поменять модель в будущем
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru