|
0 / 0 / 0
Регистрация: 08.05.2022
Сообщений: 1
|
|
Парсер не собирает данных с сайта08.05.2022, 17:32. Показов 801. Ответов 0
всем привет. парсер Scrapy не собирает данных( делаю в pycharm), можете помочь в чем проблема? заранее спасибо
import scrapy from dyplom.items import DyplomtwoItem class Dyplom(scrapy.Spider): name = "dyplom" start_urls = ['https://www.edimdoma.ru/retsepty?tags%5Brecipe_cuisine%5D%5B%5D= %D0%B0%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0% B0%D0%BD%D1%81%D0%BA%D0%B0%D1%8F+%D0%BA% D1%83%D1%85%D0%BD%D1%8F&with_ingredient= &with_ingredient_condition=and&without_i ngredient=&user_ids=&field=&direction=&q uery='] for i in range(2, 6): start_urls.append("https://www.edimdoma.ru/retsepty?_=1529256600422" "&direction=&field=&page=" + str(i) + "&query=&tags%5Brecipe_cuisine%5D%5B%5D= &user" "_ids=&with_ingredient=&without_ingredie nt=") def parse(self, response): for href in response.xpath("//article[contains(@class, 'card')]/a//@href"): # add the scheme, eg http:// url = "https://www.edimdoma.ru" + href.extract() yield scrapy.Request(url, callback=self.parse_dir_contents) def parse_dir_contents(self, response): item = DyplomtwoItem() item['id'] = response.xpath("//div[contains(@class, 'button button_print')]" "//a[contains(@class, 'drop-down_item')]/@href").extract()[0] item['title'] = response.xpath("//h1[contains(@class, 'recipe-header_name')]" "/descendant::text()").extract() item['image'] = response.xpath("//div[contains(@class, 'content-media')]/img//@src").extract() item['recipe'] = response.xpath("//div[contains(@class, 'content-box_content')]/div[contains" "(@class, 'plain-text recipe_step_text')]/descendant::text()").extract() yield item паук связан с items.py import scrapy class DyplomtwoItem(scrapy.Item): title = scrapy.Field() image = scrapy.Field() recipe = scrapy.Field() id = scrapy.Field() type = scrapy.Field()
0
|
|
| 08.05.2022, 17:32 | |
|
Ответы с готовыми решениями:
0
Парсер данных с сайта Парсер данных с сайта |
| 08.05.2022, 17:32 | |
|
Помогаю со студенческими работами здесь
1
Парсер данных с сайта Парсер данных с сайта Парсер данных сайта Парсер ajax данных с сайта Парсер данных с сайта и запись в XML Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Программный контроль заполнения реквизита табличной части документа
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .
|
wmic не является внутренней или внешней командой
Maks 02.04.2026
Решение:
DISM / Online / Add-Capability / CapabilityName:WMIC~~~~
Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/
|
Программная установка даты и запрет ее изменения
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача: при создании документов установить период списания автоматически. . .
|
Вывод данных в справочнике через динамический список
Maks 01.04.2026
Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2.
Задача: вывести данные из ТЧ нетипового документа. . .
|
|
Программное заполнения текстового поля в реквизите формы документа
Maks 01.04.2026
Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению.
На форме документа создается. . .
|
К слову об оптимизации
kumehtar 01.04.2026
Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
|
Идея фильтра интернета (сервер = слой+фильтр).
Hrethgir 31.03.2026
Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .
|
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда
anaschu 31.03.2026
В прикрепленном документе раздумья о том, как можно поменять модель в будущем
|