Парсинг описания товаров с Aliexpress

@fiphiker · Регистрация: 08.03.2011

Студворк — интернет-сервис помощи студентам

Всем привет!
По url через request requests.get(url) получаю отдачу по товару например, https://ru.aliexpress.com/whol... t=delonghi и вытаскиваю нужную информацию через xpath. Но через несколько запросов парсер перестает работать, запросы без авторизации на али не проходят, кто сталкивался с подобным как можно решить проблему? Спасибо!

@alex925 · 26.06.2017, 08:03

fiphiker, скорее всего капчу просить начинает, дебаж этот момент. Скорее всего тебе нужно смотреть в сторону проксей.

@fiphiker · 26.06.2017, 22:51 **[ТС]**

Нет, капчу не просит ввести, видимо блокировка по ip
Т.е стоит использовать прокси лист, брать каждую проксю и если через нее перестает парситься инфа, брать другую?

@alex925 · 27.06.2017, 09:10

fiphiker, да

@fiphiker · 05.07.2017, 22:25 **[ТС]**

подгружаю список проксей с сайта и делаю реквест к url такого вида https://ru.aliexpress.com/whol... xt=android

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
def getContent(url, regex):
    current_proxy = proxy.get_proxy()
    print(current_proxy)
    headers = {'User-Agent': ua.random}
    proxy.get_proxy_list()
    r = requests.get(url, headers=headers, proxies={'http': 'https://' + current_proxy})
    obj = html.fromstring(r.content)
    list = obj.xpath(regex)
    if len(list) == 0:
        proxy.delete_proxy(current_proxy)
        getContent(url, regex)
    else:
        return list

Но через пару запросов, эта ссылка перенаправляет на форму входа, хз почему, меняю и прокси и useragent

Новые блоги и статьи Все статьи Все блоги /
Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .	Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .	Отправка уведомления на почту при создании или изменении элементов справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .

@fiphiker 89 / 60 / 2 Регистрация: 08.03.2011 Сообщений: 546

	Парсинг описания товаров с Aliexpress 25.06.2017, 23:41. Показов 4543. Ответов 4 Метки нет (Все метки) Всем привет! По url через request requests.get(url) получаю отдачу по товару например, https://ru.aliexpress.com/whol... t=delonghi и вытаскиваю нужную информацию через xpath. Но через несколько запросов парсер перестает работать, запросы без авторизации на али не проходят, кто сталкивался с подобным как можно решить проблему? Спасибо! 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	26.06.2017, 08:03
	fiphiker, скорее всего капчу просить начинает, дебаж этот момент. Скорее всего тебе нужно смотреть в сторону проксей. 1

@fiphiker 89 / 60 / 2 Регистрация: 08.03.2011 Сообщений: 546
	26.06.2017, 22:51 [ТС]
	Нет, капчу не просит ввести, видимо блокировка по ip Т.е стоит использовать прокси лист, брать каждую проксю и если через нее перестает парситься инфа, брать другую? 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	27.06.2017, 09:10
	fiphiker, да 0