|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
||||||
Парсинг картинок с nastol.com.ua31.07.2017, 03:02. Показов 3318. Ответов 21
Метки python 3.x (Все метки)
Есть скрипт который успешно парсит обои из нужных категорий, но для одной категории нужна авторизация - авторизавался, а он все равно не дает парсить с этой ссылки как быть? (ош 404)
Cкрипт авторизации:
0
|
||||||
| 31.07.2017, 03:02 | |
|
Ответы с готовыми решениями:
21
Парсинг подгружаемых картинок с aliexpress Парсинг картинок |
|
35 / 33 / 19
Регистрация: 22.01.2015
Сообщений: 215
|
||
| 01.08.2017, 09:33 | ||
![]() А если серьезно, то что конкретно надо парсить?
1
|
||
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
|
| 01.08.2017, 10:43 [ТС] | |
|
0
|
|
|
35 / 33 / 19
Регистрация: 22.01.2015
Сообщений: 215
|
|
| 01.08.2017, 10:52 | |
|
Еще раз: Какой выхлоп нужен? Адреса конечных картинок? Размеры? Новинки? Что спаристь?
0
|
|
| 01.08.2017, 11:04 | |
|
0
|
|
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
|||
| 01.08.2017, 11:19 [ТС] | |||
|
Сами картинки
0
|
|||
|
35 / 33 / 19
Регистрация: 22.01.2015
Сообщений: 215
|
||
| 02.08.2017, 14:51 | ||
|
Если только адреса, то ночером(или завтра) наваяю. Выхлоп под wget(можно и CSV), ибо сам питон будет зверски на скачивании тормозить.
0
|
||
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
|
| 02.08.2017, 16:17 [ТС] | |
|
В общем вся суть да дело в вопросе: он мне парсит картинки нормально, но я хотел еще и авторизироваться, а вот это вроде как выходит, а инфа для зарегистрированных все еще недоступна (ошибка 404 при парсинге), короче надо залогиниться, что ни пробывал не выходит, а может криво пробовал Х ))) Поможешь?
Добавлено через 1 минуту У меня, кстати, парсит 10 фото в минуту. Это как по скорости медленно или норм?
0
|
|
|
35 / 33 / 19
Регистрация: 22.01.2015
Сообщений: 215
|
|
| 02.08.2017, 18:05 | |
|
0
|
|
|
|
|||||||
| 02.08.2017, 19:33 | |||||||
Сообщение было отмечено DarkChirik как решение
РешениеДарю готовый код (заголовки, доп. проверки на ошибки и пр. - это уже добавляйте сами):-)
Мелкие ошибки: В строке 'Для данного разрешения {} изображение не найдено' % resolution нужно {} заменить на %s.В цикле for page in range(1,num_page) добавить единицу к num_page: range(1,num_page + 1 )
1
|
|||||||
|
35 / 33 / 19
Регистрация: 22.01.2015
Сообщений: 215
|
||
| 02.08.2017, 19:47 | ||
![]() А я не успел ЗЫ: На свистке не более десяти в минуту при разрешении 1920x1080.
0
|
||
|
|
||||||
| 02.08.2017, 20:13 | ||||||
|
К ошибкам: еще нужно добавить continue после строки
print('Для данного разрешения..., чтобы скрипт перешел на следующую итерацию.Добавлено через 26 минут И еще: сайт, оказывается, не шлет 404, если файл по url'у не найден, а отдает html со строкой File Not Found. Поэтому стоит добавить такую проверку перед строкой if status == 200:
0
|
||||||
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
|
| 03.08.2017, 20:58 [ТС] | |
|
А что такое "свисток"?
0
|
|
| 03.08.2017, 21:27 | |
|
0
|
|
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
||
| 04.08.2017, 10:26 [ТС] | ||
|
Traceback (most recent call last): File "C:\Users\admin\Desktop\Тест.py", line 102, in <module> main(resolution='1920x1080') File "C:\Users\admin\Desktop\Тест.py", line 61, in main num_page = get_pagination(html) File "C:\Users\admin\Desktop\Тест.py", line 13, in get_pagination return int(num_page[-1]) IndexError: list index out of range
0
|
||
|
|
|
| 04.08.2017, 12:43 | |
|
DarkChirik,
А что вы передаете функции get_pagination? Если что-то отличное от стартовой страницы категории, то там xpath, конечно, не будет находить нужный элемент содержащий пагинацию страниц. В том виде, в каком я вам дал скрипт - он полностью рабочий, Кликните здесь для просмотра всего текста
за исключением того, что для длительной закачки всех изображений (порядка 30 тысяч) требуется механизм учета загруженных картинок и режим докачки (без повторов уже загруженных фото) на случай преждевременного завершения скрипта.
0
|
|
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
||
| 04.08.2017, 13:37 [ТС] | ||
|
0
|
||
| 04.08.2017, 13:37 | |
|
Помогаю со студенческими работами здесь
20
Парсинг картинок
Парсинг картинок Парсинг картинок в массив Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях.
Задача: при копировании документа очищать определенные реквизиты и табличную. . .
|
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git
main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели
8ATzM_2aurI
|
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2.
Задача: запретить редактирование документа, если он открыт у другого пользователя.
/ / . . .
|
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои.
А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
|
|
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20%
kYBz3eJf3jQ
|
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
|
Горе от ума
kumehtar 07.04.2026
Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .
|
Использование значений реквизитов справочника в документе, с определенными условиями и правами
Maks 07.04.2026
1. Контроль срока действия договора
Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2.
Задача: уведомлять пользователя, если. . .
|