|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
||||||
Парсинг картинок с nastol.com.ua31.07.2017, 03:02. Показов 3283. Ответов 21
Метки python 3.x (Все метки)
Есть скрипт который успешно парсит обои из нужных категорий, но для одной категории нужна авторизация - авторизавался, а он все равно не дает парсить с этой ссылки как быть? (ош 404)
Cкрипт авторизации:
0
|
||||||
| 31.07.2017, 03:02 | |
|
Ответы с готовыми решениями:
21
Парсинг подгружаемых картинок с aliexpress Парсинг картинок |
|
35 / 33 / 19
Регистрация: 22.01.2015
Сообщений: 215
|
||
| 01.08.2017, 09:33 | ||
![]() А если серьезно, то что конкретно надо парсить?
1
|
||
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
|
| 01.08.2017, 10:43 [ТС] | |
|
0
|
|
|
35 / 33 / 19
Регистрация: 22.01.2015
Сообщений: 215
|
|
| 01.08.2017, 10:52 | |
|
Еще раз: Какой выхлоп нужен? Адреса конечных картинок? Размеры? Новинки? Что спаристь?
0
|
|
| 01.08.2017, 11:04 | |
|
0
|
|
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
|||
| 01.08.2017, 11:19 [ТС] | |||
|
Сами картинки
0
|
|||
|
35 / 33 / 19
Регистрация: 22.01.2015
Сообщений: 215
|
||
| 02.08.2017, 14:51 | ||
|
Если только адреса, то ночером(или завтра) наваяю. Выхлоп под wget(можно и CSV), ибо сам питон будет зверски на скачивании тормозить.
0
|
||
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
|
| 02.08.2017, 16:17 [ТС] | |
|
В общем вся суть да дело в вопросе: он мне парсит картинки нормально, но я хотел еще и авторизироваться, а вот это вроде как выходит, а инфа для зарегистрированных все еще недоступна (ошибка 404 при парсинге), короче надо залогиниться, что ни пробывал не выходит, а может криво пробовал Х ))) Поможешь?
Добавлено через 1 минуту У меня, кстати, парсит 10 фото в минуту. Это как по скорости медленно или норм?
0
|
|
|
35 / 33 / 19
Регистрация: 22.01.2015
Сообщений: 215
|
|
| 02.08.2017, 18:05 | |
|
0
|
|
|
|
|||||||
| 02.08.2017, 19:33 | |||||||
Сообщение было отмечено DarkChirik как решение
РешениеДарю готовый код (заголовки, доп. проверки на ошибки и пр. - это уже добавляйте сами):-)
Мелкие ошибки: В строке 'Для данного разрешения {} изображение не найдено' % resolution нужно {} заменить на %s.В цикле for page in range(1,num_page) добавить единицу к num_page: range(1,num_page + 1 )
1
|
|||||||
|
35 / 33 / 19
Регистрация: 22.01.2015
Сообщений: 215
|
||
| 02.08.2017, 19:47 | ||
![]() А я не успел ЗЫ: На свистке не более десяти в минуту при разрешении 1920x1080.
0
|
||
|
|
||||||
| 02.08.2017, 20:13 | ||||||
|
К ошибкам: еще нужно добавить continue после строки
print('Для данного разрешения..., чтобы скрипт перешел на следующую итерацию.Добавлено через 26 минут И еще: сайт, оказывается, не шлет 404, если файл по url'у не найден, а отдает html со строкой File Not Found. Поэтому стоит добавить такую проверку перед строкой if status == 200:
0
|
||||||
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
|
| 03.08.2017, 20:58 [ТС] | |
|
А что такое "свисток"?
0
|
|
| 03.08.2017, 21:27 | |
|
0
|
|
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
||
| 04.08.2017, 10:26 [ТС] | ||
|
Traceback (most recent call last): File "C:\Users\admin\Desktop\Тест.py", line 102, in <module> main(resolution='1920x1080') File "C:\Users\admin\Desktop\Тест.py", line 61, in main num_page = get_pagination(html) File "C:\Users\admin\Desktop\Тест.py", line 13, in get_pagination return int(num_page[-1]) IndexError: list index out of range
0
|
||
|
|
|
| 04.08.2017, 12:43 | |
|
DarkChirik,
А что вы передаете функции get_pagination? Если что-то отличное от стартовой страницы категории, то там xpath, конечно, не будет находить нужный элемент содержащий пагинацию страниц. В том виде, в каком я вам дал скрипт - он полностью рабочий, Кликните здесь для просмотра всего текста
за исключением того, что для длительной закачки всех изображений (порядка 30 тысяч) требуется механизм учета загруженных картинок и режим докачки (без повторов уже загруженных фото) на случай преждевременного завершения скрипта.
0
|
|
|
2 / 2 / 0
Регистрация: 23.06.2017
Сообщений: 72
|
||
| 04.08.2017, 13:37 [ТС] | ||
|
0
|
||
| 04.08.2017, 13:37 | |
|
Помогаю со студенческими работами здесь
20
Парсинг картинок
Парсинг картинок Парсинг картинок в массив Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++
8Observer8 17.03.2026
Содержание блога
Финальные проекты на Си и на C++:
finish-rectangles-sdl3-c. zip
finish-rectangles-sdl3-cpp. zip
|
Символические и жёсткие ссылки в Linux.
algri14 15.03.2026
Существует два типа ссылок — символические и жёсткие.
Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
|
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ФедосеевПавел 14.03.2026
Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ВВЕДЕНИЕ
Выполняя задание на управление насосной группой заполнения резервуара,. . .
|
делаю науч статью по влиянию грибов на сукцессию
anaschu 13.03.2026
прикрепляю статью
|
|
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога
Финальные проекты на Си и на C++:
hello-sdl3-c. zip
hello-sdl3-cpp. zip
Результат:
|
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога
MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
|
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки
Neotwalker 08.03.2026
Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд.
Даже если у вас. . .
|
Модульная разработка через nuget packages
DevAlt 07.03.2026
Сложившийся в . Net-среде способ разработки чаще всего предполагает
монорепозиторий в котором находятся все исходники.
При создании нового решения, мы просто добавляем нужные проекты
и имеем. . .
|