Самый быстрый парсер

@Andrei_ · Регистрация: 04.08.2020

Студворк — интернет-сервис помощи студентам

Доброго времени суток, интересует вопрос касательно скорости питоновских библиотек для парсинга, требуется скачивать с сайта фотографии
Какая библиотека среди питоновских для таких целей самая быстрая?

@Alli_Lupin · 20.10.2020, 11:16

Andrei_, самым медленным будет ваш интернет, а не парсер. Операции ввода\вывода почти всегда самые медленные.

@Andrei_ · 20.10.2020, 11:17 **[ТС]**

А как можно сделать данную задачу быстрее именно на python?
Может многопоток сделать, или ещё что, я просто не знаю

@Alli_Lupin · 20.10.2020, 11:32

Andrei_, всё зависит от алгоритмов парсинга, которые вы захотите реализовать. Если ссылки на фотографии заранее известны, то можно ваять многопроцессность, многопоточность и прочую асинхронщину.

@Andrei_ · 20.10.2020, 12:05 **[ТС]**

А если требуется залезть в гугл имэйджес и по определенному запросу скачать пару десятков тысяч фото, то как тогда?

@Alli_Lupin · 20.10.2020, 12:15

Andrei_, как-как? предварительно почитав Google API, и использовав его.

@Andrei_ · 20.10.2020, 12:22 **[ТС]**

Прочитал, но все равно не понимаю, как его использовать для скачивания фотографий с google images

@Alli_Lupin · 20.10.2020, 12:53

Andrei_, вот тут почитайте.

@Andrei_ · 20.10.2020, 13:02 **[ТС]**

Спасибо

@Garry Galler · 20.10.2020, 14:33

Сообщение от Andrei_

скорости питоновских библиотек для парсинга ... требуется залезть в гугл имэйджес и по определенному запросу скачать пару десятков тысяч фото

Какое отношение парсинг имеет к сетевым запросам и загрузке файлов? Никакого. Прочитай определение этого слова.

P.S. Парсинг html в Python это lxml и работает он максимально быстро. Но он не поможет тебе скачать 10 тыс. фоточек. Потому он вообще ничего не скачивает.

P.P.S. То что ты хочешь называется web-grabbing или web-scrapping (сочетание сетевых запросов, парсинга html и прочих операций).

Новые блоги и статьи Все статьи Все блоги /
Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а привычная функция main(). . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом	http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/

@Andrei_ 0 / 0 / 0 Регистрация: 04.08.2020 Сообщений: 231

	Самый быстрый парсер 20.10.2020, 11:02. Показов 1085. Ответов 9 Метки python (Все метки) Доброго времени суток, интересует вопрос касательно скорости питоновских библиотек для парсинга, требуется скачивать с сайта фотографии Какая библиотека среди питоновских для таких целей самая быстрая? 0

@Alli_Lupin 5037 / 1064 / 149 Регистрация: 29.01.2013 Сообщений: 6,212
	20.10.2020, 11:16
	Andrei_, самым медленным будет ваш интернет, а не парсер. Операции ввода\вывода почти всегда самые медленные. 0

@Andrei_ 0 / 0 / 0 Регистрация: 04.08.2020 Сообщений: 231
	20.10.2020, 11:17 [ТС]
	А как можно сделать данную задачу быстрее именно на python? Может многопоток сделать, или ещё что, я просто не знаю 0

@Alli_Lupin 5037 / 1064 / 149 Регистрация: 29.01.2013 Сообщений: 6,212
	20.10.2020, 11:32
	Andrei_, всё зависит от алгоритмов парсинга, которые вы захотите реализовать. Если ссылки на фотографии заранее известны, то можно ваять многопроцессность, многопоточность и прочую асинхронщину. 0

@Andrei_ 0 / 0 / 0 Регистрация: 04.08.2020 Сообщений: 231
	20.10.2020, 12:05 [ТС]
	А если требуется залезть в гугл имэйджес и по определенному запросу скачать пару десятков тысяч фото, то как тогда? 0

@Alli_Lupin 5037 / 1064 / 149 Регистрация: 29.01.2013 Сообщений: 6,212
	20.10.2020, 12:15
	Andrei_, как-как? предварительно почитав Google API, и использовав его. 0

@Andrei_ 0 / 0 / 0 Регистрация: 04.08.2020 Сообщений: 231
	20.10.2020, 12:22 [ТС]
	Прочитал, но все равно не понимаю, как его использовать для скачивания фотографий с google images 0

@Alli_Lupin 5037 / 1064 / 149 Регистрация: 29.01.2013 Сообщений: 6,212
	20.10.2020, 12:53
	Andrei_, вот тут почитайте. 0

@Andrei_ 0 / 0 / 0 Регистрация: 04.08.2020 Сообщений: 231
	20.10.2020, 13:02 [ТС]
	Спасибо 0