Парсинг стилей для поиска и скачивания фоновых изображений

@lavrik · Регистрация: 24.02.2011

Студворк — интернет-сервис помощи студентам

накидал функцию для скачки изображений из веба:

Python
1
2
3
4
5
6
7
8
9
10
def save_img( URL = '' ):
    if ( URL == '' ):   return False
    file = os.path.split(URL)[1]
    
    try: 
        with urllib.request.urlopen(URL) as data, open( file, 'wb') as fout:
            fout.write(data.read())         
        return True
    except Exception:
        return False

Накидал парсер CSS файла, который находит в нем все ссылки на изображения (бекграунды) и качает их, подменяя ссылку на локальную...

Запустил парсер, нашлось около 1500 ссылок.
Он начал работать и качать гифки размером по 1 - 2 кб. (это вообще копейки)
Но на скачку одной картинки у него уходит около 4 секунд. - слишком долго для файлов таких размеров...

Вопрос: Это нормально?
Есть реализации этой проблемы быстрее?

@alex925 · 29.05.2015, 11:46

lavrik, Скорее всего виноват канал или сервер с которого качаешь находится в какой-то "дали".
Я вот качалку музыки с вк, все качается более чем быстро.

@lavrik · 29.05.2015, 11:48 **[ТС]**

Сообщение от alex925

lavrik, Скорее всего виноват канал или сервер с которого качаешь находится в какой-то "дали".
Я вот качалку музыки с вк, все качается более чем быстро.

поделись скриптом для скачки музыки из ВК!!!

@alex925 · 29.05.2015, 12:09

lavrik, Я его менял и сейчас он не на той стадии, чтобы его куда-то выкладывать.

@lavrik · 29.05.2015, 12:13 **[ТС]**

ладно... вернусь к своим баранам...
Возникла мысль насчет многопоточности.

Сам я питоном занимаюсь только неделю, и о многопоточности ещё не слыхал, но знаю что такая возможность есть.

Это возможно осуществить (переделать функцию чтоб она качала в несколько потоков)
Если да, то поделитесь пжлст ссылочкой или советом)))

@t1m0n · 31.05.2015, 18:27

из найденого когда то в инете

скачать файл прямо на диск

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import requests
 
with open(os.path.join(savepath(out_file_name)), 'wb') as out_stream:
    req = requests.get(download_url + out_file_name, stream=True)
    for chunk in req.iter_content(1024):  # Куски по 1 КБ
        out_stream.write(chunk)
        
    
nbytes = 100 # читаем по 100 байт
with open(os.path.join(savepath(out_file_name)), 'wb') as out_stream,\
     urllib2.urlopen(download_url + out_file_name) as in_stream:
    while True:
        chunk = in_stream.read(nbytes)
        if chunk == '':
            break
        out_stream.write(chunk)

@mymedia · 01.06.2015, 19:29

Не по теме:

Сообщение от lavrik

поделись скриптом для скачки музыки из ВК!!!

Берёшь с помощью savefrom'а получаешь список в формате m3u, затем запускаешь с параметром — имя файла-списка.

Кликните здесь для просмотра всего текста

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
#!/usr/bin/python3
import sys, urllib.request
m3u = open(sys.argv[1])
line = "start"
while line:
    line = m3u.readline()
    if line.startswith('#EXTINF:'):
        name = line[ len("#EXTINF:-1,") : -1 ] + ".mp3"
        # убирает символы, запрещённые в ФС
        name = name.replace("/", "")
        url = m3u.readline()
        print(name, url)
        open(name, "wb").write(urllib.request.urlopen(url).read())

Проверок на ошибки нету

⁠⁠⁠⁠⁠

@Zuzik · 01.06.2015, 20:15

Не по теме:

mymedia, для таких целей лучше использовать wget.

@mymedia · 01.06.2015, 20:19

Не по теме:

Zuzik, а wget понимает m3u? Просто я не хотел парсить m3u на bash'е, т.к. со строками он работает как-то недетерминированно. По крайней мере для меня.

@Zuzik · 01.06.2015, 20:22

Не по теме:

mymedia, ему нужно скормить файлик с урлами закачиваемых файлов, каждый файл с новой строки. Он их возьмет и скачает, и довольно надежно. Расширение тут врятле роль сыграет.

@mymedia · 01.06.2015, 20:26

Не по теме:

Zuzik, тогда у всех файлов, скаченных таким образом, не будет нормального названия. А мне ещё хотелось, чтобы имена файлов были в виде: исполнитель — композиция

@alex925 · 01.06.2015, 20:42

Не по теме:

mymedia, ещё это способ больше одноразовый, постоянно так замучаешься делать + не спортивно

Новые блоги и статьи Все статьи Все блоги /
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .	Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	29.05.2015, 11:46
	lavrik, Скорее всего виноват канал или сервер с которого качаешь находится в какой-то "дали". Я вот качалку музыки с вк, все качается более чем быстро. 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	29.05.2015, 12:09
	lavrik, Я его менял и сейчас он не на той стадии, чтобы его куда-то выкладывать. 0

@lavrik 14 / 13 / 5 Регистрация: 24.02.2011 Сообщений: 714
	29.05.2015, 12:13 [ТС]
	ладно... вернусь к своим баранам... Возникла мысль насчет многопоточности. Сам я питоном занимаюсь только неделю, и о многопоточности ещё не слыхал, но знаю что такая возможность есть. Это возможно осуществить (переделать функцию чтоб она качала в несколько потоков) Если да, то поделитесь пжлст ссылочкой или советом))) 0

@Zuzik
	01.06.2015, 20:15
	Не по теме: mymedia, для таких целей лучше использовать wget. 0

@mymedia
	01.06.2015, 20:19
	Не по теме: Zuzik, а wget понимает m3u? Просто я не хотел парсить m3u на bash'е, т.к. со строками он работает как-то недетерминированно. По крайней мере для меня. 0

@Zuzik
	01.06.2015, 20:22
	Не по теме: mymedia, ему нужно скормить файлик с урлами закачиваемых файлов, каждый файл с новой строки. Он их возьмет и скачает, и довольно надежно. Расширение тут врятле роль сыграет. 0

@mymedia
	01.06.2015, 20:26
	Не по теме: Zuzik, тогда у всех файлов, скаченных таким образом, не будет нормального названия. А мне ещё хотелось, чтобы имена файлов были в виде: исполнитель — композиция 0

@alex925
	01.06.2015, 20:42
	Не по теме: mymedia, ещё это способ больше одноразовый, постоянно так замучаешься делать + не спортивно 0