Форум программистов, компьютерный форум, киберфорум
Python: Решение задач
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.64/11: Рейтинг темы: голосов - 11, средняя оценка - 4.64
14 / 14 / 5
Регистрация: 13.07.2013
Сообщений: 230

Распараллеливание цикла

28.09.2022, 12:59. Показов 2327. Ответов 1

Студворк — интернет-сервис помощи студентам
Добрый день.
Сразу скажу, питон вообще не знаю, но под свою задачу нашел в интернете скрипт на питоне
Даже нашел в нем одну ошибку и исправил, но на большее меня не хватило ))

В общем, скрипт парсинга картинки с сайта, картинка состоит из плиток 256*256
и вот тут главная беда - скрипт это делает в один поток, следовательно крайне медленно

можно ли как-то модифицировать цикл скачивания, что бы можно было задавать количество потоков?
самое плохое, что сайт еще периодически отваливается, следовательно в идеале бы:
1 сохранить проверку файлов при запуске, что бы не скачивать уже скаченное, а продолжить с последнего файла
(хотя честно говоря не могу понять где она тут в коде, но он при перезапуске продолжает с последней плитки)
2 перезапускать закачку автоматически, а то сейчас он бывает то раз в час, то 5 раз в час отваливается и проходится руками запускать заново

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#loop around to get every tile
for j in xrange(ht):
    for i in xrange(wt):
        filename = "%04d-%04d.jpg"%(j,i)
        pathfilename = str(photo_id)+"/"+filename
        if not os.path.exists(pathfilename) :
            url = "%s/get_ge_tile/%d/%d/%d/%d"%(base,photo_id, level,j,i)
            progress = (j)*wt+i+1
            print '('+str(progress)+'/'+str(wt*ht)+') Downloading '+str(url)+' as '+str(filename)
            h = urlopen(url)
            if 200 == h.code :
                fout = open(pathfilename,"wb")
                fout.write(h.read())
                fout.close()
            else:
                print '('+str(progress)+'/'+str(wt*ht)+') Downloading error '+str(url)+' http code '+str(h.code)
                ++errors
ht - количество строк
wt - количество столбцов плиток
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
28.09.2022, 12:59
Ответы с готовыми решениями:

Распараллеливание вычислений
У меня написана программа (Метод Монте-Карло). Что лучше всего использовать, чтобы уменьшить скорость выполнения программы при большой...

Сокеты и распараллеливание
я взала задачу подсчета вхождения слова в текст через сокеты, причем один из сокетов должен быть внешний.. подскажите пожалуйста как это...

Распараллеливание процессов
Добрый день. У меня в программе есть цикл с циклом внутри. for i in range(var): for elem in...

1
14 / 14 / 5
Регистрация: 13.07.2013
Сообщений: 230
05.10.2022, 09:46  [ТС]
никто не может помочь?

для начала хотя бы решить проблему с реконектом, а то часто получается вот такое
и это хуже даже чем 1 поток загрузки

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Traceback (most recent call last):
  File "C:\gigapandown\gigapanDownloader.py", line 95, in <module>
    h = urlopen(url)
  File "C:\Python27\lib\urllib.py", line 87, in urlopen
    return opener.open(url)
  File "C:\Python27\lib\urllib.py", line 213, in open
    return getattr(self, name)(url)
  File "C:\Python27\lib\urllib.py", line 350, in open_http
    h.endheaders(data)
  File "C:\Python27\lib\httplib.py", line 1038, in endheaders
    self._send_output(message_body)
  File "C:\Python27\lib\httplib.py", line 882, in _send_output
    self.send(msg)
  File "C:\Python27\lib\httplib.py", line 844, in send
    self.connect()
  File "C:\Python27\lib\httplib.py", line 821, in connect
    self.timeout, self.source_address)
  File "C:\Python27\lib\socket.py", line 557, in create_connection
    for res in getaddrinfo(host, port, 0, SOCK_STREAM):
IOError: [Errno socket error] [Errno 11001] getaddrinfo failed
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
05.10.2022, 09:46
Помогаю со студенческими работами здесь

Распараллеливание вложенных циклов
Добрый день, у меня есть код на pygame для вывода изображений и кнопок, при наведении на кнопку она должна менять цвет, но программа не...

Распараллеливание в python, имеет ли смысл?
Добрый день, имеется программа написанная на python, которая выполняет построение кривой Госпера и на большом количестве итераций - 7, 8,...

Распараллеливание цикла while
Здравствуйте, дорогие форумчани! Мучаюсь над проблемой распараллеливания while:gsad: Пишу bbs генератор, а он, как известно, очень...

Распараллеливание цикла
Здравствуйте! Помогите выполнить распараллеливание цикла в данной функции. void calc() { string output = &quot;&quot;; int...

Распараллеливание цикла
есть цикл for (unsigned n = 0; n &lt; threads; n++) { func (sigma, sub_noisy, sub_basic, sub_denoised, ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
Контроль заполнения и очистка дат в зависимости от значения перечислений
Maks 12.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .
Архитектура слоя интернета для сервера-слоя.
Hrethgir 11.04.2026
В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
Подстановка значения реквизита справочника в табличную часть документа
Maks 10.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru