|
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
|
||||||
Выгрузка большого количества тайлов (изображений) с сайта22.05.2020, 12:56. Показов 2460. Ответов 11
Метки нет (Все метки)
Добрый день!
Занимаюсь выгрузкой osm тайлов с серверов спутника.ру (они это не запрещают делать) Для тех, кто не знаком с тайлами - назовём их картинками, которые объединяются в подложку для карт, которые вы просматриваете. Пример картинки: http://b.tiles.maps.sputnik.ru/3/4/3.png Для выгрузки был написал скрипт, суть которого - подстановка трёх цифр в путь и скачивание файла в нужное место. Смысл скрипта:
После чего я начал использовать более мощное железо и начались проблемы. Как я понял, проблема наступает в момент, когда с моего устройства уходит больше 100 запросов в секунду на сервера. В этот момент случается коллапс и у меня попросту отваливается весь доступ в сеть до того момента, пока я не прекращу выгрузку. Возможна работа только на нагрузке ~20% на каждый из процов, при нагрузке выше начинаются вышеописанные проблемы. А меня это не устраивает, хочется делать это быстрее Собственно, вопрос: можно ли какой-то магией в лоб решить проблему? Выгружать тайлы пачками? Или побороть эту блокировку?
0
|
||||||
| 22.05.2020, 12:56 | |
|
Ответы с готовыми решениями:
11
Выгрузка большого количества строк из БД
Обработка большого количества изображений |
|
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
|
||||||
| 22.05.2020, 15:47 [ТС] | ||||||
|
qwertehok, пока не разобрался в каком месте происходит там затык
Пока нет доступа к машинеДобавлено через 1 минуту Буду пробовать ещё через curl работать
0
|
||||||
|
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
|
|
| 22.05.2020, 16:09 [ТС] | |
|
qwertehok, я грешу на что-то между мной и сервером.
При возникновении проблемы я вообще не могу открыть никакой сайт, однако пинг проходит до 8.8.8.8 DNS сервера шалят?
0
|
|
|
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
|
|
| 22.05.2020, 16:20 [ТС] | |
|
qwertehok, у меня локальный DNS. Постараюсь сменить на DNS гугла тогда
0
|
|
|
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
|
|
| 25.05.2020, 13:59 [ТС] | |
Сообщение было отмечено Marinero как решение
Решение
Сегодня сделал вывод, что я создаю крайне много потоков. Они уходят в 1000+, когда мощностей куда меньше. Задачи висят в очереди, а таймер timeout'а запроса тикают. Видимо, когда до запроса доходит очередь он выдает "Время ожидания истекло" и прекращает работу, так как висел в простое больше 5 сек. Поэтому я не нашёл ничего лучше, чем приделать костылик в виде опроса количества дочерних процессов. Если количество превышает некоторую планку - останавливаем загрузку тайлов до того момента, пока очередь не станет удовлетворительной
Днс сервера переписал, может это и дало какой-то результат, но тут проблема была ещё и в потоках.
0
|
|
|
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
|
||||||
| 28.05.2020, 11:11 [ТС] | ||||||
|
Может понадобится кому мой скрипт. Выкачивает примерно 4000 тайлов в минуту (66 тайлов в сек).
0
|
||||||
| 28.05.2020, 11:45 | |
|
Не по теме: вот спутник и пригодился) хоть на что то
0
|
|
| 28.05.2020, 13:36 [ТС] | |
|
Не по теме:
0
|
|
| 28.05.2020, 13:36 | |
|
Помогаю со студенческими работами здесь
12
Хранение и использование большого количества изображений SQLite3 для хранения большого количества изображений( нужен совет ) Microsoft Office Word 2013 - тормозит из-за большого количества изображений Нехватка памяти при передаче библиотеке OpenCV большого количества изображений Выгрузка из БД большого объема информации Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
|
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования.
Часть библиотеки BedvitCOM
Использованы. . .
|
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога
SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
|
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога
SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
|
|
Влияние грибов на сукцессию
anaschu 26.01.2026
Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
|
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android
8Observer8 26.01.2026
Содержание блога
SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .
|
Установка Android SDK, NDK, JDK, CMake и т.д.
8Observer8 25.01.2026
Содержание блога
Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip"
Извлеките архив и вы увидите. . .
|
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf
8Observer8 25.01.2026
Содержание блога
Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д.
Сборка примера
Скачайте. . .
|