Форум программистов, компьютерный форум, киберфорум
Shell, Bash
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.82/11: Рейтинг темы: голосов - 11, средняя оценка - 4.82
 Аватар для mvngr
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718

Выгрузка большого количества тайлов (изображений) с сайта

22.05.2020, 12:56. Показов 2460. Ответов 11
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день!

Занимаюсь выгрузкой osm тайлов с серверов спутника.ру (они это не запрещают делать)
Для тех, кто не знаком с тайлами - назовём их картинками, которые объединяются в подложку для карт, которые вы просматриваете. Пример картинки: http://b.tiles.maps.sputnik.ru/3/4/3.png
Для выгрузки был написал скрипт, суть которого - подстановка трёх цифр в путь и скачивание файла в нужное место.

Смысл скрипта:

Bash
1
2
wget --timeout=5 --tries=1 http://b.tiles.maps.sputnik.ru/$first/$second/$third.png -O $output_dir/$first/$second/$third.png 2> /dev/null &
sleep 0.005
В начале я выгружал данные на довольно слабом железе. 16 процов было загружено на 80% и мне потихоньку поступали данные.

После чего я начал использовать более мощное железо и начались проблемы. Как я понял, проблема наступает в момент, когда с моего устройства уходит больше 100 запросов в секунду на сервера. В этот момент случается коллапс и у меня попросту отваливается весь доступ в сеть до того момента, пока я не прекращу выгрузку.
Возможна работа только на нагрузке ~20% на каждый из процов, при нагрузке выше начинаются вышеописанные проблемы. А меня это не устраивает, хочется делать это быстрее

Собственно, вопрос: можно ли какой-то магией в лоб решить проблему? Выгружать тайлы пачками? Или побороть эту блокировку?
0
Лучшие ответы (1)
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
22.05.2020, 12:56
Ответы с готовыми решениями:

Выгрузка большого количества строк из БД
Привет. Ребята, помогите быстро решить задачу. Есть таблица данных в бд ms sql. В ней почти 3 млн. Строк которые нужно перелить в...

Предпросмотр большого количества изображений
Хочу сделать некий сортировщик фотографий. Для этого мне нужен предпросмотр, такой же как в проводнике Windows, если поставить вид...

Обработка большого количества изображений
Добрый день форумчане. Помогите решить следующую проблему. У меня есть большое количество изображений (от 49). Все их нужно поместить в...

11
5966 / 4542 / 1094
Регистрация: 29.08.2013
Сообщений: 28,151
Записей в блоге: 3
22.05.2020, 15:38
Цитата Сообщение от mvngr Посмотреть сообщение
когда с моего устройства уходит больше 100 запросов в секунду на сервера
с устройства или с IP?
0
 Аватар для mvngr
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
22.05.2020, 15:47  [ТС]
qwertehok, пока не разобрался в каком месте происходит там затык Пока нет доступа к машине

Добавлено через 1 минуту
Буду пробовать ещё через curl работать

Bash
1
curl --connect-timeout 5 --retry 1 -o $output_dir/$first/$second/$(printf "%010d" $second)_$(printf "%010d" $third).png http://b.tiles.maps.sputnik.ru/$first/$second/$third.png  2> /dev/null &
0
5966 / 4542 / 1094
Регистрация: 29.08.2013
Сообщений: 28,151
Записей в блоге: 3
22.05.2020, 15:54
скорее всего с IP и это ограничение сайт
нужно использовать прокси и тогда можно в несколько потоков грузить
1
 Аватар для mvngr
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
22.05.2020, 16:09  [ТС]
qwertehok, я грешу на что-то между мной и сервером.
При возникновении проблемы я вообще не могу открыть никакой сайт, однако пинг проходит до 8.8.8.8
DNS сервера шалят?
0
5966 / 4542 / 1094
Регистрация: 29.08.2013
Сообщений: 28,151
Записей в блоге: 3
22.05.2020, 16:17
Цитата Сообщение от mvngr Посмотреть сообщение
DNS сервера шалят?
днс провайдера не выдерживают 100 запросов?
или днс гугла?
0
 Аватар для mvngr
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
22.05.2020, 16:20  [ТС]
qwertehok, у меня локальный DNS. Постараюсь сменить на DNS гугла тогда
0
5966 / 4542 / 1094
Регистрация: 29.08.2013
Сообщений: 28,151
Записей в блоге: 3
22.05.2020, 16:30
ну если локальный + сайты не открываются, то да
1
 Аватар для mvngr
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
25.05.2020, 13:59  [ТС]
Лучший ответ Сообщение было отмечено Marinero как решение

Решение

Сегодня сделал вывод, что я создаю крайне много потоков. Они уходят в 1000+, когда мощностей куда меньше. Задачи висят в очереди, а таймер timeout'а запроса тикают. Видимо, когда до запроса доходит очередь он выдает "Время ожидания истекло" и прекращает работу, так как висел в простое больше 5 сек. Поэтому я не нашёл ничего лучше, чем приделать костылик в виде опроса количества дочерних процессов. Если количество превышает некоторую планку - останавливаем загрузку тайлов до того момента, пока очередь не станет удовлетворительной

Днс сервера переписал, может это и дало какой-то результат, но тут проблема была ещё и в потоках.
0
 Аватар для mvngr
225 / 189 / 98
Регистрация: 15.04.2018
Сообщений: 718
28.05.2020, 11:11  [ТС]
Может понадобится кому мой скрипт. Выкачивает примерно 4000 тайлов в минуту (66 тайлов в сек).

Bash
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
#!/bin/sh
 
input_file=$1 #файл с номерами зума, который нам нужно выкачать
output_dir=$2
output_dir=$(realpath $output_dir)
 
pid=$$
process=$(cat /proc/cpuinfo | grep processor | wc -l)
 
for first in $(cat $input_file)
do    
    mkdir $output_dir/$first 2> /dev/null
    first_end=$(echo 2^$first - 1 | bc)
    for second in `seq 0 $first_end`
    do
        mkdir $output_dir/$first/$second 2> /dev/null
        echo 'Загружаю' $output_dir/$first/$second/'*'
        for third in `seq 0 $first_end`
        do
            wget --timeout=5 --tries=1 http://b.tiles.maps.sputnik.ru/$first/$second/$third.png -O $output_dir/$first/$second/$(printf "%010d" $second)_$(printf "%010d" $third).png 2> /dev/null &
            if [[ `expr $third % 512` == 0 ]]; then
                num_children=$(ps -eo ppid | grep $pid | wc -l)
                while [[ $num_children > $process ]]; do #если в ожидании висят больше N дочерних процессов - включаем ожидание
                    echo 'Шаг:' $third 'Детей:' $num_children
                    num_children=$(ps -eo ppid | grep $pid | wc -l)
                    sleep 0.0001
                done
            fi
        done;
    done;
done;
0
28.05.2020, 11:45

Не по теме:

вот спутник и пригодился) хоть на что то

0
28.05.2020, 13:36  [ТС]

Не по теме:


qwertehok, ага, а в итоге российский поисковик отдаёт опенсорс данные

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
28.05.2020, 13:36
Помогаю со студенческими работами здесь

Хранение и использование большого количества изображений
Всем привет! Подскажите способ хранения большого количества изображений, чтобы можно было эти изображения удобно использовать. Смотрел...

SQLite3 для хранения большого количества изображений( нужен совет )
Здравствуйте. Есть вопрос : насколько эффективно хранить большое количество(500 000 и более) изображений в БД? Может кто уже...

Microsoft Office Word 2013 - тормозит из-за большого количества изображений
Здравствуйте. Есть проблема с тормозами в Word 2013 из-за большого количества изображений. Задача - сделать руководство по...

Нехватка памяти при передаче библиотеке OpenCV большого количества изображений
Здравствуйте. Я не совсем уверен что в правильном разделе создаю тему ибо не понимаю даже в какой стороне искать решение проблемы, но...

Выгрузка из БД большого объема информации
Всем привет. По сути дела сейчас делаю некий журнал активности для личного кабинета ... Столкнулся с 2 вопросами: 1. Он...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
12
Ответ Создать тему
Новые блоги и статьи
Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
Влияние грибов на сукцессию
anaschu 26.01.2026
Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android
8Observer8 26.01.2026
Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .
Установка Android SDK, NDK, JDK, CMake и т.д.
8Observer8 25.01.2026
Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf
8Observer8 25.01.2026
Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru