Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.56/9: Рейтинг темы: голосов - 9, средняя оценка - 4.56
27 / 27 / 7
Регистрация: 15.06.2014
Сообщений: 165

Парсинг изображений с DevianArt

23.11.2014, 22:25. Показов 1886. Ответов 5
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет. Возникла необходимость спарсить все ссылки на изображения (не preview, а в полном размере) по результату поиска в DevianArt.
Есть код:
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
WebClient download = new WebClient {Proxy = new WebProxy()};
 
            for (var i = 0; i <= 2500; i += 24)
            {
                try
                {
                    
                  string str =  download.DownloadString(
                        "http://www.deviantart.com/browse/all/?qh=&section=&global=1&q=Audi&offset=" + i);
                }
                catch (WebException exc)
                {
                    Console.Write(exc.Status);
                    Console.ReadLine();
                }
 
            }
Всего выдается 2500 результатов поиска, по 24 результата на страницу. Эти переходы реализованы с помощью цикла. Дальше загружается код каждой страницы в переменную, остается только распарсить этот код. Но проблема не в этом - при попытке загрузить код страницы выдает ошибку - "401 запрещено", через Status пишет - "Protocol Error".
Что не правильно? Прошу помощи. Заранее спасибо.
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
23.11.2014, 22:25
Ответы с готовыми решениями:

Парсинг сайта (изображений)
Добрый день, как спарсить изображение с этого сайта ? Пример под изображением есть ссылка на полную версию , но это не прямая ссылка на...

Парсинг изображений
Добрый вечер. Хотело бы узнать, как можно парсить изображения с одного сайта, но разных ссылок. Т.е по нажатию. К примеру ссылка...

Парсинг товаров и изображений
Доброго дня! Написал скриптик, парсящий данные о товарах с другого сайта. Что он делает: 1. С помощью PHPExcel загружает...

5
871 / 721 / 304
Регистрация: 15.04.2013
Сообщений: 2,047
Записей в блоге: 5
24.11.2014, 00:17
Frederick,
Смотрите на data-super-full-img это ссылка на максимальный размер картинки, и offset не задает страницу, а пропускает n кол-во изображений в начале
0
burning1ife
 Аватар для kenny69
1466 / 1287 / 294
Регистрация: 21.09.2008
Сообщений: 3,438
Записей в блоге: 9
24.11.2014, 11:07
Т.е должно выглядеть как-то так
C#
1
for (var i = 0; i <= 104; i += 1)
Добавлено через 4 минуты
Цитата Сообщение от Frederick Посмотреть сообщение
"401 запрещено"
Значит сначала нужно авторизоваться, а уже после парсить, т.к.
401 - Access allowed only for registered users.
0
27 / 27 / 7
Регистрация: 15.06.2014
Сообщений: 165
24.11.2014, 14:38  [ТС]
Цитата Сообщение от kenny69 Посмотреть сообщение
Значит сначала нужно авторизоваться, а уже после парсить, т.к.
401 - Access allowed only for registered users.
Ошибся: не 401, а 403.
0
Неадекват
 Аватар для freeba
1499 / 1236 / 247
Регистрация: 02.04.2010
Сообщений: 2,807
24.11.2014, 18:58
Лучший ответ Сообщение было отмечено Frederick как решение

Решение

Как то делал прототип загрузчика с девианарта. До релиза не довел, но пользоваться можно, попробуйте взять алгоритмы оттуда.
Вложения
Тип файла: 7z DevianArtLoader.7z (38.0 Кб, 18 просмотров)
1
27 / 27 / 7
Регистрация: 15.06.2014
Сообщений: 165
24.11.2014, 19:11  [ТС]
Цитата Сообщение от freeba Посмотреть сообщение
Как то делал прототип загрузчика с девианарта. До релиза не довел, но пользоваться можно, попробуйте взять алгоритмы оттуда.
Огромное спасибо. Будем разбираться.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
24.11.2014, 19:11
Помогаю со студенческими работами здесь

Парсинг стилей для поиска и скачивания фоновых изображений
накидал функцию для скачки изображений из веба: def save_img( URL = '' ): if ( URL == '' ): return False file =...

Низкочастотная фильтрация изображений (книга Гонсалеса “Цифровая обработка изображений”)
Здравствуйте. Я пытаюсь реализовать на java низкочастотную фильтрацию изображений. Реализую по книге Гонсалеса &quot;Цифровая...

Кодирование изображений и их защита файлов изображений от несанкционированного доступа
Нужны мысли, исходники программ по поводу этой темы. Примерный алгоритм действий есть: Кодирование: Разбить изображение на...

Смена изображений при обновлении страницы. Адаптивность изображений
Здравствуйте! Нашел скрипт, который изменяет изображение при обновлении страницы, он меня устраивает, но не могу понять, каким образом в...

Прыгает размер изображений в карусели изображений CSS
Здравствуйте, рад что нашел такой форум. Есть сайт 124print.ru/1102.html Подскажите пожалуйста как убрать адаптивность картинок в...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru