Get и Post запрос в цикле - парсинг 1000 страниц

@dimOk7 · Регистрация: 19.10.2013

Студворк — интернет-сервис помощи студентам

В интернете очень много примеров на тематику Post и Get запросов, но все примеры сводятся только к одному запросу. Т.е. нажали кнопку, получили ответ от сервера и всё, про циклы нет ни слова.

Мне нужно спарсить примерно 1000 страниц, не писать же один и тот же код 1000 раз?

Кого не затруднит, покажите пожалуйста пример Get запросов в цикле и желательно с таймером, а то при частых Get запросах IP забанят.
Буду очень-очень благодарен.

@edward_freedom · 20.07.2014, 00:09

dimOk7, Прочитай про циклы For, While

@zhvan · 20.07.2014, 00:11

Сообщение от dimOk7

Мне нужно спарсить примерно 1000 страниц

ну так тебе парсер нужен а не Post и Get запрос

@dimOk7 · 20.07.2014, 00:16 **[ТС]**

Сообщение от zhvan

ну так тебе парсер нужен а не Post и Get запрос

Хороший ответ.
А парсер, ту информацию, которую нужно парсить наверное телепатически из моей головы взять должен?

Чтобы что-то спарсить, нужно сперва что-то получить, чтобы это "что-то" получить, нужно получить его через Get запрос.

@Darth Coder · 20.07.2014, 16:23

разве так не работает?

VB.NET
1
2
3
4
5
6
sub getContent()
for i=1 to 1000 
'тут get запрос i-ой страницы
Thread.Sleep(задержка в миллисекундах)
next i
end sub

@dimOk7 · 20.07.2014, 21:32 **[ТС]**

Сообщение от Darth Coder

разве так не работает?

Darth Coder, я новичок в программировании, поэтому не могу сказать, работает это или нет.
В основном учусь на примерах, разбирая их. Примера запросов в цикле не нашел, собственно потому и попросил тут помощи у того, кто может помочь.

В любом случае, спасибо!

Попробую воссоздать всё и применить ту процедуру, которую вы предложили.

Добавлено через 4 часа 36 минут
Ребят, напишите мне в личку, кто может объяснить поставленный вопрос на платной основе.
Просто нет особо времени разбираться самому и мне проще пообщаться на эту тему с грамотным в этой теме человеком.

Памирыч · 21.07.2014, 07:55

Комментарий модератора

Закрыто. Причина: кросспостинг

Новые блоги и статьи Все статьи Все блоги /
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .

@dimOk7 33 / 3 / 0 Регистрация: 19.10.2013 Сообщений: 53

	.NET 4.x Get и Post запрос в цикле - парсинг 1000 страниц 19.07.2014, 23:45. Показов 1421. Ответов 6 Метки нет (Все метки) В интернете очень много примеров на тематику Post и Get запросов, но все примеры сводятся только к одному запросу. Т.е. нажали кнопку, получили ответ от сервера и всё, про циклы нет ни слова. Мне нужно спарсить примерно 1000 страниц, не писать же один и тот же код 1000 раз? Кого не затруднит, покажите пожалуйста пример Get запросов в цикле и желательно с таймером, а то при частых Get запросах IP забанят. Буду очень-очень благодарен. 0

@edward_freedom 1569 / 1448 / 303 Регистрация: 01.10.2011 Сообщений: 2,636
	20.07.2014, 00:09
	dimOk7, Прочитай про циклы For, While 0