Invoke-WebRequest скачивает страницу без контента

@Uragan66 · Регистрация: 27.03.2017

Студворк — интернет-сервис помощи студентам

Добрый день всем!
Прошу помощи в решении такого вопроса:
Писал парсер для одного сайта. Для вытаскивания нужного содержимого используется переход по нескольким ссылкам.
Поначалу всё было нормально, но дальше пошли ошибки, так как Invoke-WebRequest начал скачивать пустую страницу, без контента.
Хотя в бразуре при переходе по ссылке с исходного кода, открывается страница с нужным контентом.

PowerShell
1
2
3
4
$l = ((Invoke-WebRequest -URI 'какой-то сайт' -TimeoutSec 10 -SessionVariable session).Content | Select-String -Pattern '.*<iframe.*"(https?[^"]+)".*' -AllMatches).Matches| 
ForEach-Object {"$($_.Groups[2].Value)`n$($_.Groups[1].Value)"}
 
(Invoke-WebRequest -UseBasicParsing -URI $l -WebSession $session).Content | Out-File .\cont.txt

В чём здесь может быть проблема, подскажите, пожалуйста, хотя бы в общих чертах. Понимаю, что для нормального совета нужна ссылка на сайт, но не хотелось бы светить её в паблике.

@skouzmine · 14.12.2019, 17:51

Sesssion Cookies ? https://qna.habr.com/q/348685

@Uragan66 · 14.12.2019, 18:21 **[ТС]**

Сообщение от skouzmine

Sesssion Cookies

skouzmine, а как их можно передать в запросе посредством Invoke-WebRequest ?
Хотя подозреваю, что на том сайте другая проблема. Нужный контент на странице формируется каким-то скриптом с предыдущей страницы. Так как даже в браузере страница бывает открывается пустой..

@skouzmine · 14.12.2019, 20:07

добыче куки подробно описана много где
https://gallery.technet.micros... g-3c373c7e
по моему
powershell это слабый инструмент для работы с вебом переходите на селениум или cdp
- все у чего есть C# клиент можно вообще говоря создать PS версию и часто уже есть

Новые блоги и статьи Все статьи Все блоги /
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .	SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .

@skouzmine 506 / 159 / 49 Регистрация: 27.02.2016 Сообщений: 824
	14.12.2019, 17:51
	Sesssion Cookies ? https://qna.habr.com/q/348685 0

@skouzmine 506 / 159 / 49 Регистрация: 27.02.2016 Сообщений: 824
	14.12.2019, 20:07
	добыче куки подробно описана много где https://gallery.technet.micros... g-3c373c7e по моему powershell это слабый инструмент для работы с вебом переходите на селениум или cdp - все у чего есть C# клиент можно вообще говоря создать PS версию и часто уже есть 1