|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
||||||||||||||||||||||
Элементарный парсинг Invoke-WebRequest28.02.2020, 14:13. Показов 5461. Ответов 27
Метки нет (Все метки)
Доброе утро!
Вновь обращаюсь к знатокам. В прошлый раз помогли успешно решить автоматизацию рабочего процесса работы с SSH. Теперь же, появилась задача из личного. Конечно же успешный опыт предыдущей автоматизации показывает, что решение надо искать в PS Так вот. Мне необходимо получить содержимое страницы сайта одной не очень популярной браузерной игры и обработать информацию. Получаю я содержимое конечно же через
получаю вот такой результат
Подскажите направление куда копать, чтобы а) научиться б) сделать ![]() Заранее спасибо! Добавлено через 1 час 19 минут Работает метод ![]() Я научился получать в массив нужные мне строки
Второй вопрос, как перейти на следующую страницу и проверить там дату? Добавлено через 2 часа 2 минуты Прекрасно, я научился получать содержимое веб страницы, находить нужные данные, разбивать их по строкам и в строках находить нужные мне значения и складывать их. Теперь необходимо предусмотреть возможность перехода по страницам
0
|
||||||||||||||||||||||
| 28.02.2020, 14:13 | |
|
Ответы с готовыми решениями:
27
Парсинг сайта с использованием Invoke-WebRequest Парсинг фото с сайта или использование invoke-webrequest Invoke-WebRequest fields |
|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
|
| 02.03.2020, 11:51 [ТС] | |
|
Было сложно, но я сделал
топорно конечно но получилось!
0
|
|
|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
|||||||
| 04.03.2020, 13:37 [ТС] | |||||||
|
Уважаемые знатоки!
В развитии поставленной задачи необходимо собрать информацию с другой страницы. Там почему-то мой скрипт не работает от слова совсем ![]() Есть страница http://www.gwars.ru/transfers.... &page_id=0 В ней есть записи типа
Подскажите, пожалуйста, как получить информацию заключенную в тег <nobr> </nobr>, а конкретно "115 Уран за 11730 Гб (102 Гб/ед.)" а дальше я ее уже разберу
0
|
|||||||
|
|
||||||
| 04.03.2020, 13:56 | ||||||
|
без претензий на верность решения, на вашем примере работает.
0
|
||||||
|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
|
| 04.03.2020, 14:15 [ТС] | |
|
Это поиск по тексту, мне же нужно сначала получить этот текст
Не удается получить содержимое страницы, чтобы его разобрать. Или я не понимаю в чем проблема Во вложении архив с сохраненной страницей в html
0
|
|
|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
||||||
| 04.03.2020, 14:25 [ТС] | ||||||
|
В первом посте я искал значения ПТС и Гб через
0
|
||||||
|
㊙️
1316 / 244 / 57
Регистрация: 10.08.2018
Сообщений: 574
|
||||||||
| 04.03.2020, 15:45 | ||||||||
0
|
||||||||
|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
||||||
| 05.03.2020, 08:44 [ТС] | ||||||
|
Не работает.
$list пустая, регулярка не находит совпадений даже
Такое чувство, что сам протокол спрятан где то грубже и простого Invoke-WebRequest не хватает.
0
|
||||||
|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
||||||
| 05.03.2020, 09:43 [ТС] | ||||||
![]() ТХТ файл 105 Кб, не прилепляется, пришлось добавить в архив Поиск по тексту не выдает искомой информации ![]() Мне не понятно, почему в первом посте это работает, теги nobr находятся.
0
|
||||||
|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
||||||||||||||||
| 05.03.2020, 10:35 [ТС] | ||||||||||||||||
|
Если смотреть на страницу через f12 то искомая таблица сидит в
Скрипт
0
|
||||||||||||||||
|
㊙️
1316 / 244 / 57
Регистрация: 10.08.2018
Сообщений: 574
|
||||||||
| 05.03.2020, 11:09 | ||||||||
Сообщение было отмечено Asshaker как решение
РешениеВам нужно отправить iwr в свой аккаунт, для этого нужно пройти процесс авторизации. По идее это делается так:
0
|
||||||||
|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
|||||||
| 05.03.2020, 12:58 [ТС] | |||||||
|
Похоже вы правы!
Информацию с http://www.gwars.ru/object-pts... &page_id=0 Можете увидеть и вы, авторизация не требуется. А вот уже протоколы транзакций http://www.gwars.ru/transfers.... &page_id=0 доступны только после авторизации Спасибо большое! Буду учиться дальше ![]() Добавлено через 1 час 28 минут Не работает ![]() Создал тестовую учетку для доступа к протоколам.
0
|
|||||||
|
㊙️
1316 / 244 / 57
Регистрация: 10.08.2018
Сообщений: 574
|
||
| 05.03.2020, 13:23 | ||
|
От себя пока предположу: как видите, там есть еще поля pass1 и from, и быть может нельзя их оставлять пустыми.
0
|
||
|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
|
| 05.03.2020, 13:24 [ТС] | |
|
Залогиниться можно по ссылке
https://www.gwars.ru/login.php... =passoword Но дальше в форме надо нажать кнопочку вход
0
|
|
|
210 / 59 / 26
Регистрация: 16.06.2016
Сообщений: 193
|
||||||
| 05.03.2020, 17:09 | ||||||
|
Asshaker, .action, в данном случае, уже содержит все что требуется.
У меня вот так входит - получаю ОК.
0
|
||||||
|
㊙️
1316 / 244 / 57
Регистрация: 10.08.2018
Сообщений: 574
|
|
| 05.03.2020, 17:42 | |
|
тоже ОК
0
|
|
|
㊙️
1316 / 244 / 57
Регистрация: 10.08.2018
Сообщений: 574
|
|||||||
| 05.03.2020, 17:57 | |||||||
0
|
|||||||
|
|
|
| 05.03.2020, 22:46 | |
|
После, примерно, 6 месяцев опыта автоматизации веб-парсинга и браузерных автотестов, могу сказать, что invoke-webrequest и invoke-restmethod отлично подходят для API-вызовов и парсинга крайне простого html, для всего остального лучше использовать Selenium
0
|
|
|
1 / 1 / 0
Регистрация: 29.05.2019
Сообщений: 55
|
||||||||||||
| 06.03.2020, 08:55 [ТС] | ||||||||||||
|
Попробую изучить, спасибо за совет.
По Добавлено через 5 минут 2 v_svitere спасибо за совет, попробую его изучить, может получится ![]() 2 AAT666 , Averson не уверен, что это работает.
Это так же подтверждает отсутствие результатов при поиске текста который есть только на "http://www.gwars.ru/me.php?"
![]() М.б. через экземпляр IE попробовать?
0
|
||||||||||||
| 06.03.2020, 08:55 | |
|
Помогаю со студенческими работами здесь
20
Invoke-WebRequest через прокси
Invoke-WebRequest скачивает страницу без контента Проверка состояния скачивания командлетом Invoke-WebRequest Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Символьное дифференцирование
igorrr37 13.02.2026
/ *
Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2).
Унарный минус обозначается как !
в-строка - входное арифметическое выражение в инфиксной(обычной). . .
|
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
|
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу,
и светлой Луне.
В мире
покоя нет
и люди
не могут жить в тишине.
А жить им немного лет.
|
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила»
«Время-Деньги»
«Деньги -Пуля»
|
|
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога
Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога
Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
|
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
|