36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
|
1 | |
Парсинг сайта с javascript24.03.2017, 10:17. Показов 6577. Ответов 31
Метки нет (Все метки)
Всем доброго вечера. Есть сайт, который ведет поиск по запросу, если конкретно то по телефонному номеру. При просмотре кода не нашел строку запроса, только js. Как с помощью сишарпа написать запрос на такие сайты и обработать запрос?
а вот и сама ссылка ссылка Добавлено через 14 часов 14 минут Может что-то посоветуйте? Какие параметры и как отправляет данные поиска на этот сайт?
0
|
24.03.2017, 10:17 | |
Ответы с готовыми решениями:
31
Парсинг данных с сайта с javascript Парсинг сайта с JavaScript Парсинг html сайта у которого frontend на javascript Парсинг html + javascript |
12077 / 8386 / 1281
Регистрация: 21.01.2016
Сообщений: 31,593
|
|
24.03.2017, 10:26 | 2 |
Сообщение было отмечено frech как решение
Решение
frech, открой окно разработчика в браузере (F12), отправь (руками) поисковой запрос какой-нибудь и посмотри на вкладке Network по какому адресу и с каким содержимым он ушёл. Вот это и нужно будет вопросизвести программно, без всяких JS.
1
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
|
24.03.2017, 10:42 [ТС] | 3 |
Usaga, вот первое что нашел
Request URL:http://www.magephonebook.com/search.php и заметил свои данные в этой графе Form Data int:90 number:500+006+0
0
|
12077 / 8386 / 1281
Регистрация: 21.01.2016
Сообщений: 31,593
|
|
24.03.2017, 10:43 | 4 |
frech, вот туда параметры запроса и нужно отправлять. И пофиг тебе всякие JS.
1
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
||||||
24.03.2017, 10:58 [ТС] | 5 | |||||
Usaga,
0
|
12077 / 8386 / 1281
Регистрация: 21.01.2016
Сообщений: 31,593
|
|
24.03.2017, 11:00 | 6 |
frech, тебе нужно отправить POST-запрос.
1
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
|
24.03.2017, 11:05 [ТС] | 7 |
0
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
|
24.03.2017, 11:18 [ТС] | 8 |
Usaga, просит авторизацию гуглакаунта. Поэтому ответ на запрос от гугла. Как сделать авторизацию на гугл до запроса поиска?
0
|
12077 / 8386 / 1281
Регистрация: 21.01.2016
Сообщений: 31,593
|
|
24.03.2017, 11:21 | 9 |
frech, кто просит авторизацию? Целевой сайт? Значит нужно прикручивать авторизацию в виде куки как на скрине выше.
1
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
|
24.03.2017, 11:26 [ТС] | 10 |
Usaga, Так точно, сайт. Авторизуюсь, а дальше не требует определенное время. Потом опять требует авторизацию. Каждый раз куки прикручивать? Я так понял каждый раз создавать куки файл, а потом прикручивать?
0
|
12077 / 8386 / 1281
Регистрация: 21.01.2016
Сообщений: 31,593
|
|
24.03.2017, 11:29 | 11 |
frech, куки к каждому запросу прикручиваются.
1
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
||||||
24.03.2017, 11:39 [ТС] | 12 | |||||
Usaga, эти данные куки не будут изменятся через определенное время?
Cookie:PHPSESSID=udg05eephb35n93831cg717kk6; _ga=GA1.2.910075559.1490334802; _gat=1
0
|
12077 / 8386 / 1281
Регистрация: 21.01.2016
Сообщений: 31,593
|
|
24.03.2017, 11:40 | 13 |
frech, сессия со временем протухнет и куки станет невалидным. Нужно будет заново авторизовываться.
0
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
|
24.03.2017, 11:43 [ТС] | 14 |
Usaga, вот и я об этом. Как решить эту проблему? Имеется логин и пароль, авторизация автоматически
0
|
12077 / 8386 / 1281
Регистрация: 21.01.2016
Сообщений: 31,593
|
|
24.03.2017, 11:44 | 15 |
0
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
|
24.03.2017, 12:11 [ТС] | 16 |
При запросе до авторизации, мне выдает это:
https://accounts.google.com//o... rompt=auto Перед новой сессией клиентИД меняется. Чтобы вы посоветовали бы сделать? Как авторизироваться и получить куки для дальнейшего пользование
0
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
|||||||||||
24.03.2017, 14:39 [ТС] | 17 | ||||||||||
Еще вопрос: Первый пост запросам отправил данные, но сервер мне возвращает вторым запросам результат.
как видно на фото, первый search.php это post запрос, а второй результат. Как отловить второй? С первым так работаю
Пытаясь обработать второй, получаю ошибку,
0
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
||||||
24.03.2017, 14:50 [ТС] | 18 | |||||
исправил
0
|
12077 / 8386 / 1281
Регистрация: 21.01.2016
Сообщений: 31,593
|
|
24.03.2017, 14:55 | 19 |
frech, Заработало?..
0
|
36 / 36 / 3
Регистрация: 17.07.2008
Сообщений: 581
|
|
24.03.2017, 16:18 [ТС] | 20 |
Usaga, заработал, но в одном участке кода не могу сделать парсинг
<a href="#" tabindex="0" class="popular-names" role="button" data-placement="bottom" data-trigger="focus" data-content="<span>ИМЯ1</span><span>ИМЯ1A</span><span>ИМЯ2</span><span>ИМЯ3</span>"><i class="material-icons">arrow_drop_down</i></a> НАДО вытащить слова ИМЯ
0
|
24.03.2017, 16:18 | |
24.03.2017, 16:18 | |
Помогаю со студенческими работами здесь
20
Парсинг страницы с JavaScript Парсинг сайтов, написанных на javascript Парсинг сайта с JavaScript Парсинг данных с сайта или страницы сайта Парсинг javascript Парсинг на javascript Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |