|
9 / 9 / 1
Регистрация: 07.09.2013
Сообщений: 96
|
|||||||||||
Автоматическая регистрация curl24.11.2013, 16:06. Показов 4584. Ответов 18
Метки нет (Все метки)
Есть один сайт который хотелось бы парсить но у него регистрация и страницы недоступны для парсинга
вот форма входа на сайт Кликните здесь для просмотра всего текста
собственно то что на данный момент есть из кода
Что я не так делаю?
0
|
|||||||||||
| 24.11.2013, 16:06 | |
|
Ответы с готовыми решениями:
18
Автоматическая авторизация curl, Не могу авторизоваться на rbkmoney Автоматическая регистрация на сайте Автоматическая регистрация на сайте |
|
Почетный модератор
16844 / 6724 / 880
Регистрация: 12.06.2012
Сообщений: 19,967
|
|
| 24.11.2013, 16:19 | |
|
1
|
|
|
9 / 9 / 1
Регистрация: 07.09.2013
Сообщений: 96
|
||||||||||||
| 24.11.2013, 18:07 [ТС] | ||||||||||||
Добавлено через 1 час 32 минуты просмотрел авторизацию через Fiddler
0
|
||||||||||||
|
112 / 93 / 15
Регистрация: 03.10.2012
Сообщений: 315
|
|
| 27.11.2013, 12:29 | |
|
Вполне вероятно, что срабатывает защита от авторизации ботами. Для начала откройте в браузере Firebug на вкладке Cookies, и посмотрите, какие куки ставит сайт при обычном посещении формы дял авторизации, и какие куки появляются после прохождения авторизации.
Как вариант, вам в скрипте сначала нужно просто постучаться на страницу с формой авторизации, собрать куки, которые сайт вам поставит. И уже потом с этими куками отправлять POST запрос с логином и паролем
1
|
|
|
9 / 9 / 1
Регистрация: 07.09.2013
Сообщений: 96
|
|
| 28.11.2013, 19:51 [ТС] | |
|
такой вопрос вот я парсил страницу. Загрузилась в мой див смотрю код все как и на сервере но у меня не действует js и поэтому авторизация через curl не проходит.
Можно как то задействовать js скрипты ?
0
|
|
|
10 / 10 / 1
Регистрация: 08.06.2011
Сообщений: 98
|
|
| 29.11.2013, 08:51 | |
|
Даже если через JS, он так шлет. Там все равно POST и GET запросы.
0
|
|
|
189 / 185 / 54
Регистрация: 23.10.2010
Сообщений: 1,336
|
|
| 30.11.2013, 17:06 | |
|
0
|
|
|
9 / 9 / 1
Регистрация: 07.09.2013
Сообщений: 96
|
||
| 30.11.2013, 19:52 [ТС] | ||
|
0
|
||
|
189 / 185 / 54
Регистрация: 23.10.2010
Сообщений: 1,336
|
||
| 30.11.2013, 21:07 | ||
|
0
|
||
|
9 / 9 / 1
Регистрация: 07.09.2013
Сообщений: 96
|
|||||||
| 30.11.2013, 21:24 [ТС] | |||||||
вот не знаю как сделать запрос для курл на запрос но нельзя обновлять страницу или же через курл получить код послать запрос на показ формы входа и продолжить загрузку курл с новым кодом страници. Но незнаю как это реализовать.
0
|
|||||||
|
Почетный модератор
16844 / 6724 / 880
Регистрация: 12.06.2012
Сообщений: 19,967
|
|
| 30.11.2013, 21:31 | |
|
используйте нечто наподобие watir+selenium/nokogiri.. Правда, не знаю, как обстоят дела с этим в php, не интересовался
Добавлено через 32 секунды ну или "только вручную, только хардкор!"
0
|
|
|
189 / 185 / 54
Регистрация: 23.10.2010
Сообщений: 1,336
|
||||||
| 30.11.2013, 21:36 | ||||||
|
[QUOTE=Freekazoid;5416232]я думал в том же направление и забрал все js к себе но у меня застой не могу запустить js скрипт что бы получить доступ к регистрации
0
|
||||||
|
9 / 9 / 1
Регистрация: 07.09.2013
Сообщений: 96
|
||
| 30.11.2013, 21:39 [ТС] | ||
|
по запросу watir+selenium/nokogiri.. нашел это http://habrahabr.ru/post/109835/ оно ли ? а вручную непонятно как. использую Fiddler но немогу понять там идет запрос в уже готовую форму но как дойти до нее
0
|
||
|
Почетный модератор
16844 / 6724 / 880
Регистрация: 12.06.2012
Сообщений: 19,967
|
|
| 30.11.2013, 21:40 | |
|
оно. Только ватир - гем для рубина
0
|
|
|
9 / 9 / 1
Регистрация: 07.09.2013
Сообщений: 96
|
||||||
| 30.11.2013, 21:45 [ТС] | ||||||
|
а если просто в запарсенный код дописать недостающий код и отправить форму так может заработать!
Добавлено через 3 минуты nonamez123, Скрипт безопасен но защита от дураков самая эффективная! скрипт просто скрывает форму! авторизации.
0
|
||||||
|
189 / 185 / 54
Регистрация: 23.10.2010
Сообщений: 1,336
|
|
| 30.11.2013, 21:45 | |
|
0
|
|
|
9 / 9 / 1
Регистрация: 07.09.2013
Сообщений: 96
|
|||||||
| 30.11.2013, 21:52 [ТС] | |||||||
Если можно более прозрачно говорите. не потеме посмотри тут поковыряй это или почитай о том!
0
|
|||||||
|
189 / 185 / 54
Регистрация: 23.10.2010
Сообщений: 1,336
|
||
| 30.11.2013, 21:56 | ||
|
0
|
||
|
9 / 9 / 1
Регистрация: 07.09.2013
Сообщений: 96
|
|||||||||||||
| 30.11.2013, 22:16 [ТС] | |||||||||||||
Добавлено через 10 минут
0
|
|||||||||||||
| 30.11.2013, 22:16 | |
|
Помогаю со студенческими работами здесь
19
Автоматическая регистрация на сайте Автоматическая регистрация классов в С++ Автоматическая регистрация ACTIVEX Автоматическая регистрация на сайте по открытию приложения Автоматическая регистрация почтового ящика в домене от Яндекса Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Первый деплой
lagorue 16.01.2026
Не спеша развернул своё 1ое приложение в kubernetes.
А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения
развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .
|
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ *
Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам
Кирхгофа, решает её и находит токи на L и напряжения на C в установ. режимах до и. . .
|
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым.
Но восстановить их можно так.
Для этого понадобится консольная утилита. . .
|
Изучаю kubernetes
lagorue 13.01.2026
А пригодятся-ли мне знания kubernetes в России?
|
|
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
|
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11
— это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
|
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11
Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
|
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
|