|
3 / 3 / 0
Регистрация: 08.08.2014
Сообщений: 214
|
|
Авторизация на сайте, а затем парсинг, как сделать?30.12.2014, 13:11. Показов 16932. Ответов 9
Метки нет (Все метки)
Здравствуйте
Столкнулся с такой проблемой, пишу парсер товаров с сайта, но цены на нем отображаются лишь только при авторизации на нем. Как мне сначала авторизоваться, а потом уже начать парсить???
0
|
|
| 30.12.2014, 13:11 | |
|
Ответы с готовыми решениями:
9
Авторизация на сайте через delphi 7 как? Авторизация на сайте и получение данных из личного кабинета на сайте |
|
5755 / 4134 / 1508
Регистрация: 06.01.2011
Сообщений: 11,276
|
||
| 30.12.2014, 13:23 | ||
|
0
|
||
|
3 / 3 / 0
Регистрация: 08.08.2014
Сообщений: 214
|
|
| 30.12.2014, 13:53 [ТС] | |
|
lyod, А как посмотреть куда идет запрос при отправке формы данных? Я так понимаю мне нужно там авторизоваться и посмотреть куку?
Ну а что такое CURL буду сейчас читать ))
0
|
|
|
100 / 70 / 26
Регистрация: 19.12.2014
Сообщений: 332
|
||
| 30.12.2014, 14:57 | ||
|
Теперь надо написать скрипт, который отправит на сервер точно такие же заголовки.
0
|
||
|
3 / 3 / 0
Регистрация: 08.08.2014
Сообщений: 214
|
|
| 02.01.2015, 20:37 [ТС] | |
|
Сделал все как Вы написали, post файлов там много, но я думаю что этот
Что именно нужно отсюда передавать в заголовок??? И можно ли как то передать без CURL потому как библиотеку подключать не очень хочется да и надо то мне один раз авторизоваться спарсить цены в файл и все.
0
|
|
|
3 / 3 / 0
Регистрация: 08.08.2014
Сообщений: 214
|
||||||||||||||||
| 03.01.2015, 19:34 [ТС] | ||||||||||||||||
|
Вот нашел код, в него нужно подставить данные из моего скриншота чтобы он заработал, у меня не получается сделать, после отправки правильных заголовков с авторизацией, вот на этой странице должны отображаться цены http://republika-woman.ru/magazin/folder/platya. Помогите пожалуйста подставить так чтобы заработало.
Теперь у меня другая проблема. Есть массив с сылками для парсинга на этот сайт. При переходе по этим ссылкам, он берет контент, но контент этот опять без цен, т.е страница открываются всеравно без авторизации на сайте. Как сделать так чтобы он открывал эти страницы уже с авторизацией?
1
|
||||||||||||||||
|
100 / 70 / 26
Регистрация: 19.12.2014
Сообщений: 332
|
|
| 03.01.2015, 19:57 | |
|
file_get_contents никак не связан с curl. Это новый сеанс. Второй запрос нужно делать опять таки через curl.
0
|
|
|
3 / 3 / 0
Регистрация: 08.08.2014
Сообщений: 214
|
|
| 03.01.2015, 20:06 [ТС] | |
|
Ну а как его сделать тогда, у меня парсинг проходит в несколько этапов, первый этап берет все ссылки с сайта и записывает их в файл, ссылок там много.
Второй этап открывает эти ссылки и вытаскивает из них данные. Как мне тогда привязку сделать в таком случае?
0
|
|
|
100 / 70 / 26
Регистрация: 19.12.2014
Сообщений: 332
|
||||||
| 04.01.2015, 14:33 | ||||||
Сообщение было отмечено zmanz как решение
Решение
Ну авторизоваться-то при помощи curl получилось?
Тогда перед curl_close() надо написать:
1
|
||||||
|
1943 / 1768 / 825
Регистрация: 23.01.2014
Сообщений: 6,230
|
|
| 04.01.2015, 15:29 | |
|
0
|
|
| 04.01.2015, 15:29 | |
|
Помогаю со студенческими работами здесь
10
Авторизация на сайте по средствам POST запроса. Как расшифровать gzip ответ? Авторизация в вк . парсинг куки Авторизация и парсинг PHP (CURL) Как сделать парсинг файла? Как сделать парсинг страницы Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
|
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу,
и светлой Луне.
В мире
покоя нет
и люди
не могут жить в тишине.
А жить им немного лет.
|
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила»
«Время-Деньги»
«Деньги -Пуля»
|
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
|
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога
Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога
Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
|
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
|
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога
Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
|