|
3 / 3 / 0
Регистрация: 08.08.2014
Сообщений: 214
|
|
Авторизация на сайте, а затем парсинг, как сделать?30.12.2014, 13:11. Показов 17028. Ответов 9
Метки нет (Все метки)
Здравствуйте
Столкнулся с такой проблемой, пишу парсер товаров с сайта, но цены на нем отображаются лишь только при авторизации на нем. Как мне сначала авторизоваться, а потом уже начать парсить???
0
|
|
| 30.12.2014, 13:11 | |
|
Ответы с готовыми решениями:
9
Авторизация на сайте через delphi 7 как? Авторизация на сайте и получение данных из личного кабинета на сайте |
|
5755 / 4134 / 1508
Регистрация: 06.01.2011
Сообщений: 11,276
|
||
| 30.12.2014, 13:23 | ||
|
0
|
||
|
3 / 3 / 0
Регистрация: 08.08.2014
Сообщений: 214
|
|
| 30.12.2014, 13:53 [ТС] | |
|
lyod, А как посмотреть куда идет запрос при отправке формы данных? Я так понимаю мне нужно там авторизоваться и посмотреть куку?
Ну а что такое CURL буду сейчас читать ))
0
|
|
|
100 / 70 / 26
Регистрация: 19.12.2014
Сообщений: 332
|
||
| 30.12.2014, 14:57 | ||
|
Теперь надо написать скрипт, который отправит на сервер точно такие же заголовки.
0
|
||
|
3 / 3 / 0
Регистрация: 08.08.2014
Сообщений: 214
|
|
| 02.01.2015, 20:37 [ТС] | |
|
Сделал все как Вы написали, post файлов там много, но я думаю что этот
Что именно нужно отсюда передавать в заголовок??? И можно ли как то передать без CURL потому как библиотеку подключать не очень хочется да и надо то мне один раз авторизоваться спарсить цены в файл и все.
0
|
|
|
3 / 3 / 0
Регистрация: 08.08.2014
Сообщений: 214
|
||||||||||||||||
| 03.01.2015, 19:34 [ТС] | ||||||||||||||||
|
Вот нашел код, в него нужно подставить данные из моего скриншота чтобы он заработал, у меня не получается сделать, после отправки правильных заголовков с авторизацией, вот на этой странице должны отображаться цены http://republika-woman.ru/magazin/folder/platya. Помогите пожалуйста подставить так чтобы заработало.
Теперь у меня другая проблема. Есть массив с сылками для парсинга на этот сайт. При переходе по этим ссылкам, он берет контент, но контент этот опять без цен, т.е страница открываются всеравно без авторизации на сайте. Как сделать так чтобы он открывал эти страницы уже с авторизацией?
1
|
||||||||||||||||
|
100 / 70 / 26
Регистрация: 19.12.2014
Сообщений: 332
|
|
| 03.01.2015, 19:57 | |
|
file_get_contents никак не связан с curl. Это новый сеанс. Второй запрос нужно делать опять таки через curl.
0
|
|
|
3 / 3 / 0
Регистрация: 08.08.2014
Сообщений: 214
|
|
| 03.01.2015, 20:06 [ТС] | |
|
Ну а как его сделать тогда, у меня парсинг проходит в несколько этапов, первый этап берет все ссылки с сайта и записывает их в файл, ссылок там много.
Второй этап открывает эти ссылки и вытаскивает из них данные. Как мне тогда привязку сделать в таком случае?
0
|
|
|
100 / 70 / 26
Регистрация: 19.12.2014
Сообщений: 332
|
||||||
| 04.01.2015, 14:33 | ||||||
Сообщение было отмечено zmanz как решение
Решение
Ну авторизоваться-то при помощи curl получилось?
Тогда перед curl_close() надо написать:
1
|
||||||
|
1943 / 1768 / 825
Регистрация: 23.01.2014
Сообщений: 6,230
|
|
| 04.01.2015, 15:29 | |
|
0
|
|
| 04.01.2015, 15:29 | |
|
Помогаю со студенческими работами здесь
10
Авторизация на сайте по средствам POST запроса. Как расшифровать gzip ответ? Авторизация в вк . парсинг куки Авторизация и парсинг PHP (CURL) Как сделать парсинг файла? Как сделать парсинг страницы Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
|||
|
Отчёт о затраченных материалах за определенный период с макетом печатной формы
Maks 21.04.2026
Отчёт из решения ниже размещён в конфигурации КА2.
Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом.
В. . .
|
Отчёт о спецтехнике находящейся в ремонте
Maks 20.04.2026
Отчёт из решения ниже размещен в конфигурации КА2.
Задача: отобразить спецтехнику, которая на данный момент находится в ремонте.
Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .
|
Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)"
Hrethgir 19.04.2026
Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
|
Запрет удаления строк ТЧ документа при определённом условии
Maks 19.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
|
|
Модель заражения группы наркоманов
alhaos 17.04.2026
Условия задачи сформулированы тут
Суть:
- Группа наркоманов из 10 человек.
- Только один инфицирован ВИЧ.
- Колются одной иглой.
- Колются раз в день.
- Колются последовательно через. . .
|
Мысли в слух. Про "навсегда".
kumehtar 16.04.2026
Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .
|
My Business CRM
MaGz GoLd 16.04.2026
Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .
|
Знаешь почему 90% людей редко бывают счастливыми?
kumehtar 14.04.2026
Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . .
а удачный момент так и не приходит.
|