Форум программистов, компьютерный форум, киберфорум
PHP
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 5.00/5: Рейтинг темы: голосов - 5, средняя оценка - 5.00
0 / 0 / 0
Регистрация: 13.04.2018
Сообщений: 42

парсинг линка

18.02.2021, 13:46. Показов 973. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
привет всем, пытаюсь вытягивать инфу с линки
АПИ не подходит, нужные доступы не дают к ней
парсю curl`ом, чтобы передать useragent и cookie
код
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
// создание нового ресурса cURL
$ch = curl_init();
$agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36';
// установка URL и других необходимых параметров
curl_setopt($ch, CURLOPT_URL, "https://www.linkedin.com/");
curl_setopt($ch, CURLOPT_USERAGENT, $agent);
//curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt');
curl_setopt($ch, CURLOPT_COOKIE, file_get_contents('cookie.txt'));
 
// загрузка страницы и выдача её браузеру
echo curl_exec($ch);
 
// завершение сеанса и освобождение ресурсов
curl_close($ch);
без useragent и cookie выдает страницу входа
с ними выдает ничто
cookie в формате
XML
1
key1="value1";key2="value2";...
использую все куку своего браузера для домена www.linkedin.com
вопрос: что еще нужно чтоб нормально зайти?
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
18.02.2021, 13:46
Ответы с готовыми решениями:

Формирования линка пхп
Привет, скажите как сделать такое есть блок линков вида, они не активные просто выводятся как текст на странице, как мне средствами...

Проверка на существование линка
Как можно это осуществить....???? что-бы список линков проверило!

Регулярное выражения для линка
Есть ссылка: https://vrt.3dcondox.com:8080/vre/VREstate.html?DeveloperId=1&SiteId=5&project=KeyWest Для нее надо создать регулярное...

1
Надуваю лягушек
Эксперт PHP
 Аватар для Царь Бабай
289 / 219 / 93
Регистрация: 01.05.2014
Сообщений: 742
19.02.2021, 07:16
На вскидку:
1. Меня не пустило под РФ IP
2. Установи в хром расширение Evercookie Blockade
Когда с компа авторизуешься, кликни на печеньку и скопируй в cookie.txt все содержимое.
И php скриптом проверь

PHP
1
2
3
$html = curl_exec($ch);
curl_close($ch);
var_dump($html);
Если не сработает, прикрути прокси для курла.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
19.02.2021, 07:16
Помогаю со студенческими работами здесь

Смена название линка
У меня проиндексированная страничка: site.ru/brending в слове брендинг ошибка, хочу поменять на: site.ru/branding как отнесется...

Изменение линка в форме
Подскажите как сделать так чтобы менялся линк в форме, то есть я в селективном меню выбрал строку к примеру и в линке формы изменился сам...

Нет линка на 4 жиле
Проверил тестером кабель Интернет-провайдера, который заходит в мою квартиру. 7 из 8 жил зеленые, а на четвертой линка нет. Это...

создание линка на документ
Люди, плиз хелп! задача: в документе по кнопке пиклистом выбирается другой документ, и надо бы создать на выбранный документ ссылку, создаю...

Изменение линка в цикле
Вопрос такой! Как можно менять связанную текстовую таблицу в цикле? Или посоветуйте решение! Например: у меня куча файлов с текстовыми...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
Символьное дифференцирование
igorrr37 13.02.2026
/ * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! в-строка - входное арифметическое выражение в инфиксной(обычной). . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru