Получение исходного кода страницы - странности

@DarkDiabolik · Регистрация: 22.02.2010

Студворк — интернет-сервис помощи студентам

Здравствуйте, хочу получить код страницы с сайта world-art, хочу получить информацию в более удобном для себя виде, однако возникли некоторого рода проблемы, сначала использовал file_get_contents, меня редеректило на страницу not_connect.html, попробовал через curl, писал Moved Permanently это и понятно проставил свойство для автоперехода, если потребуется, в итоге снова стал попадать на эту страницу. Что делать незнаю, пробовал подставлять другие сайты, всё работает. Что особенного у этого сайта, я не смог найти, подскажите.

DrobyshevAlex · 19.07.2013, 01:02

Ну как минимум нужно включить куки и добавить строку реального браузера User Agent.

Но возможно без обработки JS, а значит вам нужно ещё и эмулятор JS

@DarkDiabolik · 21.07.2013, 14:55 **[ТС]**

Да спасибо, потребовалось подставить правдивый USET_AGENT, а также подключить куки в curl, если кого-то интересует как это сделать читайте про curl_setopt. В моём случае всё решило вот эти 3 строчки

PHP
1
2
3
    curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)");
    curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt"); 
    curl_setopt($ch, CURLOPT_COOKIEJAR, "cookie.txt");

Иногда кстати бывает редерект у сайтов, поэтому потребуется использовать ещё опцию CURLOPT_FOLLOWLOCATION.

Закрывайте

@EDIsaev · 20.08.2013, 13:05

всегда было интересно, что это за "cookie.txt"?
взяли куки из сниффера и сунули в txt?
стянули файл куков с браузера?
куки наверное надо получать при авторизации, а потом цеплять автоматом

Новые блоги и статьи Все статьи Все блоги /
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Рецензия / Мнение Это мой обзор планшета X220 с точки зрения школьника. Недавно я решила попытаться уменьшить свой. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .

@DarkDiabolik 3 / 3 / 0 Регистрация: 22.02.2010 Сообщений: 52

	Получение исходного кода страницы - странности 19.07.2013, 00:11. Показов 1296. Ответов 3 Метки нет (Все метки) Здравствуйте, хочу получить код страницы с сайта world-art, хочу получить информацию в более удобном для себя виде, однако возникли некоторого рода проблемы, сначала использовал file_get_contents, меня редеректило на страницу not_connect.html, попробовал через curl, писал Moved Permanently это и понятно проставил свойство для автоперехода, если потребуется, в итоге снова стал попадать на эту страницу. Что делать незнаю, пробовал подставлять другие сайты, всё работает. Что особенного у этого сайта, я не смог найти, подскажите. 0

DrobyshevAlex 1178 / 1128 / 94 Регистрация: 31.05.2012 Сообщений: 3,060
	19.07.2013, 01:02
	Ну как минимум нужно включить куки и добавить строку реального браузера User Agent. Но возможно без обработки JS, а значит вам нужно ещё и эмулятор JS 0

@EDIsaev 4 / 4 / 2 Регистрация: 27.03.2012 Сообщений: 142
	20.08.2013, 13:05
	всегда было интересно, что это за "cookie.txt"? взяли куки из сниффера и сунули в txt? стянули файл куков с браузера? куки наверное надо получать при авторизации, а потом цеплять автоматом 0