Парсинг ответов поисковика

@Nebiros · Регистрация: 23.03.2010

Студворк — интернет-сервис помощи студентам

подскажите что не так, вот я так парсирую гугл

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
$url='https://www.google.com/search?num=100&q=car';
$ch=curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,false);
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,30);
curl_setopt($ch,CURLOPT_USERAGENT,"Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2) Gecko/20100115 Firefox/3.6");
curl_setopt($ch,CURLOPT_HEADER,true);
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,true);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_ENCODING,"gzip,deflate");
$content=curl_exec($ch);
curl_close($ch);
echo $content;

ответ приходит но ссылки не те что если просто вбить адрес в браузер (половина ссылок не рабочих), как правильно к нему обращаться?

@Vas-e-na · 10.06.2014, 14:41

Тут все просто, это Гугл.
Поясню:
У гугла вся страница подгружается на js скриптах, и так просто получить контент страницы не получится, нужно эмулировать js
А js эмуляция в вашем броузере не проходит т.к. ссылки на скрипты относительные а не абсолютные.

PS рекомендую еще CURLOPT_HTTPHEADER устанавливать

@Nebiros · 10.06.2014, 16:32 **[ТС]**

Сообщение от Vas-e-na

Тут все просто, это Гугл.
Поясню:
У гугла вся страница подгружается на js скриптах, и так просто получить контент страницы не получится, нужно эмулировать js
А js эмуляция в вашем броузере не проходит т.к. ссылки на скрипты относительные а не абсолютные.
PS рекомендую еще CURLOPT_HTTPHEADER устанавливать

обошелся без js эмуляции, там ко всем линкам одинаково присоединялась вот такая вещь &sa=.... ,
её я обрезал на всех линках и дело пошло, теперь все линки нормально работают...

@Vas-e-na · 10.06.2014, 16:34

Nebiros, поздравляю

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@Vas-e-na 420 / 417 / 79 Регистрация: 21.06.2010 Сообщений: 1,362
	10.06.2014, 14:41
	Тут все просто, это Гугл. Поясню: У гугла вся страница подгружается на js скриптах, и так просто получить контент страницы не получится, нужно эмулировать js А js эмуляция в вашем броузере не проходит т.к. ссылки на скрипты относительные а не абсолютные. PS рекомендую еще CURLOPT_HTTPHEADER устанавливать 0

@Vas-e-na 420 / 417 / 79 Регистрация: 21.06.2010 Сообщений: 1,362
	10.06.2014, 16:34
	Nebiros, поздравляю 0