Форум программистов, компьютерный форум, киберфорум
Наши страницы
PHP
Войти
Регистрация
Восстановить пароль
 
coolio
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 47
1

Оверлеи и всякие pop-up окна не дают получить HTML через file_get_content или RollingCurl

10.07.2018, 16:37. Просмотров 179. Ответов 4

Привет, люди! Вопрос по PHP.
Есть сайты, с которых нужно получить HTML-код. В принципе file_get_content или RollingCurl получают.
Но есть проблема. На некоторых из них есть оверлеи с выбором языка, или разные поп-ап окна. Когда код натыкается на такие сайты, то вместо HTML нужной страницы, приходит HTML этого оверлея или окна.

Как "преодолеть" эти окна в PHP коде?

Либо сделать чтобы оно закрылось, либо нажать кнопку (к примеру если это кнопка выбора языка, то даже не важно какой язык), главное чтобы это окно исчезло и код мог спокойно получить нужный HTML.
Постарался выразиться как можно понятнее
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
10.07.2018, 16:37
Ответы с готовыми решениями:

Типизированные файлы: получить в файле g все компоненты файла f, которые при делении на 7 дают 1, 2 или 5
Дан файл f, компоненты которого являются целыми числами. Получить в файле g все...

Всякие дисплеи HD44780 и всякие АТмеги. Напоминалка.
Здравствуйте, господа! ВНЕЗАПНО обнаружил, что при очередной возне с...

Открытие окна через HTML
Здорово народ, я тут новичёк так что я надеюсь на помощь.У меня вот какое дело:...

Генератор pop-up окна
Всем добрый день У меня есть код всплывающего окна, смотрите ниже. Мне надо...

Настройка появления pop-up окна
Всем доброго дня! У меня такой вопрос, имеется программа опрашивающая...

4
Para bellum
Эксперт PHP
4103 / 3051 / 985
Регистрация: 06.01.2011
Сообщений: 8,931
11.07.2018, 07:12 2
Это не pop-up окна. Если было бы окно, то код страницы Вы всё равно бы получали. Скорее всего, там отдельная страница для выбора языка и т.п., а после выбора переадресация происходит.

Решение: посмотреть, что происходит при выборе языка и сымитировать запрос.
0
coolio
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 47
11.07.2018, 08:54  [ТС] 3
Para bellum, это overlay, экран покрывается полупрозрачным слоем и появляются две кнопки выбора языка, при этом html код совсем другой. При выборе языка, переадресации не происходит - адрес в браузере не меняется, срабатывает какой-то скрипт. Есть еще крестик, чтобы закрыть этот оверлей - там просто # добавляется к адресу и если имитировать этот запрос, то всё то же самое - снова оверлей

что еще заметил, file_get_content в подавляющем большинстве случаев всё таки искомый html получает, а вот RollingCurl не может - упирается в этот оверлей. А парсить нужно примерно 55 000 - 60 000 страниц, поэтому file_get_content не вариант, если только с ним не придумали что нибудь похожее на RollingCurl
0
oplachko84
Заблокирован
12.07.2018, 18:16 4
coolio, адрес сайта покажите?
Цитата Сообщение от coolio Посмотреть сообщение
там просто # добавляется к адресу и если имитировать этот запрос, то всё то же самое - снова оверлей
Вероятно, кроме этого устанавливается кука... хотя, не уверен. Курлом можно отправить любую куку и получить необходимый результат.
0
coolio
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 47
16.07.2018, 12:20  [ТС] 5
oplachko84, да, так и есть - кука устанавливается. А как её курлом обработать?

Добавлено через 12 минут
oplachko84, адрес может в личку прислать? (я просто не знаю как тут на форуме с ссылками)
0
16.07.2018, 12:20
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
16.07.2018, 12:20

Как запретить pop-up окна
Как, загружая на своей странице в отдельном фрейме другую, не дать ей открыть...

как поменять положение pop-up окна
Установил wp-super-popup плагин на wordpres и работает отлично, но выезжает в...

Update формы на родительском окне из pop-up окна
У меня есть форма. На ней грид. В одной из колонок грида-у меня гиперлинк. По...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru