Форум программистов, компьютерный форум, киберфорум
Наши страницы
PHP
Войти
Регистрация
Восстановить пароль
 
coolio
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 30
#1

Оверлеи и всякие pop-up окна не дают получить HTML через file_get_content или RollingCurl - PHP

10.07.2018, 16:37. Просмотров 151. Ответов 4

Привет, люди! Вопрос по PHP.
Есть сайты, с которых нужно получить HTML-код. В принципе file_get_content или RollingCurl получают.
Но есть проблема. На некоторых из них есть оверлеи с выбором языка, или разные поп-ап окна. Когда код натыкается на такие сайты, то вместо HTML нужной страницы, приходит HTML этого оверлея или окна.

Как "преодолеть" эти окна в PHP коде?

Либо сделать чтобы оно закрылось, либо нажать кнопку (к примеру если это кнопка выбора языка, то даже не важно какой язык), главное чтобы это окно исчезло и код мог спокойно получить нужный HTML.
Постарался выразиться как можно понятнее
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
10.07.2018, 16:37
Я подобрал для вас темы с готовыми решениями и ответами на вопрос Оверлеи и всякие pop-up окна не дают получить HTML через file_get_content или RollingCurl (PHP):

Типизированные файлы: получить в файле g все компоненты файла f, которые при делении на 7 дают 1, 2 или 5
Дан файл f, компоненты которого являются целыми числами. Получить в файле g все...

Всякие дисплеи HD44780 и всякие АТмеги. Напоминалка.
Здравствуйте, господа! ВНЕЗАПНО обнаружил, что при очередной возне с...

Открытие окна через HTML
Здорово народ, я тут новичёк так что я надеюсь на помощь.У меня вот какое дело:...

Генератор pop-up окна
Всем добрый день У меня есть код всплывающего окна, смотрите ниже. Мне надо...

Настройка появления pop-up окна
Всем доброго дня! У меня такой вопрос, имеется программа опрашивающая...

Как запретить pop-up окна
Как, загружая на своей странице в отдельном фрейме другую, не дать ей открыть...

4
Para bellum
Эксперт PHP
3943 / 2929 / 924
Регистрация: 06.01.2011
Сообщений: 8,568
11.07.2018, 07:12 #2
Это не pop-up окна. Если было бы окно, то код страницы Вы всё равно бы получали. Скорее всего, там отдельная страница для выбора языка и т.п., а после выбора переадресация происходит.

Решение: посмотреть, что происходит при выборе языка и сымитировать запрос.
0
coolio
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 30
11.07.2018, 08:54  [ТС] #3
Para bellum, это overlay, экран покрывается полупрозрачным слоем и появляются две кнопки выбора языка, при этом html код совсем другой. При выборе языка, переадресации не происходит - адрес в браузере не меняется, срабатывает какой-то скрипт. Есть еще крестик, чтобы закрыть этот оверлей - там просто # добавляется к адресу и если имитировать этот запрос, то всё то же самое - снова оверлей

что еще заметил, file_get_content в подавляющем большинстве случаев всё таки искомый html получает, а вот RollingCurl не может - упирается в этот оверлей. А парсить нужно примерно 55 000 - 60 000 страниц, поэтому file_get_content не вариант, если только с ним не придумали что нибудь похожее на RollingCurl
0
oplachko84
5 / 10 / 2
Регистрация: 27.06.2018
Сообщений: 75
12.07.2018, 18:16 #4
coolio, адрес сайта покажите?
Цитата Сообщение от coolio Посмотреть сообщение
там просто # добавляется к адресу и если имитировать этот запрос, то всё то же самое - снова оверлей
Вероятно, кроме этого устанавливается кука... хотя, не уверен. Курлом можно отправить любую куку и получить необходимый результат.
0
coolio
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 30
16.07.2018, 12:20  [ТС] #5
oplachko84, да, так и есть - кука устанавливается. А как её курлом обработать?

Добавлено через 12 минут
oplachko84, адрес может в личку прислать? (я просто не знаю как тут на форуме с ссылками)
0
16.07.2018, 12:20
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
16.07.2018, 12:20
Привет! Вот еще темы с решениями:

как поменять положение pop-up окна
Установил wp-super-popup плагин на wordpres и работает отлично, но выезжает в...

Update формы на родительском окне из pop-up окна
У меня есть форма. На ней грид. В одной из колонок грида-у меня гиперлинк. По...

Обновить первичное окно после закрытия pop-up окна
Здравствуйте ! Подскажите, пожалуйста, как решить такую задачу: Из окна...

Как создать pop-up окна без обычных броузерских иконок ?
Ну, чтобы совсем, кроме краев, ничего не было: ни синей полосы, ни кнопки...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru