Как получить HTML код указанной страницы?

@Sanu0074 · Регистрация: 14.06.2010

Студворк — интернет-сервис помощи студентам

Например, я создал форму, со строкой "url", как мне получить HTML-код той страницы котору ввели в строку.

@forgergg · 20.11.2011, 23:27

Как вариант.

PHP
1
$html = $file_get_contents($url);

Добавлено через 1 минуту
Только надо что бы в php.ini allow_url_file_open (или нечто схожее по названию) было включено.

@Sanu0074 · 20.11.2011, 23:33 **[ТС]**

Сообщение от forgergg

Как вариант.

PHP
1
$html = $file_get_contents($url);

Добавлено через 1 минуту
Только надо что бы в php.ini allow_url_file_open (или нечто схожее по названию) было включено.

а если ссылка не на мой сайт, а на какой-либо другой??

@forgergg · 20.11.2011, 23:35

Сообщение от Sanu0074

а если ссылка не на мой сайт, а на какой-либо другой??

Тоже работает. Я так себе парсер новинок на трекере писал.

@Sanu0074 · 20.11.2011, 23:38 **[ТС]**

Сообщение от forgergg

Тоже работает. Я так себе парсер новинок на трекере писал.

Вот обработчик, чото он неработает:

PHP
1
2
3
4
5
6
7
8
9
if(isset($_POST['url']))
    {
        
        $url = $_POST['url'];
        $url = iconv("UTF-8","windows-1251",$url);
        
        $html = file_get_contents($url);
        echo $html;
    }

а запрос вот такой посылаю:

JavaScript
1
2
3
4
5
6
7
8
9
10
11
$(':input[name="sb"]').click(function(eventObject)
        {
            eventObject.preventDefault();
            var url =$(':input[name="url"]').val();
             
            
            $.post(url,{},function(data)
            {
                $('.table_data').empty().html(data);
            }); 
        });

@forgergg · 20.11.2011, 23:47

Можно еще через сокеты. Но о5 же надо что бы в пхп нужные директивы были включены.

Добавлено через 8 минут
1. Отсылает ли скрипт на js url ?
2. В url русские символы есть ?
3. Нужно через urlencode прогонять, если есть нестандартные символы.
В любом случаи надо убедится где именно ошибка возникает.

@Sanu0074 · 20.11.2011, 23:49 **[ТС]**

Сообщение от forgergg

Можно еще через сокеты. Но о5 же надо что бы в пхп нужные директивы были включены.

Добавлено через 8 минут
1. Отсылает ли скрипт на js url ?
2. В url русские символы есть ?
3. Нужно через urlencode прогонять, если есть нестандартные символы.
В любом случаи надо убедится где именно ошибка возникает.

1 - да.
2 - могут быть разные варианты.

@forgergg · 20.11.2011, 23:53

Попробуйте на отдельной страничке запустить.

PHP
1
2
3
4
5
<?
$text = file_get_contents('www.cyberforum.ru');
if($text) echo $text;
else echo "fail";
?>

если fail, то надо посмотреть в пхп.ини директиву allow_url_fopen

@Sanu0074 · 21.11.2011, 02:04 **[ТС]**

Сообщение от forgergg

Попробуйте на отдельной страничке запустить.

PHP
1
2
3
4
5
<?
$text = file_get_contents('www.cyberforum.ru');
if($text) echo $text;
else echo "fail";
?>

если fail, то надо посмотреть в пхп.ини директиву allow_url_fopen

вообще ничего не возвращает...

@forgergg · 21.11.2011, 02:25

Не может такого быть. Можно var_dump`ом посмотреть, что после этого в переменной будет.
Ну или как вариант попробовать использовать сокеты.

Добавлено через 4 минуты
Если и через сокеты не прокатит, то все печалька. Если сайт на локальной машине, надо посмотреть правильно ли настроен пхп, если на хостинге, то спросить у хостинг-провайдера.

Добавлено через 5 минут
Стоит убедиться, что в php.ini allow_url_fopen = On

Добавлено через 32 секунды
и short_open_tag = On

@Sanu0074 · 21.11.2011, 15:23 **[ТС]**

Сообщение от forgergg

Не может такого быть.

придется скачать парсер, и переделать его под то что мне надо..

@forgergg · 21.11.2011, 15:37

Сообщение от Sanu0074

придется скачать парсер, и переделать его под то что мне надо..

Прикол в том, что если у вас не работает file_get_contents($url), при этом allow_url_fopen = on, и у вас через сокеты не приходит html странички по $url, то и никакие парсеры и библиотеки типа curl работать не будут. И тут несколько варианта: либо это дело блокируется хостинг-провайдером, либо на локальной машине отсутствует инет(хотя тогда бы функция вернула FALSE), либо пхп не работает ВООБЩЕ.
Другое дело, что может быть ваш скрипт на js отсылает некорректный url. Или после iconv он становится некорректным.

@Sanu0074 · 21.11.2011, 16:09 **[ТС]**

Сообщение от forgergg

Прикол в том, что если у вас не работает file_get_contents($url), при этом allow_url_fopen = on, и у вас через сокеты не приходит html странички по $url, то и никакие парсеры и библиотеки типа curl работать не будут. И тут несколько варианта: либо это дело блокируется хостинг-провайдером, либо на локальной машине отсутствует инет(хотя тогда бы функция вернула FALSE), либо пхп не работает ВООБЩЕ.
Другое дело, что может быть ваш скрипт на js отсылает некорректный url. Или после iconv он становится некорректным.

всё отпадает, кроме хостинг-провайдера, хотя на локальном сервере тож ничо непашет...

@Maksimchikfull · 22.11.2011, 02:34

Сообщение от Sanu0074

Например, я создал форму, со строкой "url", как мне получить HTML-код той страницы котору ввели в строку.

Ну вот скажем форма для ссылки:

HTML5
1
2
3
<form action="" method="post">
<input name="url" type="text" value="$_POST[url]" size="255" maxlength="255">
</form>

Её обработчик:

PHP
1
2
3
4
5
6
7
8
9
<?php
if(isset($_POST['url'])){
    $url = $_POST['url'];
    
    // Дальше можно использовать. К примеру:
    
    echo "<p>Вы ввели такую ссылку:<br>$url</p>";
}
?>

На мой взгляд вам такое надо было.

@forgergg · 22.11.2011, 02:38

Сообщение от Maksimchikfull

На мой взгляд вам такое надо было.

По-моему надо было получить хтмл код страницы, расположенной по ссылке $url.

@Sanu0074 · 22.11.2011, 12:32 **[ТС]**

Сообщение от forgergg

По-моему надо было получить хтмл код страницы, расположенной по ссылке $url.

+1

@Maksimchikfull · 22.11.2011, 22:05

Сообщение от forgergg

file_get_contents

Саму страницу показывает, но не её HTML. Както я делал подобный вариант, получал именно HTML. Надо просто попарится с гуглом или чем удобнее да и многое найдёте.

@forgergg · 22.11.2011, 22:21

Сообщение от Maksimchikfull

Саму страницу показывает, но не её HTML.

Как, как он может показать страницу ?)) Он получает именно html код страницы, указанной в параметрах.
Вообщем до этого у мня не было возможности проверить. Сейчас поднял апач, проверил. Надо скармливать этой функции урл вида "протокол://[www.]имя_сайта.рег_зона". Например "https://www.cyberforum.ru"
Протокол надо было добавить =)

21.04.2012, 09:39

А как быть, если вход на сайт по паролю?
Как предварительно авторизоваться са сайте (логин и пароль известны)?

22.04.2012, 13:19

Как быть, если итоговая страница получается с применением JAVA?. Полученый скриптом код не содержит контента, сгенерированного JAVA-скриптами.

Новые блоги и статьи Все статьи Все блоги /
Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .	Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .	Отправка уведомления на почту при создании или изменении элементов справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .

@Sanu0074 59 / 59 / 16 Регистрация: 14.06.2010 Сообщений: 1,190 Записей в блоге: 5

	Как получить HTML код указанной страницы? 20.11.2011, 23:23. Показов 54669. Ответов 20 Метки нет (Все метки) Например, я создал форму, со строкой "url", как мне получить HTML-код той страницы котору ввели в строку. 0

@forgergg 135 / 135 / 29 Регистрация: 18.10.2011 Сообщений: 306
	20.11.2011, 23:47
	Можно еще через сокеты. Но о5 же надо что бы в пхп нужные директивы были включены. Добавлено через 8 минут 1. Отсылает ли скрипт на js url ? 2. В url русские символы есть ? 3. Нужно через urlencode прогонять, если есть нестандартные символы. В любом случаи надо убедится где именно ошибка возникает. 0

@forgergg 135 / 135 / 29 Регистрация: 18.10.2011 Сообщений: 306
	21.11.2011, 02:25
	Не может такого быть. Можно var_dump`ом посмотреть, что после этого в переменной будет. Ну или как вариант попробовать использовать сокеты. Добавлено через 4 минуты Если и через сокеты не прокатит, то все печалька. Если сайт на локальной машине, надо посмотреть правильно ли настроен пхп, если на хостинге, то спросить у хостинг-провайдера. Добавлено через 5 минут Стоит убедиться, что в php.ini allow_url_fopen = On Добавлено через 32 секунды и short_open_tag = On 1

kluhinov
	21.04.2012, 09:39
	А как быть, если вход на сайт по паролю? Как предварительно авторизоваться са сайте (логин и пароль известны)?

kluhinov
	22.04.2012, 13:19
	Как быть, если итоговая страница получается с применением JAVA?. Полученый скриптом код не содержит контента, сгенерированного JAVA-скриптами.