Форум программистов, компьютерный форум, киберфорум
PHP
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 5.00/3: Рейтинг темы: голосов - 3, средняя оценка - 5.00
1 / 0 / 1
Регистрация: 29.10.2020
Сообщений: 73

Работа парсера PHP

14.10.2021, 21:10. Показов 686. Ответов 2
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
<?php
 
function crawl_page($url, &$level)
{
    $level -= 1;
    
    static $seen = array();
    if(isset($seen[$url])) {
        return false;
    } elseif ($level < 0) {
        return false;
    }
 
    $seen[$url] = true;
 
    $dom = new DOMDocument('1.0');
    if(@$dom->loadHTMLFile($url)) {
        $allTitle = $dom->getElementsByTagName("title");
        $CurrentTitle = $allTitle->length ? $allTitle->item(0)->nodeValue : '';
                echo '<strong>Загрузилась:</strong> ', $url, '', PHP_EOL;
        echo '<strong >Заголовок: </strong>', $CurrentTitle, '', PHP_EOL;
 
        foreach ($dom->getElementsByTagName('a') as $element) {
            if(($href = trim($element->getAttribute('href'))) && ($href <> '#') && ($href <> '/')) {
                if($href[0]=='/') {
                    $ParseURL = parse_url($url);
                    $scheme   = isset($ParseURL['scheme']) ? $ParseURL['scheme'] . '://' : '';
                    $host     = isset($ParseURL['host']) ? $ParseURL['host'] : '';
                    $href     = $scheme.$host.$href;
                }
                
                if (false !== strpos($href, 'http')) {
                    if(!crawl_page($href, $level)) {
                        $level += 1;
                    }
                    if ($level < 0) {
                        return false;
                    }
                }
            }
        }
        return true;
    }
    return false;
}
$level = 25;
$text = $_POST['text'];
crawl_page($text, $level);
?>
Допустим на парсинг пускаю сайт http://vernisage73.ru/
Он мне выдает помимо страниц этого сайта, другие сайты такие как:
Загрузилась: https://l.facebook.com/l.php?u... kod9GXeSAh Заголовок: Aktualisiere deinen Browser | Facebook
Загрузилась: https://l.facebook.com/l.php?u... gA9EsZdqQX Заголовок: Aktualisiere deinen Browser | Facebook

Как можно сделать, чтобы он не уходил дальше заданного URL?
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
14.10.2021, 21:10
Ответы с готовыми решениями:

Написание парсера или грабера на php, как писать?
Собственно сабж. Кто писал расскажите как вы их пишете. Существует ли одна технология их написания, или их несколько? Кто какие...

Долгая работа парсера
Здравствуйте. Собственно проблема в том что парсер грузится около 10-ти секунд. В чем может быть проблема? Как ускроить? ...

Написание парсера на php
Здраствуйте, нужен парсер объявлений на php в ютубе нашел урок, парсинг делается но в базу не заносит хотя соеднеи с базой есть проверил и...

2
-9 / 8 / 3
Регистрация: 17.02.2021
Сообщений: 239
15.10.2021, 08:23
bastepic, не дадут ответ про парсеры грабберы курлы и прочую дичь профессиональная этика

ты сам посуди: я тебя научил ты мне лупишь по моему сайту потом мне это надо?

вот если сайт предоставляет API и у тебя заморочки, то дело другое

без этого это просто воровство и многие прикрываюся словами - ну так такой функционал предоставляет ЯП, ну так в хозяйственных магазинах ножи кухонные продаются а ими людей убивают дебилы, ЯП предоставляет такой функционал для организации API, но не для кражи
1
Заблокирован
15.10.2021, 10:31
Цитата Сообщение от DefenseMinister Посмотреть сообщение
bastepic, не дадут ответ про парсеры грабберы курлы и прочую дичь профессиональная этика
Соображаешь
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
15.10.2021, 10:31
Помогаю со студенческими работами здесь

Некорректная работа парсера xml
Имеется ф-ция, которой в качестве параметра передается строковая переменная name. Далее в xml-файле ищется элемент name и возвращается...

Работа в игровом проекте. Работа с php. Работа с платежными системами. Работа с базами данных
Работа в игровом проекте. Работа с php. Работа с платежными системами. Работа с базами данных. Стоимость: Договорная Срок...

Работа с несколькими таблицами из БД в одном create.php и update.php в YII2
Всем привет. Нужна ваша помощь. В общем есть 3 таблицы в БД, в первой хранятся &quot;Темы&quot;, во второй хранятся &quot;Вопросы&quot;, третья...

Настройка парсера C#
Помогите с настройкой парсера C# namespace Parser.Core.Habra { class HabraParser : IParser&lt;string&gt; { public...

Результат парсера
Я спарсил текст между &lt;teg&gt; и &lt;/teg&gt; &lt;teg&gt; TEXT TEXT TEXT &lt;/teg&gt; Спарсил в цикле,то есть все результаты.В итоге я получил...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
Установка Android SDK, NDK, JDK, CMake и т.д.
8Observer8 25.01.2026
Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf
8Observer8 25.01.2026
Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .
Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly
8Observer8 24.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
моя боль
iceja 24.01.2026
Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .
Модель сукцессии микоризы
anaschu 24.01.2026
Решили писать научную статью с неким РОманом
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru