Как пропарсить домен с самого начала и до последней ссылки?

@melihovgv · Регистрация: 12.06.2011

Студворк — интернет-сервис помощи студентам

Как пропарсить домен с самого начала и до последней ссылки?
к примеру
http://site.ru/index.php
http://site.ru/index1.php
http://site.ru/index2.php/index1.php
http://site.ru/index.php/index2.php/index1.php
http://site.ru/index.php/index... index1.php

@gta4kv · 18.11.2011, 22:37

походу парсинга собирать с каждой страницы локальные ссылки, отмечать страницы как парсеные / не парсеные и так, пока не кончатся те самые "не парсеные"

@melihovgv · 18.11.2011, 22:46 **[ТС]**

Мини пример можете показать?

@gta4kv · 18.11.2011, 22:49

Пример чего? Как парсите страницу обычно, так и делайте.. Просто все ссылки вытаскиваете которые ведут на тот же домен.

@melihovgv · 18.11.2011, 22:58 **[ТС]**

PHP
1
2
3
4
5
6
7
8
9
10
11
12
 $url="http://blokart.su";
  $cont=file_get_contents($url);
 
 
  $tag_in="Каталог";
  $tag_out='Полезная информация';
  $position=strpos($cont,$tag_in);//nahodit nachalo
  $cont=substr($cont,$position);
  $position=strpos($cont,$tag_out);
  $cont=substr($cont,0,$position);
 
  echo $cont;

Как сделать цикл с рекурсией?

@duhon · 24.11.2011, 15:46

Сообщение от melihovgv

PHP
1
2
3
4
5
6
7
8
9
10
11
12
 $url="http://blokart.su";
  $cont=file_get_contents($url);
 
 
  $tag_in="Каталог";
  $tag_out='Полезная информация';
  $position=strpos($cont,$tag_in);//nahodit nachalo
  $cont=substr($cont,$position);
  $position=strpos($cont,$tag_out);
  $cont=substr($cont,0,$position);
 
  echo $cont;

Как сделать цикл с рекурсией?

не совсем понял что тебе надо, может такое.

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
url="http://blokart.su";
print_r(pars($url));
function pars($curent_url){
  //получить сирые данные
  $cont=file_get_contents($curent_url);
  //отфильтровать контент
  $tag_in="Каталог";
  $tag_out='Полезная информация';
  $position=strpos($cont,$tag_in);//nahodit nachalo
  $cont=substr($cont,$position);
  $position=strpos($cont,$tag_out);
  $cont=substr($cont,0,$position);
  //найти ссылки в каталоге
  preg_match_all('%http://(?:.+/)+%s', $cont, $urls);
  foreach($urls[0] as $url){
    $new_urls = pars($url);
  }
  return $urls+$new_urls;
}

Написал за 5 минут так что думай то тебе нужно или нет.

@melihovgv · 24.11.2011, 16:42 **[ТС]**

Решено.Кому интересно пишите на почту.

@F(r)an!k · 05.12.2011, 12:34

Очень интересно! Как раз хотел такую же тему создать!
Две недели уже бъюсь!
Какая у тебя почта???

@melihovgv · 05.12.2011, 13:15 **[ТС]**

gmelihov@bk.ru

@melihovgv · 01.02.2012, 00:32 **[ТС]**

Прикрепляю архив с наработками.
Кто знаком с пхп,закидывайте на денвер и смотрите.
Интуитивно разберетесь.

Новые блоги и статьи Все статьи Все блоги /
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .

@melihovgv 16 / 15 / 4 Регистрация: 12.06.2011 Сообщений: 842

	Как пропарсить домен с самого начала и до последней ссылки? 18.11.2011, 19:25. Показов 1623. Ответов 9 Метки нет (Все метки) Как пропарсить домен с самого начала и до последней ссылки? к примеру http://site.ru/index.php http://site.ru/index1.php http://site.ru/index2.php/index1.php http://site.ru/index.php/index2.php/index1.php http://site.ru/index.php/index... index1.php 0

@gta4kv 6 / 6 / 2 Регистрация: 08.11.2011 Сообщений: 23
	18.11.2011, 22:37
	походу парсинга собирать с каждой страницы локальные ссылки, отмечать страницы как парсеные / не парсеные и так, пока не кончатся те самые "не парсеные" 0

@melihovgv 16 / 15 / 4 Регистрация: 12.06.2011 Сообщений: 842
	18.11.2011, 22:46 [ТС]
	Мини пример можете показать? 0

@gta4kv 6 / 6 / 2 Регистрация: 08.11.2011 Сообщений: 23
	18.11.2011, 22:49
	Пример чего? Как парсите страницу обычно, так и делайте.. Просто все ссылки вытаскиваете которые ведут на тот же домен. 0

@melihovgv 16 / 15 / 4 Регистрация: 12.06.2011 Сообщений: 842
	24.11.2011, 16:42 [ТС]
	Решено.Кому интересно пишите на почту. 0

@F(r)an!k 31 / 31 / 4 Регистрация: 12.03.2010 Сообщений: 185
	05.12.2011, 12:34
	Очень интересно! Как раз хотел такую же тему создать! Две недели уже бъюсь! Какая у тебя почта??? 0

@melihovgv 16 / 15 / 4 Регистрация: 12.06.2011 Сообщений: 842
	05.12.2011, 13:15 [ТС]
	gmelihov@bk.ru 0