Парсер всех ссылок сайта

@DarkJoker1992 · Регистрация: 19.02.2013

Студворк — интернет-сервис помощи студентам

Здравствуйте, нужен парсер всех существующих ссылок сайта(которые именно к нему относятся)(находил программы, но это шлак, если на сайте более 200000 страниц то это на несколько дней....)
В данном коде, он выводит только ссылки с главной страницы, абсолютно все ссылки, такие как "http://friendfeed.com/ , javascript:; и тд.", они мне не нужны, нужны только ссылки данного домена бывают попадается в список ссылки такого типа /kadidati_v_prop т.е. без домена вообще, но если подставить домен то видно что это ссылка рабочая.
ну и сохранить их все в тхт.

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
<?php 
 
$i = "";
 
echo "<pre>";
 
$Lnk="http://hamaha.net/";
$buf=implode("",file($Lnk)); 
 
preg_match_all
("/<[Aa][ \r\n\t]{1}[^>]*[Hh][Rr][Ee][Ff][^=]*=[ '\"\n\r\t]*([^ \"'>\r\n\t#]+)[^>]*>/",
$buf,$url);
 
   while($i<count($url[1])) 
   { 
   
   echo @$url[1][$i++]."\n"; 
    $f = fopen("alllinks.txt", "a");
 
    fwrite($f, @$url[1][$i++]."\r\n"); 
 
    fclose($f);
   
   }
 
   echo "</pre>"; 
?>

@wq · 05.10.2016, 17:01

чё за лажа? если взялись за регулярки то там есть игнор регистра букф. не нужно позориться

@DarkJoker1992 · 05.10.2016, 17:08 **[ТС]**

весь код скопирован с сайтов, я ничего не писал =)
я лишь добавил добавление ссылок в файл.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@wq 85 / 78 / 32 Регистрация: 26.11.2015 Сообщений: 481
	05.10.2016, 17:01
	чё за лажа? если взялись за регулярки то там есть игнор регистра букф. не нужно позориться 0

@DarkJoker1992 148 / 4 / 0 Регистрация: 19.02.2013 Сообщений: 369
	05.10.2016, 17:08 [ТС]
	весь код скопирован с сайтов, я ничего не писал =) я лишь добавил добавление ссылок в файл. 0