Форум программистов, компьютерный форум, киберфорум
Наши страницы

PHP

Войти
Регистрация
Восстановить пароль
 
Рейтинг: Рейтинг темы: голосов - 13, средняя оценка - 4.85
Николай12
-7 / 15 / 0
Регистрация: 13.05.2012
Сообщений: 169
#1

Генерация карты сайта XML - PHP

12.07.2013, 17:46. Просмотров 1717. Ответов 11
Метки нет (Все метки)

Нужно генерировать карту сайта в формате XML, подскажите пожалуйста, как это можно сделать?

Хотелось бы так:
1) Скрипт парсит страницы сайта на наличие ссылок, внешние не учитываются
2) Если по ссылке существует страница, она заносится в sitemap.xml

Интересно, как сделаны сервисы для генерации карты сайта

Заранее спасобо
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
12.07.2013, 17:46
Я подобрал для вас темы с готовыми решениями и ответами на вопрос Генерация карты сайта XML (PHP):

Генерация имени xml файла - PHP
Вообщем, задача следующая.Имеется html форма, заполняются некоторые данные:логин, e-mail, имя и т.д.При отправке данные сохраняются в...

wordpress генерация в pdf,word,xml - PHP
Всем привет, такой вопрос есть. Сам по сайтам я не очень шарю. Можно средствами wordpress сделать следующее?: пользователь вводит данные на...

Из двух XML создать один, состоящий из тегов, которые присутствуют в обоих XML - PHP
Нужно на PHP реализовать такую задачку. Пример: Есть первый XML: <html> <div class="rb"> <b> </b> ...

Генерация XML в PHP скриптах - PHP
Необходимо генерировать XML с киррилицей. Главная проблема в том, что сервер "вражеский" и уболтать "доставить" на пых пых какието бы...

Автоматическое обновление карты сайт sitemap.xml - PHP
Сайт самодельный, как создать карту сайта есть сервисы, а вот как сделать так чтобы карта сама обновлялась? Есть ли какие нибудь...

Экранирование символов у карты сайта - PHP
Добрый вечер. Не могу понять, что делают в таких случаях... Есть ссылки сайта: ...

11
Shevchuk
7 / 7 / 0
Регистрация: 21.07.2013
Сообщений: 54
23.07.2013, 00:26 #2
Ты хочешь создать свой сервис для генерации sitemap.xml? или тебе просто нужно создать sitemap своего сайта?
0
Legal
7 / 7 / 0
Регистрация: 03.05.2013
Сообщений: 52
23.07.2013, 08:14 #3
Ты ответил на свой вопрос
Даёшь ссылку на сайт, скрипт парсит на наличие других ссылок, и записылает в XML
Советую писать на PHP.
0
Николай12
-7 / 15 / 0
Регистрация: 13.05.2012
Сообщений: 169
31.07.2013, 16:39  [ТС] #4
Сделал скрипт. Теперь такая проблема, что делать если скрипт не успевает выполниться за 30 сек.?
0
Legal
7 / 7 / 0
Регистрация: 03.05.2013
Сообщений: 52
31.07.2013, 19:40 #5
Цитата Сообщение от Николай12 Посмотреть сообщение
Сделал скрипт. Теперь такая проблема, что делать если скрипт не успевает выполниться за 30 сек.?
В php.ini поставить более 30 секунд
0
Николай12
-7 / 15 / 0
Регистрация: 13.05.2012
Сообщений: 169
31.07.2013, 21:47  [ТС] #6
Не вариант. Нужно как-то разбить процесс на части
0
NEbO
591 / 458 / 49
Регистрация: 22.01.2009
Сообщений: 1,180
Записей в блоге: 1
Завершенные тесты: 3
31.07.2013, 22:25 #7
кто мешает сделать это на локалхосте и запускать в консоли? для пхп есть curl_multi, позволяет делать одновременные запросы, чтоб отработало быстрее, конечно, если сервер позволяет.
0
Николай12
-7 / 15 / 0
Регистрация: 13.05.2012
Сообщений: 169
01.08.2013, 12:01  [ТС] #8
В том и проблема, что я создаю плагин для одного нового движка. У меня есть примерный алгоритм. Только он парсит сразу все ссылки(их может быть очень много). Нужно чтобы он выполнялся по частям, например 1000 ссылок - каждая часть. Запрос на выполнение следующей части нужно отсылать с помощью AJAX
Можно попробовать сделать так: когда посылается AJAX запрос на первую часть, возвращать последнюю ссылку, на которой остановился скрипт
После передавать на вторую часть эту ссылку, чтобы с неё продолжить. Массив всех ссылок записывается в сессию, чтобы не было дублирования.
Дальше, точно так же пока не закончатся ссылки.
Можно так?
0
zerokko
5 / 5 / 2
Регистрация: 21.01.2010
Сообщений: 51
04.08.2013, 07:08 #9
Цитата Сообщение от Николай12 Посмотреть сообщение
В том и проблема, что я создаю плагин для одного нового движка. У меня есть примерный алгоритм. Только он парсит сразу все ссылки(их может быть очень много). Нужно чтобы он выполнялся по частям, например 1000 ссылок - каждая часть. Запрос на выполнение следующей части нужно отсылать с помощью AJAX
Можно попробовать сделать так: когда посылается AJAX запрос на первую часть, возвращать последнюю ссылку, на которой остановился скрипт
После передавать на вторую часть эту ссылку, чтобы с неё продолжить. Массив всех ссылок записывается в сессию, чтобы не было дублирования.
Дальше, точно так же пока не закончатся ссылки.
Можно так?
Рентабельней писать в массив, а потом расставлять приоритеты по количеству ссылок
0
Camaro396
38 / 38 / 1
Регистрация: 22.07.2013
Сообщений: 197
04.08.2013, 12:41 #10
А какой смысл пихать в карту все-все ссылки, попадающиеся на пути? А если это будет внешняя ссыль. Вообще это работа рОбота Обычно, если это CMS, основную часть ссылок можно взять из БД. Я обычно делаю карту основных ссылок (информация об услугах и т.п.) отдельно и карту товаров (или любых других сущностей, которых много и которые чаще меняются) отдельно. И обе карты заносятся в индекс.
0
Николай12
-7 / 15 / 0
Регистрация: 13.05.2012
Сообщений: 169
04.08.2013, 18:09  [ТС] #11
Цитата Сообщение от Camaro396 Посмотреть сообщение
А какой смысл пихать в карту все-все ссылки, попадающиеся на пути? А если это будет внешняя ссыль. Вообще это работа рОбота Обычно, если это CMS, основную часть ссылок можно взять из БД. Я обычно делаю карту основных ссылок (информация об услугах и т.п.) отдельно и карту товаров (или любых других сущностей, которых много и которые чаще меняются) отдельно. И обе карты заносятся в индекс.
В скрипте с помощью регулярного выражения отбрасываются все ненужные ссылки. А в моей CMS существует 3 вида страниц: страницы в базе данных, статические страницы, товары.
Что будет быстрей, брать из БД или парсить сайт?
0
Camaro396
38 / 38 / 1
Регистрация: 22.07.2013
Сообщений: 197
04.08.2013, 18:16 #12
Ясен пень быстрее из БД собрать. А то получается, что ты по своему сайту как поисковик ходишь.
1
04.08.2013, 18:16
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
04.08.2013, 18:16
Привет! Вот еще темы с ответами:

Генерация страницы сайта из php скрипта - PHP
Ребята, привет. генерирую страницу сайта примерно так: <?php $p='<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"...

Заимствование карты с другого сайта на свой - PHP
Здравствуйте, можно ли каким-то способом перенести карту http://ru.blitzortung.org/live_dynamic_maps.php на свой сайт? Вроде пробовал и...

Обновление карты сайта. XML. - C# ASP.NET
Есть: хмл файл с картой сайта, и TreeView. Как программно менять содержание хмл файла. Говоря, как находить нужный узел в файле, и...

Скрипт на php для генерации карты сайта в xml формате - WordPress
Народ нужен скрипт на php...чтобы он создавал карту сайта в формате xml...сайт стоит на wordpress помогите плиз!


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
12
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru