Форум программистов, компьютерный форум, киберфорум
Наши страницы
PHP
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.90/10: Рейтинг темы: голосов - 10, средняя оценка - 4.90
Николай12
-7 / 15 / 0
Регистрация: 13.05.2012
Сообщений: 169
#1

Генерация карты сайта XML

12.07.2013, 17:46. Просмотров 1727. Ответов 11
Метки нет (Все метки)

Нужно генерировать карту сайта в формате XML, подскажите пожалуйста, как это можно сделать?

Хотелось бы так:
1) Скрипт парсит страницы сайта на наличие ссылок, внешние не учитываются
2) Если по ссылке существует страница, она заносится в sitemap.xml

Интересно, как сделаны сервисы для генерации карты сайта

Заранее спасобо

Заказываю контрольные, курсовые, дипломные и любые другие студенческие работы здесь.

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
12.07.2013, 17:46
Ответы с готовыми решениями:

Генерация имени xml файла
Вообщем, задача следующая.Имеется html форма, заполняются некоторые...

wordpress генерация в pdf,word,xml
Всем привет, такой вопрос есть. Сам по сайтам я не очень шарю. Можно средствами...

Отправка запроса с сайта по xml методом POST
Здравствуйте, други! Проблема такова: Нужно отправить xml запрос на сервер с...

Из двух XML создать один, состоящий из тегов, которые присутствуют в обоих XML
Нужно на PHP реализовать такую задачку. Пример: Есть первый XML: <html> ...

Генерация XML в PHP скриптах
Необходимо генерировать XML с киррилицей. Главная проблема в том, что сервер...

11
Shevchuk
7 / 7 / 0
Регистрация: 21.07.2013
Сообщений: 54
23.07.2013, 00:26 #2
Ты хочешь создать свой сервис для генерации sitemap.xml? или тебе просто нужно создать sitemap своего сайта?
0
Legal
7 / 7 / 0
Регистрация: 03.05.2013
Сообщений: 52
23.07.2013, 08:14 #3
Ты ответил на свой вопрос
Даёшь ссылку на сайт, скрипт парсит на наличие других ссылок, и записылает в XML
Советую писать на PHP.
0
Николай12
-7 / 15 / 0
Регистрация: 13.05.2012
Сообщений: 169
31.07.2013, 16:39  [ТС] #4
Сделал скрипт. Теперь такая проблема, что делать если скрипт не успевает выполниться за 30 сек.?
0
Legal
7 / 7 / 0
Регистрация: 03.05.2013
Сообщений: 52
31.07.2013, 19:40 #5
Цитата Сообщение от Николай12 Посмотреть сообщение
Сделал скрипт. Теперь такая проблема, что делать если скрипт не успевает выполниться за 30 сек.?
В php.ini поставить более 30 секунд
0
Николай12
-7 / 15 / 0
Регистрация: 13.05.2012
Сообщений: 169
31.07.2013, 21:47  [ТС] #6
Не вариант. Нужно как-то разбить процесс на части
0
NEbO
593 / 460 / 73
Регистрация: 22.01.2009
Сообщений: 1,180
Записей в блоге: 1
Завершенные тесты: 3
31.07.2013, 22:25 #7
кто мешает сделать это на локалхосте и запускать в консоли? для пхп есть curl_multi, позволяет делать одновременные запросы, чтоб отработало быстрее, конечно, если сервер позволяет.
0
Николай12
-7 / 15 / 0
Регистрация: 13.05.2012
Сообщений: 169
01.08.2013, 12:01  [ТС] #8
В том и проблема, что я создаю плагин для одного нового движка. У меня есть примерный алгоритм. Только он парсит сразу все ссылки(их может быть очень много). Нужно чтобы он выполнялся по частям, например 1000 ссылок - каждая часть. Запрос на выполнение следующей части нужно отсылать с помощью AJAX
Можно попробовать сделать так: когда посылается AJAX запрос на первую часть, возвращать последнюю ссылку, на которой остановился скрипт
После передавать на вторую часть эту ссылку, чтобы с неё продолжить. Массив всех ссылок записывается в сессию, чтобы не было дублирования.
Дальше, точно так же пока не закончатся ссылки.
Можно так?
0
zerokko
5 / 5 / 3
Регистрация: 21.01.2010
Сообщений: 51
04.08.2013, 07:08 #9
Цитата Сообщение от Николай12 Посмотреть сообщение
В том и проблема, что я создаю плагин для одного нового движка. У меня есть примерный алгоритм. Только он парсит сразу все ссылки(их может быть очень много). Нужно чтобы он выполнялся по частям, например 1000 ссылок - каждая часть. Запрос на выполнение следующей части нужно отсылать с помощью AJAX
Можно попробовать сделать так: когда посылается AJAX запрос на первую часть, возвращать последнюю ссылку, на которой остановился скрипт
После передавать на вторую часть эту ссылку, чтобы с неё продолжить. Массив всех ссылок записывается в сессию, чтобы не было дублирования.
Дальше, точно так же пока не закончатся ссылки.
Можно так?
Рентабельней писать в массив, а потом расставлять приоритеты по количеству ссылок
0
Camaro396
38 / 38 / 13
Регистрация: 22.07.2013
Сообщений: 197
04.08.2013, 12:41 #10
А какой смысл пихать в карту все-все ссылки, попадающиеся на пути? А если это будет внешняя ссыль. Вообще это работа рОбота Обычно, если это CMS, основную часть ссылок можно взять из БД. Я обычно делаю карту основных ссылок (информация об услугах и т.п.) отдельно и карту товаров (или любых других сущностей, которых много и которые чаще меняются) отдельно. И обе карты заносятся в индекс.
0
Николай12
-7 / 15 / 0
Регистрация: 13.05.2012
Сообщений: 169
04.08.2013, 18:09  [ТС] #11
Цитата Сообщение от Camaro396 Посмотреть сообщение
А какой смысл пихать в карту все-все ссылки, попадающиеся на пути? А если это будет внешняя ссыль. Вообще это работа рОбота Обычно, если это CMS, основную часть ссылок можно взять из БД. Я обычно делаю карту основных ссылок (информация об услугах и т.п.) отдельно и карту товаров (или любых других сущностей, которых много и которые чаще меняются) отдельно. И обе карты заносятся в индекс.
В скрипте с помощью регулярного выражения отбрасываются все ненужные ссылки. А в моей CMS существует 3 вида страниц: страницы в базе данных, статические страницы, товары.
Что будет быстрей, брать из БД или парсить сайт?
0
Camaro396
38 / 38 / 13
Регистрация: 22.07.2013
Сообщений: 197
04.08.2013, 18:16 #12
Ясен пень быстрее из БД собрать. А то получается, что ты по своему сайту как поисковик ходишь.
1
04.08.2013, 18:16
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
04.08.2013, 18:16

Автоматическое обновление карты сайт sitemap.xml
Сайт самодельный, как создать карту сайта есть сервисы, а вот как сделать так...

Экранирование символов у карты сайта
Добрый вечер. Не могу понять, что делают в таких случаях... Есть ссылки...

Генерация страницы сайта из php скрипта
Ребята, привет. генерирую страницу сайта примерно так: <?php ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
12
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru