настройка robots'a

__PION__ · Регистрация: 21.07.2010

Студворк — интернет-сервис помощи студентам

Привет!
вопрос по настройке robots.txt.
Я разрешил поисковикам смотреть тока в одну папку /controller/, тут php-файлы, через которые подключаются шаблоны (*.tpl), которые находятся в другой папке.
Вопрос - нужно ли разрешить индексировать папку с шаблонами или хватает то так щас?
И еще вопрос по robots.txt - Мне надо поставить запрет на индексацию папки /user/ внутри папки /controller/. Как это сделать?

@AnasteZiya · 25.04.2012, 22:18

Мне надо поставить запрет на индексацию папки /user/ внутри папки /controller/

Code
1
2
User-agent: *
Disallow: /controller/user/

__PION__ · 25.04.2012, 22:26 **[ТС]**

у меня сейчас так

Code
1
2
3
User-agent: *
Allow: /controller/
Disallow /

не закроет ли вот эта запись

Code
1
Disallow: /controller/user/

полностью папку /controller/ и после какой строки мне лучше ее вставить?

@AnasteZiya · 25.04.2012, 22:51

Нет, не закроет.

Сообщение от Love_and_Peace

после какой строки мне лучше ее вставить?

Так, по моему, будет логичней:

Code
1
2
3
4
User-agent: *
Allow: /controller/
Disallow: /controller/user/
Disallow: /

__PION__ · 25.04.2012, 23:18 **[ТС]**

Спб, попробую. Есть идеи на счет первого вопроса?

@AnasteZiya · 25.04.2012, 23:43

Вот на какую фразу наткнулась:

Роботы лазиют по ссылкам в независимости запрещены они к индексации или нет! Вот будет ли проиндексирована страница на которую робот перейдет это вопрос, если страница не запрещена к индексации в роботс или в мета тегах самой страницы то поисковик может ее проиндексировать.

Выходит, нужно открыть папку с шаблонами. Если у Вас там есть файлы и папки, которые нужно скрыть, то учтите, что на данный момент инструкция allow понимается далеко не всеми роботами и лучше не рисковать.

Новые блоги и статьи Все статьи Все блоги /
Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .

__PION__ 960 / 801 / 85 Регистрация: 21.07.2010 Сообщений: 3,522

	настройка robots'a 25.04.2012, 20:51. Показов 857. Ответов 5 Метки нет (Все метки) Привет! вопрос по настройке robots.txt. Я разрешил поисковикам смотреть тока в одну папку /controller/, тут php-файлы, через которые подключаются шаблоны (*.tpl), которые находятся в другой папке. Вопрос - нужно ли разрешить индексировать папку с шаблонами или хватает то так щас? И еще вопрос по robots.txt - Мне надо поставить запрет на индексацию папки /user/ внутри папки /controller/. Как это сделать? 0

__PION__ 960 / 801 / 85 Регистрация: 21.07.2010 Сообщений: 3,522
	25.04.2012, 23:18 [ТС]
	Спб, попробую. Есть идеи на счет первого вопроса? 0