12 / 12 / 1
Регистрация: 16.07.2012
Сообщений: 710
1

Как закрыть доступ поисковых роботов к папке сайта?

26.10.2019, 14:40. Показов 2165. Ответов 9

Добрый день.
Еще несколько лет назад меня предупреждали, что робот может заходить в папки на хостинге, не смотря на запрет в robots.txt. Сейчас на это есть реальные доказательства. Вебмастер Гугла напрямую пишет, что проиндексировал страницу, несмотря на запрет индексации.
Мне необходимо закрыть папку с .css для роботов.
Как закрыть для роботов доступ в папку /css, но чтобы при просмотре страницы через браузер её содержимое корректно отображалось?
Заранее благодарен за помощь.
__________________
Помощь в написании контрольных, курсовых и дипломных работ, диссертаций здесь
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
26.10.2019, 14:40
Ответы с готовыми решениями:

как в ВИНД 2003 энтерпрайз эдишен закрыть доступ к общей папке что бы заходили только локально
короче есть локальная сеть, есть ресурс некий который надо открыть только для локальных...

Закрыть доступ к папке
Всем привет! Имею такое задание: Создать две страницы. На странице Index.aspx ссылка на...

Как закрыть доступ к дублям корня сайта?
Есть сайт на виртуальном хостинге с Apache 1.3.34 + nginx + SSI При включении SSI появляется...

Отслеживание поисковых роботов
Привет всем. Есть ли какой-либо софт/скрипт, который бы отслеживали посещение поисковых...

9
Эксперт по компьютерным сетямЭксперт NIX
12379 / 7219 / 757
Регистрация: 09.09.2009
Сообщений: 28,176
26.10.2019, 15:01 2
https://www.inmotionhosting.co... g-htaccess
0
12 / 12 / 1
Регистрация: 16.07.2012
Сообщений: 710
26.10.2019, 15:14  [ТС] 3
Цитата Сообщение от Dmitry Посмотреть сообщение
https://www.inmotionhosting.com/supp...using-htaccess
Эта статья показывает, как заблокировать доступ, когда известны IP или кто (в данном случае робот) заходит.
Может быть есть возможность сделать так, чтобы со страницы вводился автоматически пароль для доступа к папке?
Например на странице написано:
PHP
1
$a='логин'; $b='пароль';
Для .htaccess это были бы логин и пароль, а для робота это ничего бы не значило.
Так возможно?
0
Эксперт по компьютерным сетямЭксперт NIX
12379 / 7219 / 757
Регистрация: 09.09.2009
Сообщений: 28,176
26.10.2019, 15:29 4
Цитата Сообщение от alanat Посмотреть сообщение
когда известны IP или кто (в данном случае робот) заходит.
ну так укажите роботов (хоть и целый список) и запретите им просмотр
0
12 / 12 / 1
Регистрация: 16.07.2012
Сообщений: 710
01.11.2019, 20:10  [ТС] 5
Цитата Сообщение от Dmitry Посмотреть сообщение
ну так укажите роботов (хоть и целый список) и запретите им просмотр
робот может заходить в папки на хостинге, не смотря на запрет в robots.txt - в этом и суть темы
0
Эксперт по компьютерным сетямЭксперт NIX
12379 / 7219 / 757
Регистрация: 09.09.2009
Сообщений: 28,176
01.11.2019, 20:26 6
код из файла .htaccess
Код
	SetEnvIfNoCase User-Agent "^libwww-perl" bad_user
	SetEnvIfNoCase User-Agent "^python-requests" bad_user
	Deny from env=bad_user
записи из лога
Код
185.53.88.92 - - [28/Oct/2019:06:40:37 +0200] "GET //admin/config.php HTTP/1.1" 403 457 "-" "libwww-perl/6.39" 
185.53.88.92 - - [27/Oct/2019:13:25:41 +0200] "GET /about.php HTTP/1.1" 403 3770 "-" "python-requests/2.6.0 CPython/2.7.5 Linux/3.10.0-1062.1.2.el7.x86_64"
и так происходит вне зависимости от того, что написано в robots.txt. а главное - происходит в тех папках, где размещен файл .htaccess с необходимыми директивами.

зы. а "суть темы" в том, что некоторым не помогает "просто пинок в направлении", им нужно, чтобы за них все сделал кто-то другой...
0
12 / 12 / 1
Регистрация: 16.07.2012
Сообщений: 710
01.11.2019, 21:19  [ТС] 7
Цитата Сообщение от Dmitry Посмотреть сообщение
а главное - происходит в тех папках, где размещен файл .htaccess с необходимыми директивами
Правильно ли я понимаю: если, например, гугловский бот "назовётся" по-другому, а не явно, что он гугловский, то и деректива не сработает?
0
Эксперт по компьютерным сетямЭксперт NIX
12379 / 7219 / 757
Регистрация: 09.09.2009
Сообщений: 28,176
02.11.2019, 18:42 8
директива работает, если удовлетворяется условие
и если "гугловский бот назовется по-другому", то не сработает директива, условием которой является отлавливание гугловского бота.
0
12 / 12 / 1
Регистрация: 16.07.2012
Сообщений: 710
02.11.2019, 18:46  [ТС] 9
Цитата Сообщение от Dmitry Посмотреть сообщение
директива работает, если удовлетворяется условие
Т.е. 100% действенного метода закрыть папку с файлом от робота нет?
0
Эксперт по компьютерным сетямЭксперт NIX
12379 / 7219 / 757
Регистрация: 09.09.2009
Сообщений: 28,176
02.11.2019, 18:56 10
перечислить ботов, обозвать их бед-юзерами, и запретить им доступ. всех делов
если же бот с какого-то горяча начнет называться не своим родным юзерагентом, то он получит доступ
правда, человеческие боты кэгэбистскими заморочками не страдают обычно, и как керенский в женские платья не переодеваются
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
02.11.2019, 18:56
Помогаю со студенческими работами здесь

Закрыть доступ к расшаренной папке
Здравствуйте! Скорее это вопрос к разделу настройки винды, но думаю кто-то из разработчиков с этим...

Windows 2000 закрыть доступ к папке...
Господа прошу прощения, за глупый надеюсь вопрос... поиска я чё то не нашол на форуме =\ что совсем...

Открыть\закрыть доступ к папке файлу
Добрый вечер.Написал программку для открытия,закрытия доступа к папке. using...

Язык для разработки поисковых роботов
Здравствуйте Не подскажите мне пожалуйста, на каком языке лучше писать для роботов на английском...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
10
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2023, CyberForum.ru