Как закрыть доступ поисковых роботов к папке сайта?

@alanat · Регистрация: 16.07.2012

Добрый день.
Еще несколько лет назад меня предупреждали, что робот может заходить в папки на хостинге, не смотря на запрет в robots.txt. Сейчас на это есть реальные доказательства. Вебмастер Гугла напрямую пишет, что проиндексировал страницу, несмотря на запрет индексации.
Мне необходимо закрыть папку с .css для роботов.
Как закрыть для роботов доступ в папку /css, но чтобы при просмотре страницы через браузер её содержимое корректно отображалось?
Заранее благодарен за помощь.

Dmitry · 26.10.2019, 15:01

https://www.inmotionhosting.co... g-htaccess

@alanat · 26.10.2019, 15:14 **[ТС]**

Сообщение от Dmitry

https://www.inmotionhosting.com/supp...using-htaccess

Эта статья показывает, как заблокировать доступ, когда известны IP или кто (в данном случае робот) заходит.
Может быть есть возможность сделать так, чтобы со страницы вводился автоматически пароль для доступа к папке?
Например на странице написано:

PHP

1	$a='логин'; $b='пароль';

Для .htaccess это были бы логин и пароль, а для робота это ничего бы не значило.
Так возможно?

Dmitry · 26.10.2019, 15:29

Сообщение от alanat

когда известны IP или кто (в данном случае робот) заходит.

ну так укажите роботов (хоть и целый список) и запретите им просмотр

@alanat · 01.11.2019, 20:10 **[ТС]**

Сообщение от Dmitry

ну так укажите роботов (хоть и целый список) и запретите им просмотр

робот может заходить в папки на хостинге, не смотря на запрет в robots.txt - в этом и суть темы

Dmitry · 01.11.2019, 20:26

код из файла .htaccess

Код

	SetEnvIfNoCase User-Agent "^libwww-perl" bad_user
	SetEnvIfNoCase User-Agent "^python-requests" bad_user
	Deny from env=bad_user

записи из лога

Код

185.53.88.92 - - [28/Oct/2019:06:40:37 +0200] "GET //admin/config.php HTTP/1.1" 403 457 "-" "libwww-perl/6.39" 
185.53.88.92 - - [27/Oct/2019:13:25:41 +0200] "GET /about.php HTTP/1.1" 403 3770 "-" "python-requests/2.6.0 CPython/2.7.5 Linux/3.10.0-1062.1.2.el7.x86_64"

и так происходит вне зависимости от того, что написано в robots.txt. а главное - происходит в тех папках, где размещен файл .htaccess с необходимыми директивами.

зы. а "суть темы" в том, что некоторым не помогает "просто пинок в направлении", им нужно, чтобы за них все сделал кто-то другой...

@alanat · 01.11.2019, 21:19 **[ТС]**

Сообщение от Dmitry

а главное - происходит в тех папках, где размещен файл .htaccess с необходимыми директивами

Правильно ли я понимаю: если, например, гугловский бот "назовётся" по-другому, а не явно, что он гугловский, то и деректива не сработает?

Dmitry · 02.11.2019, 18:42

директива работает, если удовлетворяется условие
и если "гугловский бот назовется по-другому", то не сработает директива, условием которой является отлавливание гугловского бота.

@alanat · 02.11.2019, 18:46 **[ТС]**

Сообщение от Dmitry

директива работает, если удовлетворяется условие

Т.е. 100% действенного метода закрыть папку с файлом от робота нет?

Dmitry · 02.11.2019, 18:56

перечислить ботов, обозвать их бед-юзерами, и запретить им доступ. всех делов
если же бот с какого-то горяча начнет называться не своим родным юзерагентом, то он получит доступ
правда, человеческие боты кэгэбистскими заморочками не страдают обычно, и как керенский в женские платья не переодеваются

@alanat 12 / 12 / 1 Регистрация: 16.07.2012 Сообщений: 710
		1
	Как закрыть доступ поисковых роботов к папке сайта? 26.10.2019, 14:40. Показов 2165. Ответов 9 Метки google, robots, бот, доступ, Запрет, папка, робот, хостинг (Все метки) Добрый день. Еще несколько лет назад меня предупреждали, что робот может заходить в папки на хостинге, не смотря на запрет в robots.txt. Сейчас на это есть реальные доказательства. Вебмастер Гугла напрямую пишет, что проиндексировал страницу, несмотря на запрет индексации. Мне необходимо закрыть папку с .css для роботов. Как закрыть для роботов доступ в папку /css, но чтобы при просмотре страницы через браузер её содержимое корректно отображалось? Заранее благодарен за помощь. __________________ Помощь в написании контрольных, курсовых и дипломных работ, диссертаций здесь 0

Dmitry 12379 / 7219 / 757 Регистрация: 09.09.2009 Сообщений: 28,176
	26.10.2019, 15:01	2
	https://www.inmotionhosting.co... g-htaccess 0

Dmitry 12379 / 7219 / 757 Регистрация: 09.09.2009 Сообщений: 28,176
	26.10.2019, 15:29	4
	Сообщение от alanat когда известны IP или кто (в данном случае робот) заходит. ну так укажите роботов (хоть и целый список) и запретите им просмотр 0

@alanat 12 / 12 / 1 Регистрация: 16.07.2012 Сообщений: 710
	01.11.2019, 20:10 [ТС]	5
	Сообщение от Dmitry ну так укажите роботов (хоть и целый список) и запретите им просмотр робот может заходить в папки на хостинге, не смотря на запрет в robots.txt - в этом и суть темы 0

Dmitry 12379 / 7219 / 757 Регистрация: 09.09.2009 Сообщений: 28,176
	01.11.2019, 20:26	6
	код из файла .htaccess Код SetEnvIfNoCase User-Agent "^libwww-perl" bad_user SetEnvIfNoCase User-Agent "^python-requests" bad_user Deny from env=bad_user записи из лога Код 185.53.88.92 - - [28/Oct/2019:06:40:37 +0200] "GET //admin/config.php HTTP/1.1" 403 457 "-" "libwww-perl/6.39" 185.53.88.92 - - [27/Oct/2019:13:25:41 +0200] "GET /about.php HTTP/1.1" 403 3770 "-" "python-requests/2.6.0 CPython/2.7.5 Linux/3.10.0-1062.1.2.el7.x86_64" и так происходит вне зависимости от того, что написано в robots.txt. а главное - происходит в тех папках, где размещен файл .htaccess с необходимыми директивами. зы. а "суть темы" в том, что некоторым не помогает "просто пинок в направлении", им нужно, чтобы за них все сделал кто-то другой... 0

@alanat 12 / 12 / 1 Регистрация: 16.07.2012 Сообщений: 710
	01.11.2019, 21:19 [ТС]	7
	Сообщение от Dmitry а главное - происходит в тех папках, где размещен файл .htaccess с необходимыми директивами Правильно ли я понимаю: если, например, гугловский бот "назовётся" по-другому, а не явно, что он гугловский, то и деректива не сработает? 0

Dmitry 12379 / 7219 / 757 Регистрация: 09.09.2009 Сообщений: 28,176
	02.11.2019, 18:42	8
	директива работает, если удовлетворяется условие и если "гугловский бот назовется по-другому", то не сработает директива, условием которой является отлавливание гугловского бота. 0

@alanat 12 / 12 / 1 Регистрация: 16.07.2012 Сообщений: 710
	02.11.2019, 18:46 [ТС]	9
	Сообщение от Dmitry директива работает, если удовлетворяется условие Т.е. 100% действенного метода закрыть папку с файлом от робота нет? 0

Dmitry 12379 / 7219 / 757 Регистрация: 09.09.2009 Сообщений: 28,176
	02.11.2019, 18:56	10
	перечислить ботов, обозвать их бед-юзерами, и запретить им доступ. всех делов если же бот с какого-то горяча начнет называться не своим родным юзерагентом, то он получит доступ правда, человеческие боты кэгэбистскими заморочками не страдают обычно, и как керенский в женские платья не переодеваются 0

Опции темы