Настройка robots.txt вызывает конфликт - что делать?

@Ignis · Регистрация: 21.01.2013

Студворк — интернет-сервис помощи студентам

Всем добрый день!
Вопрос такой.
Гугловская панель вебмастера ругается на мобильное отображение сайта (не те размеры, горизонтальный скролл и т.д.). Как выяснилось, это происходит вследствие запрета в файле robots.txt доступа к файлам стилей и скриптам темы.
На сайте используется вроде стандартный файл такого содержания:
----------
User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
----------
Правильно ли это? Или файл нужно изменить, чтобы путь к стилям и скриптам был открыт (то есть открыть путь " /wp-content/themes")? Не будет ли это угрожать безопасности сайта?

Что интересно, раньше такой проблемы не было, робот почему-то все прекрасно находил, во-всяком случае, не ругался в панели.

Так что же правильнее сделать в этой ситуации?

@Ignis · 29.03.2019, 13:40 **[ТС]**

И что? Никто не знает и с таким не сталкивался? Странно!

@rudolfl · 01.04.2019, 12:17

А почему вы решили что robots.txt вообще как-то влияет на безопасность??? Это всего лишь информация к сведению для ботов -- мол нет там для вас ничего интересного. А лезть туда или не лезть это уже их личное дело.
Даже наоборот -- добавляя структуру сайта в robots.txt вы помогаете потенциально хакеру -- ему не надо это находить самому. Ну да ладно, это лирика.

Однозначно -- открыть доступ к ресурсам.

Вот вам чтение на ночь, правда на английском:
https://moz.com/learn/seo/robotstxt

Rudolf

@Ignis · 05.04.2019, 19:04 **[ТС]**

Сообщение от rudolfl

А почему вы решили что robots.txt вообще как-то влияет на безопасность

Ну, это как бы не я решил, а вообще рекомендуется закрывать роботам доступ в подобные папки. Для хакера в них ничего нового нет, Вордпресс - он и в Африке Вордпресс, структура папок известна. Разве нет?
Потому и спрашиваю, как сделать компромиссный вариант, чтобы и лишний доступ не давать, и ресурсы открыть.
Кстати, в интернете бытуют очень разные мнения насчет того, что нужно и не нужно писать в "роботе"...
За ссылку спасибо, посмотрю, хотя лучше бы на родном...

@rudolfl · 14.04.2019, 08:28

robots.txt -- это не запрет, а рекомендация для роботов.
Поисковые систем следуют рекомендациям, так как вы можете им сказать "ребята, тут для вас нет ночего интересного, не тратьте своё время. И я не хочу чтоб это содежание попало в индекс".
А для роботов-"вредителей" эти рекомендации до одного места. А иногда даже помогают им. Например, вы переиминовали "wp-admin" в "моя_админка". Добавили это в robots.txt. А вредоносы обрадовались "спасибо, мил человек, что подсказал куда лезть, сикать не надо"

За английский -- простите. Для меня это уже родной, на русском даже тяжелее понимать технические тексты. Но если где-то непонятные места, могу попробовать перевести.

Rudolf

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .
Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .

@Ignis 104 / 20 / 2 Регистрация: 21.01.2013 Сообщений: 253

	Настройка robots.txt вызывает конфликт - что делать? 24.03.2019, 17:52. Показов 882. Ответов 4 Метки google, robots.txt, мобильная версия (Все метки) Всем добрый день! Вопрос такой. Гугловская панель вебмастера ругается на мобильное отображение сайта (не те размеры, горизонтальный скролл и т.д.). Как выяснилось, это происходит вследствие запрета в файле robots.txt доступа к файлам стилей и скриптам темы. На сайте используется вроде стандартный файл такого содержания: ---------- User-agent: * Allow: / Disallow: /cgi-bin Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ ---------- Правильно ли это? Или файл нужно изменить, чтобы путь к стилям и скриптам был открыт (то есть открыть путь " /wp-content/themes")? Не будет ли это угрожать безопасности сайта? Что интересно, раньше такой проблемы не было, робот почему-то все прекрасно находил, во-всяком случае, не ругался в панели. Так что же правильнее сделать в этой ситуации? 0

@Ignis 104 / 20 / 2 Регистрация: 21.01.2013 Сообщений: 253
	29.03.2019, 13:40 [ТС]
	И что? Никто не знает и с таким не сталкивался? Странно! 0

@rudolfl 2 / 2 / 0 Регистрация: 08.06.2017 Сообщений: 31
	01.04.2019, 12:17
	А почему вы решили что robots.txt вообще как-то влияет на безопасность??? Это всего лишь информация к сведению для ботов -- мол нет там для вас ничего интересного. А лезть туда или не лезть это уже их личное дело. Даже наоборот -- добавляя структуру сайта в robots.txt вы помогаете потенциально хакеру -- ему не надо это находить самому. Ну да ладно, это лирика. Однозначно -- открыть доступ к ресурсам. Вот вам чтение на ночь, правда на английском: https://moz.com/learn/seo/robotstxt Rudolf 0

@rudolfl 2 / 2 / 0 Регистрация: 08.06.2017 Сообщений: 31
	14.04.2019, 08:28
	robots.txt -- это не запрет, а рекомендация для роботов. Поисковые систем следуют рекомендациям, так как вы можете им сказать "ребята, тут для вас нет ночего интересного, не тратьте своё время. И я не хочу чтоб это содежание попало в индекс". А для роботов-"вредителей" эти рекомендации до одного места. А иногда даже помогают им. Например, вы переиминовали "wp-admin" в "моя_админка". Добавили это в robots.txt. А вредоносы обрадовались "спасибо, мил человек, что подсказал куда лезть, сикать не надо" За английский -- простите. Для меня это уже родной, на русском даже тяжелее понимать технические тексты. Но если где-то непонятные места, могу попробовать перевести. Rudolf 0