Robots.txt

@Alga · Регистрация: 14.01.2016

Студворк — интернет-сервис помощи студентам

Дорогие специалисты, помогите расшифровать новичку:
User-agent: *
Allow: /
Disallow: /core/
Disallow: /connectors/
Disallow: /manager/

что это значит в файле роботс? какие ограничения внесены?

@Jodah · 14.01.2016, 15:39

Гугл заблокировали? Первый же ответ от Яндекса.

Сообщение от Alga

User-agent: *

Для всех роботов.

Сообщение от Alga

Allow: /

Разрешить индексацию всего сайта.

Сообщение от Alga

Disallow: /core/
Disallow: /connectors/
Disallow: /manager/

Запретить индексацию страниц, начинающихся на /core/ и т.п.

@Alga · 14.01.2016, 16:02 **[ТС]**

Я владелец сайта, к сожалению с программированием на Вы. Но хотелось бы понимать процессы продвижения. В настоящий момент возникла проблема. Программист, который разрабатывал сайт, что-то изменил в, когда мы перестали сотрудничать и сайт не индексируется. Помогите правильно настроить! чтобы сайт индексировался во всех поисковиках!

@Jodah · 14.01.2016, 16:59

Alga, что настроить? Продвижение не ограничивается одним только robots.txt. Может сайт на все запросы возвращает ошибку 404, может no-index добавили, да полно способов.

В любом случае, к PHP это вряд ли относится, нужно спрашивать у специалистов в соответствующей сфере, чтобы они ваш сайт проанализировали.

@Alga · 14.01.2016, 17:56 **[ТС]**

Изменения только в файле роботс, мне просто понять в таком формате нет запретов на индексирование?
User-agent: *
Allow: /
Disallow: /core/
Disallow: /connectors/
Disallow: /manager/

@Jodah · 14.01.2016, 18:57

Alga,

Сообщение от Jodah

Запретить индексацию страниц, начинающихся на /core/ и т.п.

@Xenox · 14.01.2016, 19:24

По сути ничего не нужного у вас не запрещено, эти директории поисковому боту и так не нужно индексировать. Скажите лучше почему вы решили что изменения коснулись лишь robots.txt? Как выше было сказано, SEO зависит не только от robots.txt

@Alga · 14.01.2016, 19:58 **[ТС]**

Я смотрела структуру сайта. Там есть дата изменений. И в этом файле сделаны последние изменения в период обвала сайта. Возможно уже все вернули, но сайт вылетел из яндекса!

@СлаваВирус · 14.01.2016, 20:05

Самое оптимальное, это показать ссылку на сайт...Проверять индексированные страницы через яндекс-вебмастер...Как вариант может он запретил в роботе все страницы на несколько дней, а потом вернул эту конструкцию

@Alga · 14.01.2016, 21:47 **[ТС]**

а в личку здесь нельзя сообщения отправлять?

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@Alga 0 / 0 / 0 Регистрация: 14.01.2016 Сообщений: 5

	Robots.txt 14.01.2016, 15:17. Показов 962. Ответов 9 Метки нет (Все метки) Дорогие специалисты, помогите расшифровать новичку: User-agent: * Allow: / Disallow: /core/ Disallow: /connectors/ Disallow: /manager/ что это значит в файле роботс? какие ограничения внесены? 0

@Alga 0 / 0 / 0 Регистрация: 14.01.2016 Сообщений: 5
	14.01.2016, 16:02 [ТС]
	Я владелец сайта, к сожалению с программированием на Вы. Но хотелось бы понимать процессы продвижения. В настоящий момент возникла проблема. Программист, который разрабатывал сайт, что-то изменил в, когда мы перестали сотрудничать и сайт не индексируется. Помогите правильно настроить! чтобы сайт индексировался во всех поисковиках! 0

@Jodah 3899 / 3237 / 1353 Регистрация: 01.08.2012 Сообщений: 10,909
	14.01.2016, 16:59
	Alga, что настроить? Продвижение не ограничивается одним только robots.txt. Может сайт на все запросы возвращает ошибку 404, может no-index добавили, да полно способов. В любом случае, к PHP это вряд ли относится, нужно спрашивать у специалистов в соответствующей сфере, чтобы они ваш сайт проанализировали. 1

@Alga 0 / 0 / 0 Регистрация: 14.01.2016 Сообщений: 5
	14.01.2016, 17:56 [ТС]
	Изменения только в файле роботс, мне просто понять в таком формате нет запретов на индексирование? User-agent: * Allow: / Disallow: /core/ Disallow: /connectors/ Disallow: /manager/ 0

@Xenox 162 / 161 / 66 Регистрация: 28.06.2015 Сообщений: 576
	14.01.2016, 19:24
	По сути ничего не нужного у вас не запрещено, эти директории поисковому боту и так не нужно индексировать. Скажите лучше почему вы решили что изменения коснулись лишь robots.txt? Как выше было сказано, SEO зависит не только от robots.txt 1

@Alga 0 / 0 / 0 Регистрация: 14.01.2016 Сообщений: 5
	14.01.2016, 19:58 [ТС]
	Я смотрела структуру сайта. Там есть дата изменений. И в этом файле сделаны последние изменения в период обвала сайта. Возможно уже все вернули, но сайт вылетел из яндекса! 0

@СлаваВирус 471 / 399 / 169 Регистрация: 04.01.2013 Сообщений: 1,675
	14.01.2016, 20:05
	Самое оптимальное, это показать ссылку на сайт...Проверять индексированные страницы через яндекс-вебмастер...Как вариант может он запретил в роботе все страницы на несколько дней, а потом вернул эту конструкцию 1

@Alga 0 / 0 / 0 Регистрация: 14.01.2016 Сообщений: 5
	14.01.2016, 21:47 [ТС]
	а в личку здесь нельзя сообщения отправлять? 0