Robots.txt нужен или можно обойтись?

@Roksik · Регистрация: 15.01.2013

Студворк — интернет-сервис помощи студентам

По наследию мне достался сайт где есть данный файл robots.txt
с записью

Code
1
2
User-agent: *
Disallow: /

из всей информации ,что я прочитала, итог:
эта запись направленна на предотврашение сканирования страниц сайта,
всеми поисковыми работами .
А если я хочу чтоб его сканировали все поисковики , то убираю /

Code
1
2
User-agent: *
Disallow:

А имеет ли тогда смысл данный файл ,разве если бы его не было ,то все поисковики его бы(сайт) не сканировали ?

@Taatshi · 16.01.2013, 16:57

Roksik, на чем сайт сделан?

@Roksik · 16.01.2013, 17:25 **[ТС]**

1CБитрикс

Добавлено через 3 минуты
Taatshi, найти его через гоогл,или там яндекс,не получилось и я стала искать проблему...

@playingod · 16.01.2013, 17:58

Нужен, но можно и обойтись =)

Наличие (отсутствие) файла robots.txt не является причиной наличия (отсутствия) сайта в поисковиках.

Добавлено через 6 минут
Пардон. Невнимательно прочитал вопрос: удалите вообще директиву disallow.

Смысл наличия данного файла не только в том, чтобы полностью закрыть сайт от индексации.
Например, Вы можете закрыть от индексации определенные разделы, дубли страниц, версии страниц для печати (если такие есть).
Указать поисковику на предпочитаемое главное зеркало или указать путь к карте сайта в формате XML.

@Taatshi · 16.01.2013, 18:43

Roksik, почитайте

@Roksik · 17.01.2013, 10:30 **[ТС]**

Спасибо,именно тот ответ ,который мне нужен был,
решение будет принято.

Добавлено через 5 минут
playingod, спасибо,
нужен и можно обойтись, 50/50 в зависимости от потребностей ,если мне нечего таить от индексации,то отпадает потребность в наличие данного txt

А если я хочу ,чтоб данные быстрее проиндексировались ,то могу воспользоваться таким внутренним контентом robots.txt

"
Следующим роботам Яндекса можно указать отдельные директивы:

'YandexBot' — основной индексирующий робот;

'YandexMedia' — робот, индексирующий мультимедийные данные;

'YandexImages' — индексатор Яндекс.Картинок;

'YandexCatalog' — "простукивалка" Яндекс.Каталога;

'YandexDirect' — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса;

'YandexBlogs' — робот поиска по блогам, индексирующий комментарии постов;

'YandexNews' — робот Яндекс.Новостей;

'YandexPagechecker' — робот, обращающийся к странице при валидации микроразметки через форму «Валидатор микроразметки»;
"

Новые блоги и статьи Все статьи Все блоги /
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Символьное дифференцирование igorrr37 13.02.2026 / * Программа принимает математическое выражение в виде строки и выдаёт его производную в виде строки и вычисляет значение производной при заданном х Логарифм записывается как: (x-2)log(x^2+2) -. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .

@Taatshi Почетный модератор 12274 / 5340 / 268 Регистрация: 05.04.2011 Сообщений: 14,086 Записей в блоге: 2
	16.01.2013, 16:57
	Roksik, на чем сайт сделан? 0

@Roksik 1 / 1 / 0 Регистрация: 15.01.2013 Сообщений: 23
	16.01.2013, 17:25 [ТС]
	1CБитрикс Добавлено через 3 минуты Taatshi, найти его через гоогл,или там яндекс,не получилось и я стала искать проблему... 0

@playingod 18 / 18 / 1 Регистрация: 07.01.2011 Сообщений: 114
	16.01.2013, 17:58
	Нужен, но можно и обойтись =) Наличие (отсутствие) файла robots.txt не является причиной наличия (отсутствия) сайта в поисковиках. Добавлено через 6 минут Пардон. Невнимательно прочитал вопрос: удалите вообще директиву disallow. Смысл наличия данного файла не только в том, чтобы полностью закрыть сайт от индексации. Например, Вы можете закрыть от индексации определенные разделы, дубли страниц, версии страниц для печати (если такие есть). Указать поисковику на предпочитаемое главное зеркало или указать путь к карте сайта в формате XML. 1

@Taatshi Почетный модератор 12274 / 5340 / 268 Регистрация: 05.04.2011 Сообщений: 14,086 Записей в блоге: 2
	16.01.2013, 18:43
	Roksik, почитайте 0

@Roksik 1 / 1 / 0 Регистрация: 15.01.2013 Сообщений: 23
	17.01.2013, 10:30 [ТС]
	Спасибо,именно тот ответ ,который мне нужен был, решение будет принято. Добавлено через 5 минут playingod, спасибо, нужен и можно обойтись, 50/50 в зависимости от потребностей ,если мне нечего таить от индексации,то отпадает потребность в наличие данного txt А если я хочу ,чтоб данные быстрее проиндексировались ,то могу воспользоваться таким внутренним контентом robots.txt " Следующим роботам Яндекса можно указать отдельные директивы: 'YandexBot' — основной индексирующий робот; 'YandexMedia' — робот, индексирующий мультимедийные данные; 'YandexImages' — индексатор Яндекс.Картинок; 'YandexCatalog' — "простукивалка" Яндекс.Каталога; 'YandexDirect' — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса; 'YandexBlogs' — робот поиска по блогам, индексирующий комментарии постов; 'YandexNews' — робот Яндекс.Новостей; 'YandexPagechecker' — робот, обращающийся к странице при валидации микроразметки через форму «Валидатор микроразметки»; " 0