Форум программистов, компьютерный форум, киберфорум
HTML, CSS
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.50/8: Рейтинг темы: голосов - 8, средняя оценка - 4.50
Фрилансер
 Аватар для vallerik
67 / 37 / 2
Регистрация: 11.01.2011
Сообщений: 280

Нужен ли при создание сайта файл robots.txt

16.04.2011, 16:35. Показов 1574. Ответов 4
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Нужен ли при создание сайта файл robots.txt
Зарание благодарю!
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
16.04.2011, 16:35
Ответы с готовыми решениями:

файл robots.txt нужен на любом сайте?
Сайт находится на хостинге hostinger.ru. Язык XHTML

Файл robots.txt для сайта блокирует доступ к некоторым URL
Здравствуйте,сегодня в google консоли обнаружил что что поисковик блокирует url , хотя до этого кажется всё нормально было :( Пользуюсь...

Нужен совет по robots.txt
Всем привет! Я не разу не программист и даже не специалист по компьютерам и программам! Недавно я заказала у одной фирмы, чтобы они мне...

4
242 / 61 / 4
Регистрация: 23.01.2011
Сообщений: 165
16.04.2011, 16:46
vallerik, несомненно, даже не обсуждается. Самое главное - там можно закрыть от индексации ненужные страницы (напр. версии для печати), тк поисковики очень не любят, когда на сайте имеются "мусорные" страницы и дубликаты контента. Также там можно указать адрес sitemap, адрес "главного" хоста (с www или без) и т.д.
ps Адрес хоста указывается только для Яндекса. В общем поройте в интернете, там много на эту тему есть, да и в Google и Яндекс вебмастерах тоже есть инфа по роботсу.
1
Фрилансер
 Аватар для vallerik
67 / 37 / 2
Регистрация: 11.01.2011
Сообщений: 280
16.04.2011, 16:48  [ТС]
Прошу закрыть тему !
0
мусор в БД
4674 / 1128 / 35
Регистрация: 17.01.2009
Сообщений: 4,481
16.04.2011, 17:25
Индексацией Вашего сайта можно управлять и по-другому.
Кстати, рамблер не воспринимает никаких других тегов <meta> кроме
HTML5
1
<meta name="robots"...>
По крайней мере так явствует из слов самого рамблера.
1
242 / 61 / 4
Регистрация: 23.01.2011
Сообщений: 165
16.04.2011, 17:38
Цитата Сообщение от Yarosh Посмотреть сообщение
Индексацией Вашего сайта можно управлять и по-другому.
Ну да, можно, но метатегами удобно закрывать отдельные страницы, да и то не всегда. А в роботсе сразу разделы можно закрывать без проблем, написав одну строчку. Ну и естественно рамблер поддерживает роботс, как и все ведущие ПС. Последнее я адресую vallerik, дабы он не ввелся в заблуждение.
1
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
16.04.2011, 17:38
Помогаю со студенческими работами здесь

А вообще нужен ли robots.txt если......?
А вообще нужен ли robots.txt если на страницах сайта есть МЕТА &lt;meta name=&quot;robots&quot; content=&quot;index,follow&quot;&gt; все индексируется .Есть...

Robots.txt нужен или можно обойтись?
По наследию мне достался сайт где есть данный файл robots.txt с записью User-agent: * Disallow: / из всей информации ,что я...

robots.txt для сайта и форума
Привет всем! Тут решил сделать robots.txt для сайта и форума (phpbb). Чтобы основным для яндекса считался http://site.com и все...

Создание robots.txt
Достался мне сайт macrocosm.com.ua. Сайт новый, около 3х месяцев отроду. Проверил на xseo.in и увидел ужасную картину: То, что весь...

Помогите составить Robots.txt для сайта
Доброе утро уважаемые SEO, помогите пожалуйста составить робота для сайта www.tkum.ru


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Новые блоги и статьи
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Символьное дифференцирование
igorrr37 13.02.2026
/ * Программа принимает математическое выражение в виде строки и выдаёт его производную в виде строки и вычисляет значение производной при заданном х Логарифм записывается как: (x-2)log(x^2+2) -. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru