Форум программистов, компьютерный форум, киберфорум
Google
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.51/37: Рейтинг темы: голосов - 37, средняя оценка - 4.51
Регистрация: 08.07.2006
Сообщений: 1,272

Гугл и роботс.тхт

22.07.2006, 18:05. Показов 6894. Ответов 10
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Ребят, я чет не пойму... Гугля ваще на роботс смотрит?...
Все, что я запретил - все в индексе, почему????((
С яшей все ок, а гуглу пофиг(
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
22.07.2006, 18:05
Ответы с готовыми решениями:

гугль и роботс.тхт
Ребят, я не пойму, гугль ваще на роботс смотрит то? - все что язапрелит - все в индексе, ппц( С яшей все ок....

Запрещено в роботс.тхт, а индексируется
Сегодня появились какие то страницы в индексе, при нажатии на "Чтобы показать наиболее значимые результаты"... появляются урлы -...

Гугл стал игнорировать роботс
Обнаружил большую прибавку в индекс страниц, оказалось что в индекс попали разделы закрытые в роботс. А потом пишут про то как данные...

10
Регистрация: 08.07.2006
Сообщений: 1,272
22.07.2006, 20:05  [ТС]
ой, сорри за две темы - проглючило что-то), выкинте одну))
0
Регистрация: 03.01.2006
Сообщений: 275
22.07.2006, 20:19
Ребят, я чет не пойму... Гугля ваще на роботс смотрит?...
Все, что я запретил - все в индексе, почему????((
С яшей все ок, а гуглу пофиг(
Дайте сайт в личку
0
Регистрация: 08.07.2006
Сообщений: 1,272
22.07.2006, 20:33  [ТС]
Дайте сайт в личку
дал))
0
Регистрация: 03.01.2006
Сообщений: 275
22.07.2006, 20:47
дал))
ответил ;)
0
Регистрация: 28.10.2005
Сообщений: 61
23.07.2006, 21:01
ответил ;)
у меня то же самое. запретил, а его пофиг. все старье в индексе, а того, что нужно нет
0
Регистрация: 08.07.2006
Сообщений: 1,272
23.07.2006, 21:15  [ТС]
ответил ;)
CПС огромное за ответ - будем надеется поможет))
0
Регистрация: 08.07.2006
Сообщений: 1,272
28.07.2006, 21:30  [ТС]
Смотрит, ешё как! Даже туда, куда не надо!
В Google SiteMaps есть сервис, где Гугл показывает файл robots.txt и ошибки его синтаксиса - дак у меня Гугл полез в секцию для Яндекса
<div>Код</div><div>User-agent: Yandex
Disallow:
Host: www.сайт.ru</div> и стал кричать, что там ошибки - непонятная директива Host.
Гы :D b-(
0
Регистрация: 08.05.2006
Сообщений: 25
28.07.2006, 21:44
Гы :D b-(
дык у меня в сайтмапе уже дня 3 как показывает ошибка доступа к robots.txt
я с испугу пошел атрибуты проверил...всё в норме... опять проверяю...не видит
страсть какая-то
0
Регистрация: 08.07.2006
Сообщений: 1,272
28.07.2006, 21:58  [ТС]
дык у меня в сайтмапе уже дня 3 как показывает ошибка доступа к robots.txt
я с испугу пошел атрибуты проверил...всё в норме... опять проверяю...не видит
страсть какая-то
Я вообще с гуглом не работаю - у меня траф с яши. Просто есть страницы, которые не должны показываться всем, вот меня и взбесил этот гугль...(
0
Регистрация: 03.07.2006
Сообщений: 269
28.07.2006, 22:12
За гуглом не замечал…
А вот рама на постой лазит куда не попадя.

Уже в тех поддержку писал. Ответили «при перовой индексации роботса не было после следующей индексации будет учитываться» Прошло 3 месяца, а он как лазил везде так и лазит.

У меня вообще одновременно(15минут. интервал) не мене 2 до15 роботов. Есть еще пару «глупых», но что-то имена не запомнил.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
28.07.2006, 22:12
Помогаю со студенческими работами здесь

роботс.тхт
что написать в файле, чтобы: 1) весь сайт индексировался всеми ПС кроме Яндекса; 2) весь сайт индексировался только Яндексом?

Я и роботс.тхт
мне надо чтобы яша взял хост без www сейчас там с www (просто с www смысл домена теряется немного) в robots.txt прописал всё...

роботс.тхт
Возможно мне стыдно такого не знать, но как то раньше никогда не сталкивался...)) Есть ли ограничения в роботс.тхт на размер этого файла...

Вопрос по роботс.тхт
Возник вопрос - при продвижении сайта сложилось ощущение, что что-то не идеально для яндекса с роботс.тхт - страницы сам сайт выдает в...

Нужен роботс.тхт!
Честно, в robots не смыслю ничего. Может кто выложить СВОЙ готовый вариант, тот, что используется у вас, чтобы потом санкций не было...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
Новые блоги и статьи
Архитектура слоя интернета для сервера-слоя.
Hrethgir 11.04.2026
В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
Подстановка значения реквизита справочника в табличную часть документа
Maks 10.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru