индексация, гугл вебмастер...

@zimd1 · Регистрация: 29.09.2008

Студворк — интернет-сервис помощи студентам

В роботс.тхт прописано

User-agent: googlebot
Allow: /index.php
Allow: 2056-*******/
Disallow: /

Я читал что чтобы запретить все и разрешить что то надо именно так сделать..
В гугле вместо тайтла стоит "cPanel" уже месяца три..
И новые паги не добавляет разрешенные в роботсе таким способом.

ещё. проверяю в вебмастертулс: Просмотреть как Googlebot
http://imyadomena.com - URL, запрещенный файлом robots.txt
отчего так?.. я ж index.php allow поставил..

Может рано панику поднимаю подождать чуток..

@Cmogi800 · 20.02.2010, 20:52

Робот по умолчанию не видит файла index.php, он видит каталог site.ru/. Соответственно каталог "/" у Вас запрещен к индексации. Как вариант можно поставить ссылку извне на index.php или использовать конструкцию вида
User-agent: googlebot
Allow: /
Allow: 2056-*******/
Disallow: /*

@divogo · 20.02.2010, 21:06

Не советовал бы использовать правило allow, лучше имхо придумать другой способ запретить гуглу индексировать остальные страницы.

@zimd1 · 20.02.2010, 21:20 **[ТС]**

Disallow: /* а зачем здесь звездочку ставить?..

не получится ли конфликта. ведь в первой строке разрешенно все. в последней запрещено .

@Cmogi800 · 20.02.2010, 21:35

Disallow: /* а зачем здесь звездочку ставить?..

не получится ли конфликта. ведь в первой строке разрешенно все. в последней запрещено .

Звездочка это типа все файлы в папке. Конфликт может и получится... Проверьте в инструментах вебмастера, что индексирует, что нет, делов-то. Если правила для Я и G одинаковые, то в обоих, т.к. у Я там еще расширения есть какие-то, в частности на такого вида allow/disallow. Вообще Devaka Вам истину сказал - попробуйте изменить структуру: разбейте сайт на 2 папки - что можно а что нельзя.

@Cmogi800 · 20.02.2010, 21:49

Сейчас специально покопался в тулзах, имхо, никак тремя строками не запретить.
Вот возможно правильный вариант роботса:
User-agent: googlebot
Allow: / # изначально разрешаем всё
Allow: /index.php # на всякий случай разрешаем этот файл. Примечание: также все файлы в корне с именами index.htm, html будут разрешены первым правилом.
Allow: /2056-******* # разрешаем нужную папку
Disallow: /*/ # запрещаем все остальные папки в корне
Disallow: /*.* # запрещаем все остальные файлы в корне. Примечание: запрещаются файлы только с расширениями, файлы вида site.ru/page останутся разрешены

Обойти ограничения на файлы без разширений в последней строке можно например, таким образом: все закрытые файлы в корне начинаются с определенной буквы или слова, напр. "closed". Тогда последняя строчка в правиле
Disallow: /closed*
даст то, что Вам нужно.

@zimd1 · 20.02.2010, 22:03 **[ТС]**

Проверил ваш вариант. через гугл вебмастерс. то что мне нужно. одно блокирует одно разрешает.
там ведь роботс. не сразу обновляется? а то внес изменения.. а например сайтмап добавляю. пишет
URL, запрещенный файлом robots.txt или Просмотреть как Googlebot sitemap.xml тоже запрещен. хотя я его сегодня разрешил через Allow.

@Cmogi800 · 20.02.2010, 22:17

там ведь роботс. не сразу обновляется? а то внес изменения.. а например сайтмап добавляю. пишет
URL, запрещенный файлом robots.txt или Просмотреть как Googlebot sitemap.xml тоже запрещен. хотя я его сегодня разрешил через Allow.

Да, по крайней мере при проверке "как гуглбот" он берет свой сохраненный роботс, а не с сервера. Надо подождать пока его кэш обновится.

@zimd1 · 02.03.2010, 22:31 **[ТС]**

http://forum.searchengines.ru/... p?t=471834 подскажите ещё по этой теме.
будет ли гугл индексировать страницы. если они в закрытых для индексации каталогах. но в allow в роботс. прописаны эти страницы .. просто сможет ли он просканировать закрытый для индексации раздел и найти там линки на нужны страницы. ибо в сети больше нет линков на них.

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .
Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .

@zimd1 Регистрация: 29.09.2008 Сообщений: 21

	индексация, гугл вебмастер... 20.02.2010, 18:08. Показов 7261. Ответов 8 Метки нет (Все метки) В роботс.тхт прописано User-agent: googlebot Allow: /index.php Allow: 2056-*******/ Disallow: / Я читал что чтобы запретить все и разрешить что то надо именно так сделать.. В гугле вместо тайтла стоит "cPanel" уже месяца три.. И новые паги не добавляет разрешенные в роботсе таким способом. ещё. проверяю в вебмастертулс: Просмотреть как Googlebot http://imyadomena.com - URL, запрещенный файлом robots.txt отчего так?.. я ж index.php allow поставил.. Может рано панику поднимаю подождать чуток.. 0

@Cmogi800 Регистрация: 23.10.2009 Сообщений: 659
	20.02.2010, 20:52
	Робот по умолчанию не видит файла index.php, он видит каталог site.ru/. Соответственно каталог "/" у Вас запрещен к индексации. Как вариант можно поставить ссылку извне на index.php или использовать конструкцию вида User-agent: googlebot Allow: / Allow: 2056-******/ Disallow: / 0

@divogo Регистрация: 29.07.2007 Сообщений: 2,012
	20.02.2010, 21:06
	Не советовал бы использовать правило allow, лучше имхо придумать другой способ запретить гуглу индексировать остальные страницы. 0

@zimd1 Регистрация: 29.09.2008 Сообщений: 21
	20.02.2010, 21:20 [ТС]
	Disallow: /* а зачем здесь звездочку ставить?.. не получится ли конфликта. ведь в первой строке разрешенно все. в последней запрещено . 0

@Cmogi800 Регистрация: 23.10.2009 Сообщений: 659
	20.02.2010, 21:49
	Сейчас специально покопался в тулзах, имхо, никак тремя строками не запретить. Вот возможно правильный вариант роботса: User-agent: googlebot Allow: / # изначально разрешаем всё Allow: /index.php # на всякий случай разрешаем этот файл. Примечание: также все файлы в корне с именами index.htm, html будут разрешены первым правилом. Allow: /2056-******* # разрешаем нужную папку Disallow: // # запрещаем все остальные папки в корне Disallow: /.* # запрещаем все остальные файлы в корне. Примечание: запрещаются файлы только с расширениями, файлы вида site.ru/page останутся разрешены Обойти ограничения на файлы без разширений в последней строке можно например, таким образом: все закрытые файлы в корне начинаются с определенной буквы или слова, напр. "closed". Тогда последняя строчка в правиле Disallow: /closed* даст то, что Вам нужно. 0

@zimd1 Регистрация: 29.09.2008 Сообщений: 21
	20.02.2010, 22:03 [ТС]
	Проверил ваш вариант. через гугл вебмастерс. то что мне нужно. одно блокирует одно разрешает. там ведь роботс. не сразу обновляется? а то внес изменения.. а например сайтмап добавляю. пишет URL, запрещенный файлом robots.txt или Просмотреть как Googlebot sitemap.xml тоже запрещен. хотя я его сегодня разрешил через Allow. 0

@zimd1 Регистрация: 29.09.2008 Сообщений: 21
	02.03.2010, 22:31 [ТС]
	http://forum.searchengines.ru/... p?t=471834 подскажите ещё по этой теме. будет ли гугл индексировать страницы. если они в закрытых для индексации каталогах. но в allow в роботс. прописаны эти страницы .. просто сможет ли он просканировать закрытый для индексации раздел и найти там линки на нужны страницы. ибо в сети больше нет линков на них. 0