|
Nocig
|
|
Поведение Yandex.робота05.09.2006, 04:18. Показов 11283. Ответов 20
Метки нет (Все метки)
Накануне приводил ссылки к удобочитаемому виду и ставил заголовок <META NAME="Document-state" CONTENT="Dynamic">. Буквально через день сайт исчез по всем запросам из Яндекса. Причины неясны. Судя по всему сайт не в бане. Возмодные причины? неужели дело в мета-теге? Теперь о боте. Судя по статистике каждый день регулярно приходит бот от Яндекса (основной) и шерстит сайт (седня посетил 141 страницу). Но вот в чем странность-ни одна им посещенная страница не проиндексировалась, на каждой странице он был не более 1 секунды. Неужели бота что-то отпугивает? И есть ли причины, по которым бот может недосмотреть страницу сайта? Уж, простите за ламерство, ежли что. Ах, да, url сайта http://www.auto.3ir.ru Заранее спасибо за любую посильную помощь. |
|
(| 05.09.2006, 04:18 | |
|
Ответы с готовыми решениями:
20
Эмулятор Yandex робота Два недокументированных робота Yandex Чем отличается http://yandex.ru и buki.yandex.ru |
|
Регистрация: 14.08.2006
Сообщений: 126
|
|
| 05.09.2006, 07:22 | |
|
0
|
|
|
Nocig
|
|
| 05.09.2006, 07:36 | |
|
ух-ты, действительно. Спасибо )) Я анализировал только запросы по которым народ приходил. Они все поисчезали...
И кстати, сколько времени уходит у Яндекса на переиндексацию? Уже месяц он не обновляет главную страницу, хотя она меняется ежедневоно. Кроме того на сайте полностью переисаны все title, descriprion, keywords. Однако в результатах выдачи все старое. от чего это может зависеть? И еще вопрос (что-то разошелся). Почему-то не определяется никак географическая принадлежность сайта (по региону), хотя основной домен www.3ir.ru отлично определился Яндексом как иркутский, а вот поддомен ну никак... что может быть? НУ и вопрос про бота открыт... |
|
|
Регистрация: 14.08.2006
Сообщений: 126
|
||
| 05.09.2006, 07:50 | ||
<b>Ответ - ждите.</b>
0
|
||
|
Nocig
|
|
| 05.09.2006, 08:05 | |
|
Проиндексировано 297 страниц. Большинству из них уже месяц не переиндексировались... Новых не добавляется...
Вот проанализировал бота от Рамблера. Он зашел, посетил 17 страниц и 3 из них (время пребывания бота - более 1 секунды) практически моментально появились в выдаче рамблера. Оставшиеся 14 он видимо посчитал уже занесенными в базу (поскольку там доска объявлений, то видимо, для Рамблера старое объявление о продаже Toyota Vista не отличается от нового объявления о продаже Toyota Vista (хотя это совершенно другое объявление) и он не вносит его в индекс). Яндекс же посмотрел 141 страницу и никакого результата...спрашивается, зачем он их смотрит? и почему так мало по времени? естественно, за 1сек вряд ли он их распарсит и занесет в свою базу данных... Откуда я делаю вывод что бот приходит по ссылке, его что-то отпугивает, и он уходит. Что-то может отпугнуть бота или это совсем глупая теория? |
|
|
Регистрация: 14.08.2006
Сообщений: 126
|
||
| 05.09.2006, 08:19 | ||
0
|
||
|
Регистрация: 31.07.2006
Сообщений: 276
|
|
| 05.09.2006, 08:33 | |
|
Попробуйте прописать в robots.txt страницу как зернало (только для Я):
Host: auto.3ir.ru Подробнее об этом
0
|
|
|
Nocig
|
|
| 05.09.2006, 08:47 | |
|
1
|
|
|
Nocig
|
|
| 05.09.2006, 09:01 | |
|
Спасибо, прямо сейчас попробую прописать )
Только мне основным сайтом нужен www.auto.3ir.ru, то есть с www. Писать Host: www.auto.3ir.ru? Насчет быстробота: я так понял он у меня ходит-проблема в том, что не индексирует... Yandex/1.01.001 (compatible; Win16; I) - это быстробот? он посмотрел 141 страницу, но ни одну в индекс так и не занес... |
|
|
Регистрация: 31.07.2006
Сообщений: 276
|
||
| 05.09.2006, 09:15 | ||
User-agent: Yandex Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /editor/ Disallow: /help/ Disallow: /images/ Disallow: /includes/ Disallow: /language/ Disallow: /mambots/ Disallow: /media/ Disallow: /modules/ Disallow: /templates/ Disallow: /installation/ Host: auto.3ir.ru User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /editor/ Disallow: /help/ Disallow: /images/ Disallow: /includes/ Disallow: /language/ Disallow: /mambots/ Disallow: /media/ Disallow: /modules/ Disallow: /templates/ Disallow: /installation/
0
|
||
|
Регистрация: 31.07.2006
Сообщений: 276
|
|
| 05.09.2006, 09:30 | |
|
Host: auto.3ir.ru - это жесткое указание зеркала для основного сайта www.auto.3ir.ru
0
|
|
|
Nocig
|
|
| 05.09.2006, 09:44 | |
|
а-а, вона как... окей, указал.. только не совсем понимаю, как это может мне помочь?
Да, кстати, с http://auto.3ir.ru (без www) у меня стоит 301 редирект на http://www.auto.3ir.ru. Это может как-то сказаться? И еще, как узнать какой ответ дает сервер поисковому боту? я читал, что может быть 200 или 304...а как узнать? |
|
|
Регистрация: 31.07.2006
Сообщений: 276
|
|
| 05.09.2006, 09:58 | |
|
Может в этом причина: сервер не выдает last-modified.
0
|
|
|
Nocig
|
|
| 05.09.2006, 10:12 | |
|
отдает..проверял всякими сервисами. Тут у CMS прописано, он текущую дату автоматически подставляет.
Да, вопрос про географию ресурса тоже открыт ) |
|
|
Регистрация: 31.07.2006
Сообщений: 276
|
|
| 05.09.2006, 10:26 | |
|
При прогоне через robots.txt глазами Я сайта www.auto.3ir.ru пишет, что "Индексация сервера www.auto.3ir.ru:80 запрещена полностью".
0
|
|
|
Nocig
|
|
| 05.09.2006, 10:40 | |
|
Ого! Это может быть результатом деятельности хостера?
Сам спросил-сам отвечаю: нет, не может. Дело в файле robots.txt, которые исправил седня по совету выше. Все-таки надо прописывать: User-agent: Yandex Host: www.auto.3ir.ru c www у меня основной сайт, и если указать без www, то происходит вышеописанная ситуация. Или может вообще лучше ничего не прописывать? наверное пока оставлю вида: User-agent: * Disallow: / Однако, вопрос по боту открыт. И по географическому положению. |
|
|
Регистрация: 23.07.2006
Сообщений: 253
|
|
| 05.09.2006, 10:55 | |
|
User-agent: *
Disallow: / так ты по-моему вообще все запрещаешь к индексации!!!
0
|
|
|
Регистрация: 21.03.2006
Сообщений: 346
|
||
| 05.09.2006, 11:09 | ||
ЗЫ ИМХО - нужно сначала определить зекало роботсом для Я, а потом уж редирект включать
0
|
||
|
Nocig
|
||
| 05.09.2006, 11:23 | ||
ну не буду же я здесь весь свой роботс выкладывать-ни к чему оно |
||
|
Nocig
|
||
| 05.09.2006, 11:37 | ||
Смысл определять зеркало роботсу? если он все равно оттуда будет редиректиться? |
||
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
| 05.09.2006, 11:37 | |
|
Помогаю со студенческими работами здесь
20
В чем различие Yandex от XML.Yandex yandex.ru/yandsearch и yandex.ru/search Слепота робота Баннеры для робота Я действия робота яндекса Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Модель заражения группы наркоманов
alhaos 17.04.2026
Условия задачи сформулированы тут
Суть:
- Группа наркоманов из 10 человек.
- Только один инфицирован ВИЧ.
- Колются одной иглой.
- Колются раз в день.
- Колются последовательно через. . .
|
Мысли в слух. Про "навсегда".
kumehtar 16.04.2026
Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .
|
My Business CRM
MaGz GoLd 16.04.2026
Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .
|
Знаешь почему 90% людей редко бывают счастливыми?
kumehtar 14.04.2026
Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . .
а удачный момент так и не приходит.
|
|
Фиксация колонок в отчете СКД
Maks 14.04.2026
Фиксация колонок в СКД отчета типа Таблица.
Задача: зафиксировать три левых колонки в отчете.
Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка)
/ / . . .
|
Настройки VS Code
Loafer 13.04.2026
{
"cmake. configureOnOpen": false,
"diffEditor. ignoreTrimWhitespace": true,
"editor. guides. bracketPairs": "active",
"extensions. ignoreRecommendations": true,
. . .
|
Оптимизация кода на разграничение прав доступа к элементам формы
Maks 13.04.2026
Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2.
Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива.
Было так:. . .
|
Контроль заполнения и очистка дат в зависимости от значения перечислений
Maks 12.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2.
Задача: реализовать контроль корректности заполнения дат назначения. . .
|
Наверх