Форум программистов, компьютерный форум, киберфорум
Web-мастеринг
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.80/5: Рейтинг темы: голосов - 5, средняя оценка - 4.80
xander
1

Как бороться с поисковыми роботами??????

29.06.2009, 11:08. Показов 1019. Ответов 8
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Парни, ХЕЛП!!!!!!!!!!!!!!!!!!!
Я веду сайт на котором есть связь с форумом. И при переходе по ссылке 'Начать обсуждение' автоматом создается тема на форуме типа 'Началось обсуждение статьи 'Бла-бла-бла'...'

Так вот при индексации сайта поисковым роботом на форуме создается куча тем (пустых).

Писал и robots.txt, и проверял при создании темы поле реферер, и писал в ссылке 'onClick='location.href=...'' (пятый эксплорер по этой ссылке не может пойти, а робот как с добрым утром), нифига не помогает проходит урод.

Помогите советом как от него можно избавиться. Пусть ходит по сайту сколько хочет, мне надо как-то ссылку эту 'волшебную' от него прятать (или не переходить по ней если это он).
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
29.06.2009, 11:08
Ответы с готовыми решениями:

Как бороться с ботами на сайте?
Всем привет! Такая ситуация - на сайт идет очень много ботов. Метрика показывет больше 1000 в...

Выпадающее меню индексированное поисковыми роботами
Подскажите, на чём нужно делать и как сделать выпадающее меню, чтоб оно индексировалось поисковыми...

Как работать с поисковыми системами типа: Altavista, AOL, Canada, Goto, Go?
Кто работал с поисковыми системами типа: Altavista, AOL, Canada, Goto, Go, ....?(писал...

Радиоуправление роботами на МК
Решил сделать двух роботов(машинки) что бы играть ими в "догоняшки",суть такова: Два робота,1 на...

8
0 / 2 / 3
Регистрация: 27.03.2012
29.06.2009, 11:23 2
на той странице, где создается тема, попробуй определять тип и версию браузера, и если это не IE, Netscape, Opera, то не создавай тему
0
xander
29.06.2009, 11:42 3
А если он подставит это поле. Реферер не прокатил ведь. Еще есть какие варианты (буду пробовать все сразу )
pl
51 / 17 / 6
Регистрация: 18.05.2007
Сообщений: 1,322
29.06.2009, 11:50 4
Используй POST вместо GET
0
0 / 2 / 3
Регистрация: 27.03.2012
29.06.2009, 11:58 5
А при чем тут реферер? Если робот перешел с той страницы, где была ссылка, то в реферере и будет та страница, точно также и у нормального браузера. Не уверен, но думаю, что так и есть.

Насчет подстановки агента тоже думаю, что проблемы быть не должно, Яндекс пишет, что он Яндекс, Гугль, что Гугль...

А pl тебе правильно посоветовал, вместо <a href... сделай форму с методом post которая будет отсылаться когда юзер нажмет на ссылку. Это должно работать, я как-то сразу не додумался.

Потом, я вот сейчас подумал, почему у тебя пустые темы - а ты уверен, что каждый нажавший на ссылку будет что-то писать? Может у тебя проблемы-то и не с роботами вообще? Я бы посоветовал создавать тему, не тогда когда кто-то перешел на страницу обсуждения, а тогда когда он написал свое сообщение - тогда не будет проблем.
0
xander
29.06.2009, 12:05 6
Про форму я тоже сегодня думал, но директор не хочет кнопку ставить (даже рисованную). А насчет создания тем все нормально (по другому в моей ситуации не получиться, мне тут особые условия ставили).

Думаю всеже это робот, потому как за 2 минуты создается 250 тем (при самых слуших раскладах пользователи на это неспособны), и еще это случается раз в неделю. Кто же это если не робот?

А про поле реферер мне говорили, что у некоторх роботов оно просто пустое (типа при проверке если пустое, то это робот, ему говорим 'До свидания!')
pl
51 / 17 / 6
Регистрация: 18.05.2007
Сообщений: 1,322
29.06.2009, 12:17 7
Чтобы отсабмитить форму кнопка не нужна, можно это делать и по ссылке, посмотри тут
http://relib.com/forums/topic.asp?id=779873
0
0 / 2 / 3
Регистрация: 27.03.2012
29.06.2009, 12:21 8
кнопку можно и не делать, можно сабмитить обычной ссылкой, но при помощи javascript

примерно так

<form name='myform' action='create_discussion.asp' method='post'>
</form>

<a href='javascript:document.myform.submit();'>Обсудить</a>
0
xander
29.06.2009, 12:49 9
Спасибо!!!
Щас буду пробовать.
29.06.2009, 12:49
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
29.06.2009, 12:49
Помогаю со студенческими работами здесь

Индексация сайта роботами
Здравствуйте.Есть такая проблема.Создавал сайт,добавлял кучу новостей и тд и тп,а с сео особо не...

Сайт не распознается роботами ПС
Несколько дней назад мой сайт стал работать некорректно. Позиции в ПС сильно попадали по некоторым...

Работа с поисковыми API
Ребят, необходимо осуществить поисковый запрос к Гуглу или Яндексу, получить ответ в формате xml...

Проблема с поисковыми системами
Всем здраствуйте!Проблема следующая - по ключевому запросу Все для создания сайта в яндексе...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
9
Ответ Создать тему
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru