Форум программистов, компьютерный форум, киберфорум
Наши страницы
Интернет-маркетинг, SEO
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.50/14: Рейтинг темы: голосов - 14, средняя оценка - 4.50
PomaH
4 / 4 / 2
Регистрация: 01.08.2012
Сообщений: 111
1

Есть какой нибудь поисковик игнорирующий robots.txt?

27.11.2018, 23:42. Просмотров 2518. Ответов 2
Метки нет (Все метки)

Есть какой нибудь поисковик игнорирующий robots.txt?
1
Лучшие ответы (1)
QA
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
27.11.2018, 23:42
Ответы с готовыми решениями:

Гугл поисковик выдает страницы с тегами (хотя в robots.txt закрыты)
Сегодня проверяла в гугле поисковике наличии страниц. Вбиваю site:mojsite.ru, а он помимо прочих...

robots.txt, есть вопрос
Здравсвуйте форумчане, подскажите пожалуйста яндекс, гугл, мэйл, да вообщем все поисковики не видят...

robots.txt
Посмотрите пожалуйста правильно ли я сделал robots.txt сайт laybize.com User-agent: *...

robots.txt
Добрый вечер! Рассчитываю на помощь на этом сайте. Неделя, как создал свой сайт сам по материалам...

robots.txt
Подскажите пожалуйста как правильно закрыть от индексации в роботс результаты поиска, например:...

2
Jasta
753 / 321 / 50
Регистрация: 20.02.2016
Сообщений: 1,688
28.11.2018, 15:06 2
Цитата Сообщение от PomaH Посмотреть сообщение
Есть какой нибудь поисковик игнорирующий robots.txt?
Нет. Этот файл предназначен для упрощения жизни поисковикам
1
VTsaregorodtsev
645 / 615 / 97
Регистрация: 19.02.2010
Сообщений: 2,193
02.12.2018, 21:38 3
Лучший ответ Сообщение было отмечено IIIa66uMEM6eP как решение

Решение

PomaH, Например, китайский Байду (Baiduspider). Он роботс хоть и читает - но на содержание внимания не обращает. Ему пофиг, что для него в роботсе стоит
Disallow: /
- он как тянул страницы, так и продолжает тянуть. В т.ч. он ходит и анонимно, без представления роботом.
1
Answers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
02.12.2018, 21:38

robots.txt
Смотрим два robots.txt у yandex: 1. http://www.yandex.ru/robots.txt 2....

robots.txt
# robots.txt for http://www.сайт.ru/ User-agent: * Disallow: /module Disallow: /basket -...

robots.txt
Подскажите пожалуйста если я пропишу этот код User-agent: * Disallow: User-agent: Yandex...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.
Рейтинг@Mail.ru