Как правильно избавиться от дублей страниц

@fetch · Регистрация: 26.04.2006

Студворк — интернет-сервис помощи студентам

На сайте около 30000 страниц, но Яндекс проиндексировал ~42500 страницы
В панели webmaster.yandex обнаружил, что имеются дубли страниц

CMS на сайте самопис и страницы имеют следующий формат:
site/default.asp?page=1
site/default.asp?page=2
site/default.asp?page=3 и т.д.

Но недавно яндекс стал видеть кроме этих страниц ещё и: site/?page=1

Откуда они взялись не понятно, количество проиндексированых страниц резко увеличилось, а посещаемость сайта очень сильно упало, хотя основные позиции в результатах поиска не изменились.

Так как CMS не создаёт подобных страниц, то напрашивается мысль, что нужно подобные адреса исключить из индекса с помощью robots.txt
Как это правильно сделать, чтобы при этом не заблокировать индексацию всего сайта?

06.04.2011, 05:55

чтобы не индексировать страницы вида: site/default.asp?page=1
добавить в robots.txt
Disallow: /default.asp?page=*

чтобы не индексировать страницы вида: site/?page=1
добавить в robots.txt
Disallow: /?page=*

я так понимаю 2 вариант ваш

@fetch · 07.04.2011, 06:09 **[ТС]**

добавить в robots.txt
Disallow: /?page=*

А это не приведёт к тому, что и страницы: site/default.asp?page=

тоже перестанут индексироваться, так как и там в строке присутствует: ?page=

@OpmawlOO · 07.04.2011, 06:23

Скорее всего у Вас косяк в движке. Браузер может обращаться к site/?page=1?
Есть ли ссылки в сайте ведущие на site/?page=?

07.04.2011, 06:37

А это не приведёт к тому, что и страницы: site/default.asp?page=

тоже перестанут индексироваться, так как и там в строке присутствует: ?page=

если бы я написал /*?page=* то да под эту маску попали бы и страницы /default.asp?page=
а под маску /?page=* попадут только нужные

а вообще напиши правила mod_rewrite в .htacces чтобы при обращении к страницам /?page= перекидывало на /default.asp?page=

@fetch · 07.04.2011, 06:51 **[ТС]**

а вообще напиши правила mod_rewrite в .htacces чтобы при обращении к страницам /?page= перекидывало на /default.asp?page=

У меня страницы нормально открываются и так /default.asp?page= и /?page=
Просто смущает наличие дубликатов в индексе возможно из-за этого кол-во посетителей уменьшилось :(

@fetch · 07.04.2011, 07:05 **[ТС]**

Скорее всего у Вас косяк в движке. Браузер может обращаться к site/?page=1?
Есть ли ссылки в сайте ведущие на site/?page=?

Нет таких ссылок нет (CMS такие не делает), если только где то внешние такие появились.

Трафик возможно просел после последнего АП выдачи, здесь вот обсуждают:

Похоже у многих посещение упало.
romlog - спасибо за ответы

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@fetch Регистрация: 26.04.2006 Сообщений: 28

	Как правильно избавиться от дублей страниц 06.04.2011, 03:29. Показов 3126. Ответов 6 Метки нет (Все метки) На сайте около 30000 страниц, но Яндекс проиндексировал ~42500 страницы В панели webmaster.yandex обнаружил, что имеются дубли страниц CMS на сайте самопис и страницы имеют следующий формат: site/default.asp?page=1 site/default.asp?page=2 site/default.asp?page=3 и т.д. Но недавно яндекс стал видеть кроме этих страниц ещё и: site/?page=1 Откуда они взялись не понятно, количество проиндексированых страниц резко увеличилось, а посещаемость сайта очень сильно упало, хотя основные позиции в результатах поиска не изменились. Так как CMS не создаёт подобных страниц, то напрашивается мысль, что нужно подобные адреса исключить из индекса с помощью robots.txt Как это правильно сделать, чтобы при этом не заблокировать индексацию всего сайта? 0

pantak
	06.04.2011, 05:55
	чтобы не индексировать страницы вида: site/default.asp?page=1 добавить в robots.txt Disallow: /default.asp?page=* чтобы не индексировать страницы вида: site/?page=1 добавить в robots.txt Disallow: /?page=* я так понимаю 2 вариант ваш

@OpmawlOO Регистрация: 26.11.2008 Сообщений: 298
	07.04.2011, 06:23
	Скорее всего у Вас косяк в движке. Браузер может обращаться к site/?page=1? Есть ли ссылки в сайте ведущие на site/?page=? 0