Падает количество проиндексированных страниц

@AZ · Регистрация: 18.03.2006

Студворк — интернет-сервис помощи студентам

есть сайт, на котором около 6000 страниц и их количество постоянно растет. Яша и Рама нормально кушают - количество проиндексированных страниц постоянно растет, трафик тоже постоянно растет.

С гуглом засада. :(
С самого начала проиндексировал 700 страниц и вот уже в течение последнего месяца количество страниц в индексе постоянно уменьшается, сейчас уже 400.
Все проверил, вроде нет битых ссылок (другие ПС как-то же проиндексировали).
Головой ап стену бился, йаду пил - не помогает :)

вот урл: http://mega.15dirs.ru

ЗЫ: сайту правда от силы месяца два, количество страниц растет быстро. Может это новый вид песочницы? Ладно бы влияло на серп, но индексация тут причем? :(

@AZ · 30.07.2006, 15:21 **[ТС]**

уже 147, я в шоке :(

@AZ · 30.07.2006, 15:35 **[ТС]**

Большое спасибо за развернутое исследование!

Что могу сказать я:
1. Robots.txt по синтаксису несколько "некорректный"
<div>Код</div><div>User-Agent: *
Host: mega.15dirs.ru</div>
Я бы написал типа <div>Код</div><div>User-Agent: *
Disallow:

User-Agent: Yandex
Disallow:Host: mega.15dirs.ru

поправил

2. Сайт не отдаёт заголовки LastModified. Имхо, могут быть проблемы с индексацией большого количества страниц.

поправил

3. Перед тем, как выдать саму html-страницу, сайт посылает (после headers)какое-то ЧИСЛО типа:
<div>Код</div><div>1558(CR)(LF)
<HTML>(CR)(LF)
<HEAD>(CR)(LF)</div>
или <div>Код</div><div>45ab(CR)(LF)
<HTML>(CR)(LF)
<HEAD>(CR)(LF)</div>
Возможно, это не страшно, но с таким сталкиваюсь впервые. (Очень похоже, что это ЧИСЛО - размер страницы Content-length: в 16-ричном виде, но отдавать его надо в headers("Content-length:###"), а не после заголовков.)

как такое получить? пробовал смотреть http-поток разными средствами - вроде все нормально, ничего такого нет :(

PS: Нашел у Вас следующие скрипты, которые генерят ПУСТЫЕ страницы:
http://mega.15dirs.ru/vl.php
http://mega.15dirs.ru/saiti.php
http://mega.15dirs.ru/nv.php
http://mega.15dirs.ru/sidmouth.php

были жестокие эксперименты, скрипты старые и не работают, поэтому выдают пустую страницу. Надо их удалить. :)

Ну, и в добавок, на сайте есть 3 БИТЫХ внешних линка:
http://www.jaluzy.ru 404 Not Found
http://www.ldb.ru/online/2006-07-03/ 404 Not Found
http://ml-service.ru 404 Not Found
Но это так, "для полноты статистики"... А то Вы пишете, что битых линков на сайте нету :)

а это чем проверить? или это линки на внешние страницы с описаний сайтов?
пользователь мог добавиться, а потом его сайт мог отвалиться.
на каких страницах эти битые ссылки?

@cco · 30.07.2006, 15:50

А sitemap добавлена? У меня один из сайтов в Гугле тоже плохо индексировался, после добавления карты все страницы, описанные в ней, были в течение недели проиндексированы.

@AZ · 31.07.2006, 16:04 **[ТС]**

А sitemap добавлена? У меня один из сайтов в Гугле тоже плохо индексировался, после добавления карты все страницы, описанные в ней, были в течение недели проиндексированы.

никогда не пробовал - все до этого нормально индексировалось. Надо попробовать

@fpiioplecl · 01.08.2006, 16:18

Кстати, а по поводу изменения последней модификации страницы, можно посмотреть

@AZ · 01.08.2006, 16:32 **[ТС]**

Кстати, а по поводу изменения последней модификации страницы, можно посмотреть

спасибо, что-то подобное сделал на php :)

есть нормальный help для php, там про last-modified самый первый пример как раз мой случай! :)

видно не я первый на такие грабли наступил :)

@fpiioplecl · 02.08.2006, 16:46

спасибо, что-то подобное сделал на php :)

есть нормальный help для php, там про last-modified самый первый пример как раз мой случай! :)

видно не я первый на такие грабли наступил :)

У меня на старом хостинге хрень была такая...

Новые блоги и статьи Все статьи Все блоги /
Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Программное заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем

@AZ Регистрация: 18.03.2006 Сообщений: 854

	Падает количество проиндексированных страниц 30.07.2006, 13:07. Показов 6021. Ответов 7 Метки нет (Все метки) есть сайт, на котором около 6000 страниц и их количество постоянно растет. Яша и Рама нормально кушают - количество проиндексированных страниц постоянно растет, трафик тоже постоянно растет. С гуглом засада. :( С самого начала проиндексировал 700 страниц и вот уже в течение последнего месяца количество страниц в индексе постоянно уменьшается, сейчас уже 400. Все проверил, вроде нет битых ссылок (другие ПС как-то же проиндексировали). Головой ап стену бился, йаду пил - не помогает :) вот урл: http://mega.15dirs.ru ЗЫ: сайту правда от силы месяца два, количество страниц растет быстро. Может это новый вид песочницы? Ладно бы влияло на серп, но индексация тут причем? :( 0

@AZ Регистрация: 18.03.2006 Сообщений: 854
	30.07.2006, 15:21 [ТС]
	уже 147, я в шоке :( 0

@cco Регистрация: 18.07.2006 Сообщений: 415
	30.07.2006, 15:50
	А sitemap добавлена? У меня один из сайтов в Гугле тоже плохо индексировался, после добавления карты все страницы, описанные в ней, были в течение недели проиндексированы. 0

@fpiioplecl Регистрация: 23.03.2006 Сообщений: 136
	01.08.2006, 16:18
	Кстати, а по поводу изменения последней модификации страницы, можно посмотреть 0