Автоматическая индексация новых статей

@~~Zvo~~ · 04.06.2022, 05:43. **Показов** 1920. **Ответов** 21

Author24 — интернет-сервис помощи студентам

Можно как-то автоматизировать индексацию новый страниц сайта? Например, появляется новая статья и сразу же Гуглу о ней становится известно.

@QueryMonkey · 04.06.2022, 06:06

Zvo, Гугл пылесосит постоянно.

@~~Zvo~~ · 04.06.2022, 07:54 **[ТС]**

Сообщение от QueryMonkey

Zvo, Гугл пылесосит постоянно.

Это понятно. Вот только если не успеваю я - успевают мои конкуренты. Мне надо быть первым.

@QueryMonkey · 04.06.2022, 17:06

Ну так и вы пылесосьте постоянно. Быстрее соперников.

У моего знакомого для этого к дому подведён 2Gbps интернет, и две стойки серверов в гараже.

@~~Zvo~~ · 04.06.2022, 17:35 **[ТС]**

Сообщение от QueryMonkey

Ну так и вы пылесосьте постоянно. Быстрее соперников.

А нормальным языком можно объяснить? Что мне делать постоянно? Я, например, иногда отправляю вот такие запросы в гугл:
https://www.google.com/ping?si... aps.xml.gz
Что бы быстрее обновлять карту сайта. Иногда прямо в кабинете вебмастера отправляю запрос на индексирование. Но там есть ограничения. Много не отправишь. А у меня на сайте появляется до тысячи новых статей каждый день и надо каждую статью отправлять на индексацию сразу же после появления. Как можно это автоматизировать? Я даже готов это делать в ручную, но как я уже говорил, у гугла есть ограничения на превышение квоты.

@QueryMonkey · 04.06.2022, 17:56

Я думаю что не выдам особых секретов если скажу что он написал свой crawler на джаве, который непрерывно обнюхивает интересующие сайты, и индексирует их в базе. Из 2Gbps эти пылесосы все и забирают, детям на игры мало остаётся.
.
Вопрос полу-мгновенного индексирования чужих сайтов которые сами этому не помогают, это хорошо известная проблема которые тысячи частных поисковиков решают вложением ресурсов и ноу-хау. Некоторые потом перепродают эти данные для тех, у кого более скромные потребности.

Я предположу что речь не идёт о сайтах которые рады помочь, тогда RSS и фсе.

@~~Zvo~~ · 04.06.2022, 19:54 **[ТС]**

Сообщение от QueryMonkey

тогда RSS

Возможно. Надо попробовать. Спасибо.

@Jasta · 06.06.2022, 11:03

Сообщение от QueryMonkey

Я думаю что не выдам особых секретов если скажу что он написал свой crawler на джаве, который непрерывно обнюхивает интересующие сайты, и индексирует их в базе. Из 2Gbps эти пылесосы все и забирают, детям на игры мало остаётся

И как это влияет на индексацию в google?!?

Сообщение от Zvo

сразу же Гуглу о ней становится известно

Сайтмап настроен и доступен?!??

@QueryMonkey · 06.06.2022, 16:54

Jasta, вы невнимательно прочли.

@~~Zvo~~ · 06.06.2022, 17:48 **[ТС]**

Сообщение от Jasta

Сайтмап настроен и доступен

Конечно. Сегодня сделал ленту RSS по технологии Atom. Отображается 150 последних статей. Появляется новая и она становится первой. Ссылку выложил в <head>:

HTML5

1	<link rel="alternate" type="application/rss+xml" title="Здесь название - RSS" href="/feed/rss.xml">

@QueryMonkey · 06.06.2022, 17:56

Oh. Это я невнимательно прочёл.

Вы говорите о своем сайте, и о SEO?? Мои предыдущие ответы совершенно невпопад.

@~~Zvo~~ · 06.06.2022, 18:45 **[ТС]**

Сообщение от QueryMonkey

Вы говорите о своем сайте, и о SEO?? Мои предыдущие ответы совершенно невпопад.

А я то думаю, что ты мне впариваешь? Ничего не могу понять) Но RSS все-таки сделал себе

Посмотрел у конкурента. У него движок ВордПресса делает rss-ленту. Подумал, что и мне не помешает. Слепил ручками. Да и ты подсказал...

Добавлено через 3 минуты
Кстати, у Гугла в новостях тоже есть rss. Оказывается древние технологии еще живы

@Jasta · 07.06.2022, 10:14

Сообщение от QueryMonkey

вы невнимательно прочли.

Да вроде внимательно. Просто какое это имеет отношение к вопросу ТСа?!??

Сообщение от Zvo

появляется новая статья и сразу же Гуглу о ней становится известно

Нууу тут уже всё сильно зависит от качества публикаций и количества посещений. Чем выше уровень контента, те охотнее поисковики его индексируют. Частота публикаций так-же влияет на это, чем чаще выходит контент, тем большее посещений от поисковых ботов. Так что интенсивная работа над сайтом, это пожалуй главный фактор влияющий на скорость индексации.
Так же ещё неплохо ускоряет индексацию обход сайта гугл хрома, так как браузеры поисковиков сливают им данные о посещённых страницах

@QueryMonkey · 07.06.2022, 14:29

Zvo, вспомнилось: Google продвигает amp, статьи с этой технологией получают предпочтение. Там есть механизм оповещения Гугла?

@~~Zvo~~ · 07.06.2022, 14:57 **[ТС]**

QueryMonkey, у меня есть amp. Уже пару лет)

@Jasta · 07.06.2022, 15:44

Сообщение от QueryMonkey

Там есть механизм оповещения Гугла?

Нет. Это просто упрощённый вывод для мобилок

@QueryMonkey · 07.06.2022, 16:10

Jasta, в уверены?

https://developers.google.com/amp/cache

"gogle-update" явно даёт Гуглу знать о новой информации. Похоже на уведомление.

@~~Zvo~~ · 08.06.2022, 09:50 **[ТС]**

Мне посоветовали поставить микроразметку Open Graph. Говорят, что хуже не будет. А вы как думаете?

@Jasta · 08.06.2022, 11:35

Сообщение от QueryMonkey

Jasta, в уверены?

Так и где там что-то сказано про ускорение индексации?!??

Добавлено через 1 час 17 минут

Сообщение от Zvo

Мне посоветовали поставить микроразметку Open Graph.

Она не как не ускоряет индексацию и более того предназначена для социальных сетей, нежели поисковых машин. Но тем не менее хуже точно не будет.
Для поисковиков нужна другая микроразметка. Но она так же не способна ускорить индексацию, а лишь упрощает поисковикам понимание контента на сайте и помогает формировать более привлекательные сниппеты

@~~Zvo~~ · 08.06.2022, 19:01 **[ТС]**

А что если я буду отправлять карту сайта с последними добавленными статьями каждый раз когда будет добавляться новая статья? Я могу это делать автоматически через запрос https://www.google.com/ping?si... temaps.xml
Может получится так, что гуглу лететь такие запросы будут каждые две-три минуты. Гугл как к такому отнесется?

@~~Zvo~~ Заблокирован
	06.06.2022, 18:45 [ТС]	12
	Сообщение от QueryMonkey Вы говорите о своем сайте, и о SEO?? Мои предыдущие ответы совершенно невпопад. А я то думаю, что ты мне впариваешь? Ничего не могу понять) Но RSS все-таки сделал себе Посмотрел у конкурента. У него движок ВордПресса делает rss-ленту. Подумал, что и мне не помешает. Слепил ручками. Да и ты подсказал... Добавлено через 3 минуты Кстати, у Гугла в новостях тоже есть rss. Оказывается древние технологии еще живы 0

@Jasta 1053 / 559 / 126 Регистрация: 20.02.2016 Сообщений: 3,219
	07.06.2022, 10:14	13
	Сообщение от QueryMonkey вы невнимательно прочли. Да вроде внимательно. Просто какое это имеет отношение к вопросу ТСа?!?? Сообщение от Zvo появляется новая статья и сразу же Гуглу о ней становится известно Нууу тут уже всё сильно зависит от качества публикаций и количества посещений. Чем выше уровень контента, те охотнее поисковики его индексируют. Частота публикаций так-же влияет на это, чем чаще выходит контент, тем большее посещений от поисковых ботов. Так что интенсивная работа над сайтом, это пожалуй главный фактор влияющий на скорость индексации. Так же ещё неплохо ускоряет индексацию обход сайта гугл хрома, так как браузеры поисковиков сливают им данные о посещённых страницах 1

@~~Zvo~~ Заблокирован
		1
	Автоматическая индексация новых статей 04.06.2022, 05:43. Показов 1920. Ответов 21 Метки нет (Все метки) Можно как-то автоматизировать индексацию новый страниц сайта? Например, появляется новая статья и сразу же Гуглу о ней становится известно. 0

@QueryMonkey Нарушающий 417 / 305 / 46 Регистрация: 13.04.2022 Сообщений: 1,759
	04.06.2022, 06:06	2
	Zvo, Гугл пылесосит постоянно. 1

@~~Zvo~~ Заблокирован
	04.06.2022, 07:54 [ТС]	3
	Сообщение от QueryMonkey Zvo, Гугл пылесосит постоянно. Это понятно. Вот только если не успеваю я - успевают мои конкуренты. Мне надо быть первым. 0

@QueryMonkey Нарушающий 417 / 305 / 46 Регистрация: 13.04.2022 Сообщений: 1,759
	04.06.2022, 17:06	4
	Ну так и вы пылесосьте постоянно. Быстрее соперников. У моего знакомого для этого к дому подведён 2Gbps интернет, и две стойки серверов в гараже. 0

@~~Zvo~~ Заблокирован
	04.06.2022, 17:35 [ТС]	5
	Сообщение от QueryMonkey Ну так и вы пылесосьте постоянно. Быстрее соперников. А нормальным языком можно объяснить? Что мне делать постоянно? Я, например, иногда отправляю вот такие запросы в гугл: https://www.google.com/ping?si... aps.xml.gz Что бы быстрее обновлять карту сайта. Иногда прямо в кабинете вебмастера отправляю запрос на индексирование. Но там есть ограничения. Много не отправишь. А у меня на сайте появляется до тысячи новых статей каждый день и надо каждую статью отправлять на индексацию сразу же после появления. Как можно это автоматизировать? Я даже готов это делать в ручную, но как я уже говорил, у гугла есть ограничения на превышение квоты. 0

@QueryMonkey Нарушающий 417 / 305 / 46 Регистрация: 13.04.2022 Сообщений: 1,759
	04.06.2022, 17:56	6
	Я думаю что не выдам особых секретов если скажу что он написал свой crawler на джаве, который непрерывно обнюхивает интересующие сайты, и индексирует их в базе. Из 2Gbps эти пылесосы все и забирают, детям на игры мало остаётся. . Вопрос полу-мгновенного индексирования чужих сайтов которые сами этому не помогают, это хорошо известная проблема которые тысячи частных поисковиков решают вложением ресурсов и ноу-хау. Некоторые потом перепродают эти данные для тех, у кого более скромные потребности. Я предположу что речь не идёт о сайтах которые рады помочь, тогда RSS и фсе. 1

@~~Zvo~~ Заблокирован
	04.06.2022, 19:54 [ТС]	7
	Сообщение от QueryMonkey тогда RSS Возможно. Надо попробовать. Спасибо. 0

@Jasta 1053 / 559 / 126 Регистрация: 20.02.2016 Сообщений: 3,219
	06.06.2022, 11:03	8
	Сообщение от QueryMonkey Я думаю что не выдам особых секретов если скажу что он написал свой crawler на джаве, который непрерывно обнюхивает интересующие сайты, и индексирует их в базе. Из 2Gbps эти пылесосы все и забирают, детям на игры мало остаётся И как это влияет на индексацию в google?!? Сообщение от Zvo сразу же Гуглу о ней становится известно Сайтмап настроен и доступен?!?? 1

@QueryMonkey Нарушающий 417 / 305 / 46 Регистрация: 13.04.2022 Сообщений: 1,759
	06.06.2022, 16:54	9
	Jasta, вы невнимательно прочли. 0

@QueryMonkey Нарушающий 417 / 305 / 46 Регистрация: 13.04.2022 Сообщений: 1,759
	06.06.2022, 17:56	11
	Oh. Это я невнимательно прочёл. Вы говорите о своем сайте, и о SEO?? Мои предыдущие ответы совершенно невпопад. 1

	08.06.2022, 19:01

@QueryMonkey Нарушающий 417 / 305 / 46 Регистрация: 13.04.2022 Сообщений: 1,759
	07.06.2022, 14:29	14
	Zvo, вспомнилось: Google продвигает amp, статьи с этой технологией получают предпочтение. Там есть механизм оповещения Гугла? 0

@~~Zvo~~ Заблокирован
	07.06.2022, 14:57 [ТС]	15
	QueryMonkey, у меня есть amp. Уже пару лет) 0

@Jasta 1053 / 559 / 126 Регистрация: 20.02.2016 Сообщений: 3,219
	07.06.2022, 15:44	16
	Сообщение от QueryMonkey Там есть механизм оповещения Гугла? Нет. Это просто упрощённый вывод для мобилок 0

@QueryMonkey Нарушающий 417 / 305 / 46 Регистрация: 13.04.2022 Сообщений: 1,759
	07.06.2022, 16:10	17
	Jasta, в уверены? https://developers.google.com/amp/cache "gogle-update" явно даёт Гуглу знать о новой информации. Похоже на уведомление. 0

@~~Zvo~~ Заблокирован
	08.06.2022, 09:50 [ТС]	18
	Мне посоветовали поставить микроразметку Open Graph. Говорят, что хуже не будет. А вы как думаете? 0

@Jasta 1053 / 559 / 126 Регистрация: 20.02.2016 Сообщений: 3,219
	08.06.2022, 11:35	19
	Сообщение от QueryMonkey Jasta, в уверены? Так и где там что-то сказано про ускорение индексации?!?? Добавлено через 1 час 17 минут Сообщение от Zvo Мне посоветовали поставить микроразметку Open Graph. Она не как не ускоряет индексацию и более того предназначена для социальных сетей, нежели поисковых машин. Но тем не менее хуже точно не будет. Для поисковиков нужна другая микроразметка. Но она так же не способна ускорить индексацию, а лишь упрощает поисковикам понимание контента на сайте и помогает формировать более привлекательные сниппеты 1

@~~Zvo~~ Заблокирован
	08.06.2022, 19:01 [ТС]	20
	А что если я буду отправлять карту сайта с последними добавленными статьями каждый раз когда будет добавляться новая статья? Я могу это делать автоматически через запрос https://www.google.com/ping?si... temaps.xml Может получится так, что гуглу лететь такие запросы будут каждые две-три минуты. Гугл как к такому отнесется? 0