Поисковая система для роботов

@MLPMan · Регистрация: 02.10.2012

Студворк — интернет-сервис помощи студентам

Привет. А кто-нибудь знает сервисы, с которыми честный бот мог бы полазить в сети в поисках чего-либо? Ну, чтоб без всяких трюков в попытке замаскироваться под чела. Немного нашёл (могу поделиться ссылками, если кому интересно), кое-где, судя по robots.txt, ботам путь открыт. Но тот факт, что там всего пару правил наталкивает на мысль, что они может раньше просто внимательно не рассматривали вопрос. Что если вдруг добавят пару строчек, и всё, софтваре не может "законно" работать. И сайты всё-таки человеко-ориентированные, результат не так удобно разбирать, чем, например, "готовый XML".

Добавлено через 1 минуту

Не по теме:

Чёт устойчивое ощущение, что я такую тему уже создал в прошлом, вроде нету. :scratch:

@insideone · 02.03.2016, 20:23

Так может с каким официальным поисковиком интегрироваться https://developers.google.com/... /overview? Может вопрос не понял, какое применение-то?

@MLPMan · 02.03.2016, 20:59 **[ТС]**

insideone, пока ничего конкретного, чисто думаю, что можно бы сделать.

@VTsaregorodtsev · 02.03.2016, 22:19

Не по теме:

Сообщение от MLPMan

кое-где, судя по robots.txt, ботам путь открыт.

А не все боты учитывают ограничения в роботс.тхт.
Байдушный, например, и Маджестик (два навскидку вспомнились) - на запрет в роботсе плюют и продолжают ходить.
Поэтому таких зверьков баним через htaccess, по айпи и/или по строке в юзер-агенте и/или по REMOTE_HOST.
У меня, например, в htaccess на порядок больше строк, чем в роботсе.

Новые блоги и статьи Все статьи Все блоги /
моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом	http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .

@MLPMan Кандёхаем веселее! 296 / 330 / 76 Регистрация: 02.10.2012 Сообщений: 2,175

	Поисковая система для роботов 01.03.2016, 22:43. Показов 568. Ответов 3 Метки нет (Все метки) Привет. А кто-нибудь знает сервисы, с которыми честный бот мог бы полазить в сети в поисках чего-либо? Ну, чтоб без всяких трюков в попытке замаскироваться под чела. Немного нашёл (могу поделиться ссылками, если кому интересно), кое-где, судя по robots.txt, ботам путь открыт. Но тот факт, что там всего пару правил наталкивает на мысль, что они может раньше просто внимательно не рассматривали вопрос. Что если вдруг добавят пару строчек, и всё, софтваре не может "законно" работать. И сайты всё-таки человеко-ориентированные, результат не так удобно разбирать, чем, например, "готовый XML". Добавлено через 1 минуту Не по теме: Чёт устойчивое ощущение, что я такую тему уже создал в прошлом, вроде нету. :scratch: 0

@insideone 3687 / 964 / 114 Регистрация: 10.01.2010 Сообщений: 2,550
	02.03.2016, 20:23
	Так может с каким официальным поисковиком интегрироваться https://developers.google.com/... /overview? Может вопрос не понял, какое применение-то? 1

@MLPMan Кандёхаем веселее! 296 / 330 / 76 Регистрация: 02.10.2012 Сообщений: 2,175
	02.03.2016, 20:59 [ТС]
	insideone, пока ничего конкретного, чисто думаю, что можно бы сделать. 0