Форум программистов, компьютерный форум, киберфорум
Наши страницы
Интернет-маркетинг, SEO
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.56/9: Рейтинг темы: голосов - 9, средняя оценка - 4.56
jenya82
1 / 1 / 0
Регистрация: 11.01.2010
Сообщений: 63
1

Массовая проверка доступности сайтов на существование

21.10.2019, 20:02. Просмотров 1878. Ответов 4

Всем привет!

Нужно срочно прогнать базу доменов 2000 штук на существование. Каждый кликать - долго.

Должны же сервисы существовать или проги, которые запрос сделают и получат ответ 404?

Пока нашел только мониторинг одного сайта на ping, но это все равно что каждый кликать...

Умные головы, подскажите сервис, прогу на винду или скрипт самописный (сервер есть) что бы это сделать?

Добавлено через 1 час 19 минут
Вот что нашел

Кликните здесь для просмотра всего текста

!/bin/bash
02
# задаём путь к временному файлу, в который будем писать результат выполнения проверки
03
FILE="/tmp/db_hosts_con_test.log"
04

05
rm -rf $FILE
06
touch $FILE
07

08
# указываем файл со списком хостов и портов, запускаем цикл в который сразу "скармливаем" три переменных для проверки
09
cat /home/setevoy/scripts/db_hosts.txt | while read NAME HOST PORT
10
do
11

12
# для красоты вывода результата - сначала вписываем имя проверяемого хоста
13
printf "%stt" $NAME >> $FILE &&
14

15
# записываем результат проверки хост:порт
16
printf "%st%sn" `nmap -Pn -p $PORT $HOST
17

18
# выделяем только 6 строку результата проверки и только 1 и 2 поля
19
| head -n 6 | tail -n 1 | cut -d' ' -f 1,2
20

21
# вырезаем лишнее - слово "tcp" и меняем "filtered" на "closed", дописываем в файл результат
22
| sed -e '{s/.tcp//;}' -e 's/filtered/closed/g'` >> $FILE
23

24
done
25

26
# выводим на консоль сам результат
27
cat $FILE



и

Кликните здесь для просмотра всего текста

01
# ./q.sh | cut -d'.' -f 4
02
com 1540 open
03
com 1665 closed
04
com 22 closed
05
com 1710 closed
06
com 1702 closed
07
com 1702 closed
08
com 1701 closed
09
com 1702 closed
10
com 1765 open
11
com 22 open
12
com 1845 open
13
com 1576 closed
14
com 389 open
15
com 22 open
16
com 1776 open
17
com 389 open
18
com 1845 closed
19
com 1676 open
20
com 22 closed




Натолкните на мысли что делать?

есть хостинг на Джино. Есть домен.

Есть ноутпад ++

Как это все должно работать то)???
0
QA
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
21.10.2019, 20:02
Ответы с готовыми решениями:

массовая проверка тиц и пр
Подскажите <b>бесплатную</b> программу или пришлите в личку, чтоб была возможность проверить...

Массовая проверка wordstat.yandex.ru
Доброго времени суток. Подскажите сервис, для массового проверки подобранных ключевых(!)...

Массовая проверка PR на сайте
Привет! :) Хотелось бы, чтобы форумчане поделились опытом. Подскажите сервис в инете, поудобней,...

Массовая проверка на бан.
Есть база каталогов, как проверить их на бан Яндекса. Спасибо!

массовая проверка тиц - умерла?
Всё. Теперь тИЦ массово (для нескольких десятков, сотен и более) просто так не получишь. И это...

4
skapunker
-2 / 12 / 4
Регистрация: 13.12.2013
Сообщений: 490
22.10.2019, 22:43 2
Лучший ответ Сообщение было отмечено jenya82 как решение

Решение

попробуй старенькую программу Xenu.
Либо еще вариант самому писать скрипт.
1
jenya82
1 / 1 / 0
Регистрация: 11.01.2010
Сообщений: 63
26.10.2019, 11:24  [ТС] 3
Цитата Сообщение от skapunker Посмотреть сообщение
попробуй старенькую программу Xenu.
Либо еще вариант самому писать скрипт.
Огонь прога! Спасибо!

Добавлено через 36 минут
Но она для внутренней проверки.
Вот что то похожее и только для функции проверки домена существует или нет, что внутренние ссылки не проверялись.
Просто много урл и время ожидания большое
0
skapunker
-2 / 12 / 4
Регистрация: 13.12.2013
Сообщений: 490
26.10.2019, 13:47 4
Лучший ответ Сообщение было отмечено jenya82 как решение

Решение

Цитата Сообщение от jenya82 Посмотреть сообщение
Но она для внутренней проверки.
File -> Check USL's (test).

Тут указите текстовый файл с линками. Сначала прога проверит доступность линков по списку, а потом начнет ссылки проверять. После того, как список проверит, остановить ее и все.

Добавлено через 4 минуты
вот еще интересный сервис, 200 ссылок за раз проверяет http://xseo.in/linkv

Добавлено через 1 минуту
http://coolakov.ru/tools/ping/

Добавлено через 1 минуту
вот еще 100 адресов за раз https://converseo.ru/tools/response/

Короче сервисов для проверки такой миллион
1
jenya82
1 / 1 / 0
Регистрация: 11.01.2010
Сообщений: 63
27.10.2019, 09:31  [ТС] 5
Все таки хочется запустить скрипт

Установил себе Cygwin
Запускаю скрипт
Лог файл создается но пустой
и пишет неожиданный конец файла строка 20.
Но строк всего 19
может ковычки или скобки надо?

Кликните здесь для просмотра всего текста

#!/bin/bush
# задаём путь к временному файлу, в который будем писать результат выполнения проверки
FILE="/home/mylog.log"
rm -rf $FILE
touch $FILE
# указываем файл со списком хостов и портов, запускаем цикл в который сразу "скармливаем" три переменных для проверки
cat /home/db_hosts.txt | while read NAME HOST PORT
do
# для красоты вывода результата - сначала вписываем имя проверяемого хоста
printf "%stt" $NAME >> $FILE &&
# записываем результат проверки хост:порт
printf "%st%sn" `nmap -Pn -p $PORT $HOST
# выделяем только 6 строку результата проверки и только 1 и 2 поля
| head -n 6 | tail -n 1 | cut -d' ' -f 1,2
# вырезаем лишнее - слово "tcp" и меняем "filtered" на "closed", дописываем в файл результат
| sed -e '{s/.tcp//;}' -e 's/filtered/closed/g'` >> $FILE
done
# выводим на консоль сам результат
cat $FILE


Я уже больше половины пути прошел. Скоро все заработает.

С меня плюсы, лайки, спасибо, низкий поклон
0
27.10.2019, 09:31
Answers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
27.10.2019, 09:31

Массовая проверка на наличие в индексе страниц
Имеется ряд страниц, типа: http://site1.ru/kol.html http://site2.ru/kjlol.html...

Мониторинг доступности сайтов
чем делать?

Проверка internet connection. Проверка доступности сети
Добрый день. Для проверки Internet Connection советуют делать что-то вроде: private boolean...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2020, vBulletin Solutions, Inc.