Форум программистов, компьютерный форум, киберфорум
Python для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
383 / 23 / 2
Регистрация: 12.06.2021
Сообщений: 211
Записей в блоге: 2

Как проверить что страница по ссылке доступна а не выдает ошибку?

30.11.2023, 04:44. Показов 654. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Я спарсила ссылки с одного сайта и сохранила их в csv как теперь проверить, что страницы доступны, чтобы в консоли выводилось например
https://site.ru/url -----> 200,#значит все в порядке.
https://site.ru/url -----> 403 #доступ запрещен
https://site.ru/url -----> 404 #страница не существуют
Можно как-то пробежаться по всем ссылкам и проверить доступность? Вот пример загрузки файла csv и чтение ссылок через цикл.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
print('Content-Type: text/html; charset=utf-8\n')
 
import requests
from bs4 import BeautifulSoup
 
import csv
 
headers = {
  "Accept":"*/*",
  "User-Agent": "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36"
}
 
group_arr = []
 
with open(f"data1/data_url.csv", encoding='cp1251') as r_file:
  reader = csv.reader(r_file)
  for row in reader:
    raw_html = requests.get(row[0], headers=headers)  
 
    soup = BeautifulSoup(raw_html.text,'lxml')
    print(soup)
    group_arr.append(row[0])
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
30.11.2023, 04:44
Ответы с готовыми решениями:

Страница создана, но переход по ссылке на нее выдает 404
Создал несколько страниц, настроил иерархию, создал меню, ведущее на них. На следующий день при попытке перейти через меню -- выдает 404....

Nв-тюнер AVer media 305 при запуске ПО выдает ошибку:звуковая плата не доступна
установил тв-тюнер AVer media 305 при запуске ПО выдает ошибку ВНИМАНИЕ:звуковая плата не доступна! Звуковая карта Realtek High Definition...

Страница доступна по несуществующему пути (адресу). Как исправить?
Всем привет! Есть страница вида http://site.ru/folder/page.html По какой-то причине эту же сраницу можно получить, написав после...

3
 Аватар для Vigi
641 / 481 / 179
Регистрация: 28.05.2012
Сообщений: 1,419
30.11.2023, 06:17
в цикле:
Python
1
requests.get(URL).status_code
0
2 / 1 / 1
Регистрация: 20.01.2023
Сообщений: 63
30.11.2023, 20:10
Лучший ответ Сообщение было отмечено Olga28 как решение

Решение

Вот пример кода, который пробегается по всем ссылкам из CSV файла и выводит статус каждой страницы

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
python
import requests
import csv
 
headers = {
    "Accept": "*/*",
    "User-Agent": "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36"
}
 
with open("data1/data_url.csv", encoding="cp1251") as csv_file:
    reader = csv.reader(csv_file)
    for row in reader:
        url = row[0]
        response = requests.get(url, headers=headers)
        
        if response.status_code == 200:
            print(f"{url} -----> 200 #значит все в порядке.")
        elif response.status_code == 403:
            print(f"{url} -----> 403 #доступ запрещен")
        elif response.status_code == 404:
            print(f"{url} -----> 404 #страница не существует")
        else:
            print(f"{url} -----> {response.status_code} #неизвестный статус")
Использовал модуль requests для отправки GET запросов к каждой ссылке. После проверил статус код ответа сервера и выводил соответствующее сообщение.
1
383 / 23 / 2
Регистрация: 12.06.2021
Сообщений: 211
Записей в блоге: 2
01.12.2023, 04:58  [ТС]
Еще 503 ошибка появляется, то же надо проверять. Поэтому добавила еще одно условие.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
print('Content-Type: text/html; charset=utf-8\n')
 
import requests
 
import csv
 
headers = {
  "Accept":"*/*",
  "User-Agent": "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36"
}
 
 
with open(f"data1/data_url.csv", encoding='cp1251') as r_file:
  reader = csv.reader(r_file)
  for row in reader:
    url = row[0]
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
       print(f"{url}  200 #значит все в порядке.")
    elif response.status_code == 403:
       print(f"{url}  403 #доступ запрещен.")
    elif response.status_code == 404:
       print(f"{url}  404 #страница не существует.")
    elif response.status_code == 503:
       print(f"{url}  503 #сервер не готов.")
    else:
       print(f"{url}  {response.status_code} #неизвестный статус.")
1
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
01.12.2023, 04:58
Помогаю со студенческими работами здесь

Как сделать, чтобы страница была доступна с любого поддомена?
Как сделать, чтобы страница была доступна с любого поддомена? test.mysite.ru asd.mysite.ru qwerty.mysite.ru // все они открывают...

Как проверить, что страница webbrauser полностью загрузилась ?
Как проверить, что страница WebBrowser полностью загрузилась ?

В чем проблема с point , выдает ошибку, создаю new point выдает ошибку, это если что генерация лабиринта
using System; using System.Collections.Generic; using System.Diagnostics; using System.Linq; using System.Text; using...

Почему выдает ошибку при передаче по ссылке параметров?
#include <iostream> /* run this program using the console pauser or add your own getch, system("pause") or input loop */ void...

Узнать, выдает ли страница 404 ошибку или нет
Подскажите, как узнать отдает ли страница 404 ошибку или открывается нормально? Для проверки есть url


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / **********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf Пост отсюда. . .
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru