Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.85/13: Рейтинг темы: голосов - 13, средняя оценка - 4.85
11 / 10 / 2
Регистрация: 19.02.2018
Сообщений: 393

Функция для проверки веб страницы на код ответа сервера

11.08.2021, 07:32. Показов 2772. Ответов 2

Студворк — интернет-сервис помощи студентам
Здравствуйте Всем.

Прекрасно понимаю, что мой вопрос, звучит дилетантским, я ещё новичок в этой теме.
Хотя сейчас слово “новичок” звучит двусмысленно.
Поэтому вопрос от нуба.

Как лучше сделать функцию для проверки веб страницы на код ответа сервера?

Пробовал так

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
from bs4 import BeautifulSoup
import requests as req
import time
 
def check(url1):
  user_agent = ('user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64)'
                ' AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36")' )
  time.sleep(5)
  resp = req.get(url1, headers= user_agent)
  if 200 <= resp.status_code >= 299:
      print('OK!')
      return 0
  else:
       print(resp.status_code)
  return check(url1)
 
 
adress="https://astrovedic.ucoz.ru/forum/95"
check(adress)
resp = req.get(adress)
soup = BeautifulSoup(resp.text, 'lxml')
выходит ошибка

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Traceback (most recent call last):
  File "F:/Program Files/python/питон/парсинг/парсинг статьи Финогеева.py", line 19, in <module>
    check(adress)
  File "F:/Program Files/python/питон/парсинг/парсинг статьи Финогеева.py", line 9, in check
    resp = req.get(url1, headers= user_agent)
  File "C:\Users\egor\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\api.py", line 75, in get
    return request('get', url, params=params, **kwargs)
  File "C:\Users\egor\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\api.py", line 61, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Users\egor\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\sessions.py", line 528, in request
    prep = self.prepare_request(req)
  File "C:\Users\egor\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\sessions.py", line 456, in prepare_request
    p.prepare(
  File "C:\Users\egor\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\models.py", line 317, in prepare
    self.prepare_headers(headers)
  File "C:\Users\egor\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\models.py", line 449, in prepare_headers
    for header in headers.items():
AttributeError: 'str' object has no attribute 'items'

Что бы думаете по этому поводу?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
11.08.2021, 07:32
Ответы с готовыми решениями:

определить код ответа веб сервера
Есть такой код на JavaScript ie=WScript.CreateObject('InternetExplorer.Application', 'ie_'); ie.Visible=true; ...

Код ответа сервера страницы 404
Доброго времени суток дорогие фомурчане-программисты!На моем сайте код ответа сервера страницы 404 равен 200.Как сделать, чтобы код этой...

Организация проверки времени на получение ответа от прокси-сервера
Здравствуйте, товарищи-программисты. Программа занимается проверкой качества большого количества прокси. Нужно организовать проверку...

2
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7391 / 4818 / 1246
Регистрация: 30.03.2015
Сообщений: 13,693
Записей в блоге: 29
11.08.2021, 08:06
Цитата Сообщение от Егор Щербанов Посмотреть сообщение
Что бы думаете по этому поводу?
я думаю что тебе пора начать учить питон, прям серьезно засесть за книги. Начать например с того что читать ошибки, питон подробно пишет где ошибка и в чем она.
В твоем случае хедерс должны быть словарем, а не кортежом строк.

а функция чек -плохая, что если сайт недоступен вообще? достигнешь глубины рекурсии и упадешь. Зачем? просто несколько раз проверь и бросай иключение. Или парсь только при положительной проверке.
0
11 / 10 / 2
Регистрация: 19.02.2018
Сообщений: 393
11.08.2021, 23:09  [ТС]
Welemir1, спасибо большое за ваш ответ.
вы правы, надо подтянуть cвои знания по python.
за 2 года да много подзабыл.
сегодня у меня получилось, извлечь все названия статей и ссылок на них.
может кому-нибудь это будет полезно.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
articles={}
adress="https://astrovedic.ucoz.ru/forum/95"
# check(adress)
resp = req.get(adress)
soup = BeautifulSoup(resp.text, 'lxml')
 
resp = req.get(adress)
soup = BeautifulSoup(resp.text, 'lxml')
res=soup.findAll("tr")
res =res[29:37]
for i in res:
  try:
   if i != None:
       i= i.find(class_= "threadLink")
       name=str(i.text).rstrip()
       ref =adress+str(i.get('href')).rstrip()
       articles[name]=ref
  except:
     pass
 
for i in range(2,51):
  adress="https://astrovedic.ucoz.ru/forum/95-0-{0}".format(i)
  resp = req.get(adress)
  soup = BeautifulSoup(resp.text, 'lxml')
  res=soup.findAll("tr")
  for i in res:
   try:
    i2= i.find(class_= "threadLink")
    name=str(i2.text).rstrip()
    ref =adress+str(i2.get('href')).rstrip()
    print(name, ref, sep=" ")
    articles[name]=ref
   except:
     pass
 
keys1=list(articles.keys())
keys1.sort()
for i, key in enumerate(keys1,start=1):
  res_str=str(i)+". "+str(key)+" "+str(articles[key])+"\n\n"
  print(res_str)
  with open('статьи.doc','a') as f:
    f.write(res_str)
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
11.08.2021, 23:09
Помогаю со студенческими работами здесь

Время ответа веб сервера
Хочу разобраться я рукож%пый или сервер слаб. Итак что имеем. 1. Интернет-магазин.Движок - джумла. 2. Относительно не дорогой...

Код для проверки активной страницы
Данным циклом я вывожу все категории не сайте (http://sellfile.ru/?action=archive&amp;categoryId=18) в виде меню, а затем проверяю активную...

Программа загружает и обрабатывает веб-страницы с веб-сервера статистики, при этом жутко тормозит
Всем привет! В программе начались жуткие тормоза. Программа загружает и обрабатывает веб-страницы с веб-сервера статистики. Debug...

Код ответа проверки файловой системы: 8
Здравствуйте, Случилась проблема на mac были установлены две системы Мак ос Эл Капитан и виндовс 7. Решил удалить виндовс, после ...

Как узнать время ответа сервера и размер страницы?
Здравствуйте! Как получить данные, которые отображаются в этом сервисе? ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru