Парсинг сайта по вакансиям на python

@cybers_ · Регистрация: 09.12.2020

Студворк — интернет-сервис помощи студентам

Всем привет, пробую себя в парсинге впервые, до определенного момента все шло хорошо, но когда нужно вывести названия вакансий в виде текста, мне приходит ответ "200", хотя должны появится названия вакансий с первой страницы сайта, над которым я работаю, если кто-то знает, в чем проблема буду очень благодарна)

Вот код первого файла "main.py":

Python
1
2
3
from headhunter import extract_max_page, extract_hh_jobs
max_page = extract_max_page()
extract_hh_jobs(max_page)

код второго файла headhunter.py:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import requests
from bs4 import BeautifulSoup
ITEMS = 100
URL = f'https://hh.ru/search/vacancy?text=python&items_on_page={ITEMS}'
headers = {
  'Host': 'hh.ru',
  'User-Agent': 'Safari',
  'Accept': '*/*',
  'Accept-Encoding':'gzip, deflate, br',
  'Connection': 'keep-alive'
}
def extract_max_page():
  hh_request=requests.get(URL, headers=headers)
  hh_soup = BeautifulSoup (hh_request.text,'html.parser')
  pages = []
  paginator = hh_soup.find_all("span", {'class':'pager-item-not-in-short-range'}) 
  for page in paginator:
    pages.append(int(page.find('a').text))
  return pages[-1]
def extract_hh_jobs(last_page):
  jobs = []
  #for page in range (last_page):
  result = requests.get(f'{URL}&page=0', headers=headers)
  print(result.status_code)
  soup = BeautifulSoup (result.text,'html.parser')
  results = soup.find_all('div', {'class':'serp-item__title'})
  for result in results:
    print(result.find('a').text)
    
  return jobs

@hyrodev · 27.01.2023, 12:31

cybers_, Добрый день. Попробую помочь!
Проблема в том, что вы добавляете номер страницы к URL-адресу не в том месте. В 'extract_hh_jobs' функции вы добавляете '&page=0' в конец URL-адреса, но он должен добавляться в конец URL переменной, которую вы определили ранее.

Вместо этого:

Python
1
result = requests.get(f'{URL}&page=0', headers=headers)

Это должно быть так:

Python
1
result = requests.get(f'{URL}&page={page}', headers=headers)

Кроме того, в 'extract_hh_jobs' функции вы используете results переменную для двух разных целей: сначала для хранения тегов div, а затем для зацикливания тегов. Это вызовет проблему. Вы должны изменить имя переменной одной из двух переменных.

Кроме того, вы используете переменную jobs, но, похоже, ничего к ней не добавляете. В цикле for вы должны добавить result.find('a').text к списку заданий.

Python
1
jobs.append(result.find('a').text)

Наконец, вам нужно будет включить цикл по страницам для извлечения данных с каждой страницы.

Python
1
2
3
4
5
6
for page in range(last_page):
    result = requests.get(f'{URL}&page={page}', headers=headers)
    soup = BeautifulSoup(result.text,'html.parser')
    results = soup.find_all('div', {'class':'serp-item_title'})
    for result in results:
        jobs.append(result.find('a').text)

Это должно выглядеть так:

Python
1
2
3
4
5
6
7
8
9
def extract_hh_jobs(last_page):
    jobs = []
    for page in range(last_page):
        result = requests.get(f'{URL}&page={page}', headers=headers)
        soup = BeautifulSoup(result.text,'html.parser')
        results = soup.find_all('div', {'class':'serp-item_title'})
        for result in results:
            jobs.append(result.find('a').text)
    return jobs

Теперь все должно работать нормально.

@cybers_ · 27.01.2023, 12:56 **[ТС]**

Вроде бы все поменяла, но результат тот же...я тут добавила еще функцию "extract_job(html)", чтобы получить названия компаний и их местоположение, но не работает(((
Загрузила скрин, вот в текстовом формате:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
import requests
from bs4 import BeautifulSoup
ITEMS = 100
URL = f'https://hh.ru/search/vacancy?text=python&items_on_page={ITEMS}'
headers = {
  'Host': 'hh.ru',
  'User-Agent': 'Safari',
  'Accept': '*/*',
  'Accept-Encoding':'gzip, deflate, br',
  'Connection': 'keep-alive'
}
def extract_max_page():
  hh_request=requests.get(URL, headers=headers)
  hh_soup = BeautifulSoup (hh_request.text,'html.parser')
  pages = []
  paginator = hh_soup.find_all("span", {'class':'pager-item-not-in-short-range'}) 
  for page in paginator:
    pages.append(int(page.find('a').text))
  return pages[-1]
def extract_job(html):
  title=html.find('a').text
  link =html.find('a').text ['href']
  company = html.find('div', {'class': 'vacancy-serp-item__meta-info-company'}).text
  company = company.strip()
  location = html.find('span', {'data-qa':'vacancy-serp__vacancy-address'}).text
  location = location.partition(',')[0]
  return {'title':title, 'company': company, 'location': location, 'link':link}
def extract_hh_jobs(last_page):
  jobs = []
  for page in range (last_page):
    print(f'Парсинг страницы {page}')
    result = requests.get(f'{URL}&page={page}', headers=headers)
    print(result.status_code)
    soup = BeautifulSoup (result.text,'html.parser')
    results = soup.find_all('div', {'class':'serp-item__title'})
    for result in results:
      jobs.append(result.find('a').text)
    
  return jobs

@hyrodev · 27.01.2023, 13:00

Попробуйте изменить строку jobs.append(result.find('a').text) на jobs.append(extract_job(result)). Кроме того, в функции extract_job необходимо использовать html.find('a')['href'] для получения ссылки вместо html.find('a').text['href']

@cybers_ · 27.01.2023, 13:20 **[ТС]**

Видимо не заработает...
Спасибо за помощь)

@hyrodev · 27.01.2023, 13:28

cybers_,
Похоже, что веб-сайт, который вы пытаетесь парсить, может иметь некоторые механизмы защиты от очистки, поэтому вы получаете код состояния «200». Некоторые веб-сайты блокируют или ограничивают доступ к своим страницам, если обнаружат, что запросы исходят от скрипта или бота.

Одним из решений этой проблемы является использование метода, называемого «веб-скрапинг с помощью безголового браузера», который позволяет вам взаимодействовать с веб-сайтом, как если бы вы были реальным пользователем, использующим веб-браузер. Это можно сделать с помощью таких инструментов, как Selenium или Puppeteer, которые позволяют программно управлять веб-браузером и обходить механизмы защиты от парсинга.

Другим решением является использование API парсинга веб-страниц, такого как Scrapinghub, который позволяет вам парсить веб-сайты, не беспокоясь о механизмах защиты от парсинга.

В качестве альтернативы вы можете попробовать использовать другой веб-сайт или добавить User-Agentв заголовки, чтобы это выглядело так, как будто вы просматриваете веб-сайт с помощью браузера.

@cybers_ · 27.01.2023, 13:32 **[ТС]**

В этой части кода, как раз использую User-Agent:

Python
1
2
3
4
5
6
7
headers = {
  'Host': 'hh.ru',
  'User-Agent': 'Safari',
  'Accept': '*/*',
  'Accept-Encoding':'gzip, deflate, br',
  'Connection': 'keep-alive'
}

Или я сделала неправильно?

@hyrodev · 27.01.2023, 13:46

cybers_,
Похоже, проблема в том, что вы не вызываете функцию extract_job() в своей функции extract_hh_jobs(). Вместо этого вы добавляете результат result.find('a').text в список заданий. Попробуйте вместо этого вызвать функцию extract_job() и добавить результат в джоб лист.

Вот пример того, как вы можете вызвать функцию extract_job():

Python
1
2
3
for result in results:
    job = extract_job(result)
    jobs.append(job)

Добавлено через 2 минуты
cybers_, Также попробуйте такой вариант кода.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
import requests
from bs4 import BeautifulSoup
 
ITEMS = 100
URL = f'https://hh.ru/search/vacancy?text=python&items_on_page={ITEMS}'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;Win64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}
 
def extract_max_page():
    hh_request = requests.get(URL, headers=headers)
    hh_soup = BeautifulSoup(hh_request.text, 'html.parser')
    pages = []
    paginator = hh_soup.find_all("span", {'class':'pager-item-not-in-short-range'})
    for page in paginator:
        pages.append(int(page.find('a').text))
    return max(pages)
 
def extract_job(html):
    title = html.find('a', {'class': 'bloko-link HH-LinkModifier'}).text
    link = html['href']
    company = html.find('div', {'class': 'vacancy-serp-item__meta-info-company'}).text
    company = company.strip()
    location = html.find('span', {'data-qa':'vacancy-serp__vacancy-address'}).text
    location = location.partition(',')[0]
    return {'title':title, 'company': company, 'location': location, 'link':link}
 
def extract_hh_jobs(last_page):
    jobs = []
    for page in range(1, last_page + 1):
        print(f'Parsing page {page}')
        result = requests.get(f'{URL}&page={page}', headers=headers)
        print(result.status_code)
        soup = BeautifulSoup(result.text, 'html.parser')
        results = soup.find_all('div', {'class':'vacancy-serp-item'})
        for result in results:
            jobs.append(extract_job(result))
    return jobs
 
last_page = extract_max_page()
jobs = extract_hh_jobs(last_page)
print(jobs)

Добавлено через 3 минуты
Обновлен User-Agent заголовок до действительного, который обычно используется веб-браузерами.
Исправлена extract_max_pageфункция правильного извлечения максимального номера страницы.
В конце добавил оператор печати для печати jobs списка.

По мелочи, но, может, заработает.

@Welemir1 · 27.01.2023, 13:49

cybers_, hyrodev, на панельке ответа есть кнопочки с названиями языков, ткните на питон и свой код вставляйте между появившимися тегами

@cybers_ · 27.01.2023, 15:14 **[ТС]**

Прогнала код, который вы отправили, теперь в консоли выводится с 1 по 4 страницы)

@hyrodev · 27.01.2023, 15:36

cybers_,
Отлично, похоже проблема с невозможностью извлечь максимальное количество страниц решена. Теперь вы можете использовать эту extract_max_page() функцию, чтобы получить общее количество страниц и использовать это число для извлечения заданий со всех страниц.

Вот переписанный код (полностью), который должен работать:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
import requests
from bs4 import BeautifulSoup
 
ITEMS = 100
URL = f'https://hh.ru/search/vacancy?text=python&items_on_page={ITEMS}'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;Win64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}
 
def extract_max_page():
    hh_request = requests.get(URL, headers=headers)
    hh_soup = BeautifulSoup(hh_request.text, 'html.parser')
    pages = []
    paginator = hh_soup.find_all("span", {'class':'pager-item-not-in-short-range'})
    for page in paginator:
        pages.append(int(page.find('a').text))
    return pages[-1]
 
def extract_job(html):
    title = html.find('a', {'class':'bloko-link HH-LinkModifier'}).text.strip()
    link = html.find('a', {'class':'bloko-link HH-LinkModifier'})['href']
    company = html.find('div', {'class': 'vacancy-serp-item__meta-info-company'}).text.strip()
    location = html.find('span', {'data-qa':'vacancy-serp__vacancy-address'}).text.strip()
    return {'title':title, 'company': company, 'location': location, 'link':link}
 
def extract_hh_jobs(last_page):
    jobs = []
    for page in range(last_page+1):
        print(f'Parse page {page}')
        result = requests.get(f'{URL}&page={page}', headers=headers)
        print(result.status_code)
        soup = BeautifulSoup(result.text,'html.parser')
        results = soup.find_all('div', {'class':'vacancy-serp-item'})
        for result in results:
            jobs.append(extract_job(result))
    return jobs
 
last_page = extract_max_page()
jobs = extract_hh_jobs(last_page)
print(jobs)

@cybers_ · 27.01.2023, 16:35 **[ТС]**

Забавно получается, но результат тот же, как и в предыдущем скрине...Видимо придется пробовать что-то другое, как вы и писали выше

@Welemir1 · 27.01.2023, 17:06

Сообщение от hyrodev

«веб-скрапинг с помощью безголового браузера»,

что что? ты что бот чтоли? откуда ответы копируешь, из гпт?

@rim41 · 29.01.2023, 05:40

Не по теме:

Welemir1, мб на русский гугл переводчиком переводит? Я б заманался все комментарии удалять из кода гпт

@Welemir1 · 29.01.2023, 09:07

rim41, просто не первый же новичок тут, который дает ответы по пунктам и с плохим переводом на русский. Подозрительно

@rim41 · 29.01.2023, 09:09

Welemir1, Ну оно вполне возможно что нейронкой генерируют ответы, удобный фарм репутации. Другое дело, что даже не читают и не проверяют полезность ответа...

@OlegChe · 01.02.2023, 13:00

По вашему коду, вы выполняете запрос на сайт hh.ru, используя библиотеку requests, после чего парсите HTML-страницу с помощью BeautifulSoup. В вашей функции extract_hh_jobs вы выполняете запрос только для первой страницы (&page=0) и выводите статус кода ответа, а затем выводите текст тайтлов вакансий.

Так как статус код ответа равен 200, это означает, что ваш запрос был успешным и сервер вернул HTML-страницу. Поэтому проблема может быть связана с неправильным парсингом HTML-страницы с помощью BeautifulSoup.

Новые блоги и статьи Все статьи Все блоги /
Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .

@hyrodev 1 / 1 / 0 Регистрация: 27.01.2023 Сообщений: 6
	27.01.2023, 13:00
	Попробуйте изменить строку jobs.append(result.find('a').text) на jobs.append(extract_job(result)). Кроме того, в функции extract_job необходимо использовать html.find('a')['href'] для получения ссылки вместо html.find('a').text['href'] 0

@cybers_ 0 / 0 / 0 Регистрация: 09.12.2020 Сообщений: 8
	27.01.2023, 13:20 [ТС]
	Видимо не заработает... Спасибо за помощь) Миниатюры 0

@hyrodev 1 / 1 / 0 Регистрация: 27.01.2023 Сообщений: 6
	27.01.2023, 13:28
	cybers_, Похоже, что веб-сайт, который вы пытаетесь парсить, может иметь некоторые механизмы защиты от очистки, поэтому вы получаете код состояния «200». Некоторые веб-сайты блокируют или ограничивают доступ к своим страницам, если обнаружат, что запросы исходят от скрипта или бота. Одним из решений этой проблемы является использование метода, называемого «веб-скрапинг с помощью безголового браузера», который позволяет вам взаимодействовать с веб-сайтом, как если бы вы были реальным пользователем, использующим веб-браузер. Это можно сделать с помощью таких инструментов, как Selenium или Puppeteer, которые позволяют программно управлять веб-браузером и обходить механизмы защиты от парсинга. Другим решением является использование API парсинга веб-страниц, такого как Scrapinghub, который позволяет вам парсить веб-сайты, не беспокоясь о механизмах защиты от парсинга. В качестве альтернативы вы можете попробовать использовать другой веб-сайт или добавить User-Agentв заголовки, чтобы это выглядело так, как будто вы просматриваете веб-сайт с помощью браузера. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	27.01.2023, 13:49
	cybers_, hyrodev, на панельке ответа есть кнопочки с названиями языков, ткните на питон и свой код вставляйте между появившимися тегами 1

@cybers_ 0 / 0 / 0 Регистрация: 09.12.2020 Сообщений: 8
	27.01.2023, 15:14 [ТС]
	Прогнала код, который вы отправили, теперь в консоли выводится с 1 по 4 страницы) Миниатюры 0

@cybers_ 0 / 0 / 0 Регистрация: 09.12.2020 Сообщений: 8
	27.01.2023, 16:35 [ТС]
	Забавно получается, но результат тот же, как и в предыдущем скрине...Видимо придется пробовать что-то другое, как вы и писали выше 0

@rim41 1045 / 313 / 78 Регистрация: 16.03.2020 Сообщений: 954
	29.01.2023, 05:40
	Не по теме: Welemir1, мб на русский гугл переводчиком переводит? Я б заманался все комментарии удалять из кода гпт 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	29.01.2023, 09:07
	rim41, просто не первый же новичок тут, который дает ответы по пунктам и с плохим переводом на русский. Подозрительно 0

@rim41 1045 / 313 / 78 Регистрация: 16.03.2020 Сообщений: 954
	29.01.2023, 09:09
	Welemir1, Ну оно вполне возможно что нейронкой генерируют ответы, удобный фарм репутации. Другое дело, что даже не читают и не проверяют полезность ответа... 0

@OlegChe 73 / 55 / 25 Регистрация: 12.07.2014 Сообщений: 216
	01.02.2023, 13:00
	По вашему коду, вы выполняете запрос на сайт hh.ru, используя библиотеку requests, после чего парсите HTML-страницу с помощью BeautifulSoup. В вашей функции extract_hh_jobs вы выполняете запрос только для первой страницы (&page=0) и выводите статус кода ответа, а затем выводите текст тайтлов вакансий. Так как статус код ответа равен 200, это означает, что ваш запрос был успешным и сервер вернул HTML-страницу. Поэтому проблема может быть связана с неправильным парсингом HTML-страницы с помощью BeautifulSoup. 0